@lobehub/chat 1.26.19 → 1.26.20

package/CHANGELOG.md

@@ -2,6 +2,31 @@
 
 # Changelog
 
+### [Version 1.26.20](https://github.com/lobehub/lobe-chat/compare/v1.26.19...v1.26.20)
+
+<sup>Released on **2024-11-04**</sup>
+
+#### 💄 Styles
+
+- **misc**: Disable chunking button for unsupported files.
+
+<br/>
+
+<details>
+<summary><kbd>Improvements and Fixes</kbd></summary>
+
+#### Styles
+
+- **misc**: Disable chunking button for unsupported files, closes [#4153](https://github.com/lobehub/lobe-chat/issues/4153) ([87ac46d](https://github.com/lobehub/lobe-chat/commit/87ac46d))
+
+</details>
+
+<div align="right">
+
+[![](https://img.shields.io/badge/-BACK_TO_TOP-151515?style=flat-square)](#readme-top)
+
+</div>
+
 ### [Version 1.26.19](https://github.com/lobehub/lobe-chat/compare/v1.26.18...v1.26.19)
 
 <sup>Released on **2024-11-03**</sup>

package/locales/ar/components.json

@@ -12,6 +12,7 @@
       "batchChunking": "تقسيم دفعي",
       "chunking": "تقسيم",
       "chunkingTooltip": "قم بتقسيم الملف إلى عدة كتل نصية وتحويلها إلى متجهات، يمكن استخدامها في البحث الدلالي والمحادثة حول الملفات",
+      "chunkingUnsupported": "هذا الملف لا يدعم تقسيم الأجزاء",
       "confirmDelete": "سيتم حذف هذا الملف، ولن يمكن استعادته بعد الحذف، يرجى تأكيد العملية",
       "confirmDeleteMultiFiles": "سيتم حذف {{count}} ملفًا محددًا، ولن يمكن استعادته بعد الحذف، يرجى تأكيد العملية",
       "confirmRemoveFromKnowledgeBase": "سيتم إزالة {{count}} ملفًا محددًا من قاعدة المعرفة، لا يزال بإمكانك رؤية الملفات في جميع الملفات، يرجى تأكيد العملية",

package/locales/bg-BG/components.json

@@ -12,6 +12,7 @@
       "batchChunking": "Партидно разделяне",
       "chunking": "Разделяне",
       "chunkingTooltip": "Разделете файла на множество текстови блокове и ги векторизирайте, за да се използват за семантично търсене и диалог с файла",
+      "chunkingUnsupported": "Този файл не поддържа разделяне на части.",
       "confirmDelete": "Ще изтриете този файл. След изтриването му няма да може да бъде възстановен. Моля, потвърдете действието си.",
       "confirmDeleteMultiFiles": "Ще изтриете избраните {{count}} файла. След изтриването им няма да могат да бъдат възстановени. Моля, потвърдете действието си.",
       "confirmRemoveFromKnowledgeBase": "Ще премахнете избраните {{count}} файла от базата знания. След премахването им файловете все още могат да бъдат видяни в списъка с всички файлове. Моля, потвърдете действието си.",

package/locales/de-DE/components.json

@@ -12,6 +12,7 @@
       "batchChunking": "Batch-Zerteilung",
       "chunking": "Zerteilung",
       "chunkingTooltip": "Teilen Sie die Datei in mehrere Textblöcke und vektorisieren Sie sie, um sie für die semantische Suche und Dateidialoge zu verwenden.",
+      "chunkingUnsupported": "Diese Datei unterstützt kein Chunking.",
       "confirmDelete": "Die Datei wird gelöscht. Nach dem Löschen kann sie nicht wiederhergestellt werden. Bitte bestätigen Sie Ihre Aktion.",
       "confirmDeleteMultiFiles": "Die ausgewählten {{count}} Dateien werden gelöscht. Nach dem Löschen können sie nicht wiederhergestellt werden. Bitte bestätigen Sie Ihre Aktion.",
       "confirmRemoveFromKnowledgeBase": "Die ausgewählten {{count}} Dateien werden aus der Wissensdatenbank entfernt. Die Dateien sind weiterhin in allen Dateien sichtbar. Bitte bestätigen Sie Ihre Aktion.",

package/locales/en-US/components.json

@@ -12,6 +12,7 @@
       "batchChunking": "Batch Chunking",
       "chunking": "Chunking",
       "chunkingTooltip": "Split the file into multiple text chunks and embedding them for semantic search and file dialogue.",
+      "chunkingUnsupported": "This file does not support chunking.",
       "confirmDelete": "You are about to delete this file. Once deleted, it cannot be recovered. Please confirm your action.",
       "confirmDeleteMultiFiles": "You are about to delete the selected {{count}} files. Once deleted, they cannot be recovered. Please confirm your action.",
       "confirmRemoveFromKnowledgeBase": "You are about to remove the selected {{count}} files from the knowledge base. They will still be viewable in all files. Please confirm your action.",

package/locales/es-ES/components.json

@@ -12,6 +12,7 @@
       "batchChunking": "División por lotes",
       "chunking": "División",
       "chunkingTooltip": "Divida el archivo en múltiples bloques de texto y vectorícelos para su uso en búsqueda semántica y diálogo de archivos",
+      "chunkingUnsupported": "Este archivo no admite la fragmentación",
       "confirmDelete": "Está a punto de eliminar este archivo. Una vez eliminado, no podrá recuperarlo. Por favor, confirme su acción.",
       "confirmDeleteMultiFiles": "Está a punto de eliminar los {{count}} archivos seleccionados. Una vez eliminados, no podrá recuperarlos. Por favor, confirme su acción.",
       "confirmRemoveFromKnowledgeBase": "Está a punto de eliminar los {{count}} archivos seleccionados de la base de conocimientos. Los archivos seguirán siendo visibles en todos los archivos. Por favor, confirme su acción.",

package/locales/fr-FR/components.json

@@ -12,6 +12,7 @@
       "batchChunking": "Découpage par lots",
       "chunking": "Découpage",
       "chunkingTooltip": "Divisez le fichier en plusieurs blocs de texte et vectorisez-les pour une recherche sémantique et un dialogue sur le fichier",
+      "chunkingUnsupported": "Ce fichier ne prend pas en charge le fractionnement",
       "confirmDelete": "Vous allez supprimer ce fichier. Une fois supprimé, il ne pourra pas être récupéré. Veuillez confirmer votre action.",
       "confirmDeleteMultiFiles": "Vous allez supprimer les {{count}} fichiers sélectionnés. Une fois supprimés, ils ne pourront pas être récupérés. Veuillez confirmer votre action.",
       "confirmRemoveFromKnowledgeBase": "Vous allez retirer les {{count}} fichiers sélectionnés de la base de connaissances. Une fois retirés, les fichiers resteront visibles dans tous les fichiers. Veuillez confirmer votre action.",

package/locales/it-IT/components.json

@@ -12,6 +12,7 @@
       "batchChunking": "Suddivisione in batch",
       "chunking": "Suddivisione",
       "chunkingTooltip": "Dividi il file in più blocchi di testo e vettorizzali, utilizzabili per la ricerca semantica e il dialogo sui file",
+      "chunkingUnsupported": "Questo file non supporta il frazionamento",
       "confirmDelete": "Stai per eliminare questo file. Una volta eliminato, non sarà possibile recuperarlo. Ti preghiamo di confermare l'operazione.",
       "confirmDeleteMultiFiles": "Stai per eliminare i {{count}} file selezionati. Una volta eliminati, non sarà possibile recuperarli. Ti preghiamo di confermare l'operazione.",
       "confirmRemoveFromKnowledgeBase": "Stai per rimuovere i {{count}} file selezionati dalla base di conoscenza. I file rimarranno visibili in tutti i file. Ti preghiamo di confermare l'operazione.",

package/locales/ja-JP/components.json

@@ -12,6 +12,7 @@
       "batchChunking": "バッチ分割",
       "chunking": "分割",
       "chunkingTooltip": "ファイルを複数のテキストブロックに分割し、ベクトル化した後、意味検索やファイル対話に使用できます",
+      "chunkingUnsupported": "このファイルはチャンク分割をサポートしていません",
       "confirmDelete": "このファイルを削除しようとしています。削除後は復元できませんので、操作を確認してください",
       "confirmDeleteMultiFiles": "選択した {{count}} 個のファイルを削除しようとしています。削除後は復元できませんので、操作を確認してください",
       "confirmRemoveFromKnowledgeBase": "選択した {{count}} 個のファイルを知識ベースから削除しようとしています。削除後もファイルはすべてのファイルで表示できますので、操作を確認してください",

package/locales/ko-KR/components.json

@@ -12,6 +12,7 @@
       "batchChunking": "배치 청크 분할",
       "chunking": "청크 분할",
       "chunkingTooltip": "파일을 여러 텍스트 블록으로 분할하고 벡터화한 후, 의미 검색 및 파일 대화에 사용할 수 있습니다.",
+      "chunkingUnsupported": "이 파일은 청크 처리를 지원하지 않습니다.",
       "confirmDelete": "해당 파일을 삭제하려고 합니다. 삭제 후에는 복구할 수 없으니, 작업을 확인해 주세요.",
       "confirmDeleteMultiFiles": "선택한 {{count}} 개 파일을 삭제하려고 합니다. 삭제 후에는 복구할 수 없으니, 작업을 확인해 주세요.",
       "confirmRemoveFromKnowledgeBase": "선택한 {{count}} 개 파일을 지식 베이스에서 제거하려고 합니다. 제거 후에도 파일은 모든 파일에서 볼 수 있으니, 작업을 확인해 주세요.",

package/locales/nl-NL/components.json

@@ -12,6 +12,7 @@
       "batchChunking": "Batchverdeling",
       "chunking": "Verdeling",
       "chunkingTooltip": "Splits het bestand in meerdere tekstblokken en vectoriseer deze voor semantische zoekopdrachten en bestandsdialoog",
+      "chunkingUnsupported": "Dit bestand ondersteunt geen chunking",
       "confirmDelete": "Je staat op het punt dit bestand te verwijderen. Na verwijdering kan het niet meer worden hersteld. Bevestig je actie.",
       "confirmDeleteMultiFiles": "Je staat op het punt de geselecteerde {{count}} bestanden te verwijderen. Na verwijdering kunnen ze niet meer worden hersteld. Bevestig je actie.",
       "confirmRemoveFromKnowledgeBase": "Je staat op het punt de geselecteerde {{count}} bestanden uit de kennisbank te verwijderen. Na verwijdering zijn de bestanden nog steeds zichtbaar in alle bestanden. Bevestig je actie.",

package/locales/pl-PL/components.json

@@ -12,6 +12,7 @@
       "batchChunking": "Partycjonowanie wsadowe",
       "chunking": "Partycjonowanie",
       "chunkingTooltip": "Podziel plik na wiele bloków tekstowych i wektoryzuj, aby umożliwić wyszukiwanie semantyczne i rozmowy o plikach",
+      "chunkingUnsupported": "Ten plik nie obsługuje podziału na części.",
       "confirmDelete": "Zaraz usuniesz ten plik. Po usunięciu nie będzie można go odzyskać, proszę potwierdź swoje działanie",
       "confirmDeleteMultiFiles": "Zaraz usuniesz wybrane {{count}} plików. Po usunięciu nie będzie można ich odzyskać, proszę potwierdź swoje działanie",
       "confirmRemoveFromKnowledgeBase": "Zaraz usuniesz wybrane {{count}} plików z bazy wiedzy. Po usunięciu pliki będą nadal widoczne wśród wszystkich plików, proszę potwierdź swoje działanie",

package/locales/pt-BR/components.json

@@ -12,6 +12,7 @@
       "batchChunking": "Divisão em lotes",
       "chunking": "Divisão",
       "chunkingTooltip": "Divida o arquivo em vários blocos de texto e vetorize, podendo ser usado para busca semântica e diálogo sobre o arquivo",
+      "chunkingUnsupported": "Este arquivo não suporta divisão em partes.",
       "confirmDelete": "Você está prestes a excluir este arquivo. Após a exclusão, ele não poderá ser recuperado. Por favor, confirme sua ação.",
       "confirmDeleteMultiFiles": "Você está prestes a excluir {{count}} arquivos selecionados. Após a exclusão, eles não poderão ser recuperados. Por favor, confirme sua ação.",
       "confirmRemoveFromKnowledgeBase": "Você está prestes a remover {{count}} arquivos selecionados do banco de conhecimento. Após a remoção, os arquivos ainda poderão ser visualizados em todos os arquivos. Por favor, confirme sua ação.",

package/locales/ru-RU/components.json

@@ -12,6 +12,7 @@
       "batchChunking": "Пакетная разбивка",
       "chunking": "Разбивка",
       "chunkingTooltip": "Разделите файл на несколько текстовых блоков и векторизуйте их для семантического поиска и диалога с файлом",
+      "chunkingUnsupported": "Этот файл не поддерживает разбиение на части",
       "confirmDelete": "Вы собираетесь удалить этот файл. После удаления его нельзя будет восстановить. Пожалуйста, подтвердите ваше действие.",
       "confirmDeleteMultiFiles": "Вы собираетесь удалить выбранные {{count}} файлов. После удаления их нельзя будет восстановить. Пожалуйста, подтвердите ваше действие.",
       "confirmRemoveFromKnowledgeBase": "Вы собираетесь удалить выбранные {{count}} файлов из базы знаний. После удаления файлы все еще будут доступны во всех файлах. Пожалуйста, подтвердите ваше действие.",

package/locales/tr-TR/components.json

@@ -12,6 +12,7 @@
       "batchChunking": "Toplu parçalara ayırma",
       "chunking": "Parçalara ayırma",
       "chunkingTooltip": "Dosyayı birden fazla metin parçasına ayırıp vektörleştirdikten sonra, anlamsal arama ve dosya diyalogları için kullanılabilir",
+      "chunkingUnsupported": "Bu dosya parça parça yüklemeyi desteklemiyor.",
       "confirmDelete": "Bu dosya silinecek, silindikten sonra geri alınamaz, lütfen işleminizi onaylayın",
       "confirmDeleteMultiFiles": "Seçilen {{count}} dosya silinecek, silindikten sonra geri alınamaz, lütfen işleminizi onaylayın",
       "confirmRemoveFromKnowledgeBase": "Seçilen {{count}} dosya bilgi tabanından kaldırılacak, kaldırıldıktan sonra dosyalar tüm dosyalar arasında görüntülenebilir, lütfen işleminizi onaylayın",

package/locales/vi-VN/components.json

@@ -12,6 +12,7 @@
       "batchChunking": "Chia nhỏ theo lô",
       "chunking": "Chia nhỏ",
       "chunkingTooltip": "Chia tách tệp thành nhiều khối văn bản và vector hóa, có thể sử dụng cho tìm kiếm ngữ nghĩa và đối thoại tệp",
+      "chunkingUnsupported": "Tập tin này không hỗ trợ phân mảnh",
       "confirmDelete": "Bạn sắp xóa tệp này, sau khi xóa sẽ không thể khôi phục, vui lòng xác nhận hành động của bạn",
       "confirmDeleteMultiFiles": "Bạn sắp xóa {{count}} tệp đã chọn, sau khi xóa sẽ không thể khôi phục, vui lòng xác nhận hành động của bạn",
       "confirmRemoveFromKnowledgeBase": "Bạn sắp xóa {{count}} tệp đã chọn khỏi kho tri thức, sau khi xóa tệp vẫn có thể xem trong tất cả các tệp, vui lòng xác nhận hành động của bạn",

package/locales/zh-CN/components.json

@@ -12,6 +12,7 @@
       "batchChunking": "批量分块",
       "chunking": "分块",
       "chunkingTooltip": "将文件拆分为多个文本块并向量化后，可用于语义检索和文件对话",
+      "chunkingUnsupported": "该文件不支持分块",
       "confirmDelete": "即将删除该文件，删除后该将无法找回，请确认你的操作",
       "confirmDeleteMultiFiles": "即将删除选中的 {{count}} 个文件，删除后该将无法找回，请确认你的操作",
       "confirmRemoveFromKnowledgeBase": "即将从知识库中移除选中的 {{count}} 个文件，移除后文件仍然可以在全部文件中查看，请确认你的操作",

package/locales/zh-TW/components.json

@@ -12,6 +12,7 @@
       "batchChunking": "批量分塊",
       "chunking": "分塊",
       "chunkingTooltip": "將文件拆分為多個文本塊並向量化後，可用於語義檢索和文件對話",
+      "chunkingUnsupported": "該檔案不支援分塊",
       "confirmDelete": "即將刪除該文件，刪除後將無法找回，請確認你的操作",
       "confirmDeleteMultiFiles": "即將刪除選中的 {{count}} 個文件，刪除後將無法找回，請確認你的操作",
       "confirmRemoveFromKnowledgeBase": "即將從知識庫中移除選中的 {{count}} 個文件，移除後文件仍然可以在全部文件中查看，請確認你的操作",

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@lobehub/chat",
-  "version": "1.26.19",
+  "version": "1.26.20",
   "description": "Lobe Chat - an open-source, high-performance chatbot framework that supports speech synthesis, multimodal, and extensible Function Call plugin system. Supports one-click free deployment of your private ChatGPT/LLM web application.",
   "keywords": [
     "framework",

package/src/features/FileManager/FileList/FileListItem/index.tsx

@@ -15,6 +15,7 @@ import FileIcon from '@/components/FileIcon';
 import { fileManagerSelectors, useFileStore } from '@/store/file';
 import { FileListItem } from '@/types/files';
 import { formatSize } from '@/utils/format';
+import { isChunkingUnsupported } from '@/utils/isChunkingUnsupported';
 
 import ChunksBadge from './ChunkTag';
 import DropdownMenu from './DropdownMenu';
@@ -107,6 +108,8 @@ const FileRenderItem = memo<FileRenderItemProps>(
       s.parseFilesToChunks,
     ]);
 
+    const isSupportedForChunking = !isChunkingUnsupported(fileType);
+
     const displayTime =
       dayjs().diff(dayjs(createdAt), 'd') < 7
         ? dayjs(createdAt).fromNow()
@@ -160,9 +163,14 @@ const FileRenderItem = memo<FileRenderItemProps>(
               <div className={isCreatingFileParseTask ? undefined : styles.hover}>
                 <Tooltip
                   overlayStyle={{ pointerEvents: 'none' }}
-                  title={t('FileManager.actions.chunkingTooltip')}
+                  title={t(
+                    isSupportedForChunking
+                      ? 'FileManager.actions.chunkingTooltip'
+                      : 'FileManager.actions.chunkingUnsupported',
+                  )}
                 >
                   <Button
+                    disabled={!isSupportedForChunking}
                     icon={<Icon icon={FileBoxIcon} />}
                     loading={isCreatingFileParseTask}
                     onClick={() => {

package/src/features/FileManager/FileList/ToolBar/index.tsx

@@ -6,6 +6,7 @@ import { Flexbox } from 'react-layout-kit';
 import { useAddFilesToKnowledgeBaseModal } from '@/features/KnowledgeBaseModal';
 import { useFileStore } from '@/store/file';
 import { useKnowledgeBaseStore } from '@/store/knowledgeBase';
+import { isChunkingUnsupported } from '@/utils/isChunkingUnsupported';
 
 import Config from './Config';
 import MultiSelectActions, { MultiSelectActionType } from './MultiSelectActions';
@@ -44,9 +45,10 @@ const ToolBar = memo<MultiSelectActionsProps>(
   }) => {
     const { styles } = useStyles();
 
-    const [removeFiles, parseFilesToChunks] = useFileStore((s) => [
+    const [removeFiles, parseFilesToChunks, fileList] = useFileStore((s) => [
       s.removeFiles,
       s.parseFilesToChunks,
+      s.fileList,
     ]);
     const [removeFromKnowledgeBase] = useKnowledgeBaseStore((s) => [
       s.removeFilesFromKnowledgeBase,
@@ -86,7 +88,11 @@ const ToolBar = memo<MultiSelectActionsProps>(
         }
 
         case 'batchChunking': {
-          await parseFilesToChunks(selectFileIds, { skipExist: true });
+          const chunkableFileIds = selectFileIds.filter((id) => {
+            const file = fileList.find((f) => f.id === id);
+            return file && !isChunkingUnsupported(file.fileType);
+          });
+          await parseFilesToChunks(chunkableFileIds, { skipExist: true });
           setSelectedFileIds([]);
           return;
         }

package/src/locales/default/components.ts

@@ -12,6 +12,7 @@ export default {
       batchChunking: '批量分块',
       chunking: '分块',
       chunkingTooltip: '将文件拆分为多个文本块并向量化后，可用于语义检索和文件对话',
+      chunkingUnsupported: '该文件不支持分块',
       confirmDelete: '即将删除该文件，删除后该将无法找回，请确认你的操作',
       confirmDeleteMultiFiles:
         '即将删除选中的 {{count}} 个文件，删除后该将无法找回，请确认你的操作',

package/src/store/file/slices/chat/action.ts

@@ -17,6 +17,7 @@ import { useUserStore } from '@/store/user';
 import { preferenceSelectors } from '@/store/user/selectors';
 import { FileListItem } from '@/types/files';
 import { UploadFileItem } from '@/types/files/upload';
+import { isChunkingUnsupported } from '@/utils/isChunkingUnsupported';
 import { sleep } from '@/utils/sleep';
 import { setNamespace } from '@/utils/storeDebug';
 
@@ -151,7 +152,7 @@ export const createFileSlice: StateCreator<
       if (!fileResult) return;
 
       // image don't need to be chunked and embedding
-      if (file.type.startsWith('image')) return;
+      if (isChunkingUnsupported(file.type)) return;
 
       // 3. auto chunk and embedding
       dispatchChatUploadFileList({

package/src/utils/isChunkingUnsupported.test.ts

@@ -0,0 +1,43 @@
+import { describe, expect, it } from 'vitest';
+
+import { isChunkingUnsupported } from './isChunkingUnsupported';
+
+describe('isChunkingUnsupported', () => {
+  it('should return true for image file types', () => {
+    expect(isChunkingUnsupported('image/jpeg')).toBe(true);
+    expect(isChunkingUnsupported('image/png')).toBe(true);
+    expect(isChunkingUnsupported('image/gif')).toBe(true);
+    expect(isChunkingUnsupported('image/svg+xml')).toBe(true);
+  });
+
+  it('should return true for video file types', () => {
+    expect(isChunkingUnsupported('video/mp4')).toBe(true);
+    expect(isChunkingUnsupported('video/quicktime')).toBe(true);
+    expect(isChunkingUnsupported('video/x-msvideo')).toBe(true);
+    expect(isChunkingUnsupported('video/webm')).toBe(true);
+  });
+
+  it('should return true for audio file types', () => {
+    expect(isChunkingUnsupported('audio/mpeg')).toBe(true);
+    expect(isChunkingUnsupported('audio/wav')).toBe(true);
+    expect(isChunkingUnsupported('audio/ogg')).toBe(true);
+    expect(isChunkingUnsupported('audio/midi')).toBe(true);
+  });
+
+  it('should return false for other file types', () => {
+    expect(isChunkingUnsupported('text/plain')).toBe(false);
+    expect(isChunkingUnsupported('application/pdf')).toBe(false);
+    expect(isChunkingUnsupported('application/json')).toBe(false);
+    expect(isChunkingUnsupported('application/xml')).toBe(false);
+  });
+
+  it('should handle empty string input', () => {
+    expect(isChunkingUnsupported('')).toBe(false);
+  });
+
+  it('should handle non-standard file types', () => {
+    expect(isChunkingUnsupported('image-x-custom')).toBe(true);
+    expect(isChunkingUnsupported('video-custom')).toBe(true);
+    expect(isChunkingUnsupported('audio-special')).toBe(true);
+  });
+});

package/src/utils/isChunkingUnsupported.ts

@@ -0,0 +1,6 @@
+export const isChunkingUnsupported = (fileType: string): boolean => {
+  if (fileType.startsWith('image')) return true;
+  if (fileType.startsWith('video')) return true;
+  if (fileType.startsWith('audio')) return true;
+  return false; // false doesn't mean supported, it means we don't know
+};