@lobehub/chat 1.84.27 → 1.85.0

package/src/store/chat/slices/aiChat/actions/__tests__/rag.test.ts

@@ -197,13 +197,13 @@ describe('chatRAG actions', () => {
       expect(result.current.internal_shouldUseRAG()).toBe(true);
     });
 
-    it('should return true if has user files', () => {
+    it('should return false if has user files', () => {
       const { result } = renderHook(() => useChatStore());
 
       vi.spyOn(agentSelectors, 'hasEnabledKnowledge').mockReturnValue(false);
       vi.spyOn(chatSelectors, 'currentUserFiles').mockReturnValue([{ id: 'file-1' }] as any);
 
-      expect(result.current.internal_shouldUseRAG()).toBe(true);
+      expect(result.current.internal_shouldUseRAG()).toBeFalsy();
     });
 
     it('should return false if no knowledge or files', () => {

package/src/store/chat/slices/aiChat/actions/rag.ts

@@ -130,9 +130,8 @@ export const chatRag: StateCreator<ChatStore, [['zustand/devtools', never]], [],
     return rewriteQuery;
   },
   internal_shouldUseRAG: () => {
-    const userFiles = chatSelectors.currentUserFiles(get()).map((f) => f.id);
-    //  if there is relative files or enabled knowledge, try with ragQuery
-    return hasEnabledKnowledge() || userFiles.length > 0;
+    //  if there is enabled knowledge, try with ragQuery
+    return hasEnabledKnowledge();
   },
 
   internal_toggleMessageRAGLoading: (loading, id) => {

package/src/store/file/slices/chat/action.ts

@@ -7,14 +7,10 @@ import { fileService } from '@/services/file';
 import { ServerService } from '@/services/file/server';
 import { ragService } from '@/services/rag';
 import { UPLOAD_NETWORK_ERROR } from '@/services/upload';
-import { userService } from '@/services/user';
-import { useAgentStore } from '@/store/agent';
 import {
   UploadFileListDispatch,
   uploadFileListReducer,
 } from '@/store/file/reducers/uploadFileList';
-import { useUserStore } from '@/store/user';
-import { preferenceSelectors } from '@/store/user/selectors';
 import { FileListItem } from '@/types/files';
 import { UploadFileItem } from '@/types/files/upload';
 import { isChunkingUnsupported } from '@/utils/isChunkingUnsupported';
@@ -97,7 +93,7 @@ export const createFileSlice: StateCreator<
   },
 
   uploadChatFiles: async (rawFiles) => {
-    const { dispatchChatUploadFileList, startAsyncTask } = get();
+    const { dispatchChatUploadFileList } = get();
     // 0. skip file in blacklist
     const files = rawFiles.filter((file) => !FILE_UPLOAD_BLACKLIST.includes(file.name));
     // 1. add files with base64
@@ -154,52 +150,8 @@ export const createFileSlice: StateCreator<
       // image don't need to be chunked and embedding
       if (isChunkingUnsupported(file.type)) return;
 
-      // 3. auto chunk and embedding
-      dispatchChatUploadFileList({
-        id: fileResult.id,
-        type: 'updateFile',
-        // make the taks empty to hint the user that the task is starting but not triggered
-        value: { tasks: {} },
-      });
-
-      await startAsyncTask(
-        fileResult.id,
-        async (id) => {
-          const data = await ragService.createParseFileTask(id);
-          if (!data || !data.id) throw new Error('failed to createParseFileTask');
-
-          // run the assignment
-          useAgentStore
-            .getState()
-            .addFilesToAgent([id], false)
-            .then(() => {
-              // trigger the tip if it's the first time
-              if (!preferenceSelectors.shouldTriggerFileInKnowledgeBaseTip(useUserStore.getState()))
-                return;
-
-              userService.updateGuide({ uploadFileInKnowledgeBase: true });
-            });
-
-          return data.id;
-        },
-
-        (fileItem) => {
-          dispatchChatUploadFileList({
-            id: fileResult.id,
-            type: 'updateFile',
-            value: {
-              tasks: {
-                chunkCount: fileItem.chunkCount,
-                chunkingError: fileItem.chunkingError,
-                chunkingStatus: fileItem.chunkingStatus,
-                embeddingError: fileItem.embeddingError,
-                embeddingStatus: fileItem.embeddingStatus,
-                finishEmbedding: fileItem.finishEmbedding,
-              },
-            },
-          });
-        },
-      );
+      const data = await ragService.parseFileContent(fileResult.id);
+      console.log(data);
     });
 
     await Promise.all(pools);

package/src/types/document/index.ts

@@ -0,0 +1,172 @@
+/**
+ * 在 LobeChat 中的文档对象
+ */
+export interface LobeDocument {
+  /**
+   * 文件内容
+   */
+  content: string | null;
+  /**
+   * 文件创建时间戳。
+   */
+  createdAt: Date;
+
+  /**
+   * 文件类型或扩展名
+   */
+  fileType: string;
+
+  /**
+   * 原始文件名。
+   */
+  filename: string;
+
+  id: string;
+
+  /**
+   * 文件级别的元数据。
+   * 例如从文件属性中提取的标题、作者，或整个文件加载失败时的错误。
+   */
+  metadata: {
+    /**
+     * 允许添加其他文件级别的元数据。
+     */
+    [key: string]: any;
+    /**
+     * 文档作者 (如果可用)。
+     */
+    author?: string;
+    /**
+     * 如果整个文件加载失败，记录错误信息。
+     */
+    error?: string;
+  };
+
+  /**
+   * 包含文档中所有逻辑页面/块的数组。
+   * 顺序通常对应文件中的自然顺序。
+   */
+  pages?: LobeDocumentPage[];
+
+  /**
+   * 原始文件的完整路径。
+   */
+  source: string;
+
+  /**
+   * 文档标题 (如果可用)。
+   */
+  title?: string;
+
+  /**
+   * 整个文档的总字符数 (所有 Page 的 charCount 之和)。
+   * 需要在所有 Page 加载和计算后得出。
+   */
+  totalCharCount: number;
+
+  /**
+   * 整个文档的总行数 (所有 Page 的 lineCount 之和)。
+   * 需要在所有 Page 加载和计算后得出。
+   */
+  totalLineCount: number;
+
+  /**
+   * 文件最后修改时间戳。
+   */
+  updatedAt: Date;
+}
+
+/**
+ * 代表文件中的一个逻辑单元/页面/块。
+ */
+export interface LobeDocumentPage {
+  /**
+   * 此页/块内容的字符数。
+   */
+  charCount: number;
+
+  /**
+   * 此页/块内容的行数。
+   */
+  lineCount: number;
+
+  /**
+   * 与此页/块相关的元数据。
+   */
+  metadata: {
+    /**
+     * 允许添加其他特定于页/块的元数据。
+     */
+    [key: string]: any;
+
+    /**
+     * 如果原始文件单元被进一步分割成块，这是当前块的索引。
+     */
+    chunkIndex?: number;
+
+    /**
+     * 处理此页/块时发生的错误。
+     */
+    error?: string;
+
+    /**
+     * 此页/块在原始文件中的结束行号。
+     */
+    lineNumberEnd?: number;
+
+    /**
+     * 此页/块在原始文件中的起始行号。
+     */
+    lineNumberStart?: number;
+
+    /**
+     * 页码 (适用于 PDF, DOCX)。
+     */
+    pageNumber?: number;
+
+    /**
+     * 与此页/块相关的章节标题。
+     */
+    sectionTitle?: string;
+
+    /**
+     * 工作表名称 (适用于 XLSX)。
+     */
+    sheetName?: string;
+
+    /**
+     * 幻灯片编号 (适用于 PPTX)。
+     */
+    slideNumber?: number;
+
+    /**
+     * 如果原始文件单元被进一步分割成块，这是该单元的总块数。
+     */
+    totalChunks?: number;
+  };
+
+  /**
+   * 此页/块的核心文本内容。
+   */
+  pageContent: string;
+}
+
+/**
+ * 文档来源类型
+ */
+export enum DocumentSourceType {
+  /**
+   * 来自 API 的内容
+   */
+  API = 'api',
+
+  /**
+   * 本地或上传的文件
+   */
+  FILE = 'file',
+
+  /**
+   * 网页内容
+   */
+  WEB = 'web',
+}

package/src/types/message/chat.ts

@@ -31,6 +31,7 @@ export interface ChatTTS {
 }
 
 export interface ChatFileItem {
+  content?: string;
   fileType: string;
   id: string;
   name: string;

package/src/features/ChatInput/Desktop/FilePreview/FileItem/style.ts

@@ -1,4 +0,0 @@
-export const FILE_ITEM_SIZE = 200;
-
-// 8px on each side
-export const IMAGE_FILE_SIZE = 200 - 2 * 8;