auto-coder 0.1.348__py3-none-any.whl → 0.1.349__py3-none-any.whl

autocoder/rag/cache/file_monitor_cache.py

@@ -1,22 +1,24 @@
 from autocoder.rag.cache.base_cache import BaseCacheManager
-from typing import Dict, List,Any,Optional
+from typing import Dict, List, Any, Optional, Union
 import os
 import threading
 from loguru import logger
 from watchfiles import watch, Change
 from autocoder.rag.variable_holder import VariableHolder
 from autocoder.common import SourceCode
-from autocoder.rag.utils import process_file_in_multi_process,process_file_local
+from autocoder.rag.utils import process_file_in_multi_process, process_file_local
 from watchfiles import Change, DefaultFilter, awatch, watch
+from byzerllm import SimpleByzerLLM, ByzerLLM
+from autocoder.common import AutoCoderArgs
 
 
 class AutoCoderRAGDocListener(BaseCacheManager):
     """
     基于文件系统实时监控的代码缓存管理器。
-    
+
     此类实现了对代码库的实时监控，当文件发生变化时（新增、修改、删除）自动更新缓存。
     与其他缓存管理器不同，它使用 watchfiles 库进行文件变更监控，无需定期扫描文件系统。
-    
+
     类属性:
         cache: 缓存字典，存储处理后的文件内容
         ignore_dirs: 需要忽略的目录列表
@@ -48,15 +50,15 @@ class AutoCoderRAGDocListener(BaseCacheManager):
         r"^test.*$",
     ]
 
-    def __init__(self, path: str, ignore_spec, required_exts: List, args=None, llm=None) -> None:
+    def __init__(self, path: str, ignore_spec, required_exts: List, args: Optional[AutoCoderArgs] = None, llm: Optional[Union[ByzerLLM, SimpleByzerLLM, str]] = None) -> None:
         """
         初始化文件监控缓存管理器。
-        
+
         参数:
             path: 需要监控的代码库根目录
             ignore_spec: 指定哪些文件/目录应被忽略的规则
             required_exts: 需要处理的文件扩展名列表
-            
+
         缓存结构 (self.cache):
             self.cache 是一个字典，其结构比其他缓存管理器更简单:
             {
@@ -67,19 +69,19 @@ class AutoCoderRAGDocListener(BaseCacheManager):
                 "file_path2": { ... },
                 ...
             }
-            
+
             与其他缓存管理器的主要区别:
             1. 不需要存储 MD5 哈希或修改时间，因为文件变更通过监控系统直接获取
             2. 没有本地持久化机制，所有缓存在内存中维护
             3. 缓存更新基于事件驱动，而非定期扫描
-            
+
         文件监控机制:
             - 使用 watchfiles 库监控文件系统变更
             - 支持三种事件类型: 添加(added)、修改(modified)、删除(deleted)
             - 使用单独线程进行监控，不阻塞主线程
             - 监控遵循配置的忽略规则和所需扩展名过滤
             - 初始化时会先加载所有符合条件的文件
-            
+
         源代码处理:
             使用 process_file_local 函数处理单个文件:
             - 参数: file_path (文件路径)
@@ -111,7 +113,7 @@ class AutoCoderRAGDocListener(BaseCacheManager):
     def stop(self):
         """
         停止文件监控线程。
-        
+
         设置停止事件并等待监控线程结束，用于在对象销毁前优雅地关闭监控。
         """
         self.stop_event.set()
@@ -126,7 +128,7 @@ class AutoCoderRAGDocListener(BaseCacheManager):
     def load_first(self):
         """
         初始化时加载所有符合条件的文件。
-        
+
         获取所有符合过滤条件的文件，并将它们添加到缓存中。
         这确保了缓存在开始监控前已经包含所有现有文件。
         """
@@ -139,16 +141,17 @@ class AutoCoderRAGDocListener(BaseCacheManager):
     def update_cache(self, file_path):
         """
         处理单个文件并更新缓存。
-        
+
         参数:
             file_path: 文件的绝对路径
-            
+
         处理流程:
             1. 使用 process_file_local 函数解析文件内容
             2. 将解析结果序列化并存储在缓存中
             3. 日志记录更新的文件及当前缓存状态
         """
-        source_code = process_file_local(file_path)
+        source_code = process_file_local(
+            file_path, llm=self.llm, product_mode=self.product_mode)
         self.cache[file_path] = {
             "file_path": file_path,
             "content": [c.model_dump() for c in source_code],
@@ -159,7 +162,7 @@ class AutoCoderRAGDocListener(BaseCacheManager):
     def remove_cache(self, file_path):
         """
         从缓存中移除指定文件。
-        
+
         参数:
             file_path: 要移除的文件的绝对路径
         """
@@ -170,7 +173,7 @@ class AutoCoderRAGDocListener(BaseCacheManager):
     def open_watch(self):
         """
         启动文件系统监控线程。
-        
+
         此方法会持续监控文件系统变更，直到 stop_event 被设置。
         当检测到文件变更时，会根据变更类型执行相应的操作:
         - 添加/修改文件: 调用 update_cache 更新缓存
@@ -190,10 +193,10 @@ class AutoCoderRAGDocListener(BaseCacheManager):
     def get_cache(self, options: Optional[Dict[str, Any]] = None):
         """
         获取当前缓存。
-        
+
         参数:
             options: 可选的参数，指定获取缓存时的选项
-            
+
         返回:
             当前内存中的缓存字典
         """
@@ -202,9 +205,9 @@ class AutoCoderRAGDocListener(BaseCacheManager):
     def _load_ignore_file(self):
         """
         加载忽略文件规则。
-        
+
         首先尝试加载 .serveignore 文件，如果不存在，则尝试加载 .gitignore 文件。
-        
+
         返回:
             包含忽略规则的字符串列表
         """
@@ -224,10 +227,10 @@ class AutoCoderRAGDocListener(BaseCacheManager):
     def get_all_files(self) -> List[str]:
         """
         获取所有符合条件的文件路径。
-        
+
         遍历指定目录，应用忽略规则和扩展名过滤，
         返回所有符合条件的文件的绝对路径。
-        
+
         返回:
             符合条件的文件路径列表
         """
@@ -258,4 +261,4 @@ class AutoCoderRAGDocListener(BaseCacheManager):
                 absolute_path = os.path.abspath(file_path)
                 all_files.append(absolute_path)
 
-        return all_files
+        return all_files

autocoder/rag/cache/local_byzer_storage_cache.py

@@ -8,6 +8,7 @@ from autocoder.rag.cache.base_cache import (
 from typing import Generator, List, Dict, Any, Optional, Tuple
 from autocoder.common import SourceCode
 from loguru import logger
+import functools
 import pathspec
 import os
 import uuid
@@ -30,7 +31,9 @@ from typing import Union
 from byzerllm import SimpleByzerLLM, ByzerLLM
 from autocoder.rag.cache.cache_result_merge import CacheResultMerger, MergeStrategy
 import time
+from typing import Optional,Union
 from .failed_files_utils import save_failed_files, load_failed_files
+from autocoder.utils.llms import get_llm_names
 
 if platform.system() != "Windows":
     import fcntl
@@ -71,8 +74,8 @@ class LocalByzerStorageCache(BaseCacheManager):
         emb_llm: Union[ByzerLLM, SimpleByzerLLM] = None,
         host: str = "127.0.0.1",
         port: int = 33333,
-        args=None,
-        llm=None,
+        args:Optional[AutoCoderArgs]=None,
+        llm:Optional[Union[ByzerLLM,SimpleByzerLLM,str]]=None,
     ):
         """
         初始化基于 Byzer Storage 的 RAG 缓存管理器。
@@ -225,6 +228,8 @@ class LocalByzerStorageCache(BaseCacheManager):
         from autocoder.rag.token_counter import initialize_tokenizer
 
         logger.info("[BUILD CACHE] Starting parallel file processing...")
+        llm_name = get_llm_names(self.llm)[0] if self.llm else None
+        product_mode = self.args.product_mode
         start_time = time.time()
         with Pool(
             processes=os.cpu_count(),
@@ -235,8 +240,9 @@ class LocalByzerStorageCache(BaseCacheManager):
             for file_info in files_to_process:
                 target_files_to_process.append(
                     self.fileinfo_to_tuple(file_info))
-            results = pool.map(process_file_in_multi_process,
-                               target_files_to_process)
+            worker_func = functools.partial(process_file_in_multi_process, llm=llm_name, product_mode=product_mode)
+            results = pool.map(worker_func, target_files_to_process)
+        
         processing_time = time.time() - start_time
         logger.info(f"[BUILD CACHE] File processing completed, time elapsed: {processing_time:.2f}s")
 
@@ -452,7 +458,7 @@ class LocalByzerStorageCache(BaseCacheManager):
                         f"[QUEUE PROCESSING] Processing file update: {file_info.file_path}")
                     try:
                         content = process_file_local(
-                            self.fileinfo_to_tuple(file_info))
+                            self.fileinfo_to_tuple(file_info), llm=self.llm, product_mode=self.product_mode)
                         if content:
                             self.cache[file_info.file_path] = CacheItem(
                                 file_path=file_info.file_path,