auto-coder 0.1.266__tar.gz → 0.1.268__tar.gz

{auto_coder-0.1.266 → auto_coder-0.1.268}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: auto-coder
-Version: 0.1.266
+Version: 0.1.268
 Summary: AutoCoder: AutoCoder
 Author: allwefantasy
 Classifier: Topic :: Scientific/Engineering :: Artificial Intelligence

{auto_coder-0.1.266 → auto_coder-0.1.268}/src/auto_coder.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: auto-coder
-Version: 0.1.266
+Version: 0.1.268
 Summary: AutoCoder: AutoCoder
 Author: allwefantasy
 Classifier: Topic :: Scientific/Engineering :: Artificial Intelligence

{auto_coder-0.1.266 → auto_coder-0.1.268}/src/autocoder/chat_auto_coder.py

@@ -133,8 +133,7 @@ commands = [
     "/index/build",
     "/index/export",
     "/index/import",
-    "/exclude_dirs",
-    "/exclude_files",
+    "/exclude_files",        
     "/help",
     "/shell",
     "/voice_input",
@@ -148,6 +147,7 @@ commands = [
     "/auto",
     "/conf/export",
     "/conf/import",
+    "/exclude_dirs",
 ]
 
 
@@ -1507,7 +1507,7 @@ def coding(query: str):
             "silence": conf.get("silence", "true") == "true",
             "include_project_structure": conf.get("include_project_structure", "true")
             == "true",
-            "exclude_files": conf.get("exclude_files", []),
+            "exclude_files": memory.get("exclude_files", []),
         }
 
         yaml_config["context"] = ""        
@@ -1636,7 +1636,7 @@ def chat(query: str):
         "skip_build_index": conf.get("skip_build_index", "true") == "true",
         "skip_confirm": conf.get("skip_confirm", "true") == "true",
         "silence": conf.get("silence", "true") == "true",
-        "exclude_files": conf.get("exclude_files", []),
+        "exclude_files": memory.get("exclude_files", []),
     }
 
     current_files = memory["current_files"]["files"] + get_llm_friendly_package_docs(
@@ -2284,10 +2284,44 @@ def exclude_dirs(dir_names: List[str]):
     save_memory()
     completer.refresh_files()
 
-def exclude_files(file_patterns: List[str]):
+def exclude_files(query: str):
     result_manager = ResultManager()
     printer = Printer()
-    new_file_patterns = file_patterns
+    if "/list" in query:
+        query = query.replace("/list", "", 1).strip()
+        existing_file_patterns = memory.get("exclude_files", []) 
+        console = Console()
+        # 打印表格
+        table = Table(title="Exclude Files")
+        table.add_column("File Pattern")
+        for file_pattern in existing_file_patterns:
+            table.add_row(file_pattern)
+        console.print(table)
+        result_manager.add_result(content=f"Exclude files: {existing_file_patterns}",meta={
+            "action": "exclude_files",
+            "input": {
+                "query": query
+            }
+        })
+        return
+
+    if "/drop" in query:
+        query = query.replace("/drop", "", 1).strip()
+        existing_file_patterns = memory.get("exclude_files", [])    
+        existing_file_patterns.remove(query.strip())
+        memory["exclude_files"] = existing_file_patterns
+        save_memory()
+        completer.refresh_files()
+        result_manager.add_result(content=f"Dropped exclude files: {query}",meta={
+            "action": "exclude_files",
+            "input": {
+                "query": query
+            }
+        })
+        return
+    
+    new_file_patterns = query.strip().split(",")
+    
     existing_file_patterns = memory.get("exclude_files", [])    
     file_patterns_to_add = [f for f in new_file_patterns if f not in existing_file_patterns]
 
@@ -2383,7 +2417,7 @@ def help(query: str):
     args = get_final_config()
     product_mode = memory.get("product_mode", "lite")
     llm = get_single_llm(args.chat_model or args.model, product_mode=product_mode)
-    auto_config_tuner = ConfigAutoTuner(llm=llm, memory_config=MemoryConfig(memory=memory, save_memory_func=save_memory))
+    auto_config_tuner = ConfigAutoTuner(args=args, llm=llm, memory_config=MemoryConfig(memory=memory, save_memory_func=save_memory))
     auto_config_tuner.tune(AutoConfigRequest(query=query))    
 
 @run_in_raw_thread()
@@ -2924,9 +2958,8 @@ def main():
                 exclude_dirs(dir_names)
 
             elif user_input.startswith("/exclude_files"):
-                file_patterns = user_input[len(
-                    "/exclude_files"):].strip().split(",")
-                exclude_files(file_patterns)
+                query = user_input[len("/exclude_files"):].strip()                
+                exclude_files(query)
 
             elif user_input.startswith("/ask"):
                 query = user_input[len("/ask"):].strip()

{auto_coder-0.1.266 → auto_coder-0.1.268}/src/autocoder/commands/auto_command.py

@@ -213,7 +213,11 @@ class CommandAutoTuner:
         通过 get_project_structure 来获取项目结构，然后通过 get_project_map 来获取你想看的某个文件的用途，符号列表，最后再通过 read_files/read_file_with_keyword_ranges 函数来读取文件内容,确认对应的功能是否在相关的文件里。
         5. 调用 coding 函数的时候，尽可能多的 @文件和@@符号，让需求更加清晰明了，建议多描述具体怎么完成对应的需求。
         6. 对于代码需求设计，尽可能使用 chat 函数。
-        7. 如果成功执行了 coding 函数，最好再调用一次 chat("/review /commit")
+        7. 如果成功执行了 coding 函数，最好再调用一次 chat("/review /commit")    
+        8. 我们所有的对话不能超过 {{ conversation_safe_zone_tokens }} 个tokens,当你读取索引文件 (get_project_map) 的时候，你可以看到
+        每个文件的tokens数，你可以根据这个信息来决定如何读取这个文件。比如对于很小的文件，那么可以直接全部读取，
+        而对于分析一个超大文件推荐组合 read_files 带上 line_ranges 参数来读取，或者组合 read_file_withread_file_with_keyword_ranges 等来读取，
+        每个函数你还可以使用多次来获取更多信息。
         </function_combination_readme>
 
 
@@ -262,7 +266,8 @@ class CommandAutoTuner:
             "current_conf": json.dumps(self.memory_config.memory["conf"], indent=2),        
             "env_info": env_info,
             "shell_type": shells.get_terminal_name(),
-            "shell_encoding": shells.get_terminal_encoding()
+            "shell_encoding": shells.get_terminal_encoding(),
+            "conversation_safe_zone_tokens": self.args.conversation_prune_safe_zone_tokens
         }
     
     @byzerllm.prompt()
@@ -274,7 +279,7 @@ class CommandAutoTuner:
         
         <function_result>
         {{ result }}
-        </function_result>
+        </function_result>                
 
         请根据命令执行结果以及前面的对话，返回下一个函数。
         
@@ -283,7 +288,8 @@ class CommandAutoTuner:
         2. 你最多尝试 {{ auto_command_max_iterations }} 次，如果 {{ auto_command_max_iterations }} 次都没有满足要求，则不要返回任何函数，确保 suggestions 为空。
         '''   
         return {
-            "auto_command_max_iterations": self.args.auto_command_max_iterations
+            "auto_command_max_iterations": self.args.auto_command_max_iterations,
+            "conversation_safe_zone_tokens": self.args.conversation_prune_safe_zone_tokens
         } 
     
     def analyze(self, request: AutoCommandRequest) -> AutoCommandResponse:
@@ -302,8 +308,7 @@ class CommandAutoTuner:
             # 提取 JSON 并转换为 AutoCommandResponse
             try:
                 response = to_model(content, AutoCommandResponse)  
-                if response.suggestions:
-                    print(response)
+                if response.suggestions:                    
                     command = response.suggestions[0].command
                     parameters = response.suggestions[0].parameters                    
                     if parameters:
@@ -507,11 +512,21 @@ class CommandAutoTuner:
           如果你检测到用户的coding执行结果，缺少必要的文件修改，可以尝试使用该函数先添加文件再执行coding。
         </description>
         <usage>
-         该方法只有一个参数 args，args 是一个列表，列表的元素是字符串。会包含子指令，例如 
-         
-         add_files(args=["/refresh"]) 
-        
-         会刷新文件列表。下面是常见的子指令：
+         该方法只有一个参数 args，args 是一个列表，列表的元素是字符串。
+
+         如果没有包含子指令，单纯的添加文件，那么 args 列表的元素是文件路径，注意我们需要使用绝对路径。
+
+         使用例子：
+
+         add_files(args=["/absolute/path/to/file1.py"])
+
+         也支持glob 语法，例如：
+
+         add_files(args=["**/*.py"])
+
+         这样会把项目根目录下的所有.py文件添加到活跃区，尽量确保少的添加文件。
+
+         如果是有子指令，参考下面是常见的子指令说明。
 
          ## /refresh 刷新文件列表
          刷新文件列表
@@ -757,6 +772,8 @@ class CommandAutoTuner:
          coding(query="@auth.py 添加JWT认证")
          coding(query="@@login 优化错误处理")
          coding(query="<img>design/flow.png</img> 实现这个流程图的功能")
+
+         在使用 coding 函数时，建议通过 ask_user 来确认是否执行 coding 函数，除非用户明确说不要询问，直接执行。
         </usage>
         </command>
 
@@ -974,23 +991,7 @@ class CommandAutoTuner:
          感兴趣，可以配合 read_files 函数来读取文件内容，从而帮你做更好的决策
              
         </usage>
-        </command>
-
-        <command>
-        <name>get_related_files</name>
-        <description>根据类名、函数名或文件用途描述，返回项目中相关的文件。</description>
-        <usage>
-         该命令接受一个参数 query，为要查询的符号或描述字符串。
-         
-         使用例子：
-         
-         get_related_files(query="用户登录功能")
-         
-         注意：
-         - 返回值为逗号分隔的文件路径列表
-         - 只能返回已被索引的文件
-        </usage>
-        </command>
+        </command>        
 
         <command>
         <name>get_project_map</name>
@@ -1170,15 +1171,23 @@ class CommandAutoTuner:
         <name>exclude_files</name>
         <description>排除指定文件。</description>
         <usage>
-         该命令接受一个参数 file_patterns, 为要排除的文件模式字符串列表。
+         该命令接受一个参数 query, 为要排除的文件模式字符串,多个文件模式用逗号分隔。
          
          使用例子,比如你想要排除 package-lock.json 文件，你可以这样调用：
         
-         exclude_files(file_patterns=["regex://.*/package-lock\.json"])
+         exclude_files(query="regex://.*/package-lock\.json")
          
          注意：
          - 文件模式字符串必须以 regex:// 开头
          - regex:// 后面部分是标准的正则表达式         
+
+         也支持子命令：
+         /list 列出当前排除的文件模式
+         /drop 删除指定的文件模式
+
+         使用例子：
+         exclude_files(query="/list")
+         exclude_files(query="/drop regex://.*/package-lock\.json")
         </usage>
         </command>
         </commands>

{auto_coder-0.1.266 → auto_coder-0.1.268}/src/autocoder/common/auto_coder_lang.py

@@ -3,6 +3,7 @@ from byzerllm.utils import format_str_jinja2
 
 MESSAGES = {
     "en": {
+        "file_scored_message": "File scored: {{file_path}} - Score: {{score}}",
         "invalid_file_pattern": "Invalid file pattern: {{file_pattern}}. e.g. regex://.*/package-lock\\.json",
         "config_validation_error": "Config validation error: {{error}}",
         "invalid_boolean_value": "Value '{{value}}' is not a valid boolean(true/false)",
@@ -159,9 +160,11 @@ MESSAGES = {
         "index_export_success": "Index exported successfully: {{path}}",
         "index_import_success": "Index imported successfully: {{path}}",
         "edits_title": "edits",
-        "diff_blocks_title":"diff blocks"
+        "diff_blocks_title":"diff blocks",
+        "index_exclude_files_error": "index filter exclude files fail: {{ error }}"
     },
     "zh": {
+        "file_scored_message": "文件评分: {{file_path}} - 分数: {{score}}",
         "invalid_file_pattern": "无效的文件模式: {{file_pattern}}. 例如: regex://.*/package-lock\\.json",
         "conf_not_found": "未找到配置文件: {{path}}",
         "conf_import_success": "成功导入配置: {{path}}",
@@ -317,6 +320,7 @@ MESSAGES = {
         "index_import_success": "索引导入成功: {{path}}",
         "edits_title": "编辑块",
         "diff_blocks_title": "差异块",
+        "index_exclude_files_error": "索引排除文件时出错: {{error}}"
     }}
 
 

{auto_coder-0.1.266 → auto_coder-0.1.268}/src/autocoder/common/auto_configure.py

@@ -14,6 +14,8 @@ from byzerllm.utils.str2model import to_model
 from autocoder.utils.auto_coder_utils.chat_stream_out import stream_out
 from autocoder.common.result_manager import ResultManager
 from autocoder.utils import llms as llms_utils
+from autocoder.common import AutoCoderArgs
+
 logger = logging.getLogger(__name__)
 
 class ConfigMessage(BaseModel):
@@ -120,9 +122,10 @@ class AutoConfigResponse(BaseModel):
     reasoning: str = ""        
 
 class ConfigAutoTuner:
-    def __init__(self, llm: Union[byzerllm.ByzerLLM, byzerllm.SimpleByzerLLM], memory_config: MemoryConfig):
+    def __init__(self,args: AutoCoderArgs, llm: Union[byzerllm.ByzerLLM, byzerllm.SimpleByzerLLM], memory_config: MemoryConfig):
         self.llm = llm
         self.memory_config = memory_config
+        self.args = args
             
 
     def configure(self, conf: str, skip_print: bool = False) -> None:

{auto_coder-0.1.266 → auto_coder-0.1.268}/src/autocoder/common/context_pruner.py

@@ -9,11 +9,15 @@ from autocoder.index.types import VerifyFileRelevance
 import byzerllm
 from concurrent.futures import ThreadPoolExecutor, as_completed
 
+from autocoder.common.printer import Printer
+from autocoder.common.auto_coder_lang import get_message_with_format
+
 class PruneContext:
     def __init__(self, max_tokens: int, args: AutoCoderArgs, llm: Union[byzerllm.ByzerLLM, byzerllm.SimpleByzerLLM]):
         self.max_tokens = max_tokens
         self.args = args
         self.llm = llm
+        self.printer = Printer()
 
     def _delete_overflow_files(self, file_paths: List[str]) -> List[SourceCode]:
         """直接删除超出 token 限制的文件"""
@@ -201,7 +205,7 @@ class PruneContext:
         total_tokens,sources = self._count_tokens(file_paths)
         if total_tokens <= self.max_tokens:
             return sources
-
+        # print(f"total_tokens: {total_tokens} {self.max_tokens}, 进行策略: {strategy}")
         if strategy == "score":            
             return self._score_and_filter_files(file_paths, conversations)
         if strategy == "delete":
@@ -281,9 +285,15 @@ class PruneContext:
         with ThreadPoolExecutor() as executor:
             futures = [executor.submit(_score_file, file_path) for file_path in file_paths]
             for future in as_completed(futures):
-                result = future.result()
-                print(f"score file {result['file_path']} {result['score']}")
+                result = future.result()                
                 if result:
+                    self.printer.print_str_in_terminal(
+                        get_message_with_format(
+                            "file_scored_message",
+                            file_path=result["file_path"],
+                            score=result["score"]
+                        )
+                    )
                     scored_files.append(result)
 
         # 第二步：按分数从高到低排序

{auto_coder-0.1.266 → auto_coder-0.1.268}/src/autocoder/index/entry.py

@@ -128,8 +128,9 @@ def build_index_and_filter_files(
                 model_name = "unknown(without default model name)" 
             printer.print_in_terminal("normal_filter_start", style="blue",model_name=model_name)
             normal_filter = NormalFilter(index_manager,stats,sources)
+            normal_filter_result = normal_filter.filter(index_manager.read_index(),args.query)
             # Merge normal filter results into final_files
-            final_files.update(normal_filter.filter(index_manager.read_index(),args.query))
+            final_files.update(normal_filter_result.files)
         
 
     def display_table_and_get_selections(data):
@@ -212,7 +213,7 @@ def build_index_and_filter_files(
 
     # Phase 6: File selection and limitation
     printer.print_in_terminal("phase6_file_selection")
-    phase_start = time.monotonic()
+    phase_start = time.monotonic()    
 
     if args.index_filter_file_num > 0:
         logger.info(
@@ -278,7 +279,7 @@ def build_index_and_filter_files(
             event=CommunicateEvent(
                 event_type=CommunicateEventType.CODE_INDEX_FILTER_FILE_SELECTED.value,
                 data=json.dumps([
-                    (file.file_path, file.reason)
+                    (file["file_path"], file.reason)
                     for file in final_files.values()
                     if file.file_path in depulicated_sources
                 ])