siada-cli 0.0.1__py3-none-any.whl

siada/tools/coder/repo_map/__init__.py

@@ -0,0 +1,157 @@
+"""
+Repo Map模块 - 代码仓库地图生成工具
+
+该模块提供了生成代码仓库地图的完整功能，包括：
+- 代码文件分析和标签提取
+- 基于PageRank算法的文件重要性排序
+- 智能的代码结构展示
+- 高性能的token计算
+- 灵活的IO处理
+
+主要组件：
+- RepoMap: 核心仓库地图生成器
+- IO: 标准输入输出处理器
+- TokenCounterModel: token计算模型
+- Tag: 代码标签数据结构
+"""
+
+from .repo_map import RepoMap, Tag
+from .io import IO, SilentIO, FileIO
+from .token_counter import TokenCounterModel, OptimizedTokenCounterModel
+from .dump import dump
+from .special import filter_important_files, is_important
+from .waiting import Spinner, WaitingSpinner
+
+__all__ = [
+    # 核心类
+    'RepoMap',
+    'Tag',
+    
+    # IO类
+    'IO',
+    'SilentIO', 
+    'FileIO',
+    
+    # Token计算类
+    'TokenCounterModel',
+    'OptimizedTokenCounterModel',
+    
+    # 工具函数
+    'dump',
+    'filter_important_files',
+    'is_important',
+    
+    # 等待/进度指示器
+    'Spinner',
+    'WaitingSpinner',
+]
+
+# 版本信息
+__version__ = '1.0.0'
+
+# 模块级别的便捷函数
+def create_repo_map(
+    root_path: str,
+    model_name: str = "claude-3-5-sonnet-20241022",
+    verbose: bool = False,
+    map_tokens: int = 1024,
+    **kwargs
+) -> RepoMap:
+    """
+    创建RepoMap实例的便捷函数
+    
+    Args:
+        root_path (str): 仓库根目录路径
+        model_name (str): 语言模型名称，默认为Claude 3.5 Sonnet
+        verbose (bool): 是否启用详细输出
+        map_tokens (int): 地图最大token数量
+        **kwargs: 其他RepoMap参数
+        
+    Returns:
+        RepoMap: 配置好的RepoMap实例
+        
+    Example:
+        >>> repo_map = create_repo_map("/path/to/repo", verbose=True)
+        >>> result = repo_map.get_repo_map(chat_files=[], other_files=python_files)
+    """
+    io = IO(verbose=verbose)
+    model = TokenCounterModel(model_name)
+    
+    return RepoMap(
+        root=root_path,
+        main_model=model,
+        io=io,
+        verbose=verbose,
+        map_tokens=map_tokens,
+        **kwargs
+    )
+
+
+def create_optimized_repo_map(
+    root_path: str,
+    model_name: str = "claude-3-5-sonnet-20241022",
+    verbose: bool = False,
+    map_tokens: int = 8192,
+    sampling_threshold: int = 10000,
+    **kwargs
+) -> RepoMap:
+    """
+    创建优化版RepoMap实例的便捷函数
+    
+    适用于大型代码仓库，使用优化的token计算器
+    
+    Args:
+        root_path (str): 仓库根目录路径
+        model_name (str): 语言模型名称
+        verbose (bool): 是否启用详细输出
+        map_tokens (int): 地图最大token数量，默认8192
+        sampling_threshold (int): 采样阈值
+        **kwargs: 其他RepoMap参数
+        
+    Returns:
+        RepoMap: 配置好的优化版RepoMap实例
+    """
+    io = IO(verbose=verbose)
+    model = OptimizedTokenCounterModel(model_name, sampling_threshold)
+    
+    return RepoMap(
+        root=root_path,
+        main_model=model,
+        io=io,
+        verbose=verbose,
+        map_tokens=map_tokens,
+        **kwargs
+    )
+
+
+def create_silent_repo_map(
+    root_path: str,
+    model_name: str = "claude-3-5-sonnet-20241022",
+    map_tokens: int = 1024,
+    **kwargs
+) -> RepoMap:
+    """
+    创建静默版RepoMap实例的便捷函数
+    
+    适用于测试或需要静默运行的场景
+    
+    Args:
+        root_path (str): 仓库根目录路径
+        model_name (str): 语言模型名称
+        map_tokens (int): 地图最大token数量
+        **kwargs: 其他RepoMap参数
+        
+    Returns:
+        RepoMap: 配置好的静默版RepoMap实例
+    """
+    io = SilentIO()
+    model = TokenCounterModel(model_name)
+    
+    return RepoMap(
+        root=root_path,
+        main_model=model,
+        io=io,
+        verbose=False,
+        map_tokens=map_tokens,
+        **kwargs
+    )

siada/tools/coder/repo_map/dump.py

@@ -0,0 +1,29 @@
+import json
+import traceback
+
+
+def cvt(s):
+    if isinstance(s, str):
+        return s
+    try:
+        return json.dumps(s, indent=4)
+    except TypeError:
+        return str(s)
+
+
+def dump(*vals):
+    # http://docs.python.org/library/traceback.html
+    stack = traceback.extract_stack()
+    vars = stack[-2][3]
+
+    # strip away the call to dump()
+    vars = "(".join(vars.split("(")[1:])
+    vars = ")".join(vars.split(")")[:-1])
+
+    vals = [cvt(v) for v in vals]
+    has_newline = sum(1 for v in vals if "\n" in v)
+    if has_newline:
+        print("%s:" % vars)
+        print(", ".join(vals))
+    else:
+        print("%s:" % vars, ", ".join(vals))

siada/tools/coder/repo_map/io.py

@@ -0,0 +1,226 @@
+"""
+IO类 - 提供标准的输入输出接口
+
+该模块提供了RepoMap使用的标准IO接口，包括：
+- 不同级别的日志输出（info, warning, error）
+- 文件读取功能
+- 可配置的输出选项
+"""
+
+import os
+import sys
+from typing import Optional, TextIO
+from pathlib import Path
+
+
+class IO:
+    """
+    标准IO类，提供文件读取和日志输出功能
+    
+    该类为RepoMap提供统一的IO接口，支持：
+    - 多级别日志输出
+    - 文件内容读取
+    - 可配置的输出目标
+    - 详细模式控制
+    """
+    
+    def __init__(
+        self, 
+        verbose: bool = False,
+        output_stream: Optional[TextIO] = None,
+        error_stream: Optional[TextIO] = None
+    ):
+        """
+        初始化IO实例
+        
+        Args:
+            verbose (bool): 是否启用详细输出模式
+            output_stream (TextIO, optional): 标准输出流，默认为sys.stdout
+            error_stream (TextIO, optional): 错误输出流，默认为sys.stderr
+        """
+        self.verbose = verbose
+        self.output_stream = output_stream or sys.stdout
+        self.error_stream = error_stream or sys.stderr
+        
+        # 统计信息
+        self.outputs = []
+        self.warnings = []
+        self.errors = []
+    
+    def tool_output(self, message: str) -> None:
+        """
+        输出信息消息
+        
+        Args:
+            message (str): 要输出的消息
+        """
+        self.outputs.append(message)
+        if self.verbose:
+            print(f"[INFO] {message}", file=self.output_stream)
+    
+    def tool_warning(self, message: str) -> None:
+        """
+        输出警告消息
+        
+        Args:
+            message (str): 要输出的警告消息
+        """
+        self.warnings.append(message)
+        print(f"[WARNING] {message}", file=self.error_stream)
+    
+    def tool_error(self, message: str) -> None:
+        """
+        输出错误消息
+        
+        Args:
+            message (str): 要输出的错误消息
+        """
+        self.errors.append(message)
+        print(f"[ERROR] {message}", file=self.error_stream)
+    
+    def read_text(self, filepath: str) -> str:
+        """
+        读取文件内容
+        
+        Args:
+            filepath (str): 文件路径
+            
+        Returns:
+            str: 文件内容，如果读取失败则返回空字符串
+        """
+        try:
+            # 确保路径是绝对路径或相对于当前工作目录的路径
+            path = Path(filepath)
+            
+            # 尝试不同的编码方式
+            encodings = ['utf-8', 'utf-8-sig', 'gbk', 'gb2312', 'latin1']
+            
+            for encoding in encodings:
+                try:
+                    with open(path, 'r', encoding=encoding) as f:
+                        content = f.read()
+                    return content
+                except UnicodeDecodeError:
+                    continue
+            
+            # 如果所有编码都失败，尝试二进制模式读取并忽略错误
+            with open(path, 'r', encoding='utf-8', errors='ignore') as f:
+                content = f.read()
+            
+            if self.verbose:
+                self.tool_warning(f"文件 {filepath} 使用fallback编码读取")
+            
+            return content
+            
+        except FileNotFoundError:
+            self.tool_error(f"文件不存在: {filepath}")
+            return ""
+        except PermissionError:
+            self.tool_error(f"没有权限读取文件: {filepath}")
+            return ""
+        except IsADirectoryError:
+            self.tool_error(f"路径是目录而不是文件: {filepath}")
+            return ""
+        except Exception as e:
+            self.tool_error(f"读取文件失败 {filepath}: {str(e)}")
+            return ""
+    
+    def clear_stats(self) -> None:
+        """清除统计信息"""
+        self.outputs.clear()
+        self.warnings.clear()
+        self.errors.clear()
+    
+    def get_stats(self) -> dict:
+        """
+        获取统计信息
+        
+        Returns:
+            dict: 包含输出、警告、错误数量的字典
+        """
+        return {
+            'outputs': len(self.outputs),
+            'warnings': len(self.warnings),
+            'errors': len(self.errors)
+        }
+    
+    def set_verbose(self, verbose: bool) -> None:
+        """
+        设置详细模式
+        
+        Args:
+            verbose (bool): 是否启用详细输出
+        """
+        self.verbose = verbose
+
+
+class SilentIO(IO):
+    """
+    静默IO类，不输出任何信息到控制台
+    
+    适用于测试或需要静默运行的场景
+    """
+    
+    def __init__(self):
+        """初始化静默IO实例"""
+        super().__init__(verbose=False)
+    
+    def tool_output(self, message: str) -> None:
+        """静默记录输出消息"""
+        self.outputs.append(message)
+    
+    def tool_warning(self, message: str) -> None:
+        """静默记录警告消息"""
+        self.warnings.append(message)
+    
+    def tool_error(self, message: str) -> None:
+        """静默记录错误消息"""
+        self.errors.append(message)
+
+
+class FileIO(IO):
+    """
+    文件IO类，将输出重定向到文件
+    
+    适用于需要将日志保存到文件的场景
+    """
+    
+    def __init__(
+        self, 
+        log_file: str,
+        verbose: bool = True,
+        append: bool = True
+    ):
+        """
+        初始化文件IO实例
+        
+        Args:
+            log_file (str): 日志文件路径
+            verbose (bool): 是否启用详细输出
+            append (bool): 是否追加到现有文件
+        """
+        self.log_file = Path(log_file)
+        self.append = append
+        
+        # 确保日志目录存在
+        self.log_file.parent.mkdir(parents=True, exist_ok=True)
+        
+        # 打开日志文件
+        mode = 'a' if append else 'w'
+        self.log_stream = open(self.log_file, mode, encoding='utf-8')
+        
+        super().__init__(
+            verbose=verbose,
+            output_stream=self.log_stream,
+            error_stream=self.log_stream
+        )
+    
+    def __del__(self):
+        """析构函数，确保文件被正确关闭"""
+        if hasattr(self, 'log_stream') and not self.log_stream.closed:
+            self.log_stream.close()
+    
+    def close(self):
+        """手动关闭日志文件"""
+        if hasattr(self, 'log_stream') and not self.log_stream.closed:
+            self.log_stream.close()