jarvis-ai-assistant 0.3.30__py3-none-any.whl → 0.7.6__py3-none-any.whl

jarvis/jarvis_code_agent/code_analyzer/dependency_analyzer.py

@@ -0,0 +1,132 @@
+"""依赖分析器基础模块。
+
+提供依赖分析的基础类和接口，具体语言的实现应在各自的语言支持模块中。
+"""
+
+import os
+from dataclasses import dataclass
+from typing import Dict, List, Set, Optional
+
+from .file_ignore import filter_walk_dirs
+
+@dataclass
+class Dependency:
+    """Represents an import dependency."""
+    from_module: str
+    imported_symbol: Optional[str] = None  # None means import entire module
+    file_path: str = ""
+    line: int = 0
+
+class DependencyGraph:
+    """Represents the dependency graph of a project."""
+
+    def __init__(self):
+        # file_path -> set of file_paths it depends on
+        self.dependencies: Dict[str, Set[str]] = {}
+        # file_path -> set of file_paths that depend on it
+        self.dependents: Dict[str, Set[str]] = {}
+
+    def add_dependency(self, file_path: str, dependency_path: str):
+        """Adds a dependency from file_path to dependency_path."""
+        if file_path not in self.dependencies:
+            self.dependencies[file_path] = set()
+        self.dependencies[file_path].add(dependency_path)
+
+        if dependency_path not in self.dependents:
+            self.dependents[dependency_path] = set()
+        self.dependents[dependency_path].add(file_path)
+
+    def get_dependencies(self, file_path: str) -> List[str]:
+        """Gets the list of files that file_path depends on."""
+        return list(self.dependencies.get(file_path, set()))
+
+    def get_dependents(self, file_path: str) -> List[str]:
+        """Gets the list of files that depend on file_path."""
+        return list(self.dependents.get(file_path, set()))
+
+    def clear_file_dependencies(self, file_path: str):
+        """Removes all dependency information for a specific file."""
+        if file_path in self.dependencies:
+            # Remove this file's dependencies on others
+            deps_to_remove = self.dependencies.pop(file_path)
+            for dep in deps_to_remove:
+                if dep in self.dependents and file_path in self.dependents[dep]:
+                    self.dependents[dep].remove(file_path)
+                    if not self.dependents[dep]:
+                        del self.dependents[dep]
+
+        # Remove other files' dependencies on this file
+        if file_path in self.dependents:
+            dependents_to_remove = self.dependents.pop(file_path)
+            for dep_file in dependents_to_remove:
+                if dep_file in self.dependencies and file_path in self.dependencies[dep_file]:
+                    self.dependencies[dep_file].remove(file_path)
+                    if not self.dependencies[dep_file]:
+                        del self.dependencies[dep_file]
+
+
+class DependencyAnalyzer:
+    """Analyzes import dependencies in a source code file.
+    
+    这是依赖分析器的基类，具体语言的实现应该在各自的语言支持模块中。
+    例如：PythonDependencyAnalyzer 在 languages/python_language.py 中。
+    """
+
+    def analyze_imports(self, file_path: str, content: str) -> List[Dependency]:
+        """
+        Analyzes the import statements in the code.
+        This method should be implemented by language-specific subclasses.
+        
+        Args:
+            file_path: 文件路径
+            content: 文件内容
+            
+        Returns:
+            依赖列表
+        """
+        raise NotImplementedError("Subclasses must implement this method.")
+
+    def build_dependency_graph(self, project_root: str) -> DependencyGraph:
+        """
+        Builds a dependency graph for the entire project.
+        This would involve iterating over all source files.
+        
+        Args:
+            project_root: 项目根目录
+            
+        Returns:
+            依赖图
+        """
+        graph = DependencyGraph()
+        
+        # Walk through all source files in the project
+        for root, dirs, files in os.walk(project_root):
+            # Skip hidden directories and common ignore patterns
+            dirs[:] = filter_walk_dirs(dirs)
+            
+            for file in files:
+                file_path = os.path.join(root, file)
+                if not self._is_source_file(file_path):
+                    continue
+                
+                try:
+                    with open(file_path, 'r', encoding='utf-8', errors='replace') as f:
+                        content = f.read()
+                    
+                    dependencies = self.analyze_imports(file_path, content)
+                    for dep in dependencies:
+                        # Resolve dependency path (this should be done by language-specific analyzer)
+                        # For now, we'll just store the module name
+                        pass
+                except Exception:
+                    # Skip files that can't be read or parsed
+                    continue
+        
+        return graph
+
+    def _is_source_file(self, file_path: str) -> bool:
+        """Check if a file is a source file that should be analyzed.
+        
+        This should be overridden by subclasses.
+        """
+        return False

jarvis/jarvis_code_agent/code_analyzer/file_ignore.py

@@ -0,0 +1,330 @@
+"""文件忽略工具模块。
+
+提供统一的文件/目录忽略逻辑，用于代码分析、依赖分析等场景。
+"""
+
+from pathlib import Path
+from typing import List, Set, Optional, Callable
+
+
+class FileIgnorePatterns:
+    """文件忽略模式集合。
+    
+    定义了各种常见的需要忽略的文件和目录模式。
+    """
+    
+    # 隐藏目录/文件（以 . 开头）
+    HIDDEN_PATTERNS: Set[str] = {'.git', '.svn', '.hg', '.bzr'}
+    
+    # 版本控制目录
+    VCS_DIRS: Set[str] = {'.git', '.svn', '.hg', '.bzr', '.gitignore'}
+    
+    # Python 相关
+    PYTHON_DIRS: Set[str] = {
+        '__pycache__', '.pytest_cache', '.mypy_cache', '.ruff_cache',
+        '.tox', '.coverage', 'htmlcov', '.hypothesis', '.ipynb_checkpoints',
+        '.pyre', '.pytype', 'develop-eggs', 'downloads', 'eggs', '.eggs',
+        'lib', 'lib64', 'parts', 'sdist', 'var', 'wheels', 'pip-wheel-metadata',
+        'share', '*.egg-info', '.installed.cfg', 'MANIFEST'
+    }
+    PYTHON_VENV_DIRS: Set[str] = {'venv', 'env', '.venv', 'virtualenv', 'ENV'}
+    
+    # Rust 相关
+    RUST_DIRS: Set[str] = {'target', 'Cargo.lock'}
+    
+    # Go 相关
+    GO_DIRS: Set[str] = {'vendor', 'bin', 'coverage.out'}
+    
+    # Node.js 相关
+    NODE_DIRS: Set[str] = {
+        'node_modules', '.npm', '.yarn', '.pnpm', '.turbo', '.next', '.nuxt',
+        'out', 'dist', 'coverage', 'build'
+    }
+    
+    # Java 相关
+    JAVA_DIRS: Set[str] = {'target', '.gradle', 'build', 'out', '*.class'}
+    
+    # C/C++ 相关
+    C_CPP_DIRS: Set[str] = {
+        'build', 'cmake-build-*', 'out', 'bin', 'obj', '*.o', '*.a', '*.so',
+        '*.obj', '*.dll', '*.dylib', '*.exe', '*.pdb'
+    }
+    
+    # .NET 相关
+    DOTNET_DIRS: Set[str] = {'bin', 'obj', 'packages'}
+    
+    # 构建产物目录（通用）
+    BUILD_DIRS: Set[str] = {
+        'build', 'out', 'target', 'dist', 'bin', 'obj', 'cmake-build-*'
+    }
+    
+    # 依赖目录（通用）
+    DEPENDENCY_DIRS: Set[str] = {
+        'third_party', 'vendor', 'deps', 'dependencies', 'libs', 'libraries',
+        'external', 'node_modules', 'packages'
+    }
+    
+    # 测试目录
+    TEST_DIRS: Set[str] = {
+        'test', 'tests', '__tests__', 'spec', 'testsuite', 'testdata',
+        'test_data', 'testdata', 'fixtures', 'mocks'
+    }
+    
+    # 性能测试目录
+    BENCHMARK_DIRS: Set[str] = {
+        'benchmark', 'benchmarks', 'perf', 'performance', 'bench', 'benches',
+        'profiling', 'profiler'
+    }
+    
+    # 示例目录
+    EXAMPLE_DIRS: Set[str] = {
+        'example', 'examples', 'samples', 'sample', 'demo', 'demos'
+    }
+    
+    # 临时/缓存目录
+    TEMP_DIRS: Set[str] = {
+        'tmp', 'temp', 'cache', '.cache', '*.tmp', '*.log', '*.swp', '*.swo'
+    }
+    
+    # 文档目录
+    DOC_DIRS: Set[str] = {'docs', 'doc', 'documentation'}
+    
+    # 生成代码目录
+    GENERATED_DIRS: Set[str] = {'generated', 'gen', 'auto-generated'}
+    
+    # 其他
+    OTHER_DIRS: Set[str] = {
+        'playground', 'sandbox', '.idea', '.vscode', '.DS_Store', 'Thumbs.db'
+    }
+    
+    # Jarvis 特定
+    JARVIS_DIRS: Set[str] = {'.jarvis'}
+    
+    @classmethod
+    def get_all_ignore_dirs(cls) -> Set[str]:
+        """获取所有需要忽略的目录名称集合。
+        
+        Returns:
+            所有忽略目录名称的集合
+        """
+        return (
+            cls.VCS_DIRS |
+            cls.PYTHON_DIRS |
+            cls.PYTHON_VENV_DIRS |
+            cls.RUST_DIRS |
+            cls.GO_DIRS |
+            cls.NODE_DIRS |
+            cls.JAVA_DIRS |
+            cls.C_CPP_DIRS |
+            cls.DOTNET_DIRS |
+            cls.BUILD_DIRS |
+            cls.DEPENDENCY_DIRS |
+            cls.TEST_DIRS |
+            cls.BENCHMARK_DIRS |
+            cls.EXAMPLE_DIRS |
+            cls.TEMP_DIRS |
+            cls.DOC_DIRS |
+            cls.GENERATED_DIRS |
+            cls.OTHER_DIRS |
+            cls.JARVIS_DIRS
+        )
+    
+    @classmethod
+    def get_code_analysis_ignore_dirs(cls) -> Set[str]:
+        """获取代码分析时应该忽略的目录（不包含测试目录）。
+        
+        Returns:
+            代码分析忽略目录集合
+        """
+        return (
+            cls.VCS_DIRS |
+            cls.PYTHON_DIRS |
+            cls.PYTHON_VENV_DIRS |
+            cls.RUST_DIRS |
+            cls.GO_DIRS |
+            cls.NODE_DIRS |
+            cls.JAVA_DIRS |
+            cls.C_CPP_DIRS |
+            cls.DOTNET_DIRS |
+            cls.BUILD_DIRS |
+            cls.DEPENDENCY_DIRS |
+            cls.BENCHMARK_DIRS |
+            cls.EXAMPLE_DIRS |
+            cls.TEMP_DIRS |
+            cls.DOC_DIRS |
+            cls.GENERATED_DIRS |
+            cls.OTHER_DIRS |
+            cls.JARVIS_DIRS
+        )
+    
+    @classmethod
+    def get_dependency_analysis_ignore_dirs(cls) -> Set[str]:
+        """获取依赖分析时应该忽略的目录。
+        
+        Returns:
+            依赖分析忽略目录集合
+        """
+        return (
+            cls.VCS_DIRS |
+            cls.BUILD_DIRS |
+            cls.DEPENDENCY_DIRS |
+            cls.TEST_DIRS |
+            cls.BENCHMARK_DIRS |
+            cls.EXAMPLE_DIRS |
+            cls.TEMP_DIRS |
+            cls.DOC_DIRS |
+            cls.GENERATED_DIRS |
+            cls.OTHER_DIRS |
+            cls.JARVIS_DIRS
+        )
+
+
+class FileIgnoreFilter:
+    """文件忽略过滤器。
+    
+    提供统一的文件/目录过滤逻辑。
+    """
+    
+    def __init__(
+        self,
+        ignore_dirs: Optional[Set[str]] = None,
+        ignore_hidden: bool = True,
+        custom_filter: Optional[Callable[[str], bool]] = None,
+    ):
+        """初始化文件忽略过滤器。
+        
+        Args:
+            ignore_dirs: 要忽略的目录名称集合，如果为None则使用默认集合
+            ignore_hidden: 是否忽略隐藏目录（以 . 开头）
+            custom_filter: 自定义过滤函数，接收目录名，返回True表示忽略
+        """
+        if ignore_dirs is None:
+            ignore_dirs = FileIgnorePatterns.get_code_analysis_ignore_dirs()
+        
+        self.ignore_dirs = ignore_dirs
+        self.ignore_hidden = ignore_hidden
+        self.custom_filter = custom_filter
+    
+    def should_ignore_dir(self, dir_name: str) -> bool:
+        """判断是否应该忽略某个目录。
+        
+        Args:
+            dir_name: 目录名称（不包含路径）
+            
+        Returns:
+            如果应该忽略返回True，否则返回False
+        """
+        # 检查隐藏目录
+        if self.ignore_hidden and dir_name.startswith('.'):
+            return True
+        
+        # 检查忽略目录集合
+        if dir_name in self.ignore_dirs:
+            return True
+        
+        # 检查自定义过滤器
+        if self.custom_filter and self.custom_filter(dir_name):
+            return True
+        
+        return False
+    
+    def should_ignore_path(self, path: str) -> bool:
+        """判断是否应该忽略某个路径（文件或目录）。
+        
+        Args:
+            path: 文件或目录路径
+            
+        Returns:
+            如果应该忽略返回True，否则返回False
+        """
+        path_obj = Path(path)
+        
+        # 检查路径中的任何部分是否应该被忽略
+        for part in path_obj.parts:
+            if self.should_ignore_dir(part):
+                return True
+        
+        return False
+    
+    def filter_dirs(self, dirs: List[str]) -> List[str]:
+        """过滤目录列表，移除应该忽略的目录。
+        
+        这个方法可以直接用于 os.walk 的 dirs 列表修改：
+        dirs[:] = filter.filter_dirs(dirs)
+        
+        Args:
+            dirs: 目录名称列表
+            
+        Returns:
+            过滤后的目录列表
+        """
+        return [d for d in dirs if not self.should_ignore_dir(d)]
+    
+    def filter_paths(self, paths: List[str]) -> List[str]:
+        """过滤路径列表，移除应该忽略的路径。
+        
+        Args:
+            paths: 路径列表
+            
+        Returns:
+            过滤后的路径列表
+        """
+        return [p for p in paths if not self.should_ignore_path(p)]
+
+
+# 预定义的过滤器实例
+DEFAULT_FILTER = FileIgnoreFilter()
+CODE_ANALYSIS_FILTER = FileIgnoreFilter(
+    ignore_dirs=FileIgnorePatterns.get_code_analysis_ignore_dirs()
+)
+DEPENDENCY_ANALYSIS_FILTER = FileIgnoreFilter(
+    ignore_dirs=FileIgnorePatterns.get_dependency_analysis_ignore_dirs()
+)
+ALL_IGNORE_FILTER = FileIgnoreFilter(
+    ignore_dirs=FileIgnorePatterns.get_all_ignore_dirs()
+)
+
+
+def should_ignore_dir(dir_name: str, ignore_dirs: Optional[Set[str]] = None) -> bool:
+    """便捷函数：判断是否应该忽略目录。
+    
+    Args:
+        dir_name: 目录名称
+        ignore_dirs: 忽略目录集合，如果为None使用默认集合
+        
+    Returns:
+        如果应该忽略返回True
+    """
+    if ignore_dirs is None:
+        ignore_dirs = FileIgnorePatterns.get_code_analysis_ignore_dirs()
+    
+    # 隐藏目录
+    if dir_name.startswith('.'):
+        return True
+    
+    # 忽略目录集合
+    return dir_name in ignore_dirs
+
+
+def filter_walk_dirs(dirs: List[str], ignore_dirs: Optional[Set[str]] = None) -> List[str]:
+    """便捷函数：过滤 os.walk 的 dirs 列表。
+    
+    用法：
+        for root, dirs, files in os.walk(path):
+            dirs[:] = filter_walk_dirs(dirs)
+    
+    Args:
+        dirs: os.walk 返回的目录列表
+        ignore_dirs: 忽略目录集合，如果为None使用默认集合
+        
+    Returns:
+        过滤后的目录列表
+    """
+    if ignore_dirs is None:
+        ignore_dirs = FileIgnorePatterns.get_code_analysis_ignore_dirs()
+    
+    return [
+        d for d in dirs
+        if not (d.startswith('.') or d in ignore_dirs)
+    ]
+