tree-sitter-analyzer 1.8.4__tar.gz → 1.9.0__tar.gz

{tree_sitter_analyzer-1.8.4 → tree_sitter_analyzer-1.9.0}/CHANGELOG.md

@@ -1,5 +1,25 @@
 # Changelog
 
+## [1.9.0] - 2025-10-16
+
+### 🚀 新機能
+- **並行処理エンジン**: search_content MCPツールで複数ディレクトリの並行検索対応
+- **パフォーマンス向上**: 最大4倍の検索速度向上
+- **型安全性改善**: mypyエラー7%削減（341個→318個）
+
+### 🔧 改善
+- コードスタイル統一（ruff違反大幅削減）
+- 技術的負債の包括的解消
+- テスト実行時間83%短縮の維持
+
+### 🧪 テスト
+- 並行処理機能の包括的テストスイート追加
+- エラーハンドリングとタイムアウト制御の強化
+
+### 📚 ドキュメント
+- 技術的負債分析レポート追加
+- 次期開発計画の策定
+
 ## [1.8.4] - 2025-10-16
 
 ### 🚀 Added

{tree_sitter_analyzer-1.8.4 → tree_sitter_analyzer-1.9.0}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: tree-sitter-analyzer
-Version: 1.8.4
+Version: 1.9.0
 Summary: AI-era enterprise-grade code analysis tool with comprehensive HTML/CSS support, dynamic plugin architecture, and MCP integration
 Project-URL: Homepage, https://github.com/aimasteracc/tree-sitter-analyzer
 Project-URL: Documentation, https://github.com/aimasteracc/tree-sitter-analyzer#readme

{tree_sitter_analyzer-1.8.4 → tree_sitter_analyzer-1.9.0}/collect_project_metrics.py

@@ -2,89 +2,101 @@
 """
 tree-sitter-analyzerプロジェクト固有のメトリクス収集スクリプト
 """
-import os
-import glob
-from pathlib import Path
-import subprocess
-import sys
+
 from collections import defaultdict
+from pathlib import Path
+
 
 def is_project_file(filepath):
     """プロジェクト固有のファイルかどうかを判定"""
     path_str = str(filepath)
     # 除外するディレクトリ
-    exclude_dirs = ['.venv', '__pycache__', '.git', '.pytest_cache', 'node_modules', '.ruff_cache']
-    
+    exclude_dirs = [
+        ".venv",
+        "__pycache__",
+        ".git",
+        ".pytest_cache",
+        "node_modules",
+        ".ruff_cache",
+    ]
+
     for exclude_dir in exclude_dirs:
         if exclude_dir in path_str:
             return False
     return True
 
+
 def count_lines_in_file(filepath):
     """ファイルの行数を数える"""
     try:
-        with open(filepath, 'r', encoding='utf-8', errors='ignore') as f:
+        with open(filepath, encoding="utf-8", errors="ignore") as f:
             lines = f.readlines()
             total_lines = len(lines)
-            empty_lines = sum(1 for line in lines if line.strip() == '')
-            comment_lines = sum(1 for line in lines if line.strip().startswith('#'))
+            empty_lines = sum(1 for line in lines if line.strip() == "")
+            comment_lines = sum(1 for line in lines if line.strip().startswith("#"))
             code_lines = total_lines - empty_lines - comment_lines
             return {
-                'total': total_lines,
-                'empty': empty_lines,
-                'comment': comment_lines,
-                'code': code_lines
+                "total": total_lines,
+                "empty": empty_lines,
+                "comment": comment_lines,
+                "code": code_lines,
             }
     except Exception as e:
         print(f"Error reading {filepath}: {e}")
-        return {'total': 0, 'empty': 0, 'comment': 0, 'code': 0}
+        return {"total": 0, "empty": 0, "comment": 0, "code": 0}
+
 
 def collect_file_metrics():
     """ファイルメトリクスを収集"""
     print("=== プロジェクトファイル統計 ===")
-    
+
     # プロジェクト固有のPythonファイルの統計
-    all_py_files = list(Path('.').rglob('*.py'))
+    all_py_files = list(Path(".").rglob("*.py"))
     py_files = [f for f in all_py_files if is_project_file(f)]
-    test_files = [f for f in py_files if 'test_' in f.name or f.name.startswith('test_') or 'tests/' in str(f)]
-    
+    test_files = [
+        f
+        for f in py_files
+        if "test_" in f.name or f.name.startswith("test_") or "tests/" in str(f)
+    ]
+
     print(f"プロジェクト内Pythonファイル数: {len(py_files)}")
     print(f"テストファイル数: {len(test_files)}")
     print(f"プロダクションファイル数: {len(py_files) - len(test_files)}")
-    
+
     # 言語別ファイル数（プロジェクト固有のみ）
     extensions = defaultdict(int)
-    for file_path in Path('.').rglob('*'):
+    for file_path in Path(".").rglob("*"):
         if file_path.is_file() and is_project_file(file_path):
             ext = file_path.suffix.lower()
             if ext:
                 extensions[ext] += 1
-    
+
     print("\n=== 言語別ファイル数（プロジェクト固有）===")
     for ext, count in sorted(extensions.items(), key=lambda x: x[1], reverse=True):
         if count > 1:  # 2個以上のファイルがある拡張子のみ表示
             print(f"{ext}: {count}")
-    
+
     return py_files, test_files
 
+
 def collect_line_metrics(py_files, test_files):
     """行数メトリクスを収集"""
     print("\n=== 行数統計（プロジェクト固有）===")
-    
-    total_metrics = {'total': 0, 'empty': 0, 'comment': 0, 'code': 0}
-    test_metrics = {'total': 0, 'empty': 0, 'comment': 0, 'code': 0}
-    prod_metrics = {'total': 0, 'empty': 0, 'comment': 0, 'code': 0}
-    
+
+    total_metrics = {"total": 0, "empty": 0, "comment": 0, "code": 0}
+    test_metrics = {"total": 0, "empty": 0, "comment": 0, "code": 0}
+    prod_metrics = {"total": 0, "empty": 0, "comment": 0, "code": 0}
+
     file_sizes = []
-    
+
     for py_file in py_files:
         metrics = count_lines_in_file(py_file)
-        file_sizes.append((py_file, metrics['total']))
-        
+        file_sizes.append((py_file, metrics["total"]))
+
         # 総計に追加
         for key in total_metrics:
             total_metrics[key] += metrics[key]
-        
+
         # テストファイルかプロダクションファイルかで分類
         if py_file in test_files:
             for key in test_metrics:
@@ -92,98 +104,106 @@ def collect_line_metrics(py_files, test_files):
         else:
             for key in prod_metrics:
                 prod_metrics[key] += metrics[key]
-    
+
     print("全体:")
     print(f"  総行数: {total_metrics['total']:,}")
     print(f"  実効コード行数: {total_metrics['code']:,}")
     print(f"  コメント行数: {total_metrics['comment']:,}")
     print(f"  空行数: {total_metrics['empty']:,}")
-    
+
     print("\nプロダクションコード:")
     print(f"  総行数: {prod_metrics['total']:,}")
     print(f"  実効コード行数: {prod_metrics['code']:,}")
-    
+
     print("\nテストコード:")
     print(f"  総行数: {test_metrics['total']:,}")
     print(f"  実効コード行数: {test_metrics['code']:,}")
-    
+
     # 最大ファイルサイズ（プロジェクト固有のみ）
     file_sizes.sort(key=lambda x: x[1], reverse=True)
     print("\n=== 最大ファイル（上位10件）===")
     for i, (file_path, lines) in enumerate(file_sizes[:10]):
-        print(f"{i+1:2d}. {file_path} ({lines:,} 行)")
-    
+        print(f"{i + 1:2d}. {file_path} ({lines:,} 行)")
+
     return total_metrics, prod_metrics, test_metrics
 
+
 def analyze_project_structure():
     """プロジェクト構造を分析"""
     print("\n=== プロジェクト構造分析 ===")
-    
+
     # メインパッケージのディレクトリ構造
-    main_package = Path('tree_sitter_analyzer')
+    main_package = Path("tree_sitter_analyzer")
     if main_package.exists():
         print(f"メインパッケージ: {main_package}")
-        subdirs = [d for d in main_package.rglob('*') if d.is_dir()]
+        subdirs = [d for d in main_package.rglob("*") if d.is_dir()]
         print(f"サブディレクトリ数: {len(subdirs)}")
-        
+
         # 主要なサブモジュール
         main_subdirs = [d for d in main_package.iterdir() if d.is_dir()]
         print("主要サブモジュール:")
         for subdir in sorted(main_subdirs):
-            py_files_in_subdir = list(subdir.rglob('*.py'))
+            py_files_in_subdir = list(subdir.rglob("*.py"))
             print(f"  {subdir.name}: {len(py_files_in_subdir)} ファイル")
 
+
 def check_dependencies():
     """依存関係を確認"""
     print("\n=== 依存関係確認 ===")
-    
+
     # pyproject.tomlから依存関係を読み取り
-    pyproject_path = Path('pyproject.toml')
+    pyproject_path = Path("pyproject.toml")
     if pyproject_path.exists():
         print("pyproject.tomlから依存関係を確認:")
         try:
-            with open(pyproject_path, 'r', encoding='utf-8') as f:
+            with open(pyproject_path, encoding="utf-8") as f:
                 content = f.read()
-                if '[tool.poetry.dependencies]' in content:
-                    lines = content.split('\n')
+                if "[tool.poetry.dependencies]" in content:
+                    lines = content.split("\n")
                     in_deps = False
                     for line in lines:
-                        if '[tool.poetry.dependencies]' in line:
+                        if "[tool.poetry.dependencies]" in line:
                             in_deps = True
                             continue
-                        elif line.startswith('[') and in_deps:
+                        elif line.startswith("[") and in_deps:
                             break
-                        elif in_deps and '=' in line:
+                        elif in_deps and "=" in line:
                             print(f"  {line.strip()}")
         except Exception as e:
             print(f"pyproject.toml読み取りエラー: {e}")
 
+
 def main():
     """メイン関数"""
     print("tree-sitter-analyzer プロジェクト固有メトリクス収集")
     print("=" * 60)
-    
+
     # ファイルメトリクス収集
     py_files, test_files = collect_file_metrics()
-    
+
     # 行数メトリクス収集
-    total_metrics, prod_metrics, test_metrics = collect_line_metrics(py_files, test_files)
-    
+    total_metrics, prod_metrics, test_metrics = collect_line_metrics(
+        py_files, test_files
+    )
+
     # プロジェクト構造分析
     analyze_project_structure()
-    
+
     # 依存関係確認
     check_dependencies()
-    
+
     print("\n" + "=" * 60)
     print("プロジェクト固有メトリクス収集完了")
-    
+
     # サマリー
     print("\n=== サマリー ===")
     print(f"プロジェクト規模: {len(py_files)} Pythonファイル")
     print(f"総コード行数: {total_metrics['code']:,} 行")
     print(f"テストカバレッジ対象: {len(test_files)} テストファイル")
-    print(f"平均ファイルサイズ: {total_metrics['total'] // len(py_files) if py_files else 0} 行/ファイル")
+    print(
+        f"平均ファイルサイズ: {total_metrics['total'] // len(py_files) if py_files else 0} 行/ファイル"
+    )
+
 
 if __name__ == "__main__":
-    main()
+    main()

{tree_sitter_analyzer-1.8.4 → tree_sitter_analyzer-1.9.0}/debug_async_test.py

@@ -4,14 +4,16 @@
 import asyncio
 import tempfile
 from pathlib import Path
+
 from tree_sitter_analyzer.core.query_service import QueryService
 
+
 async def debug_test():
     """デバッグテスト"""
     print("🔍 Debugging async QueryService...")
-    
+
     # テストファイルを作成
-    with tempfile.NamedTemporaryFile(mode='w', suffix='.py', delete=False) as f:
+    with tempfile.NamedTemporaryFile(mode="w", suffix=".py", delete=False) as f:
         test_content = """
 def test_function():
     return 42
@@ -22,59 +24,61 @@ class TestClass:
 """
         f.write(test_content)
         test_file = f.name
-    
+
     try:
         service = QueryService()
-        
+
         # 1. ファイル読み込みテスト
         print(f"📁 Testing file reading: {test_file}")
-        if hasattr(service, '_read_file_async'):
+        if hasattr(service, "_read_file_async"):
             content, encoding = await service._read_file_async(test_file)
             print(f"📄 File content length: {len(content)}")
             print(f"📄 File encoding: {encoding}")
             print(f"📄 File content preview: {content[:100]}...")
         else:
             print("❌ _read_file_async method not found")
-        
+
         # 2. 利用可能なクエリの確認
-        print(f"🔍 Available queries for Python:")
+        print("🔍 Available queries for Python:")
         available_queries = service.get_available_queries("python")
         print(f"📋 Available queries: {available_queries}")
-        
+
         # 3. クエリ実行テスト
-        print(f"🚀 Testing query execution...")
+        print("🚀 Testing query execution...")
         try:
             results = await service.execute_query(
-                file_path=test_file,
-                language="python",
-                query_key="function"
+                file_path=test_file, language="python", query_key="function"
             )
             print(f"✅ Query results: {len(results) if results else 0} items")
             if results:
                 for i, result in enumerate(results[:3]):  # 最初の3つを表示
-                    print(f"  {i+1}. {result}")
+                    print(f"  {i + 1}. {result}")
             else:
                 print("  No results found")
         except Exception as e:
             print(f"❌ Query execution failed: {e}")
             import traceback
+
             traceback.print_exc()
-        
+
         # 4. カスタムクエリテスト
-        print(f"🔧 Testing custom query...")
+        print("🔧 Testing custom query...")
         try:
             custom_results = await service.execute_query(
                 file_path=test_file,
                 language="python",
-                query_string="(function_definition) @function"
+                query_string="(function_definition) @function",
+            )
+            print(
+                f"✅ Custom query results: {len(custom_results) if custom_results else 0} items"
             )
-            print(f"✅ Custom query results: {len(custom_results) if custom_results else 0} items")
         except Exception as e:
             print(f"❌ Custom query failed: {e}")
-    
+
     finally:
         # クリーンアップ
         Path(test_file).unlink(missing_ok=True)
 
+
 if __name__ == "__main__":
-    asyncio.run(debug_test())
+    asyncio.run(debug_test())

tree_sitter_analyzer-1.9.0/docs/analysis/technical_debt_analysis_2025-10-16.md

@@ -0,0 +1,111 @@
+# 技術的負債分析レポートと改善計画
+
+**作成日:** 2025-10-16
+
+## 1. はじめに
+
+本レポートは、`tree-sitter-analyzer` プロジェクトに存在する技術的負債を定量的に分析し、その解決に向けた具体的な改善計画を提示するものです。分析は、静的解析ツール（mypy, ruff）、テスト実行時間、コード行数、コメント率の観点から実施しました。
+
+## 2. 技術的負債の現状分析
+
+### 🔴 緊急対応が必要
+
+#### 2.1. 型安全性問題 (mypyエラー)
+
+- **現状**: `mypy`による解析の結果、**341個**の型エラーが検出されました。
+- **エラーの傾向**:
+    - `[attr-defined]`: 存在しない属性へのアクセスが最も多い。特に、動的に属性が追加されるデータモデルクラス（`MarkdownElement`など）や、Extractorクラスの設計に起因する問題が多数見られます。
+    - `[assignment]`, `[return-value]`: 型の不整合。特に、`list[SubClass]`を`list[SuperClass]`として扱う際の型共変性の問題が散見されます。
+    - `[override]`: スーパークラスとサブクラスでのメソッドシグネチャの不一致。
+    - `[no-untyped-def]`: 型ヒントが付与されていない関数定義。
+- **影響**: 型安全性が低いコードは、リファクタリング時の安全性低下、IDEによるサポート（補完、静的解析）の質の低下、実行時エラーのリスク増大に繋がります。
+
+#### 2.2. パフォーマンス問題
+
+- **テスト実行時間**: `pytest`の実行結果から、特に時間のかかるテストが特定されました。
+    - `tests/performance/test_mcp_performance.py`: **66.55秒**
+    - `tests/integration/test_phase7_integration_suite.py`: **61.45秒**
+    - `tests/integration/test_phase7_performance_integration.py`: **60.82秒**
+- **ボトルネック**: 上位のテストは、MCP（Model Context Protocol）関連の統合テストやパフォーマンステストに集中しており、特に`search_content`や複合的なワークフローのテストに時間がかかっています。これは、実際の検索機能のパフォーマンスに課題がある可能性を示唆しています。
+
+### 🟡 中期対応
+
+#### 2.3. コードスタイル (ruff違反)
+
+- **現状**: `ruff`によるチェックで多数の違反が検出されました。
+- **主な違反**:
+    - `W293`: 不要な空白
+    - `I001`: importの順序が不正
+    - `F401`: 未使用のimport
+    - `UP045`: `Optional[X]` を `X | None` にすべき
+- **影響**: コードの一貫性が損なわれ、可読性が低下します。多くは自動修正可能ですが、放置するとコードベース全体の品質が徐々に劣化します。
+
+#### 2.4. 大規模ファイル
+
+- **現状**: `tests`ディレクトリ内に5,000行を超えるテストファイルは確認されませんでしたが、**4,393行**の `test_mcp_fd_rg_tools.py` が突出して大きいことが判明しました。
+- **影響**:
+    - **可読性の低下**: ファイル全体の見通しが悪く、特定のテストケースを探すのが困難です。
+    - **メンテナンス性の悪化**: 関連性の低いテストが混在し、変更時の影響範囲の特定が難しくなります。
+    - **テストの実行効率**: 一部のテストだけを実行したい場合に不便です。
+
+### 🟢 長期対応
+
+#### 2.5. ドキュメント (コメント率)
+
+- **現状**: プロジェクト全体のコメント率は**63.6%**と非常に高く、当初の懸念（6.5%）は誤りでした。
+- **評価**: コメント率は健全な状態であり、現時点では大きな問題ではありません。ただし、コードの変更に追随していない古いコメントが存在する可能性はあります。
+
+## 3. 改善ロードマップ
+
+以下に、分析結果に基づく改善ロードマップを提案します。
+
+```mermaid
+gantt
+    title 技術的負債 改善ロードマップ
+    dateFormat  YYYY-MM-DD
+    axisFormat %m-%d
+    section 緊急対応 (フェーズ1)
+    mypyエラー修正(基盤)      :active, crit, a1, 2025-10-20, 7d
+    パフォーマンス改善(検索機能) :crit, a2, after a1, 5d
+    section 中期対応 (フェーズ2)
+    ruff違反の自動修正      :a3, after a2, 2d
+    大規模テストファイルの分割 :a4, after a3, 5d
+    section 長期対応 (フェーズ3)
+    ドキュメントとコードの同期 :a5, after a4, 14d
+```
+
+### フェーズ1: 緊急対応 (〜2週間)
+
+1.  **mypyエラーの段階的修正 (7日間)**
+    - **Step 1: 基盤モデルの修正**: `MarkdownElement`などの動的に属性が追加されるクラスに、`__slots__`や`@dataclass`を導入し、型定義を明確化します。
+    - **Step 2: `[attr-defined]`エラーの解消**: Step 1の修正に基づき、属性アクセスに関するエラーを解消します。
+    - **Step 3: `[assignment]`, `[return-value]`エラーの解消**: `Sequence`や`TypeVar`を活用し、型共変性に関する問題を解決します。
+    - **成功指標**: mypyエラー数を341個から100個以下に削減する。
+
+2.  **パフォーマンスボトルネックの改善 (5日間)**
+    - **Step 1: プロファイリング**: `pytest-profiling`などを利用して、`test_mcp_performance.py`内のボトルネックとなっている関数を特定します。
+    - **Step 2: 検索ロジックの最適化**: `search_content`ツール内のキャッシュ戦略や正規表現の見直し、アルゴリズムの改善を行います。
+    - **成功指標**: 最も遅いテストの実行時間を20%以上短縮する。
+
+### フェーズ2: 中期対応 (〜2週間)
+
+3.  **ruff違反の自動修正 (2日間)**
+    - **Step 1**: `ruff check . --fix` を実行し、自動修正可能な違反を一括で修正します。
+    - **Step 2**: `pre-commit`フックに`ruff`を組み込み、新たな違反の混入を防止します。
+    - **成功指標**: ruff違反の数を90%以上削減する。
+
+4.  **大規模テストファイルの分割 (5日間)**
+    - **Step 1: `test_mcp_fd_rg_tools.py`の分割計画**: `fd`関連のテスト、`rg`関連のテスト、両者を組み合わせたテストなど、機能ごとにファイルを分割する計画を立てます。
+    - **Step 2: ファイル分割の実施**: 計画に基づき、ファイルを複数の小さなファイルに分割します。
+    - **成功指標**: `tests`ディレクトリ内のファイルが全て1,000行未満になる。
+
+### フェーズ3: 長期対応 (継続的)
+
+5.  **ドキュメントとコードの同期 (14日間〜)**
+    - **Step 1**: コードレビュープロセスにおいて、コードの変更と同時にコメントやドキュメントが更新されているかを確認する文化を醸成します。
+    - **Step 2**: 古いドキュメントやコメントを定期的に見直し、現状と合わない部分を修正します。
+    - **成功指標**: コードとドキュメントの乖離に関するIssueが起票されなくなる。
+
+## 4. まとめ
+
+本プロジェクトは、コメント率の高さなど優れた点も多い一方で、型安全性とパフォーマンスに緊急性の高い課題を抱えています。提案したロードマップに基づき、まずは**フェーズ1の「mypyエラー修正」と「パフォーマンス改善」**に集中的に取り組むことを推奨します。これにより、コードベースの健全性が大幅に向上し、将来の開発速度と安定性に大きく貢献します。

{tree_sitter_analyzer-1.8.4 → tree_sitter_analyzer-1.9.0}/examples/cache_demo.py

@@ -111,7 +111,7 @@ async def demo_cache_performance():
         elapsed = time.time() - start_time
         cached_times.append(elapsed)
         cache_hit = result.get("cache_hit", False)
-        print(f"   Run {i+1}: {elapsed:.3f}s (cache hit: {cache_hit})")
+        print(f"   Run {i + 1}: {elapsed:.3f}s (cache hit: {cache_hit})")
 
     avg_cached_time = sum(cached_times) / len(cached_times)
     print(f"   📊 Average: {avg_cached_time:.3f}s")
@@ -125,7 +125,7 @@ async def demo_cache_performance():
         await tool_without_cache.execute(search_args)
         elapsed = time.time() - start_time
         non_cached_times.append(elapsed)
-        print(f"   Run {i+1}: {elapsed:.3f}s")
+        print(f"   Run {i + 1}: {elapsed:.3f}s")
 
     avg_non_cached_time = sum(non_cached_times) / len(non_cached_times)
     print(f"   📊 Average: {avg_non_cached_time:.3f}s")