job51-gitlab-cr-node-jt-1 3.1.2 → 3.1.3

package/README.md

@@ -46,10 +46,29 @@ gitlab-cr
 - 使用 Claude AI 进行代码审查
 - 生成结构化的审查报告
 - 将审查结果发布到 GitLab MR
+- **分阶段审查**：快速扫描过滤低价值变更，减少 token 消耗
 - 自动跳过测试文件（如 `*Test.java`、`*.test.js` 等）
 - 自动跳过 DTO/VO/Query 文件（如 `*Dto.java`、`*VO.java`、`*Query.java`、`*Request.java` 等）
 - 自动跳过非代码文件（如配置文件、文档文件、资源文件等）
 
+## Token 优化
+
+### 快速扫描机制
+
+在调用 AI 完整审查前，会先进行本地快速扫描，过滤以下低价值变更：
+
+| 跳过类型 | 示例 |
+|---------|------|
+| 纯 import 变更 | `import java.util.List;` |
+| 纯注释变更 | `// 注释内容`、`/* 多行注释 */` |
+| 纯空白/格式变更 | 空行、缩进调整 |
+| 纯注解变更 | `@Override`、`@Autowired` |
+| 纯 getter/setter | `getXxx()`、`setXxx()` |
+| 纯日志打印 | `log.info()`、`console.log()` |
+| 纯常量定义 | `private static final String XXX = "xxx";` |
+
+**预计效果**：减少 30-50% 的 AI 调用，显著降低 token 消耗。
+
 ## 依赖要求
 
 - Node.js 10+

package/index.js

@@ -312,6 +312,181 @@ class GitLabCodeReviewer {
     return false;
   }
 
+  /**
+   * 快速扫描判断 diff 内容是否值得审查（本地分析，不调用 AI）
+   * 用于过滤低价值变更，减少 token 消耗
+   * @param {string} diffContent diff 内容
+   * @param {string} filePath 文件路径（用于日志）
+   * @returns {{ worthReviewing: boolean, reason: string }} 是否值得审查及原因
+   */
+  quickScanDiffContent(diffContent, filePath = '') {
+    if (!diffContent || diffContent.trim() === '') {
+      return { worthReviewing: false, reason: 'diff 内容为空' };
+    }
+
+    // 解析 diff 行
+    const lines = diffContent.split('\n');
+    // 只关注新增行（+ 开头）和删除行（- 开头）
+    const changedLines = lines.filter(line =>
+      line.startsWith('+') || line.startsWith('-')
+    );
+
+    // 如果没有实际变更行，跳过
+    if (changedLines.length === 0) {
+      return { worthReviewing: false, reason: '没有实际变更行' };
+    }
+
+    // 统计各类变更
+    const stats = {
+      importChanges: 0,      // import 语句变更
+      commentChanges: 0,     // 注释变更
+      whitespaceChanges: 0,  // 空白/格式变更
+      getterSetterChanges: 0, // getter/setter 变更
+      logChanges: 0,         // 日志打印变更
+      constantChanges: 0,    // 常量定义变更
+      annotationChanges: 0,  // 注解变更（如 @Override, @Autowired）
+      meaningfulChanges: 0,  // 有意义的代码变更
+    };
+
+    // 分析每行变更
+    for (const line of changedLines) {
+      // 跳过 diff 头信息行（如 +++ b/file.txt）
+      if (line.startsWith('+++') || line.startsWith('---')) {
+        continue;
+      }
+
+      // 获取实际内容（去掉 +/- 前缀）
+      const content = line.substring(1).trim();
+
+      // 空行或纯空白
+      if (content === '' || /^\s*$/.test(content)) {
+        stats.whitespaceChanges++;
+        continue;
+      }
+
+      // import 语句（Java/JavaScript/Python 等）
+      if (/^import\s/.test(content) ||
+          /^from\s+['"]/.test(content) ||
+          /^require\s*\(/.test(content)) {
+        stats.importChanges++;
+        continue;
+      }
+
+      // 注释（单行或多行注释开始）
+      if (/^\/\/.*/.test(content) ||
+          /^\/\*.*\*\/$/.test(content) ||
+          /^\/\*[\s\S]*/.test(content) ||
+          /^\*[\s\S]*/.test(content) ||
+          /^#.*$/.test(content) ||
+          content.startsWith('*') ||
+          content.startsWith('//')) {
+        stats.commentChanges++;
+        continue;
+      }
+
+      // 注解（Java/Kotlin）
+      if (/^@\w+/.test(content) ||
+          /^@\w+\(/.test(content) ||
+          /^@Override/.test(content) ||
+          /^@Autowired/.test(content) ||
+          /^@Resource/.test(content) ||
+          /^@Inject/.test(content)) {
+        stats.annotationChanges++;
+        continue;
+      }
+
+      // getter/setter 方法
+      if (/^\s*(public|private|protected)?\s*\w+\s+get\w+\s*\(/.test(content) ||
+          /^\s*(public|private|protected)?\s*\w+\s+set\w+\s*\(/.test(content) ||
+          /^\s*public\s+\w+\s+is\w+\s*\(/.test(content) ||
+          /\.get\w+\(\)/.test(content) ||
+          /\.set\w+\(/.test(content)) {
+        // 只有 getter/setter 声明才算，调用不算
+        if (/^\s*(public|private|protected)?\s*\w+\s+(get|set|is)\w+\s*\(/.test(content)) {
+          stats.getterSetterChanges++;
+          continue;
+        }
+      }
+
+      // 日志打印语句
+      if (/^\s*(log|logger|Log|Logger|console)\.\w+\s*\(/.test(content) ||
+          /^\s*System\.out\.print/.test(content) ||
+          /^\s*System\.err\.print/.test(content) ||
+          /^\s*print\(/.test(content) ||
+          /^\s*println\(/.test(content) ||
+          /^\s*printf\(/.test(content) ||
+          /^\s*debugLog\(/.test(content) ||
+          /^\s*infoLog\(/.test(content) ||
+          /^\s*warnLog\(/.test(content) ||
+          /^\s*errorLog\(/.test(content)) {
+        stats.logChanges++;
+        continue;
+      }
+
+      // 常量定义（简单的静态常量）
+      if (/^\s*(public|private|protected)?\s*(static)?\s*(final)?\s*\w+\s+\w+\s*=\s*[^;]+;/.test(content) ||
+          /^\s*const\s+\w+\s*=/.test(content) ||
+          /^\s*static\s+final\s+\w+\s+\w+\s*=/.test(content)) {
+        stats.constantChanges++;
+        continue;
+      }
+
+      // 其他变更视为有意义的代码变更
+      stats.meaningfulChanges++;
+    }
+
+    // 判断是否值得审查
+    const totalChanges = changedLines.length;
+    const lowValueChanges = stats.importChanges + stats.commentChanges +
+                            stats.whitespaceChanges + stats.annotationChanges;
+
+    // 统计低价值变更比例
+    const lowValueRatio = totalChanges > 0 ? lowValueChanges / totalChanges : 0;
+
+    debugLog(`[${filePath}] 快速扫描统计: 总变更=${totalChanges}, import=${stats.importChanges}, 注释=${stats.commentChanges}, 空白=${stats.whitespaceChanges}, 注解=${stats.annotationChanges}, getter/setter=${stats.getterSetterChanges}, 日志=${stats.logChanges}, 常量=${stats.constantChanges}, 有意义=${stats.meaningfulChanges}, 低价值比例=${lowValueRatio.toFixed(2)}`);
+
+    // 决策规则
+    // 1. 如果没有任何有意义变更，跳过
+    if (stats.meaningfulChanges === 0) {
+      // 进一步检查：如果只有 getter/setter、日志、常量变更，也跳过
+      const onlyHelperChanges = stats.getterSetterChanges + stats.logChanges + stats.constantChanges;
+      if (onlyHelperChanges === totalChanges - stats.importChanges - stats.whitespaceChanges) {
+        return {
+          worthReviewing: false,
+          reason: `仅有辅助性变更（getter/setter=${stats.getterSetterChanges}, 日志=${stats.logChanges}, 常量=${stats.constantChanges}）`
+        };
+      }
+
+      return {
+        worthReviewing: false,
+        reason: `无有意义代码变更（import=${stats.importChanges}, 注释=${stats.commentChanges}, 空白=${stats.whitespaceChanges}, 注解=${stats.annotationChanges}）`
+      };
+    }
+
+    // 2. 如果低价值变更占比超过 90%，且有意义变更少于 3 行，跳过
+    if (lowValueRatio > 0.9 && stats.meaningfulChanges < 3) {
+      return {
+        worthReviewing: false,
+        reason: `低价值变更占比过高（${(lowValueRatio * 100).toFixed(1)}%），有意义变更仅 ${stats.meaningfulChanges} 行`
+      };
+    }
+
+    // 3. 如果有意义变更少于 2 行，且主要是辅助性代码，跳过
+    if (stats.meaningfulChanges < 2 &&
+        (stats.getterSetterChanges > 0 || stats.logChanges > 0 || stats.constantChanges > 0)) {
+      return {
+        worthReviewing: false,
+        reason: `有意义变更太少（${stats.meaningfulChanges} 行），且包含辅助性代码`
+      };
+    }
+
+    // 其他情况值得审查
+    return {
+      worthReviewing: true,
+      reason: `有 ${stats.meaningfulChanges} 行有意义代码变更，值得审查`
+    };
+  }
+
   /**
    * 获取合并请求的diff信息
    * @param {number} projectId GitLab项目ID
@@ -497,6 +672,25 @@ class GitLabCodeReviewer {
         const diffLines = diffObject.diff.split('\n');
         const codeLines = diffLines.filter(line => !line.startsWith('@@')).join('\n');
 
+        // ========== 阶段1：快速扫描（本地分析，不调用 AI）==========
+        const quickScanResult = this.quickScanDiffContent(diffObject.diff, diffObject.new_path || diffObject.old_path);
+        if (!quickScanResult.worthReviewing) {
+          infoLog(`[跳过审查] ${diffObject.new_path || diffObject.old_path}#${blockIndex}: ${quickScanResult.reason}`);
+          // 记录快速扫描跳过统计
+          this.metrics.recordQuickScanSkip(quickScanResult.reason);
+          return {
+            diff_info: diffObject,
+            block_index: blockIndex,
+            review_result: { reportContent: '<REPORT>\n## 🤖 AI 代码审查结果\n\n该变更无需审查。\n</REPORT>', lineInfo: '[]' },
+            temp_file_path: null,
+            hallucination_detected: false,
+            skipped_by_quick_scan: true,
+            skip_reason: quickScanResult.reason,
+          };
+        }
+        debugLog(`[快速扫描通过] ${diffObject.new_path || diffObject.old_path}#${blockIndex}: ${quickScanResult.reason}`);
+
+        // ========== 阶段2：完整审查（调用 AI）==========
         // 构造临时文件内容：纯代码在前，元数据在后
         const diffContentWithMetadata = `${codeLines}
 
@@ -664,10 +858,15 @@ class GitLabCodeReviewer {
   collectAllReviewReports(results) {
     let allReportsText = '';
 
-    // 遍历所有审查结果，过滤掉检测到幻觉的结果
-    const validResults = results.filter(result => !result.hallucination_detected);
+    // 遍历所有审查结果，过滤掉检测到幻觉的结果和快速扫描跳过的结果
+    const validResults = results.filter(result =>
+      !result.hallucination_detected && !result.skipped_by_quick_scan
+    );
+
+    const skippedCount = results.filter(r => r.skipped_by_quick_scan).length;
+    const hallucinationCount = results.filter(r => r.hallucination_detected).length;
 
-    debugLog(`汇总报告过滤：总共 ${results.length} 个结果，过滤掉 ${results.length - validResults.length} 个幻觉检测结果，保留 ${validResults.length} 个有效结果`);
+    debugLog(`汇总报告过滤：总共 ${results.length} 个结果，快速扫描跳过 ${skippedCount} 个，幻觉检测跳过 ${hallucinationCount} 个，保留 ${validResults.length} 个有效结果`);
 
     for (let i = 0; i < validResults.length; i++) {
       const result = validResults[i];

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "job51-gitlab-cr-node-jt-1",
-  "version": "3.1.2",
+  "version": "3.1.3",
   "description": "GitLab merge request code review tool with AI-powered analysis and project context support",
   "main": "index.js",
   "bin": {

package/utils.js

@@ -116,6 +116,10 @@ class MetricsCollector {
       totalProblemsFound: 0,
       seriousProblemsFound: 0,
 
+      // 快速扫描跳过统计
+      quickScanSkipped: 0,          // 快速扫描跳过的 diff 块数
+      quickScanSkipReasons: {},     // 跳过原因统计
+
       // 耗时统计（毫秒）
       reviewStartTime: 0,
       reviewEndTime: 0,
@@ -271,11 +275,31 @@ class MetricsCollector {
     this.metrics.commentsPublished++;
   }
 
+  // 记录快速扫描跳过
+  recordQuickScanSkip(reason = '') {
+    this.metrics.quickScanSkipped++;
+    if (reason) {
+      // 简化原因，只保留关键信息
+      const simplifiedReason = reason.split('（')[0] || reason;
+      if (!this.metrics.quickScanSkipReasons[simplifiedReason]) {
+        this.metrics.quickScanSkipReasons[simplifiedReason] = 0;
+      }
+      this.metrics.quickScanSkipReasons[simplifiedReason]++;
+    }
+  }
+
   // 打印统计摘要
   printSummary() {
     console.log('\n========== 审查统计 ==========');
     console.log(`审查文件数：${this.metrics.totalFilesReviewed}`);
     console.log(`审查 diff 块数：${this.metrics.totalBlocksReviewed}`);
+    console.log(`快速扫描跳过：${this.metrics.quickScanSkipped} 个 diff 块（节省 AI 调用）`);
+    if (Object.keys(this.metrics.quickScanSkipReasons).length > 0) {
+      console.log('  跳过原因统计：');
+      for (const [reason, count] of Object.entries(this.metrics.quickScanSkipReasons)) {
+        console.log(`    - ${reason}: ${count} 个`);
+      }
+    }
     console.log(`发现问题总数：${this.metrics.totalProblemsFound}`);
     console.log(`严重问题数：${this.metrics.seriousProblemsFound}`);
     console.log(`发布评论数：${this.metrics.commentsPublished}`);