@hupan56/wlkj 2.6.0 → 2.7.0

package/templates/qoder/scripts/eval_prd.py

@@ -1,231 +1,318 @@
-#!/usr/bin/env python3
-# -*- coding: utf-8 -*-
-"""
-QODER EVA - PRD/原型 自动评估 (快且准的"准"侧自动指标)
-
-Usage:
-  python eval_prd.py <prd.md路径> [原型.html路径]
-
-自动评分项 (满分 100):
-  A1 现实锚定 (40分): PRD 中引用的字段/API 在知识图谱中真实存在的比例
-     -> 防止 AI 编造不存在的字段和接口
-  A2 风格保真 (30分): 原型中的颜色值来自真源(模板/风格参考)的比例
-     -> 防止 AI 发明项目里不存在的颜色
-  A3 模板完整 (30分): PRD 包含团队模板必需章节的比例
-     -> 保证团队章程的模板结构不丢
-
-结果追加到 .qoder/learning/eval-history.jsonl (本机), 供 /wl-status 趋势展示。
-Exit: 0 = 总分>=80, 1 = 不达标 (发布前应修复)
-"""
-
-import os
-import sys
-import json
-import re
-from datetime import datetime
-
-if sys.platform == 'win32':
-    try:
-        sys.stdout.reconfigure(encoding='utf-8')
-    except (AttributeError, IOError):
-        pass
-
-sys.path.insert(0, os.path.dirname(os.path.abspath(__file__)))
-
-BASE = os.path.dirname(os.path.dirname(os.path.dirname(os.path.abspath(__file__))))
-INDEX_DIR = os.path.join(BASE, 'data', 'index')
-TPL_DIR = os.path.join(BASE, '.qoder', 'templates')
-HISTORY = os.path.join(BASE, '.qoder', 'learning', 'eval-history.jsonl')
-
-# 完整模板必需章节 (prd-full-template.md) / Mini 模板必需章节
-FULL_SECTIONS = ['版本信息', '变更日志', '名词解释', '需求背景', '需求来源', '产品现状',
-                 '需求范围', '功能清单', '字段规格', '操作与校验', '非功能性需求',
-                 '埋点', '版本计划']
-QUICK_SECTIONS = ['功能入口', '需求背景', '需求说明', '影响范围', '验收标准', '不在本次范围']
-
-# 中性色白名单 (不算"发明颜色")
-NEUTRAL_COLORS = {'#fff', '#ffffff', '#000', '#000000', '#333', '#666', '#999',
-                  '#1f1f1f', '#f0f0f0', '#fafafa', '#d9d9d9', '#e8e8e8', '#f5f5f5'}
-
-
-def load_json(path):
-    try:
-        with open(path, encoding='utf-8') as f:
-            return json.load(f)
-    except Exception:
-        return {}
-
-
-def read_text(path):
-    with open(path, encoding='utf-8', errors='ignore') as f:
-        return f.read()
-
-
-# ============================================================
-# A1: 现实锚定 - PRD 引用的字段/API 是否真实存在
-# ============================================================
-
-def score_reality(prd_text):
-    fm = load_json(os.path.join(INDEX_DIR, 'style-index.json')).get('field_map', {})
-    apis = load_json(os.path.join(INDEX_DIR, 'api-index.json'))
-    fields_lower = {k.lower() for k in fm}
-    api_paths = set()
-    for ep in apis:
-        api_paths.add(ep.lower())
-        for seg in ep.lower().split('/'):
-            if len(seg) >= 4:
-                api_paths.add(seg)
-
-    # 只检查表格单元格里的 camelCase 标识符 (字段规格表的内容)
-    # 跳过"新增/规划"上下文的行 —— 新需求规划的路径本来就不存在
-    NEW_MARKS = ('新增', '新建', '规划', '待开发', '本次新增', 'NEW')
-    candidates = set()
-    api_refs = set()
-    for line in prd_text.splitlines():
-        is_new = any(m in line for m in NEW_MARKS)
-        if '|' in line and not is_new:
-            for cell in line.split('|'):
-                for tok in re.findall(r'\b[a-z][a-zA-Z0-9]{3,30}\b', cell.strip()):
-                    if any(c.isupper() for c in tok):  # camelCase 才像字段名
-                        candidates.add(tok)
-        if not is_new:
-            for ref in re.findall(r'/[a-zA-Z][a-zA-Z0-9/]{3,60}', line):
-                # 前端组件新路径以 /apps|/views|/components 开头的不检查
-                if not re.search(r'(apps|views|components|modules)/', ref):
-                    api_refs.add(ref)
-
-    checked, hits, misses = 0, 0, []
-    for tok in sorted(candidates):
-        checked += 1
-        tl = tok.lower()
-        if tl in fields_lower or any(tl in f or f in tl for f in fields_lower):
-            hits += 1
-        else:
-            misses.append(tok)
-    for ref in sorted(api_refs):
-        checked += 1
-        rl = ref.lower()
-        if rl in api_paths or any(seg in api_paths for seg in rl.split('/') if len(seg) >= 4):
-            hits += 1
-        else:
-            misses.append(ref)
-
-    if checked == 0:
-        return 1.0, '未引用具体字段/API (零星文案类需求正常)', []
-    ratio = hits / checked
-    return ratio, '{}/{} 个字段/API 引用可在图谱中找到'.format(hits, checked), misses[:8]
-
-
-# ============================================================
-# A2: 风格保真 - 原型颜色是否来自真源
-# ============================================================
-
-def allowed_colors():
-    """真源颜色集合 = 平台模板 + 风格参考 JSON 中出现过的所有色值"""
-    allowed = set(NEUTRAL_COLORS)
-    sources = [
-        os.path.join(TPL_DIR, 'prototype-web.html'),
-        os.path.join(TPL_DIR, 'prototype-app.html'),
-        os.path.join(INDEX_DIR, 'chart-style-reference.json'),
-        os.path.join(INDEX_DIR, 'vben-style-reference.json'),
-    ]
-    for p in sources:
-        if os.path.isfile(p):
-            text = read_text(p)
-            for c in re.findall(r'#[0-9a-fA-F]{3,8}\b', text):
-                allowed.add(c.lower())
-    return allowed
-
-
-def score_style(html_text):
-    # emoji = 没有使用项目真实图标体系, 直接重罚
-    emojis = re.findall(r'[\U0001F300-\U0001FAFF☀-➿⬀-⯿]', html_text)
-    allowed = allowed_colors()
-    used = [c.lower() for c in re.findall(r'#[0-9a-fA-F]{3,8}\b', html_text)]
-    if not used and not emojis:
-        return 1.0, '原型未使用硬编码颜色 (纯 CSS 变量, 最佳)', []
-    uniq = sorted(set(used))
-    unknown = [c for c in uniq if c not in allowed]
-    ratio = 1 - (len(unknown) / len(uniq) if uniq else 0)
-    notes = []
-    if emojis:
-        ratio = min(ratio, 0.3)
-        notes.append('发现 {} 个 emoji (必须用 icon-reference.json 的真实图标)'.format(len(set(emojis))))
-    msg = '{}/{} 种颜色来自真源'.format(len(uniq) - len(unknown), len(uniq))
-    if notes:
-        msg += '; ' + '; '.join(notes)
-    return ratio, msg, unknown[:10]
-
-
-# ============================================================
-# A3: 模板完整 - 团队模板章节是否齐全
-# ============================================================
-
-def score_template(prd_text):
-    # 优先看 mode 标记 (HTML 注释, 头部 2KB 内); 无标记回退到内容自识别 (旧 PRD 兼容)
-    # 注意: 去掉了旧的 len<3000 启发式 —— 它会把短的 full PRD 误判为 quick
-    _m = re.search(r'<!--\s*mode:\s*(\w+)\s*-->', prd_text[:2048], re.IGNORECASE)
-    if _m:
-        is_quick = _m.group(1).lower() == 'quick'
-    else:
-        _low = prd_text.lower()
-        is_quick = ('mini-prd' in _low or '零星需求' in prd_text)
-    sections = QUICK_SECTIONS if is_quick else FULL_SECTIONS
-    kind = '零星模板' if is_quick else '完整模板'
-    missing = [s for s in sections if s not in prd_text]
-    ratio = 1 - len(missing) / len(sections)
-    return ratio, '{} {}/{} 章节齐全'.format(kind, len(sections) - len(missing), len(sections)), missing
-
-
-# ============================================================
-# Main
-# ============================================================
-
-def main():
-    if len(sys.argv) < 2:
-        print(__doc__)
-        return 1
-    prd_path = sys.argv[1]
-    html_path = sys.argv[2] if len(sys.argv) > 2 else None
-
-    if not os.path.isfile(prd_path):
-        print('PRD 不存在: ' + prd_path)
-        return 1
-
-    # 用程序化 API 评估 (重构后 main 只是 CLI 包装)
-    from common.eval_api import evaluate, format_report
-    try:
-        result = evaluate(prd_path, html_path)
-    except FileNotFoundError as e:
-        print(str(e))
-        return 1
-
-    # 打印人类可读报告
-    print(format_report(result))
-
-    # 详细 misses (补充 format_report 之外的细节)
-    if result.get('msg2') and '非真源颜色' in str(result.get('msg2', '')):
-        # msg2 已含信息, 此处可补 unknown 列表 —— 但 evaluate 已合并进 misses
-        pass
-
-    # 记录历史 (原子追加, 防并发损坏)
-    try:
-        from common.atomicio import atomic_append_jsonl
-        os.makedirs(os.path.dirname(HISTORY), exist_ok=True)
-        atomic_append_jsonl(HISTORY, {
-            'time': datetime.now().isoformat(),
-            'prd': result['prd'],
-            'a1_reality': result['r1'],
-            'a2_style': result['r2'],
-            'a3_template': result['r3'],
-            'score_pct': result['pct'],
-            'passed': result['passed'],
-        }, timeout=10)
-    except Exception:
-        pass  # 历史记录失败不影响评估结果
-
-    return 0 if result['passed'] else 1
-
-
-if __name__ == '__main__':
-    sys.exit(main())
+#!/usr/bin/env python3
+# -*- coding: utf-8 -*-
+"""
+QODER EVA - PRD/原型 自动评估 (快且准的"准"侧自动指标)
+
+Usage:
+  python eval_prd.py <prd.md路径> [原型.html路径]
+
+自动评分项 (满分 100):
+  A1 现实锚定 (40分): PRD 中引用的字段/API 在知识图谱中真实存在的比例
+     -> 防止 AI 编造不存在的字段和接口
+  A2 风格保真 (30分): 原型中的颜色值来自真源(模板/风格参考)的比例
+     -> 防止 AI 发明项目里不存在的颜色
+  A3 模板完整 (30分): PRD 包含团队模板必需章节的比例
+     -> 保证团队章程的模板结构不丢
+
+结果追加到 .qoder/learning/eval-history.jsonl (本机), 供 /wl-status 趋势展示。
+Exit: 0 = 总分>=80, 1 = 不达标 (发布前应修复)
+"""
+
+import os
+from common.paths import BUILD_CACHE_DIR
+import sys
+import json
+import re
+from datetime import datetime
+
+if sys.platform == 'win32':
+    try:
+        sys.stdout.reconfigure(encoding='utf-8')
+    except (AttributeError, IOError):
+        pass
+
+sys.path.insert(0, os.path.dirname(os.path.abspath(__file__)))
+
+BASE = os.path.dirname(os.path.dirname(os.path.dirname(os.path.abspath(__file__))))
+INDEX_DIR = os.path.join(BASE, 'data', 'index')
+TPL_DIR = os.path.join(BASE, '.qoder', 'templates')
+HISTORY = os.path.join(BASE, '.qoder', 'learning', 'eval-history.jsonl')
+
+# 完整模板必需章节 (prd-full-template.md) / Mini 模板必需章节
+FULL_SECTIONS = ['版本信息', '变更日志', '名词解释', '需求背景', '需求来源', '产品现状',
+                 '需求范围', '功能清单', '字段规格', '操作与校验', '非功能性需求',
+                 '埋点', '版本计划']
+QUICK_SECTIONS = ['功能入口', '需求背景', '需求说明', '影响范围', '验收标准', '不在本次范围']
+
+# 中性色白名单 (不算"发明颜色")
+NEUTRAL_COLORS = {'#fff', '#ffffff', '#000', '#000000', '#333', '#666', '#999',
+                  '#1f1f1f', '#f0f0f0', '#fafafa', '#d9d9d9', '#e8e8e8', '#f5f5f5'}
+
+
+def load_json(path):
+    """加载索引数据。优先 DuckDB(kg.duckdb, 数据真正所在), 回退 JSON 文件。
+
+    修复背景: A1 现实锚定读 ui-style.json 的 field_map, 但该 JSON 在 BUILD_CACHE
+    里缺失 → field_map=0 → 所有 PRD 字段都被误判"编造" → A1 必然低分。
+    数据其实在 DuckDB 里(_duckdb_load 能读出 field_map), 必须走 DuckDB。
+    """
+    # ① 优先 DuckDB (从文件名取数据)
+    try:
+        from search_index import _duckdb_load
+        result = _duckdb_load(os.path.basename(path))
+        if result is not None:
+            return result
+    except Exception:
+        pass
+    # ② 回退文件读取
+    try:
+        with open(path, encoding='utf-8') as f:
+            return json.load(f)
+    except Exception:
+        return {}
+
+
+def read_text(path):
+    with open(path, encoding='utf-8', errors='ignore') as f:
+        return f.read()
+
+
+# ============================================================
+# 数据库真实列名 (第二层锚定: 代码field_map + 数据库schema)
+# 从 kg.duckdb 的 db_columns 表读 (由 kg_build_db.py 导入)。
+# 没有/连不上 = 空集, 自动降级为纯代码层锚定 (不影响评分)。
+# ============================================================
+
+_DB_COLUMNS_CACHE = None  # {column_name_lower} 集合
+
+def _load_db_columns():
+    """惰性加载数据库真实列名集合 (从 kg_db.duckdb 的 db_columns 表)。
+    失败/不存在 = 空集, 自动降级为纯代码层锚定 (不影响评分)。"""
+    global _DB_COLUMNS_CACHE
+    if _DB_COLUMNS_CACHE is not None:
+        return _DB_COLUMNS_CACHE
+    cols = set()
+    try:
+        import duckdb
+        db_path = os.path.join(BASE, 'data', 'index', 'kg_db.duckdb')
+        if not os.path.isfile(db_path):
+            _DB_COLUMNS_CACHE = cols
+            return cols  # 文件不存在 = 还没跑过 kg_build_db, 降级纯代码层
+        con = duckdb.connect(db_path, read_only=True)
+        try:
+            rows = con.execute("SELECT DISTINCT column_name FROM db_columns").fetchall()
+            cols = {r[0].lower() for r in rows if r[0]}
+        except Exception:
+            pass  # 表不存在 → 空集, 降级纯代码层
+        con.close()
+    except Exception:
+        pass  # duckdb 连不上 → 空集
+    _DB_COLUMNS_CACHE = cols
+    return cols
+
+
+def _camel_to_snake(name):
+    """camelCase → snake_case (caseStatus → case_status)。用于匹配数据库列名。"""
+    s = re.sub(r'([A-Z0-9]+)([A-Z][a-z])', r'\1_\2', name)
+    s = re.sub(r'([a-z0-9])([A-Z])', r'\1_\2', s)
+    return s.lower()
+
+
+# ============================================================
+# A1: 现实锚定 - PRD 引用的字段/API 是否真实存在 (双层: 代码 + 数据库)
+# ============================================================
+
+def score_reality(prd_text):
+    fm = load_json(os.path.join(BUILD_CACHE_DIR, 'ui-style.json')).get('field_map', {})
+    apis = load_json(os.path.join(BUILD_CACHE_DIR, 'code-api.json'))
+    fields_lower = {k.lower() for k in fm}
+    # 第二层: 数据库真实列名 (连不上/没导入 = 空集, 自动降级纯代码层)
+    db_cols = {c.lower() for c in _load_db_columns()}
+    api_paths = set()
+    for ep in apis:
+        api_paths.add(ep.lower())
+        for seg in ep.lower().split('/'):
+            if len(seg) >= 4:
+                api_paths.add(seg)
+
+    # 只检查表格单元格里的 camelCase 标识符 (字段规格表的内容)
+    # 跳过"新增/规划"上下文的行 —— 新需求规划的路径本来就不存在
+    NEW_MARKS = ('新增', '新建', '规划', '待开发', '本次新增', 'NEW')
+    candidates = set()
+    api_refs = set()
+    for line in prd_text.splitlines():
+        is_new = any(m in line for m in NEW_MARKS)
+        if '|' in line and not is_new:
+            for cell in line.split('|'):
+                for tok in re.findall(r'\b[a-z][a-zA-Z0-9]{3,30}\b', cell.strip()):
+                    if any(c.isupper() for c in tok):  # camelCase 才像字段名
+                        candidates.add(tok)
+        if not is_new:
+            for ref in re.findall(r'/[a-zA-Z][a-zA-Z0-9/]{3,60}', line):
+                # 前端组件新路径以 /apps|/views|/components 开头的不检查
+                if not re.search(r'(apps|views|components|modules)/', ref):
+                    api_refs.add(ref)
+
+    checked, hits, misses = 0, 0, []
+    db_bonus = 0  # 数据库层额外救回的字段数 (报告用)
+    for tok in sorted(candidates):
+        checked += 1
+        tl = tok.lower()
+        if tl in fields_lower or any(tl in f or f in tl for f in fields_lower):
+            hits += 1
+        else:
+            # 第二层: 代码没有 → 查数据库列 (camelCase → snake_case)
+            snake = _camel_to_snake(tok)
+            if db_cols and (snake in db_cols or tl in db_cols):
+                hits += 1
+                db_bonus += 1
+            else:
+                misses.append(tok)
+    for ref in sorted(api_refs):
+        checked += 1
+        rl = ref.lower()
+        # ① 精确匹配 或 段级匹配
+        if rl in api_paths or any(seg in api_paths for seg in rl.split('/') if len(seg) >= 4):
+            hits += 1
+        # ② 后缀匹配: PRD 常省略模块前缀 (写 /vehInspection/getInfo 而非
+        # /vehlife/vehInspection/getInfo), 图谱存的是完整路径。只要图谱里
+        # 有以 PRD 引用结尾的路径, 就算命中 (长度>=8 防误伤短路径)。
+        elif len(rl) >= 8 and any(full.endswith(rl) for full in api_paths):
+            hits += 1
+        else:
+            misses.append(ref)
+
+    if checked == 0:
+        return 1.0, '未引用具体字段/API (零星文案类需求正常)', []
+    ratio = hits / checked
+    db_note = ('，其中 %d 个由数据库层确认' % db_bonus) if db_bonus else ''
+    layer_note = ('(双层: 代码+数据库)' if db_cols else '(代码层)')
+    return ratio, '{}/{} 个字段/API 引用可在图谱中找到{}{}'.format(
+        hits, checked, layer_note, db_note), misses[:8]
+
+
+# ============================================================
+# A2: 风格保真 - 原型颜色是否来自真源
+# ============================================================
+
+def allowed_colors():
+    """真源颜色集合 = 平台模板 + 风格参考 JSON 中出现过的所有色值"""
+    allowed = set(NEUTRAL_COLORS)
+    sources = [
+        os.path.join(TPL_DIR, 'prototype-web.html'),
+        os.path.join(TPL_DIR, 'prototype-app.html'),
+        os.path.join(INDEX_DIR, 'ref-chart-style.json'),
+        os.path.join(INDEX_DIR, 'ref-vben-style.json'),
+    ]
+    for p in sources:
+        if os.path.isfile(p):
+            text = read_text(p)
+            for c in re.findall(r'#[0-9a-fA-F]{3,8}\b', text):
+                allowed.add(c.lower())
+    return allowed
+
+
+def score_style(html_text):
+    # emoji = 没有使用项目真实图标体系, 直接重罚
+    emojis = re.findall(r'[\U0001F300-\U0001FAFF☀-➿⬀-⯿]', html_text)
+    allowed = allowed_colors()
+    used = [c.lower() for c in re.findall(r'#[0-9a-fA-F]{3,8}\b', html_text)]
+    if not used and not emojis:
+        return 1.0, '原型未使用硬编码颜色 (纯 CSS 变量, 最佳)', []
+    uniq = sorted(set(used))
+    unknown = [c for c in uniq if c not in allowed]
+    ratio = 1 - (len(unknown) / len(uniq) if uniq else 0)
+    notes = []
+    if emojis:
+        ratio = min(ratio, 0.3)
+        notes.append('发现 {} 个 emoji (必须用 ref-icon.json 的真实图标)'.format(len(set(emojis))))
+    msg = '{}/{} 种颜色来自真源'.format(len(uniq) - len(unknown), len(uniq))
+    if notes:
+        msg += '; ' + '; '.join(notes)
+    return ratio, msg, unknown[:10]
+
+
+# ============================================================
+# A3: 模板完整 - 团队模板章节是否齐全
+# ============================================================
+
+def score_template(prd_text):
+    # 优先看 mode 标记 (HTML 注释, 头部 2KB 内); 无标记回退到内容自识别 (旧 PRD 兼容)
+    # 注意: 去掉了旧的 len<3000 启发式 —— 它会把短的 full PRD 误判为 quick
+    _m = re.search(r'<!--\s*mode:\s*(\w+)\s*-->', prd_text[:2048], re.IGNORECASE)
+    if _m:
+        is_quick = _m.group(1).lower() == 'quick'
+    else:
+        _low = prd_text.lower()
+        is_quick = ('mini-prd' in _low or '零星需求' in prd_text)
+    sections = QUICK_SECTIONS if is_quick else FULL_SECTIONS
+    kind = '零星模板' if is_quick else '完整模板'
+    missing = [s for s in sections if s not in prd_text]
+    ratio = 1 - len(missing) / len(sections)
+    return ratio, '{} {}/{} 章节齐全'.format(kind, len(sections) - len(missing), len(sections)), missing
+
+
+# ============================================================
+# Main
+# ============================================================
+
+def main():
+    if len(sys.argv) < 2:
+        print(__doc__)
+        return 1
+    prd_path = sys.argv[1]
+    html_path = sys.argv[2] if len(sys.argv) > 2 else None
+
+    if not os.path.isfile(prd_path):
+        print('PRD 不存在: ' + prd_path)
+        return 1
+
+    # 用程序化 API 评估 (重构后 main 只是 CLI 包装)
+    from common.eval_api import evaluate, format_report
+    try:
+        result = evaluate(prd_path, html_path)
+    except FileNotFoundError as e:
+        print(str(e))
+        return 1
+
+    # 打印人类可读报告
+    print(format_report(result))
+
+    # 详细 misses (补充 format_report 之外的细节)
+    if result.get('msg2') and '非真源颜色' in str(result.get('msg2', '')):
+        # msg2 已含信息, 此处可补 unknown 列表 —— 但 evaluate 已合并进 misses
+        pass
+
+    # 记录历史 (原子追加, 防并发损坏)
+    try:
+        from common.atomicio import atomic_append_jsonl
+        os.makedirs(os.path.dirname(HISTORY), exist_ok=True)
+        atomic_append_jsonl(HISTORY, {
+            'time': datetime.now().isoformat(),
+            'prd': result['prd'],
+            'a1_reality': result['r1'],
+            'a2_style': result['r2'],
+            'a3_template': result['r3'],
+            'score_pct': result['pct'],
+            'passed': result['passed'],
+        }, timeout=10)
+    except Exception:
+        pass  # 历史记录失败不影响评估结果
+
+    # 埋点: PRD 评估结果反馈给 learning 引擎 (prd_accepted / prd_rejected)
+    try:
+        from learn import record_feedback
+        event = 'prd_accepted' if result['passed'] else 'prd_rejected'
+        record_feedback(event, {
+            'prd': result.get('prd', os.path.basename(prd_path)),
+            'score': result.get('pct', 0),
+            'a1': result.get('r1'), 'a2': result.get('r2'), 'a3': result.get('r3'),
+        })
+    except Exception:
+        pass  # 埋点失败不影响评估
+
+    return 0 if result['passed'] else 1
+
+
+if __name__ == '__main__':
+    sys.exit(main())