@hupan56/wlkj 2.7.12 → 3.1.2

package/templates/qoder/scripts/domain/kg/search/prefetch.py

@@ -0,0 +1,384 @@
+#!/usr/bin/env python3
+# -*- coding: utf-8 -*-
+# v3.0 路径自举: 引导到 common/bootstrap, 统一 sys.path 逻辑
+import os as _o, sys as _s
+_f = _o.path.abspath(__file__)
+for _ in range(10):
+    _f = _o.path.dirname(_f)
+    _cp = _o.path.join(_f, 'foundation')
+    if _o.path.isfile(_o.path.join(_cp, 'bootstrap.py')):
+        break
+if _cp not in _s.path: _s.path.insert(0, _cp)
+from bootstrap import setup; setup()
+
+"""
+QODER Prefetch — 需求上下文"预测 + 批量预取"
+
+治的病: 写 PRD 时串行试探式搜索 (查一个词不命中 → 换词再查 → 再换...),
+一次需求 6+ 次往返, 又慢又可能违反"禁止 grep 全库"的规则。
+
+做法 (用户原话): "开始前先预测需要查哪些, 一批查完, 不够再补。"
+
+输入一句需求描述, 输出一份合并去重的 context_pack (8 段), 等价于把多个
+业务词的查询结果一次性合并。一次调用替代 6+ 次串行 search/find/grep。
+
+Usage:
+  python prefetch.py "保险单OCR识别标注对比图" --platform web
+  python prefetch.py "考勤导出按钮" --platform app
+
+设计:
+  - 不重新实现 context_pack 的 8 段, 复用其底层函数 (load/match_kw/plat_filter)
+  - 词预测: 从需求句抽业务实体 + expand_chinese_query 分词 + 缩写直通
+  - 多词命中合并去重, 按"被几个词命中"排序 (多词命中的文件排前面)
+  - 降级: 词预测失败 → 回退单词 context_pack
+"""
+
+import os
+import sys
+
+# UTF-8 stdio (Windows 终端默认 GBK)
+try:
+    sys.stdout.reconfigure(encoding='utf-8', errors='replace')
+except (AttributeError, TypeError, OSError, IOError):
+    pass
+
+sys.path.insert(0, os.path.dirname(os.path.abspath(__file__)))
+
+# 复用 context_pack 的底层 (单一数据源, 不重复造轮子)
+from domain.kg.search.context_pack import (
+    load, match_kw, plat_filter, PLATFORM_MAP, MIN_FUZZY_LEN,
+    BASE, INDEX_DIR, BUILD_CACHE_DIR,
+)
+from foundation.integrations.terms import expand_chinese_query, get_cn_map_with_auto, BUSINESS_PATH_MAP
+
+
+# ── 词预测 ──────────────────────────────────────────────────────────
+
+# 常见缩写/英文技术词, 不在 CN_MAP 里, 直接作为英文词参与子串匹配
+# (OCR 这种缩写原来直接原样返回 [ocr], 在 code-keyword 里 0 命中)
+_EN_ACRONYMS = {
+    'ocr', 'api', 'gps', 'sms', 'qrcode', 'qr', 'pdf', 'excel',
+    'barcode', 'rfid', 'nfc', 'ai', 'etl', 'crm', 'erp', 'oa',
+}
+
+
+def predict_words(sentence):
+    """从一句需求描述预测出要查的业务词集合。
+
+    三级抽取:
+      1. 直接命中 CN_MAP/BUSINESS_PATH_MAP 的中文词 (保险/考勤/导出...)
+      2. 英文缩写/技术词 (OCR/API/GPS...) 直通
+      3. 句子里其它 >=2 字的片段, 兜底参与匹配
+
+    返回 (主词列表, 用于命中的英文小写词列表)。主词是中文业务词,
+    英文词用于索引子串匹配。
+    """
+    sentence = sentence.strip()
+    if not sentence:
+        return [], []
+
+    cn_map = get_cn_map_with_auto()
+    primary_cn = []   # 命中的中文业务词 (用于展示)
+    en_words = set()  # 所有英文搜索词 (用于命中匹配)
+
+    # 1. 贪心最长匹配中文业务词 (与 expand_chinese_query 同思路, 但保留原始中文词)
+    remaining = sentence
+    for cn in sorted(cn_map.keys(), key=len, reverse=True):
+        if cn in remaining:
+            primary_cn.append(cn)
+            # 用 expand_chinese_query 拿这个词的英文展开
+            for w in expand_chinese_query(cn):
+                en_words.add(w.lower())
+            remaining = remaining.replace(cn, ' ')
+
+    # 2. 英文缩写/技术词直通 (OCR 不在任何词典里也照常参与匹配)
+    low = sentence.lower()
+    for acr in _EN_ACRONYMS:
+        if acr in low:
+            en_words.add(acr)
+            # 也带上常见变体 (ocr → ocr; 不强行猜其它)
+    # 句子里其它纯英文片段 (>=3 字母) 也加入, 让索引做子串匹配
+    for frag in remaining.split():
+        frag = frag.strip()
+        if frag and frag.isascii() and len(frag) >= 3:
+            en_words.add(frag.lower())
+
+    # 3. expand_chinese_query 对整句做一次 (捕获中文分词能拆出的英文)
+    for w in expand_chinese_query(sentence):
+        en_words.add(w.lower())
+
+    # 兜底: 整句小写也作为一个匹配候选 (若全是英文/数字)
+    if sentence.isascii():
+        en_words.add(sentence.lower())
+
+    return primary_cn, sorted(en_words)
+
+
+# ── 批量合并取上下文 ──────────────────────────────────────────────────
+
+def _collect(targets, en_words, query=None):
+    """对预测出的所有词, 批量收集 1/3/4/5 段命中, 合并去重。
+
+    返回 dict: {段名: 合并去重 + 排序后的列表}。
+    排序: 多词命中的项排前面 (被越多词命中越相关)。
+    query: 原始需求句 (用于语义补充检索, 中文句比拆词后的英文更准)。
+    """
+    ki = load('code-keyword.json') or {}
+    si = load('ui-style.json') or {}
+    prds = load('prd-index.json') or {}
+    apis = load('code-api.json') or {}
+    # frontend-routes: 前端路由 + view 路径 (前端需求的主要命中源,
+    # code-keyword 虽有 vue 但靠 kw 键匹配, 路由页直接命中靠这里)
+    fr = load('frontend-routes.json') or {}
+
+    # ---- 1. 相关代码文件: 文件 -> {命中的词} ----
+    file_hits = {}  # f -> set(命中的词)
+    # 1a. code-keyword: 扩展词匹配 keyword 键 + 匹配文件路径
+    for word in en_words:
+        for kw, files in ki.items():
+            if match_kw(word, kw):
+                fs = files if not targets else [f for t in targets for f in plat_filter(files, t)]
+                for f in fs:
+                    file_hits.setdefault(f, set()).add(word)
+    # 1b. 前端 view 路径直接匹配 (前端需求不再 0 命中代码文件的根因修复:
+    #     view 路径如 views/cost/contractSubmission/index 含 contract 就命中)
+    # 用「路径段包含」而非裸子串, 避免 digital-clock 被考勤(clock)误命中。
+    def _seg_match(word, path_lower):
+        """word 作为一个完整路径段命中 path (前后是 / 开头/结尾/分隔)。
+        例: 'clock' 命中 'time/clock/index' (clock 是独立段), 不命中 'digital-clock'。"""
+        if not word or len(word) < MIN_FUZZY_LEN:
+            return False
+        # 标准化: 前后加 / 让首尾段也能匹配
+        norm = '/' + path_lower + '/'
+        # word 含 / 时 (如 time/clock) 直接子串; 否则要求前后是边界
+        if '/' in word:
+            return word in norm
+        return ('/' + word + '/') in norm or ('/' + word + '.') in norm or ('-' + word + '-') in norm
+    views = fr.get('views') or []
+    for vp in views:
+        vpl = vp.lower()
+        for word in en_words:
+            if _seg_match(word, vpl):
+                # 还原成 fywl-ui/... 形式 (views 里是相对 src/views 的路径)
+                f = 'fywl-ui/apps/ics/src/views/' + vp
+                file_hits.setdefault(f, set()).add(word)
+
+    # 1c. 语义补充: 若关键词命中稀疏 (<=2 文件), 用 bge-small-zh 向量检索补一轮。
+    # 解决"中文业务词→英文代码"的跨语言漏召 (查"报销"命中 reimburse/expense)。
+    # 把语义命中的文件按低权重并入 file_hits, 不喧宾夺主 (关键词命中优先)。
+    if len(file_hits) <= 2:
+        try:
+            from domain.kg.graph.kg_semantic import semantic_search_files
+            sem = semantic_search_files(query, top_k=8)
+            if sem:
+                for fp, eid, cn, score in sem:
+                    if targets:
+                        matched = any(t.lower() in fp.lower() for t in targets)
+                        if not matched:
+                            continue
+                    # 语义命中标 'sem' 词, 不计入 en_words 命中数 (排序靠后)
+                    file_hits.setdefault(fp, set()).add('sem')
+        except Exception:
+            pass  # 模型未装/无 embedding → 静默跳过
+
+    # 按命中词数排序, 取前 12
+    files_ranked = sorted(file_hits.items(), key=lambda x: len(x[1]), reverse=True)[:12]
+
+    # ---- 3. 相关字段: field -> (count, info, {命中的词}) ----
+    fm = si.get('field_map') or {}
+    field_hits = []  # (count, field, info, 命中词数)
+    for field, info in fm.items():
+        fl = field.lower()
+        hit_words = [w for w in en_words if len(w) >= MIN_FUZZY_LEN and w in fl]
+        if hit_words:
+            field_hits.append((info.get('count', 0), field, info, len(hit_words)))
+    field_hits.sort(key=lambda x: (x[3], x[0]), reverse=True)
+
+    # ---- 4. 相关历史 PRD ----
+    prd_hits = []
+    for pf, prd in prds.items():
+        text = (prd.get('title', '') + ' ' + ' '.join(prd.get('keywords', []))).lower()
+        hit_words = [w for w in en_words if w in text]
+        if hit_words:
+            score = sum(2 for _ in hit_words)
+            prd_hits.append((score, pf, prd.get('title', pf)))
+    prd_hits.sort(reverse=True)
+
+    # ---- 5. 相关 API ----
+    api_hits = [(ep, f, len([w for w in en_words if len(w) >= MIN_FUZZY_LEN
+                             and (w in ep.lower() or w in f.lower())]))
+                for ep, f in apis.items()
+                if any(len(w) >= MIN_FUZZY_LEN and (w in ep.lower() or w in f.lower())
+                       for w in en_words)]
+    api_hits.sort(key=lambda x: x[2], reverse=True)
+
+    return {
+        'files': files_ranked,
+        'fields': field_hits,
+        'prds': prd_hits,
+        'apis': api_hits,
+    }
+
+
+def _print_merged(query, platform, primary_cn, en_words, collected):
+    """打印合并后的 8 段 (与 context_pack 格式兼容)。"""
+    targets = []
+    if platform and platform.lower() not in ('both', '两端'):
+        targets = [PLATFORM_MAP.get(platform.lower(), platform)]
+    elif platform:
+        targets = sorted(set(PLATFORM_MAP.values()))
+
+    print('# Prefetch: {} (platform: {})'.format(query, platform or 'all'))
+    print('预测主词 (中文业务词): ' + ', '.join(primary_cn) if primary_cn else '(无精确中文业务词)')
+    print('批量搜索词: ' + ' '.join(en_words))
+    print('提示: 这是一次性批量预取, 已合并多词命中。prefetch 之后不要再串行 search/find/grep。')
+
+    # 1. 相关代码文件
+    files_ranked = collected['files']
+    print('\n## 1. 相关代码文件 ({} 个, 取前 12, 多词命中排前)'.format(len(files_ranked)))
+    for f, ws in files_ranked:
+        full = 'data/code/' + f.replace('\\', '/')
+        print('- {} ({}词命中: {})  -> {}'.format(f, len(ws), ','.join(sorted(ws)[:3]), full))
+    if not files_ranked:
+        print('- (无命中 — 该功能可能为全新, 或换业务词重跑 prefetch)')
+
+    # 2. 同类页面示例 (固定信息, 直接列)
+    si = load('ui-style.json') or {}
+    print('\n## 2. 同类页面示例 (风格锚点, 读 1-2 个)')
+    shown = 0
+    for proj, pdata in sorted((si.get('projects') or {}).items()):
+        if targets and proj not in targets:
+            continue
+        if shown >= 4:
+            break
+        examples = pdata.get('page_examples', {})
+        for pt, fs in sorted(examples.items()):
+            if pt == 'unknown':
+                continue
+            fs_files = [item['file'] if isinstance(item, dict) else item for item in fs[:2]]
+            print('- [{}] {}: {}'.format(proj, pt, ' | '.join(fs_files)))
+            shown += 1
+            if shown >= 4:
+                break
+
+    # 3. 相关字段
+    field_hits = collected['fields']
+    print('\n## 3. 相关字段 (真实字段名->中文标题, 多词命中排前)')
+    for cnt, field, info, n in field_hits[:10]:
+        print('- {} -> {} ({}x, {}词命中)'.format(field, '/'.join(info.get('titles', [])[:3]), cnt, n))
+    if not field_hits:
+        print('- (无直接相关字段)')
+
+    # 4. 相关历史 PRD
+    prd_hits = collected['prds']
+    print('\n## 4. 相关历史 PRD (data/docs/prd/)')
+    for s, pf, title in prd_hits[:5]:
+        print('- {} - {}'.format(pf, title[:60]))
+    if not prd_hits:
+        print('- (无相关 PRD)')
+
+    # 5. 相关 API
+    api_hits = collected['apis']
+    print('\n## 5. 相关 API (取前 8 / 共 {}, 多词命中排前)'.format(len(api_hits)))
+    for ep, f, n in sorted(api_hits, key=lambda x: x[2], reverse=True)[:8]:
+        print('- {} -> {} ({}词命中)'.format(ep, f.split('/')[-1], n))
+    if not api_hits:
+        print('- (无相关 API)')
+
+    # 6. 风格/图标/模板速查 (固定)
+    print('\n## 6. 风格真源速查')
+    print('- Web Token: data/index/ref-vben-style.json (primary=hsl(214.58 86.34% 59.8%))')
+    print('- 图标 (禁 emoji): data/index/ref-icon.json (Web=antd 内联SVG, APP=vant 字体)')
+    print('- 模板: .qoder/templates/prototype-web.html / prototype-app.html')
+    print('- PRD 模板: .qoder/templates/prd-full-template.md / prd-quick-template.md')
+
+    # 7. Repo Wiki
+    code_dir = os.path.join(BASE, 'data', 'code')
+    wiki_results = []
+    try:
+        from repowiki import search_wiki, build_wiki_index
+        wiki_idx_path = os.path.join(BUILD_CACHE_DIR, 'wiki-index.json')
+        if not os.path.isfile(wiki_idx_path):
+            build_wiki_index(code_dir, wiki_idx_path)
+        cn_map = get_cn_map_with_auto()
+        # Wiki 用主词 + 整句各查一次, 合并 (Wiki 命中往往最精准)
+        wiki_q = primary_cn[0] if primary_cn else query
+        wiki_results = search_wiki(wiki_q, INDEX_DIR, code_dir, cn_map)
+    except Exception:
+        pass
+    if wiki_results:
+        print('\n## 7. Repo Wiki (语义级模块文档, 比源码更精准)')
+        print('  相关模块文档 ({} 条, 带行号引用, 优先读这些):'.format(len(wiki_results)))
+        for i, wr in enumerate(wiki_results[:5], 1):
+            print('  {}. [{}] {}'.format(i, wr.get('project', '?'), wr.get('title', '')))
+            if wr.get('dependent_files'):
+                print('     核心文件: ' + ', '.join(wr['dependent_files'][:2]))
+            if wr.get('md_path'):
+                print('     文档: ' + os.path.relpath(wr['md_path'], BASE))
+
+    # 8. 数据库表结构 (主词查一次即可)
+    try:
+        from domain.kg.search.search_index import _get_kg_db
+        con = _get_kg_db()
+        if con is not None:
+            tbl_q = primary_cn[0] if primary_cn else query
+            kw_lower = tbl_q.lower()
+            import re as _re
+            snake = _re.sub(r'([a-z0-9])([A-Z])', r'\1_\2', tbl_q).lower()
+            tbl_hits = con.execute(
+                "SELECT DISTINCT table_name, db FROM db_tables "
+                "WHERE lower(table_name) LIKE ? OR lower(table_name) LIKE ? LIMIT 3",
+                ['%' + kw_lower + '%', '%' + snake + '%']
+            ).fetchall()
+            if tbl_hits:
+                print('\n## 8. 数据库表结构 (kg_db.duckdb, QAS测试环境)')
+                for tn, dbn in tbl_hits[:3]:
+                    cols = con.execute(
+                        "SELECT column_name, data_type FROM db_columns WHERE table_name = ? LIMIT 6",
+                        [tn]
+                    ).fetchall()
+                    print('  [{}.{}] {}'.format(dbn, tn, len(cols)))
+                    for cn, dt in cols:
+                        print('    {} ({})'.format(cn, dt))
+    except Exception:
+        pass  # kg_db 不存在 → 跳过
+
+
+# ── 入口 ──────────────────────────────────────────────────────────
+
+def main():
+    args = sys.argv[1:]
+    platform = None
+    if '--platform' in args:
+        i = args.index('--platform')
+        platform = args[i + 1] if i + 1 < len(args) else None
+        args = args[:i] + args[i + 2:]
+    if not args:
+        print(__doc__)
+        return 1
+    query = args[0]
+
+    # 词预测
+    primary_cn, en_words = predict_words(query)
+
+    # 降级: 预测不出任何英文词 → 回退单词 context_pack (保持兼容)
+    if not en_words:
+        from domain.kg.search import context_pack as _cp
+        # 直接调 context_pack 的计算逻辑 (它会自己 print)
+        _cp._compute_and_print(query, platform, None)
+        return 0
+
+    targets = []
+    if platform and platform.lower() not in ('both', '两端'):
+        targets = [PLATFORM_MAP.get(platform.lower(), platform)]
+    elif platform:
+        targets = sorted(set(PLATFORM_MAP.values()))
+
+    # 批量合并取上下文
+    collected = _collect(targets, en_words, query)
+    _print_merged(query, platform, primary_cn, en_words, collected)
+    return 0
+
+
+if __name__ == '__main__':
+    sys.exit(main())