@hupan56/wlkj 2.5.0 → 2.7.0

package/templates/qoder/scripts/context_pack.py

@@ -19,6 +19,7 @@ Usage:
 """
 
 import os
+from common.paths import BUILD_CACHE_DIR
 import sys
 import json
 import time
@@ -42,6 +43,14 @@ MIN_FUZZY_LEN = 4
 
 
 def load(filename):
+    """Load index from DuckDB (preferred) or JSON fallback."""
+    try:
+        from search_index import _duckdb_load
+        result = _duckdb_load(filename)
+        if result is not None:
+            return result
+    except Exception:
+        pass
     path = os.path.join(INDEX_DIR, filename)
     if not os.path.isfile(path):
         return None
@@ -73,17 +82,23 @@ def plat_filter(files, target):
 
 
 def _cache_key(query, platform, page_type):
-    """生成缓存 key: query|platform|type|索引mtime 指纹。
+    """生成缓存 key: query|platform|type|数据源mtime 指纹。
 
-    索引文件没变就命中缓存, 变了自动失效。
+    数据源变了就失效。注意: 数据真正存在 DuckDB(kg.duckdb) 里, JSON 文件
+    大多缺失——所以指纹必须包含 kg.duckdb 的 mtime, 否则 DuckDB 重建/增量
+    更新后, 旧的"空结果"缓存会一直命中(实测 bug: 保险词永久返回 0 命中)。
     """
     import hashlib
-    # 取 3 个主要索引的 mtime 作为指纹
     mtime_str = ''
-    for idx_file in ['keyword-index.json', 'api-index.json', 'prd-index.json']:
+    # ① DuckDB (数据真正来源, 必须算)
+    duckdb_path = os.path.join(INDEX_DIR, 'kg.duckdb')
+    if os.path.isfile(duckdb_path):
+        mtime_str += 'duck:%d_' % os.path.getmtime(duckdb_path)
+    # ② JSON 索引 (部分数据仍在 JSON, 一起算)
+    for idx_file in ['code-keyword.json', 'code-api.json', 'prd-index.json', 'ui-style.json']:
         p = os.path.join(INDEX_DIR, idx_file)
         if os.path.isfile(p):
-            mtime_str += '%d_' % os.path.getmtime(p)
+            mtime_str += '%s:%d_' % (idx_file, os.path.getmtime(p))
     raw = '{}|{}|{}|{}'.format(query, platform or '', page_type or '', mtime_str)
     return hashlib.md5(raw.encode('utf-8')).hexdigest()[:16]
 
@@ -142,6 +157,10 @@ def main():
         return 1
     query = args[0]
 
+    # 注意: context_pack.py 不加平台硬守卫 —— 它是通用上下文工具,
+    # wl-insight(探索)/wl-search 也调用, 那些场景 platform 可选。
+    # 平台违规的真正信号点在 fill_prototype.py (出原型必分平台, PRD 链路必经)。
+
     # 结果缓存: 同 query+platform+索引未变 → 直接返回 (470ms → <10ms)
     cache_key = _cache_key(query, platform, page_type)
     cached = _try_cache(cache_key)
@@ -177,7 +196,7 @@ def _compute_and_print(query, platform, page_type):
     print('搜索词扩展: ' + ' '.join(words))
 
     # ---- 1. 相关代码文件 ----
-    ki = load('keyword-index.json') or {}
+    ki = load('code-keyword.json') or {}
     hits = {}
     for word in words:
         for kw, files in ki.items():
@@ -195,7 +214,7 @@ def _compute_and_print(query, platform, page_type):
         print('- (无命中 — 换业务词重试, 或该功能为全新)')
 
     # ---- 2. 同类型页面真实示例 ----
-    si = load('style-index.json') or {}
+    si = load('ui-style.json') or {}
     print('\n## 2. 同类页面示例 (风格锚点, 读 1-2 个)')
     for proj, pdata in sorted((si.get('projects') or {}).items()):
         if targets and proj not in targets:
@@ -206,7 +225,8 @@ def _compute_and_print(query, platform, page_type):
                 continue
             if not page_type and pt == 'unknown':
                 continue
-            print('- [{}] {}: {}'.format(proj, pt, ' | '.join(fs[:3])))
+            fs_files = [item['file'] if isinstance(item, dict) else item for item in fs[:3]]
+            print('- [{}] {}: {}'.format(proj, pt, ' | '.join(fs_files)))
 
     # ---- 3. 相关字段规格 ----
     fm = si.get('field_map') or {}
@@ -238,7 +258,7 @@ def _compute_and_print(query, platform, page_type):
         print('- (无相关 PRD)')
 
     # ---- 5. 相关 API ----
-    apis = load('api-index.json') or {}
+    apis = load('code-api.json') or {}
     ahits = [(ep, f) for ep, f in apis.items()
              if any(w in ep.lower() or w in f.lower() for w in words if len(w) >= MIN_FUZZY_LEN)]
     print('\n## 5. 相关 API (取前 8 / 共 {})'.format(len(ahits)))
@@ -249,9 +269,9 @@ def _compute_and_print(query, platform, page_type):
 
     # ---- 6. 风格/图标/模板速查 ----
     print('\n## 6. 风格真源速查')
-    print('- Web Token: data/index/vben-style-reference.json (primary=hsl(212 100% 45%))')
-    print('- 看板/大屏: data/index/chart-style-reference.json (大屏深蓝风 monitor / 浅色卡片风 workbench)')
-    print('- 图标 (禁 emoji): data/index/icon-reference.json (Web=antd 内联SVG, APP=vant 字体)')
+    print('- Web Token: data/index/ref-vben-style.json (primary=hsl(214.58 86.34% 59.8%))')
+    print('- 看板/大屏: data/index/ref-chart-style.json (大屏深蓝风 monitor / 浅色卡片风 workbench)')
+    print('- 图标 (禁 emoji): data/index/ref-icon.json (Web=antd 内联SVG, APP=vant 字体)')
     print('- 模板: .qoder/templates/prototype-web.html / prototype-app.html')
     print('- PRD 模板: .qoder/templates/prd-full-template.md / prd-quick-template.md')
 
@@ -261,7 +281,7 @@ def _compute_and_print(query, platform, page_type):
     try:
         from common.repowiki import search_wiki, build_wiki_index
         from common.terms import get_cn_map_with_auto
-        wiki_idx_path = os.path.join(INDEX_DIR, 'wiki-index.json')
+        wiki_idx_path = os.path.join(BUILD_CACHE_DIR, 'wiki-index.json')
         if not os.path.isfile(wiki_idx_path):
             build_wiki_index(code_dir, wiki_idx_path)
         cn_map = get_cn_map_with_auto()
@@ -293,6 +313,46 @@ def _compute_and_print(query, platform, page_type):
             for w in wiki_dirs:
                 print('  - ' + w)
 
+    # ── 8. 数据库表结构 (从 kg_db.duckdb, 合并了原来要单独调 MCP 的查询) ──
+    try:
+        import duckdb as _ddb2
+        db_path = os.path.join(INDEX_DIR, 'kg_db.duckdb')
+        if os.path.isfile(db_path):
+            con = _ddb2.connect(db_path, read_only=True)
+            # 关键词匹配表名 (英文词或snake_case, camelCase自动转)
+            kw_lower = query.lower()
+            # camelCase → snake_case (qualityCase → quality_case)
+            import re as _re
+            snake = _re.sub(r'([a-z0-9])([A-Z])', r'\1_\2', query).lower()
+            tbl_hits = con.execute(
+                "SELECT DISTINCT table_name, db FROM db_tables "
+                "WHERE lower(table_name) LIKE ? OR lower(table_name) LIKE ? LIMIT 5",
+                ['%' + kw_lower + '%', '%' + snake + '%']
+            ).fetchall()
+            if tbl_hits:
+                print('\n## 8. 数据库表结构 (kg_db.duckdb, QAS测试环境)')
+                for tn, dbn in tbl_hits[:3]:
+                    cols = con.execute(
+                        "SELECT column_name, data_type, column_comment "
+                        "FROM db_columns WHERE table_name = ? LIMIT 8",
+                        [tn]
+                    ).fetchall()
+                    print('  [{}.{}] {}:'.format(dbn, tn, len(cols)))
+                    for cn, dt, cc in cols:
+                        print('    {} ({}) {}'.format(cn, dt, (cc or '')[:25]))
+                # entity_table_map: 表对应哪个Entity
+                for tn, _ in tbl_hits[:2]:
+                    ents = con.execute(
+                        "SELECT DISTINCT entity_class FROM entity_table_map "
+                        "WHERE table_name = ? LIMIT 3", [tn]
+                    ).fetchall()
+                    if ents:
+                        print('  {} → Entity: {}'.format(
+                            tn, ', '.join(e[0] for e in ents)))
+            con.close()
+    except Exception:
+        pass  # kg_db不存在/被占用 → 跳过, 不影响其它段
+
 
 if __name__ == '__main__':
     sys.exit(main())

package/templates/qoder/scripts/enrich_prompt.py

@@ -0,0 +1,226 @@
+#!/usr/bin/env python3
+# -*- coding: utf-8 -*-
+"""enrich_prompt.py - 极速提示词润色 (用户提问后第 0 步)
+
+目标: 在用户提问后, <10ms 内判断这句话命中哪些业务关键词,
+输出一个「润色后的提示词」给用户确认, 再走原命令。
+
+设计:
+  - 纯内存查表 (不跑重检索 context_pack, 那个留给确认后)
+  - 中文分词复用 common/terms.py 的 expand_chinese_query
+  - 命中 keyword-index / api-index / prd-index 的键
+  - 命中 0 个 = 非业务消息 (谢谢/继续), 直接放行不润色
+
+用法:
+  python .qoder/scripts/enrich_prompt.py "保险批改那个异常统计页加个审批按钮"
+  python .qoder/scripts/enrich_prompt.py "保险批改..." --json     # 机器可读
+
+输出 (默认人类可读):
+  ── 极速润色 ──
+  业务词: 保险→insurance, 批改→amend, 异常→abnormal...
+  相关代码符号: 108 处 (abnormalovertime, approval-cell...)
+  相关API: 5 个
+  历史 PRD: 2 篇
+  ──────────────
+  将以上下文继续。回复"改:xxx"调整, 任意其它内容=接受。
+"""
+import os, sys, json, time
+
+if sys.platform == 'win32':
+    try:
+        sys.stdout.reconfigure(encoding='utf-8')
+    except Exception:
+        pass
+
+BASE = os.path.dirname(os.path.dirname(os.path.dirname(os.path.abspath(__file__))))
+sys.path.insert(0, os.path.join(BASE, '.qoder', 'scripts'))
+
+IDX_DIR = os.path.join(BASE, 'data', 'index')
+# 缓存: 同一进程内只加载一次索引
+_CACHE = {}
+
+
+def _load(name):
+    """加载索引 (优先 DuckDB, 回退 JSON)。复用 search_index.load_index 的 fallback 逻辑。"""
+    if name in _CACHE:
+        return _CACHE[name]
+    try:
+        from search_index import load_index
+        d = load_index(name) or {}
+    except ImportError:
+        # search_index 不可用时, 直接读 JSON (老逻辑)
+        d = {}
+        path = os.path.join(IDX_DIR, name)
+        if os.path.isfile(path):
+            try:
+                for enc in ('utf-8', 'gbk'):
+                    try:
+                        with open(path, encoding=enc) as f:
+                            d = json.load(f)
+                        break
+                    except (OSError, UnicodeDecodeError):
+                        continue
+            except Exception:
+                pass
+    _CACHE[name] = d
+    return d
+
+
+# 短而无意义的英文 token 黑名单 (避免子串误命中 'cs'/'fl'/'in' 这类噪声)
+# 提到模块级: _match_keys 和 code_total 共用一份
+NOISE_KEYS = {
+    'app', 'api', 'all', 'add', 'age', 'and', 'are', 'ars', 'ase', 'ask',
+    'ate', 'aud', 'bar', 'big', 'btn', 'can', 'car', 'cas', 'cat', 'code',
+    'con', 'cor', 'cs', 'cur', 'dae', 'dat', 'day', 'del', 'dep', 'des',
+    'det', 'dim', 'div', 'doc', 'dos', 'ear', 'ecs', 'ema', 'end', 'ent',
+    'err', 'eva', 'exe', 'exp', 'ext', 'fil', 'fix', 'fl', 'for', 'ge',
+    'gen', 'get', 'has', 'her', 'his', 'ics', 'idx', 'imp', 'int', 'inv',
+    'io', 'is', 'iso', 'ite', 'its', 'key', 'lab', 'lan', 'lat', 'let',
+    'lin', 'lis', 'log', 'ma', 'map', 'max', 'min', 'mod', 'msg', 'new',
+    'nil', 'not', 'now', 'num', 'obj', 'off', 'one', 'opt', 'ord', 'out',
+    'ove', 'own', 'pag', 'par', 'pas', 'pay', 'pen', 'per', 'pos', 'pre',
+    'pro', 'put', 'que', 'rec', 'red', 'ref', 'reg', 'rep', 'res', 'ret',
+    'rev', 'row', 'run', 'sa', 'sel', 'set', 'sev', 'sie', 'sit', 'sor',
+    'src', 'sta', 'sub', 'sum', 'sys', 'tab', 'tar', 'tes', 'tex', 'tim',
+    'tmp', 'tok', 'tom', 'top', 'tot', 'tru', 'try', 'typ', 'udp', 'uni',
+    'upd', 'url', 'use', 'usr', 'val', 'ver', 'vid', 'vio', 'vis', 'voi',
+    'was', 'way', 'who', 'why', 'win', 'wri', 'xml', 'you', 'your', 'zone',
+}
+
+
+def _match_keys(query_lower, keys, max_hits=15, min_len=3):
+    """在 keys 里找被 query 包含的 (子串匹配), 返回命中列表 + 总数。
+    min_len: 短于这个长度的键忽略 (避免 'cs'/'fl'/'in' 这类噪声子串)。"""
+    hits = []
+    for k in keys:
+        kl = k.lower()
+        if len(kl) < min_len:
+            continue
+        if kl in NOISE_KEYS:
+            continue
+        if kl in query_lower:
+            hits.append(k)
+            if len(hits) >= max_hits:
+                break
+    return hits
+    for k in keys:
+        kl = k.lower()
+        if len(kl) < min_len:
+            continue
+        if kl in NOISE:
+            continue
+        if kl in query_lower:
+            hits.append(k)
+            if len(hits) >= max_hits:
+                break
+    return hits
+
+
+def enrich(query):
+    """润色主函数。返回 dict:
+       {
+         'is_business': bool,        # 是否业务消息 (有命中才算)
+         'cn_words': [...],          # 中文分词出的英文搜索词
+         'code_hits': [...],         # 命中的代码符号 (样例)
+         'code_total': int,          # 代码命中总数
+         'api_hits': [...],          # 命中的 API
+         'prd_hits': [...],          # 命中的历史 PRD
+         'elapsed_ms': float,        # 耗时
+         'polished': str,            # 润色后的提示词 (人类可读)
+       }
+    """
+    t0 = time.perf_counter()
+    from common.terms import expand_chinese_query
+
+    # 1. 中文分词 → 英文搜索词
+    cn_words = list(dict.fromkeys(expand_chinese_query(query)))  # 去重保序
+
+    # 2. 构造匹配串: 原句 + 扩展出的英文词, 一起拿去命中索引
+    match_str = query.lower()
+    for w in cn_words:
+        match_str += ' ' + w.lower()
+
+    # 3. 命中三类索引
+    code_idx = _load('code-keyword.json')
+    code_keys = list(code_idx.keys()) if isinstance(code_idx, dict) else []
+    code_hits = _match_keys(match_str, code_keys)
+
+    api_idx = _load('code-api.json')
+    api_keys = []
+    if isinstance(api_idx, dict):
+        api_keys = list(api_idx.keys())
+    api_hits = _match_keys(match_str, api_keys)
+
+    prd_idx = _load('prd-index.json')
+    prd_keys = []
+    if isinstance(prd_idx, dict):
+        prd_keys = list(prd_idx.keys())
+    prd_hits = _match_keys(match_str, prd_keys, max_hits=5)
+
+    # 4. 代码命中总数 (不限 max, 用于展示规模; 用与 _match_keys 一致的过滤)
+    code_total = 0
+    if code_keys:
+        code_total = sum(1 for k in code_keys
+                         if len(k) >= 3 and k.lower() not in NOISE_KEYS
+                         and k.lower() in match_str)
+
+    elapsed_ms = (time.perf_counter() - t0) * 1000
+    is_business = bool(code_hits or api_hits or prd_hits or cn_words)
+
+    # 5. 组装润色后提示词 (人类可读)
+    lines = []
+    if not is_business:
+        lines.append('（非业务消息，无需润色，直接放行）')
+    else:
+        if cn_words:
+            shown = ', '.join(cn_words[:8])
+            lines.append('业务词: ' + shown)
+        if code_total:
+            sample = ', '.join(code_hits[:8])
+            more = '' if code_total <= len(code_hits) else ' ...'
+            lines.append('相关代码符号: %d 处 (%s%s)' % (code_total, sample, more))
+        if api_hits:
+            lines.append('相关 API: %d 个 (%s)' % (len(api_hits), ', '.join(api_hits[:5])))
+        if prd_hits:
+            lines.append('历史 PRD: %s' % ', '.join(prd_hits[:5]))
+
+    polished = '\n'.join(lines)
+
+    return {
+        'is_business': is_business,
+        'cn_words': cn_words,
+        'code_hits': code_hits,
+        'code_total': code_total,
+        'api_hits': api_hits,
+        'prd_hits': prd_hits,
+        'elapsed_ms': round(elapsed_ms, 2),
+        'polished': polished,
+    }
+
+
+def main():
+    args = sys.argv[1:]
+    if not args:
+        print(__doc__)
+        print('错误: 缺少查询参数。用法: enrich_prompt.py "你的问题"')
+        sys.exit(2)
+    query = ' '.join(args[:1]) if args[0] in ('--json',) else ' '.join(args)
+    # 处理 --json 标志
+    as_json = '--json' in args
+    query = query.replace('--json', '').strip()
+
+    result = enrich(query)
+    if as_json:
+        print(json.dumps(result, ensure_ascii=False))
+        return
+
+    # 人类可读输出
+    print('── 极速润色 (%.1fms) ──' % result['elapsed_ms'])
+    print(result['polished'])
+    if result['is_business']:
+        print('──────────────')
+        print('将以上下文继续。回复"改:xxx"调整，任意其它内容=接受。')
+
+
+if __name__ == '__main__':
+    main()