@hupan56/wlkj 3.0.0 → 3.1.3

package/templates/qoder/scripts/{kg → domain/kg}/kg.py

@@ -1,9 +1,15 @@
 # -*- coding: utf-8 -*-
 # v3.0 路径自举: 引导到 common/bootstrap, 统一 sys.path 逻辑
 import os as _o, sys as _s
-_cp = _o.path.join(_o.path.dirname(_o.path.dirname(_o.path.abspath(__file__))), 'common')
+_f = _o.path.abspath(__file__)
+for _ in range(10):
+    _f = _o.path.dirname(_f)
+    _cp = _o.path.join(_f, 'foundation')
+    if _o.path.isfile(_o.path.join(_cp, 'bootstrap.py')):
+        break
 if _cp not in _s.path: _s.path.insert(0, _cp)
 from bootstrap import setup; setup()
+from foundation.core.paths import get_repo_root
 
 """
 kg.py — QODER 知识图谱统一 CLI 入口（全系列通用）
@@ -16,7 +22,7 @@ kg.py — QODER 知识图谱统一 CLI 入口（全系列通用）
   1. 不复制逻辑 — 调底层: search_index / context_pack / graph_traverse /
      kg_duckdb / repowiki / fill_prototype / gen_design_doc
   2. 全容错 — DuckDB/索引缺失优雅降级，给修复提示，绝不抛栈给用户
-  3. 参数统一 — 13 个子命令风格一致，对标 MCP 工具名
+  3. 参数统一 — 15 个子命令风格一致，对标 MCP 工具名
   4. 纯文本输出 — UTF-8，无日志噪音，AI 直接读
 
 用法:
@@ -40,8 +46,8 @@ try:
 except Exception:
     pass
 
-SCRIPTS_DIR = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))  # 子包→scripts/根
-BASE_DIR = os.path.dirname(os.path.dirname(os.path.dirname(SCRIPTS_DIR)))  # 多一层: 子包→scripts→repo  # repo root
+SCRIPTS_DIR = get_repo_root()
+BASE_DIR = get_repo_root()
 sys.path.insert(0, SCRIPTS_DIR)
 _KG_DIR = os.path.dirname(os.path.abspath(__file__))
 if _KG_DIR not in sys.path: sys.path.insert(0, _KG_DIR)  # 同包import
@@ -51,7 +57,7 @@ if _KG_DIR not in sys.path: sys.path.insert(0, _KG_DIR)  # 同包import
 def _index_dir():
     """获取 data/index 目录（延迟导入，避免顶层崩）。"""
     try:
-        from common.paths import DATA_INDEX_DIR
+        from foundation.core.paths import DATA_INDEX_DIR
         return str(DATA_INDEX_DIR)
     except Exception:
         # 兜底: 常规布局
@@ -89,7 +95,7 @@ def cmd_search(args):
     kw, plat = _split_kw_platform(args)
     if not kw:
         return "请提供搜索关键词"
-    import search_index as S
+    from domain.kg.search import search_index as S
     # search_keywords(query, platform=None) 自带中文扩展，不需外层 expand
     return _capture(S.search_keywords, kw, plat) or "无匹配结果"
 
@@ -98,7 +104,7 @@ def cmd_api(args):
     """搜 API 端点。"""
     if not args:
         return "用法: kg.py api <关键词>"
-    import search_index as S
+    from domain.kg.search import search_index as S
     return _capture(S.search_api, args[0]) or "无匹配 API"
 
 
@@ -106,7 +112,7 @@ def cmd_prd(args):
     """搜 PRD（防重复造轮子）。"""
     if not args:
         return "用法: kg.py prd <关键词>"
-    import search_index as S
+    from domain.kg.search import search_index as S
     return _capture(S.search_prds, args[0]) or "无匹配 PRD"
 
 
@@ -114,7 +120,7 @@ def cmd_impact(args):
     """影响分析: 改某接口影响哪些前端页面/按钮。"""
     if not args:
         return "用法: kg.py impact <端点或关键词>  例: /asset 或 export"
-    import search_index as S
+    from domain.kg.search import search_index as S
     return _capture(S.search_impact, args[0]) or "未找到匹配端点"
 
 
@@ -122,7 +128,7 @@ def cmd_context360(args):
     """符号 360 度视图: 端点/函数/处理器的全部关联。"""
     if not args:
         return "用法: kg.py context360 <符号>  例: handleExport 或 /system/role"
-    import search_index as S
+    from domain.kg.search import search_index as S
     return _capture(S.search_context360, args[0]) or "未找到匹配符号"
 
 
@@ -147,7 +153,7 @@ def cmd_context(args):
     kw = rest2[0] if rest2 else ''
     if not kw:
         return "请提供业务关键词"
-    import context_pack as C
+    from domain.kg.search import context_pack as C
     full = _capture(C._compute_and_print, kw, plat, '')
     if not full:
         return "无匹配上下文"
@@ -177,11 +183,11 @@ def cmd_prefetch(args):
     query = ' '.join(rest2) if rest2 else ''
     if not query:
         return "请提供需求描述（一句话）"
-    import prefetch as P
+    from domain.kg.search import prefetch as P
     primary_cn, en_words = P.predict_words(query)
     if not en_words:
         # 降级: 预测不出词 → 单词 context_pack
-        import context_pack as C
+        from domain.kg.search import context_pack as C
         return _capture(C._compute_and_print, query, plat, '') or "无匹配上下文"
     targets = []
     if plat and plat.lower() not in ('both', '两端'):
@@ -194,7 +200,7 @@ def cmd_prefetch(args):
 
 def cmd_coverage(args):
     """功能×测试覆盖矩阵: 哪些功能有测试，哪些是盲区。"""
-    from common.graph_traverse import CodeGraph
+    from domain.kg.graph.graph_traverse import CodeGraph
     g = CodeGraph(_index_dir())
     return g.coverage_matrix() or "无法生成覆盖矩阵（索引可能为空）"
 
@@ -222,7 +228,7 @@ def cmd_feature(args):
             try: con.close()
             except Exception: pass
     # 回退: CodeGraph 的 JSON 实现（entity-registry.json 通常不存在）
-    from common.graph_traverse import CodeGraph
+    from domain.kg.graph.graph_traverse import CodeGraph
     g = CodeGraph(_index_dir())
     return g.feature_overview(feat) or "未找到功能 '%s'" % feat
 
@@ -386,7 +392,7 @@ def cmd_workflow(args):
 
 def _workflow_query(con, q):
     """workflows 表查询 — v3.0 f3: 转发到 common.kg_capabilities (单一真源, CLI/MCP共用)。"""
-    from common.kg_capabilities import workflow_query
+    from domain.kg.kg_capabilities import workflow_query
     return workflow_query(con, q)
 
 
@@ -404,11 +410,11 @@ def cmd_hop(args):
         import duckdb
     except ImportError:
         return "未安装 duckdb。请运行: pip install duckdb"
-    import kg_duckdb as K
+    from domain.kg.storage import kg_duckdb as K
     con = duckdb.connect(_kg_db_path(), read_only=True)
     try:
         # v3.0 f3: 核心查询转发到 common.kg_capabilities.hop_query (CLI/MCP共用)
-        from common.kg_capabilities import hop_query
+        from domain.kg.kg_capabilities import hop_query
         return hop_query(con, symbol, depth, multi_hop_fn=K.multi_hop)
     finally:
         try: con.close()
@@ -419,7 +425,7 @@ def cmd_wiki(args):
     """Repo Wiki 搜索 — v3.0 f3: 转发到 common.kg_capabilities.wiki_query (CLI/MCP共用)。"""
     if not args:
         return "用法: kg.py wiki <关键词>"
-    from common.kg_capabilities import wiki_query
+    from domain.kg.kg_capabilities import wiki_query
     result = wiki_query(args[0])
     # CLI 额外提示
     if 'matching' in result:
@@ -434,13 +440,14 @@ def cmd_fill_prototype(args):
     kw, plat = _split_kw_platform(args)
     plat = plat or 'web'
     import subprocess as _sp
-    script = os.path.join(SCRIPTS_DIR, 'fill_prototype.py')
-    if not os.path.isfile(script):
-        return "fill_prototype.py 不存在"
+    from foundation.core.paths import find_script
+    script = find_script('fill_prototype.py')
+    if script is None:
+        return "fill_prototype.py 未找到 (脚本迁移后路径未更新)"
     try:
-        r = _sp.run([sys.executable, script, kw, '--platform', plat],
+        r = _sp.run([sys.executable, str(script), kw, '--platform', plat],
                     capture_output=True, text=True, encoding='utf-8',
-                    errors='replace', timeout=30, cwd=SCRIPTS_DIR)
+                    errors='replace', timeout=30, cwd=str(script.parent))
         return r.stdout or "fill_prototype 无输出（可能索引缺失）"
     except Exception as e:
         return "[error] fill_prototype: %s" % str(e)
@@ -454,9 +461,10 @@ def cmd_design_system(args):
     import subprocess as _sp
     design_md = os.path.join(BASE_DIR, 'data', 'design', 'DESIGN.md')
     if not os.path.isfile(design_md):
-        gen_script = os.path.join(SCRIPTS_DIR, 'gen_design_doc.py')
-        if os.path.isfile(gen_script):
-            _sp.run([sys.executable, gen_script], capture_output=True, timeout=30)
+        from foundation.core.paths import find_script
+        gen_script = find_script('gen_design_doc.py')
+        if gen_script is not None:
+            _sp.run([sys.executable, str(gen_script)], capture_output=True, timeout=30)
     if os.path.isfile(design_md):
         content = open(design_md, encoding='utf-8').read()
         if plat:
@@ -472,7 +480,193 @@ def cmd_design_system(args):
                     result.append(line)
             return '\n'.join(result) if result else content
         return content
-    return "DESIGN.md 不存在且生成失败。请手动跑: python .qoder/scripts/gen_design_doc.py"
+    return "DESIGN.md 不存在且生成失败。请手动跑: python .qoder/scripts/design/gen_design_doc.py"
+
+
+def cmd_semantic(args):
+    """语义搜索: 用自然语言找代码/API (概念检索, 不依赖精确关键词)。
+
+    需先构建 embedding 向量 (管理员): kg_semantic.py build-embeddings。
+    模型未装时给出安装提示, 不崩溃。
+    """
+    if not args:
+        return ("用法: kg.py semantic <自然语言查询> [--top N]\n"
+                "  语义检索: 查'报销'能命中 expense/reimburse\n"
+                "  需先构建: python .qoder/scripts/domain/kg/graph/kg_semantic.py build-embeddings")
+    query = args[0]
+    top_k = 10
+    if '--top' in args:
+        idx = args.index('--top')
+        if idx + 1 < len(args):
+            try:
+                top_k = int(args[idx + 1])
+            except ValueError:
+                pass
+    from domain.kg.graph.kg_semantic import semantic_search, embedding_status
+    results = semantic_search(query, top_k=top_k)
+    if results is None:
+        st = embedding_status()
+        if not st['available']:
+            return ("语义检索未启用: sentence-transformers 未安装。\n"
+                    "启用: pip install sentence-transformers (95MB模型首次自动下载)")
+        elif st['embeddings_count'] == 0:
+            return ("语义检索未构建向量。请管理员运行:\n"
+                    "  python .qoder/scripts/domain/kg/graph/kg_semantic.py build-embeddings")
+    if not results:
+        return "无匹配结果"
+    out = ["语义搜索: %s (top %d)" % (query, len(results))]
+    for eid, text, score in results:
+        out.append("  %.3f  %s" % (score, text[:70]))
+    return '\n'.join(out)
+
+
+# ── 中文文案/报错溯源 (grep-text): 单进程安全兜底, 替代 findstr/s 全盘扫描 ──
+# 设计动机: 用户查"车辆不存在""项目车号"这类中文文案时, kg.py 的代码标识符索引
+# 天然查不到 (索引按英文标识符建)。AI 若兜底去 findstr /s 或 os.walk 全库
+# (8973+ 文件) → Windows 卡死 + 疯狂弹 cmd 窗口。本命令是这类需求的唯一安全通道:
+# 单进程、限定 data/code、限定扩展名、有行数上限, 绝不递归弹子进程。
+_GREP_EXTS = ('.java', '.vue', '.ts', '.tsx', '.js', '.jsx', '.xml', '.html',
+              '.json', '.sql', '.properties', '.yml', '.yaml', '.ftl', '.txt')
+
+
+def cmd_grep_text(args):
+    """中文文案/报错溯源: 在 data/code 里搜中文短语 (报错文案/字段标签/业务词)。
+
+    单进程 Python, 限定扩展名, 上限 200 命中 + 30 文件。绝不弹子进程窗口。
+    用法: kg.py grep-text <中文短语> [--ext java,vue] [--limit N] [--platform web|app]
+    """
+    if not args:
+        return ("用法: kg.py grep-text <中文短语> [选项]\n"
+                "  在 data/code 里搜中文文案/报错/字段标签 (kg.py search 查不到中文时用这个)\n"
+                "  --ext java,vue    限定文件类型 (默认: java/vue/ts/xml/json...)\n"
+                "  --limit N         最多返回 N 条命中 (默认 50)\n"
+                "  --platform web|app 只搜某平台源码\n"
+                "示例: kg.py grep-text 车辆不存在")
+    import os as _os
+    # kg.py 在 .qoder/scripts/domain/kg/ 下, 往上 4 级到 repo 根
+    here = _os.path.dirname(_os.path.abspath(__file__))  # .../domain/kg/
+    base = _os.path.dirname(_os.path.dirname(_os.path.dirname(_os.path.dirname(here))))  # repo 根
+    code_root = _os.path.join(base, 'data', 'code')
+    if not _os.path.isdir(code_root):
+        return ('data/code 不存在 (源码未克隆)。跑 python .qoder/scripts/deployment/setup/init_doctor.py --fix')
+
+    query = args[0]
+    # 解析选项
+    exts = set(_GREP_EXTS)
+    limit = 50
+    user_limit = None  # 记录用户是否显式传了 --limit (决定是否启用 early_stop)
+    plat = ''
+    i = 1
+    while i < len(args):
+        a = args[i]
+        if a == '--ext' and i + 1 < len(args):
+            exts = set('.' + e.lstrip('.') for e in args[i + 1].split(',') if e.strip())
+            i += 2; continue
+        if a == '--limit' and i + 1 < len(args):
+            try:
+                limit = max(1, int(args[i + 1]))
+                user_limit = limit  # 用户显式指定了, early_stop 不再介入
+            except ValueError: pass
+            i += 2; continue
+        if a == '--platform' and i + 1 < len(args):
+            plat = args[i + 1]; i += 2; continue
+        i += 1
+
+    # 平台 → 子目录过滤
+    proj_dirs = []
+    if not plat:
+        for d in sorted(_os.listdir(code_root)):
+            if _os.path.isdir(_os.path.join(code_root, d)) and not d.startswith('.'):
+                proj_dirs.append(d)
+    elif plat in ('web', 'pc'):
+        proj_dirs = [d for d in ('fywl-ui',) if _os.path.isdir(_os.path.join(code_root, d))]
+    elif plat in ('app', 'h5'):
+        proj_dirs = [d for d in ('Carmg-H5',) if _os.path.isdir(_os.path.join(code_root, d))]
+    else:
+        proj_dirs = [d for d in sorted(_os.listdir(code_root))
+                     if _os.path.isdir(_os.path.join(code_root, d)) and not d.startswith('.')]
+
+    hits = []
+    files_hit = 0
+    scanned = 0
+    import time as _time
+    deadline = _time.monotonic() + 15  # 硬超时 15s: data/code 大目录上避免 30s+ 卡死
+    timed_out = False
+    # 够用即停阈值: 仅当用户没显式指定 --limit 时启用 (默认场景快速溯源)。
+    # 用户传了 --limit 就完全尊重它, 不被 early_stop 截断 (原 max(10,min(limit,30))
+    # 会把 --limit 50 截成 30、把 --limit 5 抬到 10, 违背用户契约)。
+    early_stop = 30 if user_limit is None else None
+    for proj in proj_dirs:
+        proj_path = _os.path.join(code_root, proj)
+        for dirpath, dirnames, filenames in _os.walk(proj_path):
+            # 跳过明显的依赖/构建目录, 加速
+            dirnames[:] = [d for d in dirnames if d not in
+                           ('node_modules', '.git', 'target', 'dist', 'build', '.idea', '__pycache__')]
+            for fn in filenames:
+                # 文件级超时检查: 避免单个大文件卡死目录内循环 (15s 硬超时在目录级
+                # 检查时形同虚设)。已找到结果才超时退出, 没找到继续扫。
+                if hits and _time.monotonic() > deadline:
+                    timed_out = True
+                    break
+                ext = _os.path.splitext(fn)[1].lower()
+                if ext not in exts:
+                    continue
+                fp = _os.path.join(dirpath, fn)
+                # 跳过大文件 (>500KB 多半是生成/压缩文件, 拖慢扫描)
+                try:
+                    if _os.path.getsize(fp) > 500_000:
+                        continue
+                except OSError:
+                    continue
+                scanned += 1
+                done = False
+                try:
+                    with open(fp, 'r', encoding='utf-8', errors='ignore') as fh:
+                        for lineno, line in enumerate(fh, 1):
+                            # 逐文件行级超时检查: 极大文件逐行读也能及时退出
+                            if lineno % 20000 == 0 and hits and _time.monotonic() > deadline:
+                                timed_out = True
+                                done = True
+                                break
+                            if query in line:
+                                rel = _os.path.relpath(fp, code_root).replace('\\', '/')
+                                snippet = line.strip()[:120]
+                                hits.append((rel, lineno, snippet))
+                                if len(hits) >= limit:
+                                    done = True
+                                    break
+                                # 够用即停 (仅默认场景): 与 limit 同级行内检查,
+                                # 避免单文件多行命中跨过 early_stop (原34>30问题)
+                                if early_stop is not None and len(hits) >= early_stop:
+                                    done = True
+                                    break
+                except (OSError, UnicodeDecodeError):
+                    pass
+                if done or len(hits) >= limit:
+                    break
+                # 够用即停 (仅默认场景; 用户显式 limit 时 early_stop=None 跳过)
+                if early_stop is not None and len(hits) >= early_stop:
+                    break
+            if timed_out or len(hits) >= limit or (early_stop is not None and len(hits) >= early_stop):
+                break
+        if timed_out or len(hits) >= limit or (early_stop is not None and len(hits) >= early_stop):
+            break
+
+    # 统计命中文件数 (去重)
+    files_hit = len(set(h[0] for h in hits))
+    if not hits:
+        return ('未找到 "%s" (扫描 %d 个文件, %s)\n'
+                '提示: 换近义词, 或用 kg.py semantic "%s" 语义检索' % (
+                    query, scanned, '/'.join(proj_dirs) or 'data/code', query))
+    out = ['grep-text: "%s" → %d 命中 / %d 文件 (扫描 %d 文件%s)' % (
+        query, len(hits), files_hit, scanned, ', ⏱15s超时已返回部分结果' if timed_out else '')]
+    last_file = ''
+    for rel, lineno, snippet in hits:
+        if rel != last_file:
+            out.append('\n■ %s' % rel)
+            last_file = rel
+        out.append('  L%d: %s' % (lineno, snippet))
+    return '\n'.join(out)
 
 
 # ── 工具函数 ──────────────────────────────────────────────────────────
@@ -525,7 +719,7 @@ def _split_symbol_depth(args):
 # Role-based section filtering for context_pack output
 # v3.0: 单一真源移到 common/roles.py, 消除与 kg_mcp_server.py 的逐字重复
 try:
-    from common.roles import ROLE_SECTIONS, filter_by_role as _filter_by_role_imported
+    from foundation.identity.roles import ROLE_SECTIONS, filter_by_role as _filter_by_role_imported
     _filter_by_role = _filter_by_role_imported  # 保持旧调用名 _filter_by_role 兼容
 except Exception:
     # 回退: 内联定义 (common 不可用时, 与 common/roles.py 保持一致)
@@ -574,6 +768,8 @@ COMMANDS = [
     ('wiki',           cmd_wiki,           'Repo Wiki 搜索（模块语义文档）'),
     ('fill-prototype', cmd_fill_prototype, '原型预填（真实数据填模板，输出 80% HTML）'),
     ('design-system',  cmd_design_system,  '设计系统查询（布局指纹/颜色token/组件表）'),
+    ('semantic',       cmd_semantic,       '语义搜索（概念检索：查"报销"命中 expense）'),
+    ('grep-text',      cmd_grep_text,      '中文文案/报错溯源（findstr 替代，单进程不弹窗）'),
 ]
 
 
@@ -584,7 +780,7 @@ def _usage():
         '',
         '用法: python .qoder/scripts/kg.py <子命令> [参数]',
         '',
-        '14 个子命令:',
+        '16 个子命令:',
     ]
     for name, _, desc in COMMANDS:
         lines.append('  %-16s %s' % (name, desc))
@@ -599,14 +795,41 @@ def _usage():
         '  kg.py workflow assets             # 资产模块业务流程',
         '  kg.py hop 资产管理 --depth 3      # 从资产管理出发 3 跳遍历',
         '  kg.py context 车辆 --role pm      # PM 视角的上下文打包',
+        '  kg.py grep-text 车辆不存在         # 中文报错文案溯源 (findstr 安全替代)',
         '',
         'QoderWork 环境: AI 也会直接调 MCP 工具（mcp__qoder-knowledge-graph__*），功能等价。',
     ]
     return '\n'.join(lines)
 
 
+def _try_daemon(cmd, rest):
+    """尝试走 daemon 热路径。命中返回 True (已输出结果), 未命中返回 False (回退冷路径)。
+
+    daemon 常驻模型+连接, semantic 26.8s→0.08s。连不上/出错则透明回退。
+    """
+    try:
+        from kgd import kgd_client, DAEMON_COMMANDS
+    except Exception:
+        return False  # kgd 模块不可用 → 回退
+    if cmd not in DAEMON_COMMANDS:
+        return False  # 该命令不走 daemon
+    res = kgd_client.call(cmd, rest)
+    if res is None:
+        return False  # daemon 不在线/出错 → 回退
+    text, _secs = res
+    print(text)
+    return True
+
+
 def main(argv=None):
     argv = argv if argv is not None else sys.argv[1:]
+
+    # 解析 --no-daemon: 强制冷路径 (调试用)。剥离后不影响后续参数解析。
+    use_daemon = True
+    if '--no-daemon' in argv:
+        use_daemon = False
+        argv = [a for a in argv if a != '--no-daemon']
+
     if not argv or argv[0] in ('-h', '--help', 'help'):
         print(_usage())
         return 0
@@ -622,6 +845,16 @@ def main(argv=None):
         print("未知子命令: %s" % cmd)
         print(_usage())
         return 1
+
+    # ⚡ 优先走 daemon 热路径 (模型/连接已常驻, 秒回)
+    if use_daemon and _try_daemon(cmd, rest):
+        return 0
+
+    # 冷路径: 直接执行 handler (daemon 不在线 / --no-daemon / 不支持的命令)
+    # semantic 在 daemon 不在线时给加速提示 (它单次要 ~27s)
+    if cmd == 'semantic' and use_daemon:
+        print('[提示] daemon 未运行, semantic 将冷启动 (~27s)。')
+        print('       加速: python .qoder/scripts/domain/kg/server/kgd.py start  (常驻后 semantic → 0.08s)')
     # 执行（全容错，绝不抛栈）
     try:
         result = handler(rest)