npm - kc-beta - Versions diffs - 0.1.0 - Mend

kc-beta 0.1.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.

Files changed (141) hide show

package/template/skills/zh/meta-meta/dashboard-reporting/scripts/generate_dashboard.py ADDED Viewed

@@ -0,0 +1,178 @@
+"""
+Dashboard Generator — Starter Script
+Generates a self-contained HTML dashboard from verification results.
+This is a starting point. The coding agent should customize it for the
+specific business scenario.
+Usage:
+    python generate_dashboard.py --input <output_dir> --output <dashboard.html>
+Input: A directory containing verification result JSON files.
+Output: A single self-contained HTML file.
+"""
+import argparse
+import json
+import os
+from datetime import datetime
+from pathlib import Path
+def load_results(input_dir: str) -> list[dict]:
+    """Load all JSON result files from the input directory."""
+    results = []
+    for f in Path(input_dir).glob("**/*.json"):
+        if "dashboard" in str(f) or "versions" in str(f):
+            continue
+        try:
+            with open(f) as fh:
+                data = json.load(fh)
+                if isinstance(data, list):
+                    results.extend(data)
+                elif isinstance(data, dict) and "results" in data:
+                    results.extend(data["results"])
+                elif isinstance(data, dict) and "rule_id" in data:
+                    results.append(data)
+        except (json.JSONDecodeError, KeyError):
+            continue
+    return results
+def compute_summary(results: list[dict]) -> dict:
+    """Compute summary statistics from results."""
+    total = len(results)
+    if total == 0:
+        return {"total": 0, "pass": 0, "fail": 0, "missing": 0, "error": 0}
+    summary = {
+        "total": total,
+        "pass": sum(1 for r in results if r.get("result") == "pass"),
+        "fail": sum(1 for r in results if r.get("result") == "fail"),
+        "missing": sum(1 for r in results if r.get("result") == "missing"),
+        "error": sum(1 for r in results if r.get("result") == "error"),
+    }
+    summary["pass_rate"] = round(summary["pass"] / total * 100, 1)
+    return summary
+def compute_per_rule(results: list[dict]) -> dict:
+    """Compute per-rule statistics."""
+    rules = {}
+    for r in results:
+        rule_id = r.get("rule_id", "unknown")
+        if rule_id not in rules:
+            rules[rule_id] = {"total": 0, "pass": 0, "fail": 0, "results": []}
+        rules[rule_id]["total"] += 1
+        if r.get("result") == "pass":
+            rules[rule_id]["pass"] += 1
+        elif r.get("result") == "fail":
+            rules[rule_id]["fail"] += 1
+        rules[rule_id]["results"].append(r)
+    for rule_id, data in rules.items():
+        data["accuracy"] = round(data["pass"] / data["total"] * 100, 1) if data["total"] > 0 else 0
+    return rules
+def generate_html(summary: dict, per_rule: dict, failed_cases: list[dict]) -> str:
+    """Generate a self-contained HTML dashboard."""
+    rule_rows = ""
+    for rule_id, data in sorted(per_rule.items()):
+        color = "#4caf50" if data["accuracy"] >= 90 else "#ff9800" if data["accuracy"] >= 70 else "#f44336"
+        rule_rows += f"""
+        <tr>
+            <td>{rule_id}</td>
+            <td>{data['total']}</td>
+            <td>{data['pass']}</td>
+            <td>{data['fail']}</td>
+            <td style="color: {color}; font-weight: bold;">{data['accuracy']}%</td>
+        </tr>"""
+    fail_rows = ""
+    for case in failed_cases[:100]:  # Limit to first 100
+        fail_rows += f"""
+        <tr>
+            <td>{case.get('document', 'N/A')}</td>
+            <td>{case.get('rule_id', 'N/A')}</td>
+            <td>{case.get('extracted_value', 'N/A')}</td>
+            <td>{case.get('comment', 'N/A')}</td>
+            <td>{case.get('confidence', 'N/A')}</td>
+        </tr>"""
+    html = f"""<!DOCTYPE html>
+<html lang="en">
+<head>
+<meta charset="UTF-8">
+<meta name="viewport" content="width=device-width, initial-scale=1.0">
+<title>KC Reborn — Verification Dashboard</title>
+<style>
+    :root {{ --bg: #1a1a2e; --surface: #16213e; --text: #e0e0e0; --accent: #4caf50; --warn: #ff9800; --err: #f44336; }}
+    @media (prefers-color-scheme: light) {{
+        :root {{ --bg: #f5f5f5; --surface: #ffffff; --text: #333333; }}
+    }}
+    * {{ margin: 0; padding: 0; box-sizing: border-box; }}
+    body {{ font-family: -apple-system, BlinkMacSystemFont, 'Segoe UI', sans-serif; background: var(--bg); color: var(--text); padding: 20px; }}
+    h1 {{ margin-bottom: 20px; }}
+    .summary {{ display: flex; gap: 16px; margin-bottom: 24px; flex-wrap: wrap; }}
+    .card {{ background: var(--surface); padding: 20px; border-radius: 8px; min-width: 140px; text-align: center; }}
+    .card .number {{ font-size: 2em; font-weight: bold; }}
+    .card .label {{ font-size: 0.85em; opacity: 0.7; margin-top: 4px; }}
+    table {{ width: 100%; border-collapse: collapse; background: var(--surface); border-radius: 8px; overflow: hidden; margin-bottom: 24px; }}
+    th, td {{ padding: 10px 14px; text-align: left; border-bottom: 1px solid rgba(255,255,255,0.1); }}
+    th {{ background: rgba(0,0,0,0.2); font-weight: 600; }}
+    h2 {{ margin: 20px 0 12px; }}
+    .timestamp {{ opacity: 0.5; font-size: 0.85em; margin-bottom: 20px; }}
+</style>
+</head>
+<body>
+<h1>Verification Dashboard</h1>
+<div class="timestamp">Generated: {datetime.now().strftime('%Y-%m-%d %H:%M:%S')}</div>
+<div class="summary">
+    <div class="card"><div class="number">{summary['total']}</div><div class="label">Total</div></div>
+    <div class="card"><div class="number" style="color: var(--accent);">{summary['pass']}</div><div class="label">Pass</div></div>
+    <div class="card"><div class="number" style="color: var(--err);">{summary['fail']}</div><div class="label">Fail</div></div>
+    <div class="card"><div class="number" style="color: var(--warn);">{summary.get('missing', 0)}</div><div class="label">Missing</div></div>
+    <div class="card"><div class="number">{summary.get('pass_rate', 0)}%</div><div class="label">Pass Rate</div></div>
+</div>
+<h2>Per-Rule Breakdown</h2>
+<table>
+    <thead><tr><th>Rule</th><th>Total</th><th>Pass</th><th>Fail</th><th>Accuracy</th></tr></thead>
+    <tbody>{rule_rows}</tbody>
+</table>
+<h2>Failed Cases</h2>
+<table>
+    <thead><tr><th>Document</th><th>Rule</th><th>Extracted Value</th><th>Comment</th><th>Confidence</th></tr></thead>
+    <tbody>{fail_rows if fail_rows else '<tr><td colspan="5" style="text-align:center; opacity:0.5;">No failures</td></tr>'}</tbody>
+</table>
+</body>
+</html>"""
+    return html
+def main():
+    parser = argparse.ArgumentParser(description="Generate verification dashboard")
+    parser.add_argument("--input", required=True, help="Directory containing result JSON files")
+    parser.add_argument("--output", default="dashboard.html", help="Output HTML file path")
+    args = parser.parse_args()
+    results = load_results(args.input)
+    summary = compute_summary(results)
+    per_rule = compute_per_rule(results)
+    failed_cases = [r for r in results if r.get("result") == "fail"]
+    html = generate_html(summary, per_rule, failed_cases)
+    output_path = Path(args.output)
+    output_path.parent.mkdir(parents=True, exist_ok=True)
+    output_path.write_text(html, encoding="utf-8")
+    print(f"Dashboard generated: {output_path}")
+if __name__ == "__main__":
+    main()

package/template/skills/zh/meta-meta/evolution-loop/SKILL.md ADDED Viewed

@@ -0,0 +1,302 @@
+---
+name: evolution-loop
+description: Drive continuous improvement of skills and workflows through the diagnose-classify-fix-retest cycle. Use after any testing round reveals failures, when production quality control flags issues, or when accuracy drops below thresholds. Covers failure analysis, distinguishing systemic issues from corner cases, deciding whether to rewrite or patch, and knowing when to stop iterating. The evolution loop is the heartbeat of the system. Also use when transitioning between lifecycle phases (skill testing, workflow testing, production monitoring).
+---
+# 演化循环：诊断-分类-修复-回归的持续改进机制
+## 演化循环是系统的心跳
+没有演化循环，技能和工作流就是静态的产物——写完即弃，遇到问题束手无策。演化循环赋予系统自我修正的能力：发现问题、定位原因、分类处理、修复验证，循环往复，直到达到稳态。
+系统的准确率不是一次写对的，是一轮一轮迭代出来的。
+## 循环的完整步骤
+```
+测试 → 观察 → 反思 → 诊断 → 分类 → 修复 → 回归测试 → 记录
+  ↑                                                      ↓
+  ←←←←←←←←←←←← 未达标则继续循环 ←←←←←←←←←←←←←←←←←←←←←
+```
+### 退出条件（满足任一即停止）
+1. 准确率达到 `.env` 中设定的阈值（`SKILL_ACCURACY` 或 `WORKFLOW_ACCURACY`）
+2. 迭代轮次达到 `MAX_ITERATIONS` 上限
+3. 剩余失败案例全部为不可消除的边界案例（已记录、已与开发者用户确认）
+4. 收敛条件已满足（参见下文「收敛追踪」章节）
+## 第一步：测试
+运行技能或工作流，对测试集中的所有样本执行核查。
+### 测试集的构成
+- `assets/samples.json`：初始测试样本
+- `assets/corner_cases.json`：历史迭代中积累的边界案例
+- 如果是工作流测试，还需要与技能结果进行对比
+### 测试执行规范
+- 每轮测试必须运行完整测试集，不能只测新增的案例
+- 记录每个案例的判定结果、置信度、执行耗时
+- 将测试结果保存到 `logs/evolution/` 目录
+## 第二步：观察
+不要拿到测试结果就急于修改。先整体审视结果，寻找规律。
+### 观察要点
+- 通过率是多少？与上一轮相比是上升还是下降？
+- 失败案例集中在哪些类型的单据上？
+- 是否存在批量性的同类错误？
+- 高置信度的案例中是否混入了错误判定？
+- 上一轮修复的问题是否引入了新的回归？
+### 用户反馈作为基准真值
+当开发者用户或终端用户对核查结果报告错误时，将这些更正视为基准真值。用户报告的更正优先于编程智能体自身的质量判断。在演化循环中，优先诊断用户报告的错误，再处理智能体自行检测到的问题——用户反馈代表的是已确认的失败，而非疑似问题。
+通过仪表盘中内置的反馈机制收集用户错误报告（参见 `dashboard-reporting`）。每条报告都应转化为测试案例，加入回归测试集。
+### 记录观察结论
+```json
+{
+  "iteration": 3,
+  "total_cases": 25,
+  "pass": 21,
+  "fail": 3,
+  "unable_to_verify": 1,
+  "accuracy": 0.84,
+  "delta_from_last": +0.04,
+  "observation": "三个失败案例均涉及框架合同下的订单发票，疑似作用域定义不足"
+}
+```
+## 第三步：反思
+在诊断新问题之前，回顾已经尝试过的方案。这是防止在相同的失败修复方案中循环的关键步骤。
+读取 `logs/evolution/{rule_id}/` 中的结构化迭代日志，关注：
+- 历史迭代中识别了哪些失败类型
+- 尝试了哪些修复方案，效果如何——准确率上升、下降还是持平？
+- 是否有修复方案因引入回归而被回退
+**反模式检测**：如果当前失败匹配的模式在历史上已被诊断并"修复"过，说明之前的修复不充分。应升级修复策略——例如，从提示词微调升级为逻辑重写，或从逻辑重写升级为架构调整。不要对同类问题尝试同类修复两次。
+**产出**：生成简要的迭代历史摘要，供诊断步骤参考。摘要应说明哪些方案已经尝试过、效果如何。第一轮迭代（无历史记录）跳过此步骤。
+### 三个反思维度
+审查失败案例时，从三个交叉维度进行分析：
+1. **按规则维度——同一规则在不同文档上的表现**：某条规则（如 R003）是否在特定子集的文档上频繁失败？这揭示的是规则层面的缺陷——可能是提取提示词无法处理某种特定的文档格式。
+2. **按文档维度——同一文档在不同规则上的表现**：某类文档是否导致多条规则同时失败？这揭示的是文档层面的问题——可能是某个模板的解析存在问题，影响了所有下游提取。
+3. **全局维度——是否存在系统性关联**？例如：
+   - 失败集中在由特定模型层级处理的文档上。
+   - 失败集中在经过特定解析器层级处理的文档上。
+   - 仅当文档长度超过某个阈值时才出现失败。
+交叉对比这三个维度，往往能揭示从单一视角看不到的根因。例如，"R003 在 X 类文档上失败"是按规则维度的发现，但如果 X 类文档同时导致 R007 和 R012 失败，那真正的问题出在文档类型上，而非任何单条规则。
+## 第四步：诊断
+对每个失败案例逐一分析根因。失败的原因通常归为以下四类：
+### 解析失败（Parsing Failure）
+系统未能正确识别或提取单据中的目标字段。
+表现：提取的字段值与实际不符，或提取结果为空。
+常见原因：单据格式变体未覆盖、OCR 质量差、字段位置偏移。
+### 提取失败（Extraction Failure）
+字段识别正确，但提取的值不完整或有误。
+表现：日期少了年份、金额少了小数位、名称截断。
+常见原因：提示词中的提取规则不够严格、字段格式超出预期。
+### 判定失败（Judgment Failure）
+字段提取正确，但核查结论错误。
+表现：明明应该通过却判定为不通过，或反之。
+常见原因：判定逻辑有缺陷、边界条件处理不当、例外情形未覆盖。
+### 作用域失败（Scope Failure）
+规则被应用到了不适用的场景，或者未被应用到应该覆盖的场景。
+表现：对不适用的单据类型给出了核查结论，或对应该核查的单据跳过了检查。
+常见原因：规则的适用范围描述不精确、前提条件缺失。
+## 第五步：分类
+根据失败的影响范围分为两类，决定不同的修复策略。
+### 系统性问题（影响 >10% 的测试案例）
+同一根因导致多个案例失败。这意味着核查逻辑本身存在缺陷，需要重写或大幅修改。
+判定标准：同类错误出现在超过 10% 的测试案例中。
+修复策略：**重写**——回到技能的核心逻辑，修改判定规则、补充遗漏条件、重构提取流程。
+### 边界案例（影响 <10% 的测试案例）
+个别特殊情况导致的失败。核查逻辑整体正确，只是没有覆盖到某些特殊情形。
+判定标准：只影响个别案例，不存在共性模式。
+修复策略：**记录**——将边界案例添加到 `corner_cases.json`，在 SKILL.md 的边界情况章节中补充说明。如果边界案例可以通过简单的条件分支处理，也可以小幅修改逻辑。
+## 第六步：修复
+### 系统性问题的修复
+1. 明确根因和影响范围
+2. 设计修复方案（可能涉及重写 SKILL.md 的判定逻辑、修改 scripts/ 中的代码）
+3. 在修改前创建新版本（参照版本控制技能）
+4. 实施修改
+5. 先对失败案例做单点验证，确认修复有效
+### 边界案例的处理
+1. 将案例详细记录到 `corner_cases.json`
+2. 在 SKILL.md 中补充边界情况说明
+3. 如果需要代码层面的处理，添加条件分支
+4. 如果属于业务上的模糊地带，标记为「待开发者用户确认」
+## 第七步：回归测试
+修复后必须运行完整测试集，而非只测修复的案例。
+### 回归检查要点
+- 修复的案例是否确实通过了？
+- 之前通过的案例是否仍然通过？（无回归）
+- 整体准确率是否提升？
+- 如果出现回归，需要立即分析原因——修复不能以牺牲其他案例为代价
+### 回归不可接受
+如果修复导致已通过的案例回归为失败，说明修复方案有问题。回退修改，重新设计修复方案。
+## 第八步：记录
+每一轮迭代都必须完整记录，包括 JSON 格式的结构化日志和可读的文本日志。结构化日志是反思步骤（第三步）的数据来源——确保日志可被程序化扫描。
+### 结构化日志
+存放于 `logs/evolution/{rule_id}/iteration_{N}.json`：
+```json
+{
+  "rule_id": "R001",
+  "iteration": 3,
+  "phase": "skill_testing",
+  "timestamp": "2025-04-01T14:30:00Z",
+  "reflection": "第2轮尝试了相同的正则修复方案，准确率未变",
+  "test_results": {
+    "total": 25,
+    "pass": 23,
+    "fail": 1,
+    "unable_to_verify": 1,
+    "accuracy": 0.92
+  },
+  "failures": [
+    {
+      "case_id": "S012",
+      "diagnosis": "judgment_failure",
+      "classification": "corner_case",
+      "description": "框架合同展期后的发票，展期信息在补充协议中",
+      "action": "recorded_as_corner_case"
+    }
+  ],
+  "changes_made": [
+    "补充了框架合同展期场景的判定逻辑",
+    "在 corner_cases.json 中添加了补充协议场景"
+  ],
+  "regression_check": "无回归",
+  "decision": "准确率 92% ≥ 阈值 90%，进入蒸馏阶段"
+}
+```
+### 文本日志
+存放于 `logs/evolution/{rule_id}/iteration_{N}.md`，使用自然语言描述本轮迭代的关键发现和决策，便于开发者用户阅读。
+## 收敛追踪
+每轮迭代追踪三个指标，以判断何时停止：
+- **修正量**：与上一轮相比，有多少测试案例的结果发生了变化（占总数的百分比）。
+- **新模式数**：本轮识别出了多少此前未见过的失败模式。
+- **回归数**：有多少上一轮通过的测试案例在本轮变为失败。
+### 停止条件
+当一轮迭代同时满足以下三个条件时，停止循环：
+1. 修正量 < 总测试案例的 5%。
+2. 新模式数 = 0。
+3. 回归数 = 0。
+如果修正量在连续两轮迭代之间**增加**，这是回归信号。暂停循环，先诊断原因再继续——上一轮的修复可能正在破坏系统的稳定性。
+### 预期收敛速度
+收敛不是线性的。预期早期迭代快速改善，随后收益递减：
+| 文档数量 | 典型收敛轮次 |
+|---------|------------|
+| < 50 | 3–5 |
+| 50–200 | 4–7 |
+| 200–1000 | 5–10 |
+| 1000+ | 7–15 |
+以上为经验估算。实际收敛取决于规则复杂度、文档多样性和模型能力。如果收敛轮次显著超出预期，应重新审视方法，而非继续硬磨更多轮次。
+详见 `references/convergence-guide.md` 的诊断流程和实际收敛数据。
+## 三个运行阶段
+演化循环在系统的不同生命周期阶段有不同的运行模式：
+### 演化阶段（Active Evolution）
+- 触发：技能或工作流正在开发和迭代中
+- 频率：每次修改后立即运行
+- 测试集：完整的 samples.json + corner_cases.json
+- 目标：达到准确率阈值
+### 监控阶段（Quality Control）
+- 触发：工作流已部署到生产，通过质量监控发现问题
+- 频率：由质量监控技能决定
+- 测试集：生产中发现的问题案例 + 原有测试集
+- 目标：修复生产中暴露的新问题
+### 稳态阶段（Stability）
+- 触发：连续 N 个批次无新问题
+- 频率：仅在质量监控发出警报时运行
+- 特征：迭代频率趋近于零
+- 目标：维持准确率不下降
+## 何时向开发者用户求助
+不是所有问题都能靠迭代解决。以下情况应及时上报：
+- **法规解读分歧**：你对法规条文的理解可能有误，需要业务专家确认
+- **不可消除的失败**：达到 `MAX_ITERATIONS` 后仍有无法修复的案例
+- **矛盾的规则**：两条规则对同一场景给出相反的要求
+- **样本不足**：测试集覆盖的场景不够，无法判断修复是否有效
+- **成本与准确率的权衡**：提升最后 5% 的准确率需要大幅增加成本，需开发者用户决策
+上报时提供结构化的问题描述、你的分析、建议的选项，让开发者用户能高效决策。

package/template/skills/zh/meta-meta/evolution-loop/references/convergence-guide.md ADDED Viewed

@@ -0,0 +1,62 @@
+# Convergence Guide
+Diagnostic procedures and real-world data for understanding when the evolution loop is converging, stalling, or regressing.
+## Empirical Data
+### The Shiji Project — Event Dating Reflection
+A document verification project for historical event dating across regulatory filings. Five rounds of evolution:
+- **Round 1**: 1,010 corrections (first pass — many extraction and judgment errors across the board).
+- **Round 2**: 431 corrections (systematic fixes applied — regex patterns, prompt refinements).
+- **Round 3**: 465 corrections (regression — round 2 fix for date normalization introduced new failures on edge-case date formats).
+- **Round 4**: 167 corrections (stabilizing — round 3 regression diagnosed and resolved, remaining issues are corner cases).
+- **Round 5**: 46 corrections (converged — below 5% threshold, no new patterns, no regressions).
+**Key insight**: The round 3 spike was the most informative event. It revealed that the round 2 fix was too aggressive — it normalized dates that should not have been normalized. Without convergence tracking, this regression might have been masked by overall accuracy still improving on other cases.
+## Diagnostic Flowchart
+### If correction volume increases between iterations:
+1. **Check for regression**: Are previously passing cases now failing? If yes, the last fix is the likely cause. Compare the diff between iterations.
+2. **Check for fix conflicts**: Does the new fix contradict a prior fix? For example, broadening a regex in round N that was narrowed in round N-1.
+3. **Check for test set changes**: Did new documents enter the test set between iterations? New documents can inflate correction volume without indicating regression.
+### If correction volume stays flat (not decreasing):
+1. **Check for oscillation**: Are the same cases flipping between pass and fail across iterations? This indicates the fix is unstable — it solves one variant but breaks another.
+2. **Check if fix is too narrow**: The fix addresses the specific failing cases but does not generalize. The next iteration reveals similar cases the fix missed.
+## False Convergence
+Metrics look stable but underlying issues are masked. The system appears converged but will fail on production data.
+### Common Causes
+- **Test set too small**: With fewer than 20 test cases, a single case changing can swing metrics by 5%. Convergence at this scale is statistically meaningless.
+- **Test set does not cover production variety**: The test set was curated from "clean" examples. Production documents include scanned PDFs, handwritten annotations, multi-language content, and formatting variations the test set never saw.
+- **Corner cases excluded from metrics**: If difficult cases are moved to `corner_cases.json` and excluded from accuracy calculation, the remaining "easy" cases converge quickly but the real problem is hidden.
+### Detection
+Compare test set distribution to production distribution on key dimensions: document type, length, format, source. If they diverge significantly, convergence on the test set does not guarantee production quality.
+## Estimating Remaining Rounds
+### Simple Heuristic
+If corrections approximately halve each round, expect `log2(current_corrections / threshold)` more rounds.
+Example: current round has 200 corrections, threshold is 5% of 1000 cases = 50 corrections.
+- Estimated remaining rounds: log2(200/50) = log2(4) = 2 rounds.
+### When the Heuristic Fails
+If corrections do not halve between rounds, the current approach may have hit its ceiling. Consider:
+- Escalating the fix strategy (prompt tweak → logic rewrite → architecture change).
+- Expanding the test set to reveal hidden patterns.
+- Consulting the developer user for domain insight on stubborn failures.
+Do not grind through more iterations expecting different results. If three consecutive rounds show similar correction volumes, stop and reassess.