@baimingtao/lbs-agent 1.0.0

package/extensions/skills/builtin/research/research-paper-writing/references/experiment-patterns.md

@@ -0,0 +1,728 @@
+# 实验设计模式
+
+从使用 Hermes agent 进行大规模研究实验中提炼出的模式和最佳实践。这些内容涵盖了实验基础设施、评估协议、监控和故障恢复。
+
+---
+
+## 实验基础设施
+
+### 目录结构
+
+使用一致的结构组织实验：
+
+```
+workspace/
+  experiments/
+    run_main.py                # Core experiment runner
+    run_baselines.py           # Baseline comparison
+    run_ablation.py            # Ablation studies
+    strategies.py              # Method implementations
+    config.yaml                # Shared configuration
+  results/
+    <experiment_name>/
+      <task_or_problem>/
+        <strategy>/
+          result.json          # Final metrics
+          final_output.md      # Final output artifact
+          history.json         # Full trajectory/log
+          pass_01/             # Per-iteration artifacts (if iterative)
+            intermediate.md
+  analysis/
+    analyze_results.py         # Statistical analysis
+    compute_stats.py           # Significance tests
+    make_charts.py             # Visualization
+  paper/
+    paper.tex                  # LaTeX source
+    fig_*.pdf                  # Generated figures
+```
+
+### 脚本设计原则
+
+**1. 增量保存（崩溃恢复）**
+
+每个实验脚本都应该在每个工作单元完成后保存结果，并在重启时跳过已完成的工作：
+
+```python
+import json, os
+from pathlib import Path
+
+def run_experiment(problems, strategies, output_dir):
+    for problem in problems:
+        for strategy in strategies:
+            result_path = Path(output_dir) / problem["id"] / strategy / "result.json"
+            if result_path.exists():
+                print(f"Skipping {problem['id']}/{strategy} (already done)")
+                continue
+            
+            # Run the experiment
+            result = execute_strategy(problem, strategy)
+            
+            # Save immediately
+            result_path.parent.mkdir(parents=True, exist_ok=True)
+            with open(result_path, 'w') as f:
+                json.dump(result, f, indent=2)
+```
+
+这种模式使重新运行既安全又高效。如果进程在处理第 47/150 个问题时崩溃，重启时会自动跳过前 46 个。
+
+**2. 产物保留**
+
+保存所有中间输出，而不仅仅是最终结果。这样可以在不重新运行的情况下进行事后分析：
+
+```python
+def save_pass_artifacts(output_dir, pass_num, artifacts):
+    """Save all artifacts from a single pass of an iterative method."""
+    pass_dir = Path(output_dir) / f"pass_{pass_num:02d}"
+    pass_dir.mkdir(parents=True, exist_ok=True)
+    
+    for name, content in artifacts.items():
+        with open(pass_dir / f"{name}.md", 'w') as f:
+            f.write(content)
+```
+
+**3. 配置管理**
+
+使用 YAML 配置文件以保证可复现性：
+
+```yaml
+# config.yaml
+model: anthropic/claude-sonnet-4-20250514
+author_temperature: 0.8
+judge_temperature: 0.3
+max_tokens: 4096
+num_judges: 3
+max_passes: 15
+convergence_k: 2
+```
+
+```python
+import yaml
+
+with open("config.yaml") as f:
+    config = yaml.safe_load(f)
+```
+
+**4. 关注点分离**
+
+将生成、评估和可视化保持在独立的脚本中：
+
+| 脚本 | 用途 |
+|--------|---------|
+| `run_experiment.py` | 核心方法执行 |
+| `run_baselines.py` | 相同计算量下的 baseline 比较 |
+| `run_eval.py` | 盲评 / 评审团 |
+| `analyze_results.py` | 统计分析 |
+| `make_charts.py` | 图表生成 |
+
+这让你可以重新运行评估而无需重新运行昂贵的生成过程，并可以重新生成图表而无需重新运行分析。
+
+---
+
+## 评估协议
+
+### 盲评评审团（针对主观任务）
+
+在评估主观输出（写作、分析、建议）时，使用盲评评审团：
+
+```python
+import random
+
+def run_blind_evaluation(outputs: dict, task_prompt: str, num_judges: int = 7):
+    """
+    Run blind evaluation of multiple method outputs.
+    
+    Args:
+        outputs: {"method_name": "output_text", ...}
+        task_prompt: The original task description
+        num_judges: Number of independent judge evaluations
+    """
+    rankings = []
+    
+    for judge_i in range(num_judges):
+        # Randomize labels and presentation order per judge
+        methods = list(outputs.keys())
+        random.shuffle(methods)
+        labels = {m: chr(65 + i) for i, m in enumerate(methods)}  # A, B, C...
+        
+        # Present to judge with randomized labels
+        prompt = f"Task: {task_prompt}\n\n"
+        for method in methods:
+            prompt += f"--- Proposal {labels[method]} ---\n{outputs[method]}\n\n"
+        prompt += "Rank all proposals from best to worst. Format: RANKING: [best], [second], [worst]"
+        
+        ranking = call_judge(prompt)
+        rankings.append({"labels": labels, "ranking": ranking})
+    
+    # Aggregate via Borda count
+    return compute_borda(rankings)
+
+def compute_borda(rankings, n_methods=3):
+    """Borda count: 3/2/1 points for 1st/2nd/3rd."""
+    scores = {}
+    points = {0: n_methods, 1: n_methods - 1, 2: n_methods - 2}  # Adjust for n_methods
+    
+    for r in rankings:
+        for position, method in enumerate(r["ranking"]):
+            scores[method] = scores.get(method, 0) + points.get(position, 0)
+    
+    return scores
+```
+
+关键设计决策：
+- **为每位评审随机化标签和顺序**，以防止位置偏见
+- **使用奇数个评审** (3, 5, 7) 以打破平局
+- **保守的平局打破**：现役/baseline 赢得平局（防止假阳性）
+- **CoT 评审** 以约 40% 的成本匹配非 CoT 的质量（1 名 CoT 评审 ≈ 3 名标准评审）
+
+### 代码/客观评估
+
+对于有标准答案的评估任务（代码、数学、事实）：
+
+```python
+import subprocess
+
+def evaluate_code(solution: str, test_cases: list, timeout: int = 30):
+    """Run code solution against test cases with sandboxed execution."""
+    results = {"public": [], "private": []}
+    
+    for test in test_cases:
+        try:
+            proc = subprocess.run(
+                ["python3", "-c", solution],
+                input=test["input"],
+                capture_output=True,
+                timeout=timeout,
+                text=True
+            )
+            actual = proc.stdout.strip()
+            expected = test["expected"].strip()
+            passed = actual == expected
+        except subprocess.TimeoutExpired:
+            passed = False
+        
+        category = "public" if test.get("public") else "private"
+        results[category].append(passed)
+    
+    return {
+        "public_pass_rate": sum(results["public"]) / max(len(results["public"]), 1),
+        "private_pass_rate": sum(results["private"]) / max(len(results["private"]), 1),
+    }
+```
+
+### 计算量匹配的比较
+
+始终在相等的计算预算下比较方法。如果你的方法使用了 N 次 API 调用，baseline 也会获得 N 次调用：
+
+| 方法 | 调用预算 | 分配 |
+|--------|-----------|------------|
+| 单次运行 | 6 次调用 | 6 次独立生成 |
+| 批评与修改 | 6 次调用 | 1 次生成 + 5 轮修改 |
+| Autoreason | 6 次调用 | 1 次生成 + 1 次分析 + 4 次修正 |
+| Best-of-N | 6 次调用 | 6 次独立运行，在公开测试中挑选最佳 |
+
+### 人工评估设计
+
+许多 ML/NLP 论文需要人工评估，特别是对于主观任务（文本生成、摘要、对话、创意写作）。设计不佳的人工评估是常见的拒稿原因。
+
+#### 何时需要人工评估
+
+| 任务类型 | 是否需要？ | 备注 |
+|-----------|-----------|-------|
+| 文本生成（开放式） | 是 | 仅靠 LLM-as-judge 不足以在 ACL/EMNLP 上被接受 |
+| 摘要 | 通常需要 | 至少需要对部分输出进行 |
+| 对话系统 | 是 | 用户研究或标注 |
+| 代码生成 | 否 | 测试套件是客观的标准答案 |
+| 分类 | 否 | 标准指标即可 |
+| 任何质量主观的任务 | 强烈推荐 | 显著增强论文的说服力 |
+
+#### 标注协议设计
+
+```
+Human Evaluation Protocol:
+1. Define the evaluation dimensions (fluency, relevance, factual accuracy, etc.)
+2. Create annotation guidelines with examples of each score level
+3. Run a pilot with 2-3 annotators on 20-30 examples
+4. Compute pilot inter-annotator agreement — if low, revise guidelines
+5. Run full evaluation
+6. Report: annotator count, agreement metrics, compensation, time per item
+```
+
+**评估维度**（选择相关子集）：
+
+| 维度 | 定义 | 量表 |
+|-----------|-----------|-------|
+| 流畅度 | 语法正确性和自然度 | 1-5 Likert |
+| 相关性 | 是否切合任务？ | 1-5 Likert |
+| 事实准确性 | 陈述的事实是否正确？ | 二元或 1-5 |
+| 连贯性 | 逻辑流畅度和一致性 | 1-5 Likert |
+| 信息量 | 是否提供了有用信息？ | 1-5 Likert |
+| 整体偏好 | 哪个输出更好？ | A/B/平局（成对比较） |
+
+**成对比较**（比绝对评分更受青睐——更可靠）：
+- 并排展示两个输出（随机化左/右位置）
+- 询问：“哪个更好？A / B / 平局”
+更具区分度，且不易受标注者校准漂移的影响
+
+#### 标注者间一致性
+
+务必报告一致性指标。没有它们，审稿人会认为你的标注不可靠。
+
+```python
+# Krippendorff's alpha (preferred — handles missing data, any scale)
+# pip install krippendorffs-alpha
+import krippendorff
+
+# Ratings: rows = annotators, columns = items, values = scores
+ratings = [
+    [3, 4, 1, 2, 5, None, 3],  # Annotator 1
+    [3, 5, 1, 3, 5, 2, 3],     # Annotator 2
+    [4, 4, 2, 2, 4, 2, None],  # Annotator 3
+]
+alpha = krippendorff.alpha(reliability_data=ratings, level_of_measurement="ordinal")
+print(f"Krippendorff's alpha: {alpha:.3f}")
+# Interpretation: >0.80 good, 0.67-0.80 acceptable, <0.67 questionable
+```
+
+```python
+# Cohen's kappa (for exactly 2 annotators, categorical data)
+from sklearn.metrics import cohen_kappa_score
+
+annotator_1 = [1, 2, 3, 1, 2, 3, 2]
+annotator_2 = [1, 2, 2, 1, 3, 3, 2]
+kappa = cohen_kappa_score(annotator_1, annotator_2)
+print(f"Cohen's kappa: {kappa:.3f}")
+# Interpretation: >0.80 excellent, 0.60-0.80 substantial, 0.40-0.60 moderate
+```
+
+| 指标 | 何时使用 | 标注者数 | 量表 |
+|--------|------------|-----------|-------|
+| Krippendorff's alpha | 默认选择 | 任意数量 | 任意（ordinal, nominal, ratio） |
+| Cohen's kappa | 2 名标注者，分类数据 | 恰好 2 名 | Nominal/ordinal |
+| Fleiss' kappa | 3 名及以上标注者，分类数据 | 3 名及以上 | Nominal |
+| Pearson/Spearman | 连续评分 | 2 | Interval/ratio |
+
+#### 众包平台
+
+| 平台 | 最适合 | 成本 | 质量 |
+|----------|----------|------|---------|
+| **Prolific** | 学术研究，质量较高 | $8-15/小时 | 高 — 学术参与者池 |
+| **MTurk** | 大规模，周转快 | $2-10/小时 | 参差不齐 — 需使用资质筛选 |
+| **Surge AI** | NLP 专属标注 | 高昂 | 高 — 受过训练的标注者 |
+| **专家标注员** | 特定领域（医疗、法律） | 最高 | 最高 — 但速度慢 |
+
+**伦理要求**：
+- 报告报酬率（至少必须达到当地最低工资标准）
+- 如相关，描述标注者的人口统计特征
+- 如机构有要求，需获得 IRB/伦理审批
+| ACL 会议明确要求提供报酬文档
+
+#### 论文中应报告的内容
+
+```
+Human Evaluation Section Checklist:
+- [ ] Number of annotators
+- [ ] Annotator qualifications / recruitment method
+- [ ] Number of items evaluated
+- [ ] Evaluation dimensions with definitions
+- [ ] Scale used (Likert, pairwise, binary)
+- [ ] Inter-annotator agreement (Krippendorff's alpha or Cohen's kappa)
+- [ ] Compensation rate
+- [ ] Time per annotation item
+- [ ] Whether annotators saw model identities (should be blind)
+- [ ] Randomization of presentation order
+```
+
+---
+
+## 统计分析
+
+### 必要测试
+
+| 测试 | 何时使用 | Python |
+|------|------------|--------|
+| McNemar's test | 在相同问题上比较两种方法 | 小样本 n 使用 `scipy.stats.binomtest` |
+| Two-proportion z-test | 比较成功率 | Custom 或 `statsmodels` |
+| Fisher's exact test | 小样本成对比较 | `scipy.stats.fisher_exact` |
+| Bootstrapped CI | 任意指标的置信区间 | Custom bootstrap |
+| Cohen's h | 比例的效应量 | 手动计算 |
+
+### 标准分析脚本
+
+```python
+import numpy as np
+from scipy import stats
+from pathlib import Path
+import json
+
+def load_all_results(results_dir):
+    """Load all results into a structured format."""
+    results = {}
+    for result_file in Path(results_dir).rglob("result.json"):
+        parts = result_file.relative_to(results_dir).parts
+        if len(parts) >= 3:
+            experiment, task, strategy = parts[0], parts[1], parts[2]
+            data = json.loads(result_file.read_text())
+            results.setdefault(experiment, {}).setdefault(strategy, {})[task] = data
+    return results
+
+def pairwise_mcnemar(method_a_results, method_b_results):
+    """McNemar's test for paired binary outcomes."""
+    a_win_b_lose = sum(1 for a, b in zip(method_a_results, method_b_results) if a and not b)
+    b_win_a_lose = sum(1 for a, b in zip(method_a_results, method_b_results) if b and not a)
+    
+    n = a_win_b_lose + b_win_a_lose
+    if n < 25:
+        # Use exact binomial for small samples
+        result = stats.binomtest(a_win_b_lose, n, 0.5)
+        p_value = result.pvalue
+    else:
+        # Chi-squared approximation
+        chi2 = (abs(a_win_b_lose - b_win_a_lose) - 1)**2 / (a_win_b_lose + b_win_a_lose)
+        p_value = 1 - stats.chi2.cdf(chi2, df=1)
+    
+    return {
+        "a_wins": a_win_b_lose,
+        "b_wins": b_win_a_lose,
+        "n_discordant": n,
+        "p_value": p_value,
+        "significant": p_value < 0.05
+    }
+
+def bootstrap_ci(data, n_bootstrap=10000, ci=0.95):
+    """Bootstrap confidence interval for mean."""
+    means = []
+    for _ in range(n_bootstrap):
+        sample = np.random.choice(data, size=len(data), replace=True)
+        means.append(np.mean(sample))
+    lower = np.percentile(means, (1 - ci) / 2 * 100)
+    upper = np.percentile(means, (1 + ci) / 2 * 100)
+    return {"mean": np.mean(data), "ci_lower": lower, "ci_upper": upper}
+
+def cohens_h(p1, p2):
+    """Cohen's h effect size for two proportions."""
+    return 2 * np.arcsin(np.sqrt(p1)) - 2 * np.arcsin(np.sqrt(p2))
+```
+
+### 报告标准
+
+论文中必须包含：
+- **样本量**：n=X 个问题/任务
+- **运行次数**：如适用，提供 K 次独立运行
+- **误差棒**：明确是标准差还是标准误
+- **置信区间**：关键结果的 95% CI
+- **显著性检验**：关键比较的 p 值
+- **效应量**：用于衡量实际显著性的 Cohen's d 或 h
+
+---
+
+## 监控（定时任务模式）
+
+### 定时监控提示词模板
+
+为每个实验批次创建监控提示词：
+
+```
+Check the status of the [EXPERIMENT_NAME] experiment:
+
+1. Process check: ps aux | grep [PROCESS_PATTERN]
+2. Log check: tail -30 [LOG_FILE]
+3. Results check: ls [RESULT_DIR]/eval/ (or appropriate result location)
+4. If results are available:
+   - Read the result JSON files
+   - Report metrics in a table (Borda scores, accuracy, etc.)
+   - Compute key comparisons between methods
+5. If all experiments in this batch are complete:
+   - git add -A && git commit -m "[COMMIT_MESSAGE]" && git push
+   - Report final summary
+6. Key question: [SPECIFIC ANALYTICAL QUESTION]
+
+If nothing has changed since the last check, respond with [SILENT].
+```
+
+### 监控最佳实践
+
+1. **优先检查进程** — 如果实验仍在运行且结果不完整，不要读取结果
+2. **读取日志末尾** — 查找错误、进度指示器、完成消息
+3. **统计已完成与预期数量** — “45/150 个问题已完成”比“存在一些结果”更有用
+4. **在结构化表格中报告** — 始终在表格中包含关键指标
+5. **回答关键问题** — 每个实验在完成时都应回答一个具体的分析问题
+6. **无变化时保持 [SILENT]** — 当没有任何变化时抑制通知
+7. **完成时提交** — 每个完成的批次都会附带描述性信息进行提交
+
+### 示例监控报告
+
+```
+## Code Experiments (Haiku 3.5) - COMPLETE
+
+| Strategy | Pass Rate (150 problems) | vs Single |
+|----------|------------------------|-----------|
+| single_pass | 38.0% | — |
+| critique_revise | 35.2% | -2.8pp |
+| **autoreason** | **40.0%** | **+2.0pp** |
+| best_of_6 | 31.0% | -7.0pp |
+
+Key finding: Autoreason shows +2pp improvement over single pass, while 
+best-of-6 collapses due to single-public-test selection issue.
+
+Committed: `git commit -m "Add Haiku code results (150 problems, 4 strategies)"`
+Next: Run significance tests on these results.
+```
+
+---
+
+## 故障恢复
+
+### 常见故障及恢复
+
+| 故障 | 检测 | 恢复 |
+|---------|-----------|----------|
+| **API 额度耗尽** | 日志中出现 402 错误，结果不完整 | 充值额度，重新运行（会自动跳过已完成的工作） |
+| **频率限制** | 429 错误，进度缓慢 | 添加带有指数退避的重试逻辑 |
+| **进程崩溃** | PID 消失，日志在问题中途停止 | 重新运行脚本（从上一个检查点恢复） |
+| **模型 ID 错误** | 找不到模型的错误 | 修复 ID（例如，使用 `claude-opus-4-6` 而非 `claude-opus-4.6`） |
+| **并发减速** | 每个实验花费的时间长 2 倍 | 将并发实验最多减少至 2-3 个 |
+| **安全扫描拦截** | 命令被安全机制拦截 | 使用 `execute_code` 代替管道 `terminal` 命令 |
+| **委派失败** | `delegate_task` 返回错误 | 退回到直接执行工作 |
+| **困难问题超时** | 进程卡住，日志无进展 | 终止、跳过问题、在结果中备注 |
+| **数据集路径不匹配** | 找不到文件错误 | 启动前验证路径 |
+
+### 重试命名约定
+
+重新运行失败的实验时，使用后缀来跟踪轮次：
+
+```
+logs/experiment_haiku_0_50.log       # Round 1
+logs/experiment_haiku_0_50_r2.log    # Round 2 (after credit exhaustion)
+logs/experiment_haiku_0_50_r3.log    # Round 3 (after bug fix)
+```
+
+### 飞行前检查清单
+
+在启动任何实验批次之前：
+
+```
+Pre-Flight:
+- [ ] API credits sufficient for estimated calls
+- [ ] Model IDs correct (test with 1 problem first)
+- [ ] Output directory exists and is writable
+- [ ] Resume logic works (re-run won't overwrite existing results)
+- [ ] Log file path is unique (won't overwrite previous logs)
+- [ ] Dataset/task files are accessible
+- [ ] Config matches intended experiment
+```
+
+---
+
+## 任务/Benchmark 设计
+
+### 开放式任务（主观评估）
+
+设计具有明确目标但具有主观质量要求的任务：
+
+```markdown
+# Task: [Title]
+
+## Context
+[Specific scenario with concrete details: company size, constraints, timeline]
+
+## Deliverable
+[Exact format and structure required]
+
+## Requirements
+- [Specific, measurable requirements]
+- [Not vague — "be comprehensive" is bad, "include exactly 6 sections" is good]
+```
+
+### 受限任务（用于测试范围效应）
+
+受限任务用于测试方法是否能遵守范围边界。设计时应包含：
+
+- **固定事实**：“仅使用这 N 个数据点，不要添加任何其他内容”
+- **固定交付物**：特定格式（推介、事后分析、备忘录 — 而不是“改进这个”）
+- **固定结构**：“按此顺序排列这些部分，不要添加/删除”
+- **固定更改项**：“仅解决这 N 个点，不涉及其他”
+
+**不要使用字数统计作为范围限制。** 字数限制会导致错误的收敛——输出因为长度被拒绝，而不是因为质量。限制范围（包含什么）而不是长度。
+
+### 示例：好与坏的约束
+
+| 坏的约束 | 原因 | 好的约束 |
+|---------------|-----|-----------------|
+| “最多 500 字” | 评审会因为长度拒绝 | “正好 4 个部分，每个包含 3 个编号项目” |
+| “要简洁” | 太模糊 | “每项禁令必须引用一个特定的基础事实” |
+| “改进这个” | 范围无限制 | “写一份 600 字的事件事后分析，结构必须完全如此” |
+| “让它变得更好” | 没有明确的标准 | “仅解决这 3 位审稿人的担忧” |
+
+---
+
+## 可视化最佳实践
+
+### 配置：SciencePlots + matplotlib
+
+安装 SciencePlots 以获得可直接出版的默认样式：
+
+```bash
+pip install SciencePlots matplotlib numpy
+```
+
+**选项 A：SciencePlots 样式**（推荐 — 自动处理大部分默认设置）：
+
+```python
+import matplotlib.pyplot as plt
+import scienceplots  # registers the styles
+
+# Pick a style:
+# 'science'        — clean, serif fonts, suitable for most venues
+# 'science+ieee'   — IEEE-style (good for two-column papers)
+# 'science+nature' — Nature-style
+# Add 'no-latex' if LaTeX is not installed on the machine generating plots
+
+with plt.style.context(['science', 'no-latex']):
+    fig, ax = plt.subplots(figsize=(3.5, 2.5))  # single-column width
+    # ... plot ...
+    fig.savefig('paper/fig_results.pdf', bbox_inches='tight')
+```
+
+**选项 B：手动 rcParams**（当你需要完全控制时）：
+
+```python
+import matplotlib.pyplot as plt
+
+plt.rcParams.update({
+    'font.size': 10,
+    'font.family': 'serif',
+    'axes.labelsize': 11,
+    'axes.titlesize': 11,
+    'xtick.labelsize': 9,
+    'ytick.labelsize': 9,
+    'legend.fontsize': 9,
+    'figure.figsize': (3.5, 2.5),    # single-column default
+    'figure.dpi': 300,
+    'savefig.dpi': 300,
+    'savefig.bbox': 'tight',
+    'savefig.pad_inches': 0.05,
+    'axes.linewidth': 0.8,
+    'lines.linewidth': 1.5,
+    'lines.markersize': 5,
+    'axes.grid': True,
+    'grid.alpha': 0.3,
+    'grid.linewidth': 0.5,
+})
+```
+
+### 标准图表尺寸（双栏格式）
+
+| 用例 | figsize | 备注 |
+|----------|---------|-------|
+| 单栏 | `(3.5, 2.5)` | 适合双栏布局中的一栏 |
+| 双栏 | `(7.0, 3.0)` | 跨越整个页面宽度 |
+| 正方形（热力图、混淆矩阵） | `(3.5, 3.5)` | 单栏 |
+| 高单栏（多行） | `(3.5, 5.0)` | 谨慎使用 |
+
+### 色盲友好调色板（Okabe-Ito）
+
+所有论文图表请使用此调色板。所有常见色觉缺陷人群均可区分这些颜色：
+
+```python
+COLORS = {
+    'blue':    '#0072B2',
+    'orange':  '#E69F00',
+    'green':   '#009E73',
+    'red':     '#D55E00',
+    'purple':  '#CC79A7',
+    'cyan':    '#56B4E9',
+    'yellow':  '#F0E442',
+    'black':   '#000000',
+}
+
+# As a list for cycling:
+COLOR_CYCLE = ['#0072B2', '#D55E00', '#009E73', '#E69F00', '#CC79A7', '#56B4E9']
+```
+
+不仅通过颜色区分线条，还要通过**标记和线型**区分：
+```python
+STYLES = [
+    {'color': '#0072B2', 'marker': 'o', 'linestyle': '-'},
+    {'color': '#D55E00', 'marker': 's', 'linestyle': '--'},
+    {'color': '#009E73', 'marker': '^', 'linestyle': '-.'},
+    {'color': '#E69F00', 'marker': 'D', 'linestyle': ':'},
+]
+```
+
+### 完整示例：方法对比柱状图
+
+```python
+import matplotlib.pyplot as plt
+import numpy as np
+
+try:
+    import scienceplots
+    style = ['science', 'no-latex']
+except ImportError:
+    style = 'default'
+
+with plt.style.context(style):
+    methods = ['Single Pass', 'Critique+Revise', 'Best-of-N', 'Ours']
+    scores = [73.2, 74.1, 68.5, 77.0]
+    errors = [2.1, 1.8, 3.2, 1.5]
+    colors = ['#56B4E9', '#E69F00', '#CC79A7', '#0072B2']
+    
+    fig, ax = plt.subplots(figsize=(3.5, 2.5))
+    bars = ax.bar(methods, scores, yerr=errors, capsize=3,
+                  color=colors, edgecolor='black', linewidth=0.5)
+    
+    # Highlight "Ours"
+    bars[-1].set_edgecolor('#0072B2')
+    bars[-1].set_linewidth(1.5)
+    
+    ax.set_ylabel('Pass Rate (%)')
+    ax.set_ylim(60, 85)
+    ax.spines['top'].set_visible(False)
+    ax.spines['right'].set_visible(False)
+    
+    fig.savefig('paper/fig_comparison.pdf', bbox_inches='tight')
+```
+
+### 完整示例：收敛/轨迹折线图
+
+```python
+with plt.style.context(style):
+    fig, ax = plt.subplots(figsize=(3.5, 2.5))
+    
+    passes = np.arange(1, 16)
+    ours = [65, 72, 78, 82, 85, 87, 88, 89, 89.5, 90, 90, 90, 90, 90, 90]
+    baseline = [65, 68, 70, 71, 69, 67, 66, 65, 64, 63, 62, 61, 60, 59, 58]
+    
+    ax.plot(passes, ours, **STYLES[0], label='Ours', markersize=4)
+    ax.plot(passes, baseline, **STYLES[1], label='Critique+Revise', markersize=4)
+    
+    # Mark convergence point
+    ax.axvline(x=10, color='gray', linestyle=':', alpha=0.5, linewidth=0.8)
+    ax.annotate('Converged', xy=(10, 90), fontsize=8, ha='center',
+                xytext=(10, 93), arrowprops=dict(arrowstyle='->', color='gray'))
+    
+    ax.set_xlabel('Iteration')
+    ax.set_ylabel('Quality Score')
+    ax.legend(loc='lower right')
+    ax.spines['top'].set_visible(False)
+    ax.spines['right'].set_visible(False)
+    
+    fig.savefig('paper/fig_trajectory.pdf', bbox_inches='tight')
+```
+
+### 输出规则
+
+- **始终保存为 PDF**：`fig.savefig('fig.pdf')` — 矢量图，在任何缩放级别下都保持清晰
+- **论文图表绝不保存为 PNG** — 放大/打印时位图 PNG 会显得模糊
+- **例外**：屏幕截图、照片或像素艺术可视化 → 使用 600 DPI 的 PNG
+- **验证灰度**：打印为灰度 PDF 并检查所有信息是否依然可见
+
+### 常见对比的图表类型
+
+| 对比类型 | 图表 | 备注 |
+|----------------|-------|-------|
+| 方法之间 | 分组柱状图 | 包含误差棒 |
+| 不同模型规模 | 带 CI 带的折线图 | 模型规模轴使用对数刻度 |
+| Ablation study | 堆叠/分组柱状图 | 突出显示被移除的组件 |
+| 轨迹/收敛 | 迭代折线图 | 显示每次迭代的胜者 |
+| 任务细分 | 热力图或分组柱状图 | 展示跨任务的方差 |