@baimingtao/lbs-agent 1.0.0

package/extensions/skills/builtin/research/research-paper-writing/references/human-evaluation.md

@@ -0,0 +1,476 @@
+# ML/AI 研究的人工评估指南
+
+这是一份针对 ML/AI 论文中设计、执行和报告人工评估的综合指南。人工评估是许多 NLP、HCI 和 alignment 论文的核心证据，并且越来越多地被各大 ML 会议视为补充证据的期望要求。
+
+---
+
+## 目录
+
+- [何时需要人工评估](#when-human-evaluation-is-needed)
+- [实验设计](#study-design)
+- [标注指南](#annotation-guidelines)
+- [平台与招募](#platforms-and-recruitment)
+- [质量控制](#quality-control)
+- [一致性指标](#agreement-metrics)
+- [人工评估的统计分析](#statistical-analysis-for-human-eval)
+- [Reporting 要求](#reporting-requirements)
+- [IRB 与伦理](#irb-and-ethics)
+- [常见陷阱](#common-pitfalls)
+
+---
+
+## 何时需要人工评估
+
+| 场景 | 必需 Human Eval? | 说明 |
+|----------|---------------------|-------|
+| 文本生成质量（流畅度、连贯性） | **是** | 自动化指标（BLEU, ROUGE）与人类判断的相关性较差 |
+| 生成文本的事实准确性 | **强烈建议** | 自动化事实核查不可靠 |
+| 安全性/毒性评估 | **视复杂情况而定（是）** | 分类器会漏掉依赖上下文的伤害 |
+| 两个系统之间的偏好 | **是** | 比较 LLM 输出的最可靠方法 |
+| 摘要质量 | **是** | ROUGE 无法很好地捕捉忠实度或相关性 |
+| 任务完成度（UI、agents） | **是** | 用户研究是金标准 |
+| 分类准确率 | **通常不需要** | 真值标签（Ground truth labels）就足够了；人工评估只增成本不增洞察 |
+| Perplexity 或 loss 比较 | **不需要** | 自动化指标是正确的评估方式 |
+
+---
+
+## 实验设计
+
+### 评估类型
+
+| 类型 | 适用场景 | 优点 | 缺点 |
+|------|-------------|------|------|
+| **成对比较** | 比较两个系统 | 最可靠，最小化量表偏差 | 只能两两比较，系统数量增加时复杂度呈二次方增长 |
+| **李克特量表** (1-5 或 1-7) | 对单个输出进行评分 | 易于汇总统计 | 存在主观锚定和量表压缩现象 |
+| **排序** | 对 3 个或更多系统排序 | 能捕捉完整的偏好顺序 | 随着条目增加，认知负担加重 |
+| **最好-最差量表** | 高效比较多个系统 | 比李克特量表更可靠，随条目线性增长 | 需要仔细选择评估条目 |
+| **二元判断** | 是/否决策（语法正确？事实属实？） | 简单，一致性高 | 会丢失细微差别 |
+| **错误标注** | 识别特定的错误类型 | 提供丰富的诊断信息 | 成本高昂，需要受过训练的标注员 |
+
+**对大多数 ML 论文的建议**：成对比较是最站得住脚的。审稿人很少质疑其有效性。对于李克特量表，务必同时报告平均值和分布情况。
+
+### 样本量规划
+
+**最小可行样本量：**
+
+| 研究类型 | 最少条目数 | 最少标注员数 | 说明 |
+|------------|--------------|-------------------|-------|
+| 成对比较 | 100 对 | 每对 3 人 | 能在 p<0.05 的水平上检测出约 10% 的胜率差异 |
+| 李克特评分 | 100 条 | 每条 3 人 | 足以计算出有意义的平均值 |
+| 排序 | 50 组 | 每组 3 人 | 每组包含所有正在比较的系统 |
+| 错误标注 | 200 条 | 每条 2 人 | 对于结构化方案，预期会有较高的一致性 |
+
+**统计分析**（用于更精确地规划）：
+
+```python
+from scipy import stats
+import numpy as np
+
+def sample_size_pairwise(effect_size=0.10, alpha=0.05, power=0.80):
+    """
+    Estimate sample size for pairwise comparison (sign test).
+    effect_size: expected win rate difference from 0.50
+    """
+    p_expected = 0.50 + effect_size
+    # Normal approximation to binomial
+    z_alpha = stats.norm.ppf(1 - alpha / 2)
+    z_beta = stats.norm.ppf(power)
+    n = ((z_alpha * np.sqrt(0.25) + z_beta * np.sqrt(p_expected * (1 - p_expected))) ** 2) / (effect_size ** 2)
+    return int(np.ceil(n))
+
+print(f"Sample size for 10% effect: {sample_size_pairwise(0.10)}")  # ~200
+print(f"Sample size for 15% effect: {sample_size_pairwise(0.15)}")  # ~90
+print(f"Sample size for 20% effect: {sample_size_pairwise(0.20)}")  # ~50
+```
+
+### 控制偏差
+
+| 偏差 | 缓解措施 |
+|------|-----------|
+| **顺序偏差**（倾向于偏好第一个条目） | 为每位标注员随机化展示顺序 |
+| **长度偏差**（越长越好） | 控制长度变量或单独进行分析 |
+| **锚定效应**（第一个标注设定了量表基准） | 加入热身条目（不计入统计） |
+| **疲劳**（质量随时间下降） | 限制单次会话时长（最多 30-45 分钟），随机化条目顺序 |
+| **标注员专业度** | 报告标注员背景；使用资格测试任务 |
+
+---
+
+## 标注指南
+
+编写良好的标注指南是决定评估质量的最关键因素。请在此投入大量时间。
+
+### 优秀指南的结构
+
+```markdown
+# [Task Name] Annotation Guidelines
+
+## Overview
+[1-2 sentences describing the task]
+
+## Definitions
+[Define every term annotators will use in their judgments]
+- Quality: [specific definition for this study]
+- Fluency: [specific definition]
+- Factuality: [specific definition]
+
+## Rating Scale
+[For each scale point, provide:]
+- Numeric value
+- Label (e.g., "Excellent", "Good", "Acceptable", "Poor", "Unacceptable")
+- Definition of what qualifies for this rating
+- 1-2 concrete examples at this level
+
+## Examples
+
+### Example 1: [Rating = 5]
+Input: [exact input]
+Output: [exact output]
+Rating: 5
+Explanation: [why this is a 5]
+
+### Example 2: [Rating = 2]
+Input: [exact input]
+Output: [exact output]
+Rating: 2
+Explanation: [why this is a 2]
+
+[Include at least 2 examples per rating level, covering edge cases]
+
+## Edge Cases
+- If the output is [ambiguous case]: [instruction]
+- If the input is [unusual case]: [instruction]
+
+## Common Mistakes
+- Don't [common annotator error]
+- Don't let [bias] influence your rating
+```
+
+### 试点测试
+
+在正式研究前**务必进行试点测试**：
+1. 3-5 名标注员，20-30 个条目
+2. 计算一致性指标
+3. 在小组会议上讨论分歧
+4. 根据易混淆点修订指南
+5. 如果一致性较差（kappa < 0.40），则进行第二次试点
+
+---
+
+## 平台与招募
+
+| 平台 | 最适用场景 | 成本 | 质量 |
+|----------|----------|------|---------|
+| **Prolific** | 常规标注、问卷调查 | $8-15/小时 | 高（以学术研究为导向的样本库） |
+| **Amazon MTurk** | 大规模简单任务 | $5-12/小时 | 参差不齐（需要严格的质量控制） |
+| **Surge AI** | 特定于 NLP 的标注 | $15-25/小时 | 非常高（训练有素的标注员） |
+| **Scale AI** | 生产级数据标注 | 视情况而定 | 高（有管理的劳动力） |
+| **内部团队** | 需要领域专业知识 | 视情况而定 | 对于专业任务质量最高 |
+| **Upwork/外包人员** | 长期标注项目 | $10-30/小时 | 取决于招聘质量 |
+
+**公平报酬**：向标注员支付的报酬应至少相当于其所在地的最低工资标准。现在许多学术会议（特别是 ACL）会询问标注员的报酬情况。支付低于最低工资的薪酬会带来伦理风险。
+
+**Prolific 设置（推荐用于大多数 ML 论文）：**
+1. 在 prolific.co 上创建研究
+2. 设置预筛选过滤器（语言、国家/地区、批准率 >95%）
+3. 根据试点测试估算单任务耗时 → 设定公平报酬
+4. 使用 Prolific 内置的注意力检查机制，或者添加你自己的检查
+5. 收集 Prolific ID 用于质量追踪（但不要在论文中公开）
+
+---
+
+## 质量控制
+
+### 注意力检查
+
+包含答案毫无歧义的条目：
+
+```python
+# Types of attention checks
+attention_checks = {
+    "instructed_response": "For this item, please select 'Strongly Agree' regardless of content.",
+    "obvious_quality": "Rate this clearly ungrammatical text: 'The cat dog house green yesterday.'",  # Should get lowest score
+    "gold_standard": "Items where expert consensus exists (pre-annotated by authors)",
+    "trap_question": "What color is the sky on a clear day? (embedded in annotation interface)"
+}
+
+# Recommended: 10-15% of total items should be checks
+# Exclusion criterion: fail 2+ attention checks → exclude annotator
+```
+
+### 标注员资格认证
+
+对于需要专业知识的任务：
+
+```
+Qualification Task Design:
+1. Create a set of 20-30 items with known-correct labels
+2. Require annotators to complete this before the main task
+3. Set threshold: ≥80% agreement with gold labels to qualify
+4. Record qualification scores for reporting
+```
+
+### 数据收集过程中的监控
+
+```python
+# Real-time quality monitoring
+def monitor_quality(annotations):
+    """Check for annotation quality issues during collection."""
+    issues = []
+    
+    # 1. Check for straight-lining (same answer for everything)
+    for annotator_id, items in annotations.groupby('annotator'):
+        if items['rating'].nunique() <= 1:
+            issues.append(f"Annotator {annotator_id}: straight-lining detected")
+    
+    # 2. Check time per item (too fast = not reading)
+    median_time = annotations['time_seconds'].median()
+    fast_annotators = annotations.groupby('annotator')['time_seconds'].median()
+    for ann_id, time in fast_annotators.items():
+        if time < median_time * 0.3:
+            issues.append(f"Annotator {ann_id}: suspiciously fast ({time:.0f}s vs median {median_time:.0f}s)")
+    
+    # 3. Check attention check performance
+    checks = annotations[annotations['is_attention_check']]
+    for ann_id, items in checks.groupby('annotator'):
+        accuracy = (items['rating'] == items['gold_rating']).mean()
+        if accuracy < 0.80:
+            issues.append(f"Annotator {ann_id}: failing attention checks ({accuracy:.0%})")
+    
+    return issues
+```
+
+---
+
+## 一致性指标
+
+### 选用哪个指标
+
+| 指标 | 适用场景 | 解释 |
+|--------|-------------|---------------|
+| **Cohen's kappa (κ)** | 恰好 2 名标注员，类别型数据 | 经过随机一致性校正的一致性 |
+| **Fleiss' kappa** | 3 名及以上标注员，所有人都评估相同条目，类别型数据 | Cohen's kappa 的多标注员扩展版 |
+| **Krippendorff's alpha (α)** | 任意数量的标注员，能处理缺失数据 | 最通用；建议作为默认首选 |
+| **ICC (组内相关系数)** | 连续型评分（如李克特量表） | 评分者之间的一致性 |
+| **百分比一致性** | 与 kappa/alpha 一起报告 | 原始一致性（未经随机校正） |
+| **Kendall's W** | 排序任务 | 排序者之间的和谐度 |
+
+**务必至少报告两个指标**：一个经过随机校正的指标（kappa 或 alpha）以及原始的百分比一致性。
+
+### 结果解读指南
+
+| 数值 | Krippendorff's α / Cohen's κ | 质量 |
+|-------|-------------------------------|---------|
+| > 0.80 | 极好的一致性 | 对大多数用途而言都可靠 |
+| 0.67 - 0.80 | 良好的一致性 | 对于大多数 ML 论文可以接受 |
+| 0.40 - 0.67 | 中等的一致性 | 处于临界水平；需在论文中讨论 |
+| < 0.40 | 较差的一致性 | 需修订指南并重新标注 |
+
+**注意**：Krippendorff 建议将 α > 0.667 作为得出初步结论的最低标准。带有主观判断的 NLP 任务（如流畅度、有用性）通常在 0.40-0.70 之间。
+
+### 代码实现
+
+```python
+import numpy as np
+from sklearn.metrics import cohen_kappa_score
+import krippendorff  # pip install krippendorff
+
+def compute_agreement(annotations_matrix):
+    """
+    annotations_matrix: shape (n_items, n_annotators)
+    Values: ratings (int or float). Use np.nan for missing.
+    """
+    results = {}
+    
+    # Krippendorff's alpha (handles missing data, any number of annotators)
+    results['krippendorff_alpha'] = krippendorff.alpha(
+        annotations_matrix.T,  # krippendorff expects (annotators, items)
+        level_of_measurement='ordinal'  # or 'nominal', 'interval', 'ratio'
+    )
+    
+    # Pairwise Cohen's kappa (for 2 annotators at a time)
+    n_annotators = annotations_matrix.shape[1]
+    kappas = []
+    for i in range(n_annotators):
+        for j in range(i + 1, n_annotators):
+            mask = ~np.isnan(annotations_matrix[:, i]) & ~np.isnan(annotations_matrix[:, j])
+            if mask.sum() > 0:
+                k = cohen_kappa_score(
+                    annotations_matrix[mask, i].astype(int),
+                    annotations_matrix[mask, j].astype(int)
+                )
+                kappas.append(k)
+    results['mean_pairwise_kappa'] = np.mean(kappas) if kappas else None
+    
+    # Raw percent agreement
+    agree_count = 0
+    total_count = 0
+    for item in range(annotations_matrix.shape[0]):
+        ratings = annotations_matrix[item, ~np.isnan(annotations_matrix[item, :])]
+        if len(ratings) >= 2:
+            # All annotators agree
+            if len(set(ratings.astype(int))) == 1:
+                agree_count += 1
+            total_count += 1
+    results['percent_agreement'] = agree_count / total_count if total_count > 0 else None
+    
+    return results
+```
+
+---
+
+## 人工评估的统计分析
+
+### 成对比较
+
+```python
+from scipy import stats
+
+def analyze_pairwise(wins_a, wins_b, ties=0):
+    """
+    Analyze pairwise comparison results.
+    wins_a: number of times system A won
+    wins_b: number of times system B won
+    ties: number of ties (excluded from sign test)
+    """
+    n = wins_a + wins_b  # exclude ties
+    
+    # Sign test (exact binomial)
+    p_value = stats.binom_test(wins_a, n, 0.5, alternative='two-sided')
+    
+    # Win rate with 95% CI (Wilson score interval)
+    win_rate = wins_a / n if n > 0 else 0.5
+    z = 1.96
+    denominator = 1 + z**2 / n
+    center = (win_rate + z**2 / (2 * n)) / denominator
+    margin = z * np.sqrt((win_rate * (1 - win_rate) + z**2 / (4 * n)) / n) / denominator
+    ci_lower = center - margin
+    ci_upper = center + margin
+    
+    return {
+        'win_rate_a': win_rate,
+        'win_rate_b': 1 - win_rate,
+        'p_value': p_value,
+        'ci_95': (ci_lower, ci_upper),
+        'significant': p_value < 0.05,
+        'n_comparisons': n,
+        'ties': ties,
+    }
+```
+
+### 李克特量表分析
+
+```python
+def analyze_likert(ratings_a, ratings_b):
+    """Compare Likert ratings between two systems (paired)."""
+    # Wilcoxon signed-rank test (non-parametric, paired)
+    stat, p_value = stats.wilcoxon(ratings_a, ratings_b, alternative='two-sided')
+    
+    # Effect size (rank-biserial correlation)
+    n = len(ratings_a)
+    r = 1 - (2 * stat) / (n * (n + 1))
+    
+    return {
+        'mean_a': np.mean(ratings_a),
+        'mean_b': np.mean(ratings_b),
+        'std_a': np.std(ratings_a),
+        'std_b': np.std(ratings_b),
+        'wilcoxon_stat': stat,
+        'p_value': p_value,
+        'effect_size_r': r,
+        'significant': p_value < 0.05,
+    }
+```
+
+### 多重比较校正
+
+当比较两个以上的系统时：
+
+```python
+from statsmodels.stats.multitest import multipletests
+
+# After computing p-values for all pairs
+p_values = [0.03, 0.001, 0.08, 0.04, 0.15, 0.002]
+rejected, corrected_p, _, _ = multipletests(p_values, method='holm')
+# Use corrected p-values in your paper
+```
+
+---
+
+## Reporting 要求
+
+NLP 会议（ACL、EMNLP、NAACL）的审稿人会逐项检查以下所有内容。ML 会议（NeurIPS、ICML）也越来越期望看到这些。
+
+### 必须报告的内容
+
+```latex
+% In your paper's human evaluation section:
+\paragraph{Annotators.} We recruited [N] annotators via [platform].
+[Describe qualifications or screening.] Annotators were paid
+\$[X]/hour, above the [country] minimum wage.
+
+\paragraph{Agreement.} Inter-annotator agreement was [metric] = [value]
+(Krippendorff's $\alpha$ = [value]; raw agreement = [value]\%).
+[If low: explain why the task is subjective and how you handle disagreements.]
+
+\paragraph{Evaluation Protocol.} Each [item type] was rated by [N]
+annotators on a [scale description]. We collected [total] annotations
+across [N items]. [Describe randomization and blinding.]
+```
+
+### 附录中应包含的内容
+
+```
+Appendix: Human Evaluation Details
+- Full annotation guidelines (verbatim)
+- Screenshot of annotation interface
+- Qualification task details and threshold
+- Attention check items and failure rates
+- Per-annotator agreement breakdown
+- Full results table (not just averages)
+- Compensation calculation
+- IRB approval number (if applicable)
+```
+
+---
+
+## IRB 与伦理
+
+### 何时需要 IRB 批准
+
+| 情境 | 是否需要 IRB？ |
+|-----------|---------------|
+| 众包工人对文本质量进行评分 | **通常不需要**（在大多数机构不属于“人类受试者研究”） |
+| 针对真实用户的用户体验研究 | **需要**（在大多数美/欧机构中） |
+| 收集个人信息 | **需要** |
+| 研究标注员的行为/认知 | **需要**（他们成为了研究对象） |
+| 使用现有的标注数据 | **通常不需要**（二次数据分析） |
+
+**请向你所在机构的政策核实。**对“人类受试者研究”的定义各不相同。如有疑问，请提交 IRB 议案——对于极低风险的研究，审查过程通常很快。
+
+### 人工评估伦理清单
+
+```
+- [ ] Annotators informed about task purpose (not deceptive)
+- [ ] Annotators can withdraw at any time without penalty
+- [ ] No personally identifiable information collected beyond platform ID
+- [ ] Content being evaluated does not expose annotators to harm
+  (if it does: content warnings + opt-out + higher compensation)
+- [ ] Fair compensation (>= equivalent local minimum wage)
+- [ ] Data stored securely, access limited to research team
+- [ ] IRB approval obtained if required by institution
+```
+
+---
+
+## 常见陷阱
+
+| 陷阱 | 问题 | 解决方案 |
+|---------|---------|-----|
+| 标注员太少（1-2 名） | 无法计算一致性指标 | 每个条目至少需要 3 名标注员 |
+| 没有注意力检查 | 无法检测低质量标注 | 加入 10-15% 的注意力检查条目 |
+| 未报告报酬情况 | 审稿人会将其标记为伦理隐患 | 务必报告时薪 |
+| 生成任务仅使用自动化指标 | 审稿人会要求提供人工评估 | 至少补充成对比较评估 |
+| 未进行指南试点测试 | 一致性低，浪费预算 | 务必先找 3-5 人进行试点测试 |
+| 仅报告平均分 | 掩盖了标注员之间的分歧 | 同时报告分布情况和一致性 |
+| 未控制顺序/位置因素 | 位置偏差会导致结果虚高 | 随机化展示顺序 |
+| 将标注员一致性与真值混为一谈 | 一致性高并不代表答案正确 | 需与专家判断进行比对验证 |