math-skill 1.0.0 → 2.0.1

package/skills/probability-statistics/SKILL.md

@@ -1,312 +1,149 @@
----
-name: probability-statistics
-description: |
-  科研模式触发：当需要进行统计分析、假设检验、回归建模、实验设计、因果推断、拟合优度检验时调用。
-  English (Research Mode): Trigger when needing statistical analysis, hypothesis testing, regression modeling, experimental design, causal inference, or goodness-of-fit testing.
-  生活模式触发：当需要评估风险、解读新闻数据、在日常生活中面对不确定性决策、区分"看起来有效"和"真的有效"时调用。
-  English (Life Mode): Trigger when needing risk assessment, interpreting news data, evaluating uncertainty in daily decisions, or distinguishing "seems effective" from "actually effective."
----
-
-# 🎲 概率与统计
-
-> "不确定性是可量化的——概率不只是数学公式，而是理解随机世界的方式。量化不确定性，从数据中提取规律，做出理性的推断和决策。"
-> "Uncertainty is quantifiable—probability is not just a mathematical formula, but a way to understand the random world. Quantifying uncertainty, extracting patterns from data, and making rational inferences and decisions."
->
-> —— 概率论、数理统计
-> —— Probability Theory, Mathematical Statistics
-
-## 核心原则 / Core Principle
-
-**世界充满不确定性。理性决策不是追求确定性（那几乎不存在），而是在不确定性中做出期望值最优的选择。概率是量化的信念，数据是量化的证据。**
-
-**The world is full of uncertainty. Rational decision-making is not about pursuing certainty (which almost never exists), but about making choices with the best expected value under uncertainty. Probability is quantified belief, data is quantified evidence.**
-
-> **数学形式化 / Mathematical Formalization**（科研模式参考）
->
-> 概率论的根基是 Kolmogorov 公理体系——概率空间 (Ω, 𝔽, P) 由三元组定义：
->
-> - **非负性公理**：P(A) ≥ 0，对 𝔽 中任意事件 A 成立
-> - **规范性公理**：P(Ω) = 1，必然事件概率为 1
-> - **可加性公理**：若 A₁, A₂, … 为 𝔽 中互不相交的可数事件族，则 P(∪ᵢ Aᵢ) = Σᵢ P(Aᵢ)（可数可加性）
->
-> 三条公理推导出全部概率定理——互补律 P(Aᶜ) = 1 − P(A)、包含律 P(A∪B) = P(A) + P(B) − P(A∩B)、单调性 A ⊆ B ⇒ P(A) ≤ P(B)、全概率公式 P(B) = Σᵢ P(B|Aᵢ)P(Aᵢ)。Kolmogorov 公理是概率论的"欧几里得公理"，一切统计方法的合法性最终回溯于此。
-
-概率思维的核心概念：
-- **概率是信念的度量**：先验概率 → 新证据 → 后验概率（贝叶斯更新）
-- **大数定律**：单次观察不可靠，大量观察才揭示真实规律；n → ∞ 时样本频率收敛于理论概率
-- **期望值**：理性决策的依据是期望值 E[X] = Σx·P(x)，不是最可能的结果
-- **方差与风险**：期望值相同的情况下，Var(X) = E[(X−μ)²] 代表波动与风险
-- **偏差-方差权衡**：模型复杂度 ↑ ⇒ 偏差 ↓、方差 ↑；总误差 = 偏差² + 方差 + 不可约噪声
-
-> 详细数学依据见 `original-texts.md`
-
-## 不适用场景 / When NOT to Use
-
-- **确定性问题**（已知答案或可通过演绎推理得到）——不需要概率工具 `[科研/通用/生活]`
-- **样本量极小（n < 5）且无法增加**——统计推断需要足够的样本，此时应报告数据本身而非推断 `[科研]`
-- **纯粹的定性描述需求**（如"解释一下这个概念"）——不需要数据分析 `[科研/通用]`
-- **因果机制已明确且无需概率建模**——直接使用确定性因果链即可 `[科研]`
-- **数据完全缺失或严重损坏**——无法进行任何有意义的统计操作 `[科研/通用]`
-- **直觉已足够且决策后果极低**——不需要量化分析，直接凭经验判断即可 `[生活]`
-- **情绪驱动决策而非理性决策**——概率工具无法帮助非理性情境 `[生活]`
-
-## 何时使用 / When to Use
-
-### 科研触发条件 / Research Mode Triggers
-
-- 阅读论文时，审查其统计方法是否正确、结论是否显著
-- 实验数据分析、结果显著性检验、效应量评估
-- 回归建模与预测（线性回归、逻辑回归、模型选择）
-- 实验设计与功效分析（随机化、区组化、因子设计）
-- 因果推断（从观测数据识别因果效应，DAG + 后门准则）
-- 拟合优度检验与方差比较（χ² 检验、F 检验）
-- 贝叶斯推断与先验-后验更新
-
-### 生活触发条件 / Life Mode Triggers
-
-- 解读新闻或报告中的统计数据，识别统计谬误（"某产品疗效显著"——真的是显著吗？）
-- 评估风险（投资风险、健康风险、决策风险）——"这个选择的风险有多大？"
-- 避免认知偏差（幸存者偏差、确认偏差、基础率忽视）——"我是否只看到了成功的案例？"
-- 在日常生活中做出概率性决策——"要不要买保险？要不要等下去？"
-- 区分"看起来有效"和"真的有效"——"这个方法真的有用，还是只是碰巧？"
-- 面对不确定性时需要理性判断而非直觉——"我有多大把握？还剩多少不确定？"
-
-## 方法流程 / Method
-
-### 第一步：定义随机现象 / Define the Random Phenomenon
-
-**科研模式：**
-明确：
-- **随机变量 X**是什么？（你要测量的量）
-- **样本空间 Ω**是什么？（所有可能结果的集合）
-- **事件域 𝔽**：Ω 的哪些子集可被赋予概率？（满足 σ-代数条件：含 Ω、对补封闭、对可数并封闭）
-- 随机变量是**离散的**还是**连续的**？
-- **概率测度 P**：Ω → [0,1] 的映射，满足 Kolmogorov 三公理
-
-**生活模式：**
-你面对的不确定性是什么？是"不知道结果会怎样"还是"不知道概率有多大"？
-- 明确你真正关心的问题——不是"会不会发生"，而是"发生的可能性有多大"
-- 区分两种不确定性：结果不确定（不知道会怎样）和概率不确定（不知道可能性多大）
-- 把模糊的担忧转化为可思考的问题："我担心的是A还是B？"
-
-**共通要点：** 无论科研还是生活，第一步都是把模糊的不确定性变成清晰的可量化问题。
-
-### 第二步：选择概率模型 / Choose the Probability Model
-
-**科研模式：**
-
-根据现象的性质选择合适的分布：
-
-| 分布 / Distribution | 适用场景 / Use Case | 关键参数 / Key Parameters |
-|---|---|---|
-| 二项分布 Binomial | N 次独立伯努利试验中成功次数 | n（试验数），p（成功概率） |
-| 泊松分布 Poisson | 单位时间/空间内稀有事件发生次数 | λ（平均发生率） |
-| 正态分布 Normal | 大量独立小因素叠加（中心极限定理） | μ（均值），σ²（方差） |
-| 指数分布 Exponential | 等待时间、无记忆性 P(X>t+s|X>s)=P(X>t) | λ（速率） |
-| 贝叶斯模型 Bayesian | 先验 + 似然 → 后验，逐步更新信念 | 先验参数，似然函数 |
-| t-分布 Student's t | 小样本均值推断（Student 1908），尾部比正态厚 | df = n − 1（自由度） |
-| χ²-分布 Chi-squared | 拟合优度检验、列联表分析、方差估计 | df（自由度） |
-| F-分布 F | 比较两组方差、ANOVA 方差分析 | df₁, df₂（两个自由度） |
-| 均匀分布 Uniform | 等概率事件、随机数生成、无先验信息时的默认 | a, b（区间端点） |
-
-选择原则：数据类型（离散/连续）、样本量（大样本趋正态，小样本用 t）、物理机制（泊松对应稀有独立事件、指数对应等待时间）。
-
-**生活模式：**
-你对这个不确定性的了解有多少？是"完全不了解"、"知道大致范围"还是"有历史数据可参考"？
-- **完全不了解** → 默认均匀分布（不做任何假设，所有结果等可能）
-- **知道大致范围** → 用范围约束缩小可能性（比如"大概在10%到30%之间"）
-- **有历史数据可参考** → 用历史频率作为先验估计，但要警惕数据是否有偏
-
-**共通要点：** 模型选择本质上是对已知信息的编码——你知道多少，模型就反映多少；不知道的就留为不确定性。
-
-### 第三步：收集数据 / Collect Data
-
-**科研模式：**
-- 样本量是否足够？（小样本的推断不可靠；功效分析确定最小 n）
-- 样本是否有偏？（选择偏差、幸存者偏差、自愿响应偏差）
-- 数据质量如何？（测量误差、缺失值、异常值检测）
-- 收集方式是否随机化？（随机抽样 vs 方便抽样）
-- 是否存在区组结构？（区组化可减少混杂变异）
-
-**生活模式：**
-你能获取什么信息来减少不确定性？信息的质量比数量更重要——少量高质量信息优于大量低质量数据。
-- 区分"看起来很多的数据"和"真正有用的信息"——10个朋友的经验 ≠ 科学证据
-- 检查信息来源是否有偏——只看好评不算客观评估
-- 优先寻找反面证据——确认偏差会让你只注意到支持自己观点的信息
-- 一条可靠的专业意见可能胜过一百条网络评论
-
-**共通要点：** 数据的代表性比数据量更重要。有偏的大样本比无偏的小样本更危险，因为它给你"假信心"。
-
-### 第四步：统计推断 / Statistical Inference
-
-**科研模式：**
-- **点估计**：用样本统计量估计总体参数（样本均值 x̄ → μ）
-- **最大似然估计 MLE**：选择使似然函数 L(θ; x) = f(x|θ) 最大的 θ̂ = argmax_θ L(θ; x)；大样本下 MLE 渐近正态、渐近有效
-- **置信区间**：以指定置信水平（如 95%）给出参数的区间估计；频率学派解释：重复抽样时 95% 的区间包含真实参数
-- **假设检验**：H₀ vs H₁，p-value = P(观察到此数据或更极端 | H₀)；p < α 则拒绝 H₀
-- **贝叶斯更新**：后验 P(θ|D) = P(D|θ)·P(θ)/P(D)；先验 → 似然 → 后验，后验再遇新数据成为新先验
-
-**生活模式：**
-从已有信息中能得出什么结论？结论有多可靠？——区分"看起来有效"和"真的有效"。
-- **先看基础概率**：这件事在一般情况下的发生率是多少？（基率/Base Rate）
-- **再看新证据**：新信息让概率变大了还是变小了？变了多少？
-- **判断可靠性**：结论是基于充分数据还是少量例子？3个成功案例不等于普遍规律
-- **警惕假阳性**：如果基础概率很低，即使检测准确率很高，阳性结果也可能是假的
-
-**共通要点：** 推断的核心是从有限信息推断整体规律——但推断永远有不确定性，关键是量化这个不确定性而非忽略它。
-
-### 第五步：回归建模 / Regression Modeling
-
-**科研模式：**
-- **线性回归**：Y = β₀ + β₁X + ε，ε ~ N(0, σ²)；最小二乘估计 β̂ = (XᵀX)⁻¹XᵀY；假设：线性、独立、同方差、正态残差
-- **多元线性回归**：Y = β₀ + β₁X₁ + … + βₖXₖ + ε；控制多个解释变量
-- **逻辑回归**：P(Y=1|X) = 1/(1+e^(−(β₀+β₁X)))；二分类问题，用最大似然估计，输出概率而非类别
-- **模型选择**：AIC = −2lnL + 2k（偏重拟合，适合预测），BIC = −2lnL + k·ln(n)（偏重简约，适合解释），调整 R² = 1 − (1−R²)(n−1)/(n−k−1)
-- **偏差-方差权衡**：总误差 = 偏差² + 方差 + σ²（不可约误差）；交叉验证选择最优复杂度
-
-**生活模式：**
-哪些因素真正影响结果？它们的影响力有多大？——不是所有看起来相关的因素都是真正的原因。
-- **列出所有可能因素**：哪些东西可能影响结果？
-- **区分相关和因果**：冬天穿厚衣服和感冒同时发生，但穿厚衣服不是感冒的原因
-- **关注影响力大小**：有些因素看起来有关但影响极小，不值得关注
-- **警惕混杂因素**：可能有一个隐藏的第三因素同时影响了两件事
-
-**共通要点：** 回归的本质是"因素分析"——哪些变量真正驱动了结果，以及每个变量的贡献有多大。
-
-### 第六步：实验设计 / Experimental Design
-
-**科研模式：**
-- **随机化 Randomization**：随机分配处理，消除系统偏差；使处理组与对照组在所有变量（已知与未知）上期望相等
-- **区组化 Blocking**：将相似单元分组（如同年龄段、同地区），区组内比较减少混杂变异
-- **样本量与功效分析 Power Analysis**：功效 Power = 1 − β = P(拒绝 H₀ | H₁ 为真)；给定效应量 δ、显著性水平 α，计算所需最小样本量 n；低功效 = 高假阴性风险
-- **因子设计 Factorial Designs**：2ᵏ 设计同时研究 k 个因素及交互效应；比逐因素实验更高效，能发现交互作用
-
-**生活模式：**
-如何验证你的判断？有没有办法做一个小测试来确认结论？
-- **小规模试验**：在做大决定前，先小范围试一下——换工作前先去面试了解情况
-- **对比思考**：如果我做了A和没做A，结果会有什么不同？
-- **避免自证循环**：验证时不要只寻找支持自己判断的证据，也要找反面证据
-- **控制条件**：尽量在相似条件下比较，否则差异可能来自条件不同而非你的判断
-
-**共通要点：** 实验设计的本质是"公平对比"——确保你看到的差异真的来自你想测试的原因，而不是其他干扰因素。
-
-### 第七步：因果推理 / Causal Inference
-
-**科研模式：**
-- **混淆变量 Confounders**：同时影响处理 X 和结果 Y 的变量 Z，使 P(Y|X) ≠ P(Y|do(X))；不调整混淆则效应估计有偏
-- **DAG 有向无环图**：可视化因果结构，节点=变量，箭头=直接因果；识别混淆路径（后门路径）、中介路径
-- **do-演算 do-calculus**：Pearl 的干预算子，P(Y|do(X)) 表示"强制设定 X 时 Y 的概率"，区别于观察性 P(Y|X)
-- **后门准则 Back-door Criterion**：若存在变量集 S 使得：(1) S 阻断 X→Y 的所有后门路径，(2) S 不包含 X 的后代，则调整 S 可得到因果效应 P(Y|do(X)) = Σₛ P(Y|X,S=s)·P(S=s)
-- **随机化作为黄金标准**：随机实验直接阻断所有后门路径，无需识别混淆变量；无法随机化时依赖 DAG + 后门准则
-
-**生活模式：**
-这件事真的是因果关系还是恰好同时发生？——区分"因为"和"碰巧"。
-- **问三个问题**：(1) 有没有合理的机制解释A导致B？(2) 如果A不发生，B还会发生吗？(3) 是否有第三因素同时导致A和B？
-- **常见伪因果**：早起的人更成功 → 但可能是自律这个第三因素同时导致早起和成功
-- **反向因果**：是A导致B，还是B导致A？——健康的人运动多，但也是运动让人健康
-- **纯巧合**：两件事恰好一起变化，但毫无因果联系——任何足够大的数据集都能找到"显著相关"
-
-**共通要点：** 因果推理是最难也最重要的推理——相关容易发现，因果需要额外证据（机制、反事实、控制实验）。
-
-### 第八步：解释结果 / Interpret Results
-
-**科研模式：**
-- 区分**统计显著**与**实际显著**（p < 0.05 不等于效应大；大样本下微小差异也能"显著"）
-- **效应量 Effect Size**：Cohen's d = (μ₁−μ₂)/σ（标准化均值差）；odds ratio = (P₁/(1−P₁))/(P₂/(1−P₂))；不报告效应量的显著性检验是无意义的
-- 注意**相关不等于因果**——关联 P(Y|X) ≠ 因果 P(Y|do(X))，除非消除了混淆
-- 考虑**多重比较问题**——m 个独立检验，期望假阳性 = m·α；需 Bonferroni 或 BH-FDR 校正
-
-**生活模式：**
-结论对你意味着什么？是"大概率如此"还是"可能如此但不确定"？——把统计结论翻译为实际决策。
-- **翻译概率**：30%的概率不是"大概不会"——意味着每10次就有3次会发生
-- **关注实际影响**：即使概率低，如果后果严重（比如严重疾病），也需要认真对待
-- **区分"显著"和"重要"**：新闻说"显著提升15%"——但基数可能很小，15%的实际影响微乎其微
-- **考虑个人情况**：群体统计不等于个人概率——"平均寿命80"不代表你能活到80
-
-**共通要点：** 解释的核心是"翻译"——把数学语言翻译为决策语言，把统计结论翻译为实际含义。
-
-### 第九步：量化不确定性 / Quantify Uncertainty
-
-**科研模式：**
-- 给出估计的**置信区间**（频率学派：重复抽样覆盖率）或**可信区间**（贝叶斯：参数在此区间的概率）
-- 区分两种区间解释：频率学派 CI = "如果重复实验，95% 的区间包含真值"；贝叶斯 CrI = "参数在此区间的概率为 95%"
-- 说明结论的可靠性程度和统计功效
-- 识别剩余的不确定性来源（模型假设、测量误差、未观测混淆）
-- 报告效应量的置信区间，而非仅报告点估计
-
-**生活模式：**
-还有多少不确定？我该留多大余地？——决策时为不确定性预留缓冲空间。
-- **坦诚不确定**：与其假装确定然后出错，不如承认不确定并做好准备
-- **留缓冲空间**：如果估计需要5天完成，计划7天；如果估计花费1000元，预算1200元
-- **区分信心等级**：90%把握的行动和60%把握的行动应该有不同的决策策略
-- **准备B计划**：当主要判断出错时，有没有备用方案？——不确定性的最佳应对不是追求确定，而是为多种可能性做准备
-
-**共通要点：** 不确定性不是弱点，而是现实——承认并量化不确定性比假装它不存在更理性。
-
-## 常见错误 / Common Errors
-
-| 错误 / Error | 数学批评 / Mathematical Critique | 正确做法 / Correct Approach | 标签 |
-|---|---|---|---|
-| 把 p-value 当真理 | p = 0.05 不表示"有 95% 的把握"，而是在 H₀ 下观察到该数据或更极端的概率 | 理解 p-value 的真正含义：P(数据或更极端 | H₀) | `[科研/通用]` |
-| 混淆概率与频率 | 概率是理论值 P(A)，频率是经验值 f(A)/n；两者仅在大数定律下收敛 | 用大数定律连接两者：n→∞ 时 f/n → P | `[科研]` |
-| 忽视先验概率 | 基础率忽视：只看新证据，不看基础概率；罕见病检验中尤其危险 | 贝叶斯公式：P(H|E) = P(E|H)·P(H)/P(E) | `[科研/通用/生活]` |
-| 幸存者偏差 | 只看到成功者，没看到失败者；样本空间被截断 | 考虑完整样本空间 Ω，包括失败样本 | `[科研/通用/生活]` |
-| 小样本陷阱 | n = 3 的"规律"不可信；小样本方差估计不稳定 | 检查样本量，计算统计功效，用 t 分布而非正态 | `[科研/通用]` |
-| 相关当因果 | 两个变量相关 ≠ 一个导致另一个；P(Y|X) ≠ P(Y|do(X)) | 寻找混淆变量，用 DAG + 后门准则做因果推断 | `[科研/通用/生活]` |
-| 赌徒谬误 | "已经连续 5 次正面了，下次该反面了"——每次独立事件 | 区分独立事件 P(第6次=H)=0.5 与依赖事件 | `[通用/生活]` |
-| 忽视回归均值 | 极端表现后倾向于回归平均水平 E[X] | 用回归分析而非直觉判断趋势 | `[科研/通用]` |
-| 小样本用正态而非 t 分布 | 当 n < 30 时，t 分布尾部更厚，正态近似低估不确定性；t 的置信区间更宽 | n < 30 必须用 t 分布，df = n − 1；n ≥ 30 时 t ≈ 正态 | `[科研]` |
-| 混淆 AIC 与 BIC | AIC 惩罚 2k 偏重拟合，BIC 惩罚 k·ln(n) 偏重简约；n 大时 BIC 选更简模型 | 目标为预测用 AIC，目标为解释用 BIC；两者矛盾时需进一步分析 | `[科研]` |
-| 观测数据推断因果 | 无随机化时，混淆变量无法消除；P(Y|X) ≠ P(Y|do(X))，效应估计有偏 | 用 DAG + 后门准则调整混淆集，或承认仅能推断关联而非因果 | `[科研]` |
-| 忽略多重比较校正 | m 个独立检验，期望假阳性 = m·α；α=0.05, m=20 → 期望 1 个假阳性 | Bonferroni：α_adj = α/m；BH-FDR 控制假发现率，更温和 | `[科研]` |
-| 忽略统计 power 与效应量 | 低 power 实验：即使真实效应存在也可能不显著；只报告 p 不报告效应量 | 设计前计算所需样本量，报告效应量 Cohen's d 或 odds ratio | `[科研]` |
-| 把小样本结论当定论 | 3个人的经验不等于普遍规律；少量案例不能代表总体 | 区分"有趣的现象"和"已被验证的规律"——小样本结论需要更多验证 | `[生活]` |
-| 忽视基率（不考虑背景概率） | 不考虑背景概率就判断可能性——"检测阳性就一定是患病"忽略罕见病的低基率 | 先看背景概率再看新证据：P(H|E) = P(E|H)·P(H)/P(E)，基率 P(H) 不可忽略 | `[生活]` |
-| 混淆"看起来有效"和"真的有效" | 只看结果不看对比——"用了这个方法后变好了"可能只是自然恢复或回归均值 | 需要对比组：没用这个方法的人也变好了吗？区分随机波动和真实效应 | `[生活]` |
-
-## 操作规程 / Operating Procedure
-
-当本 skill 被触发时，首先确定模式：
-
-**模式选择器 / Mode Selector：**
-- 如果任务涉及统计分析、假设检验、回归建模、实验设计、因果推断 → **科研模式**
-- 如果任务涉及风险评估、解读新闻数据、日常不确定性决策 → **生活模式**
-- 如果任务同时涉及两者 → **混合模式**（科研模式为主，辅以生活模式解读）
-
----
-
-### 科研模式输出格式 / Research Mode Output Format
-
-1. **随机变量定义**：明确 `[变量]: [含义] [类型: 离散/连续]`，指定样本空间 Ω 和事件域 𝔽
-2. **概率模型**：说明使用的分布及理由 `[分布]: [选择] 因为 [理由]`，注明自由度 df 或关键参数
-3. **数据评估**：`[样本量]: N, [偏差检查]: [结果], [质量]: [评估], [收集方式]: [随机/方便]`
-4. **统计推断结果**：`[估计值]: [θ̂], [置信区间]: [a, b], [p-value]: [值], [估计方法]: [MLE/Bayesian]`
-5. **回归建模（如适用）**：`[模型]: [线性/逻辑], [系数]: [β̂], [选择准则]: [AIC/BIC值], [R²]: [值]`
-6. **实验设计评估（如适用）**：`[设计]: [随机化/区组/因子], [功效]: [Power值], [最小样本量]: [n]`
-7. **因果评估（如适用）**：`[DAG]: [路径图], [混淆变量]: [列表], [调整集]: [S], [因果效应]: [P(Y|do(X))]`
-8. **偏差检查**：逐一检查常见统计谬误（表中所列 16 项），标注 `✅ 无此问题` 或 `⚠️ 发现 [具体问题]`
-9. **效应量与不确定性**：报告效应量 Cohen's d / odds ratio 及其置信区间，注明统计功效和剩余不确定性
-
-**科研模式输出必须包含以上 9 项，不得只输出分析性文字而不给出结论。**
-
----
-
-### 生活模式输出格式 / Life Mode Output Format
-
-1. **[不确定性]:[描述]** — 你面对的不确定性是什么
-2. **[已知信息]:[列表]** — 你对这件事了解多少，信息质量如何
-3. **[大概率结论]:[判断]** — 基于现有信息最可能的结论是什么
-4. **[不确定性余量]:[评估]** — 结论有多可靠，还剩多少不确定
-5. **[验证方式]:[建议]** — 如何进一步验证这个结论
-6. **[行动建议]:[步骤]** — 在当前不确定性下最务实的行动方案
-
-**生活模式输出必须包含以上 6 项，语言应避免专业术语，用日常类比和具体例子解释概率与不确定性。**
-
-## 与其他 skill 的关系 / Relations to Other Skills
-
-- **建模思想**：概率模型是建模的重要工具——不确定性需要概率框架
-- **优化思想**：在不确定性下的优化需要期望值优化或鲁棒优化
-- **归纳与类比**：从数据中发现规律本质上是归纳推理的概率版本
-- **逻辑演绎**：经典逻辑是确定性的，概率逻辑是不确定性的推广
-- **因果推断思想**：因果与统计的根本区分——P(Y|X) 是统计关联，P(Y|do(X)) 是因果效应；因果需要机制假设（DAG），不能纯靠数据得出；统计方法只能发现关联，因果推断思想提供从关联到因果的推理框架
-- **信息论思想**：熵 H(X) = −ΣP(x)lnP(x) 量化随机变量的不确定性；信息增益 I(X;Y) = H(X) − H(X|Y) 衡量一个变量对另一个的减少不确定性能力；最大熵原则：在约束下选择使熵最大的分布（最少假设）
+---
+name: probability-statistics
+description: |
+  触发：问题涉及量化不确定性、概率分布、贝叶斯推断、假设检验、回归建模、实验设计、因果效应估计；或为随机算法/采样/量化/训练动力学设计概率机制时调用。
+  English: Trigger when a problem involves quantifying uncertainty, probability distributions, Bayesian inference, hypothesis testing, regression modeling, experimental design, causal effect estimation; or designing probabilistic mechanisms for random algorithms/sampling/quantization/training dynamics.
+---
+
+# 🎲 概率与统计 / Probability & Statistics
+
+> "不确定性是可量化的——概率不只是数学公式，而是理解随机世界的方式。量化不确定性，从数据中提取规律，做出理性的推断和决策。"
+> "Uncertainty is quantifiable—probability is not just a mathematical formula, but a way to understand the random world. Quantifying uncertainty, extracting patterns from data, and making rational inferences and decisions."
+>
+> —— 概率论、数理统计
+> —— Probability Theory, Mathematical Statistics
+
+## 核心原则 / Core Principle
+
+**世界充满不确定性。理性决策不是追求确定性，而是在不确定性中做出期望值最优的选择——概率是量化的信念，数据是量化的证据。**
+
+> **数学形式化 / Mathematical Formalization**
+>
+> 概率空间 (Ω, 𝔽, P) 由 Kolmogorov 三公理定义：① **非负性** P(A) ≥ 0；② **规范性** P(Ω) = 1；③ **可数可加性** 对互不相交的可数事件族 Aᵢ，P(∪ᵢ Aᵢ) = Σᵢ P(Aᵢ)。由此推出互补律 P(Aᶜ)=1−P(A)、全概率公式 P(B)=Σᵢ P(B|Aᵢ)P(Aᵢ)。
+>
+> **贝叶斯更新**：P(θ|D) = P(D|θ)·P(θ)/P(D)；先验 → 似然 → 后验，后验遇新数据成为新先验。
+>
+> **期望与方差**：E[X] = Σx·P(x)（离散）或 ∫x·f(x)dx（连续）；Var(X) = E[(X−μ)²] = E[X²] − (E[X])²。
+>
+> **大数定律/CLT**：n → ∞ 时样本频率 f/n → P(A)、样本均值 X̄ → μ（依概率收敛）；√n·(X̄ − μ)/σ →d N(0,1)，故大量独立小因素叠加趋正态。
+>
+> **偏差-方差权衡**：总误差 = 偏差² + 方差 + σ²（不可约噪声）。
+
+## GPU 友好性 / GPU-Friendliness（横切检查）
+
+当概率方法用于**随机算法/采样/训练动力学设计**时，须过 `../../references/gpu-friendly-math.md` 八维门：
+
+- **批量采样/蒙特卡洛**：i.i.d. 采样天然可并行、GEMM 友好（重参数化 Reparam、Gumbel-Softmax）；低精度可行，注意 RNG 状态与跨设备一致性。
+- **MLE / 对数似然**：逐元素似然可融合、可批量化（友好）；softmax 交叉熵用 logsumexp 保数值稳定。
+- **精确贝叶斯积分/边缘化**：高维 P(θ|D)∝P(D|θ)P(θ) 的归一化 Z=P(D) 与边缘化不可闭式 → 改造为 **MCMC（HMC/NUTS）/变分推断 ELBO**（见 `../../references/books/optimization-ml.md`）。
+- **大表后验/协方差**：不可算 → mean-field / 低秩因子化近似（见 `../../references/books/matrix-analysis.md`）。
+- **反模式**：逐样本串行 MCMC、需全局归一化的精确推断、"美但不可算"的高维积分。
+
+八维最低判定（正式术语）：**张量化**看样本、粒子、分布参数是否批量；**GEMM 可映射**看似然、回归、协方差是否落矩阵运算；**复杂度**看采样步数、积分维度、后验表规模；**显存与 KV-Cache**看粒子、协方差、充分统计是否可低秩/流式；**低精度稳定**检查 logsumexp、概率归一化、尾部概率；**并行与通信**看 RNG 与跨设备归约；**稀疏结构**看图模型/协方差是否结构化；**算子融合**看采样、打分、归一化能否融合。
+
+> 配合 `../../references/books/optimization-ml.md`（变分/SAA/随机优化）与 `../../references/books/matrix-analysis.md`（协方差低秩）。
+
+## 不适用场景 / When NOT to Use
+
+- **确定性问题**（已知答案或可演绎推理得到）——不需要概率工具。
+- **样本量极小（n < 5）且无法增加**——应报告数据本身而非推断。
+- **纯粹的定性描述需求**——不需要数据分析。
+- **因果机制已明确且无需概率建模**——直接用确定性因果链。
+- **数据完全缺失或严重损坏**——无法做有意义的统计操作。
+
+## 何时使用 / When to Use
+
+- 审查论文/实验的统计方法是否正确、结论是否显著。
+- 实验数据分析、显著性检验、效应量评估、回归建模与预测。
+- 实验设计与功效分析（随机化、区组化、因子设计）。
+- 因果效应估计（DAG + 后门准则 / do-演算）。
+- 贝叶斯推断与先验-后验更新、拟合优度检验（χ²/F）。
+- **为随机算法/采样/量化/训练动力学设计概率机制**（蒙特卡洛、重参数化、概率量化），并评估其 GPU 可行性。
+
+## 方法流程 / Method
+
+### 第一步：定义随机现象 / Define the Random Phenomenon
+明确**随机变量 X**（要测量的量）、**样本空间 Ω**（所有可能结果）、**事件域 𝔽**（Ω 的 σ-代数：含 Ω、对补封闭、对可数并封闭）、**概率测度 P**: Ω→[0,1]（满足 Kolmogorov 三公理）。区分离散与连续随机变量。
+
+### 第二步：选择概率模型 / Choose the Probability Model
+根据数据类型、样本量、物理机制选择分布：
+
+| 分布 / Distribution | 适用场景 / Use Case | 关键参数 / Key Parameters |
+|---|---|---|
+| 二项 Binomial | N 次独立伯努利试验成功次数 | n, p |
+| 泊松 Poisson | 单位时间/空间内稀有事件次数 | λ（平均发生率） |
+| 正态 Normal | 大量独立小因素叠加（CLT） | μ, σ² |
+| 指数 Exponential | 等待时间、无记忆性 P(X>t+s\|X>s)=P(X>t) | λ（速率） |
+| 贝叶斯 Bayesian | 先验+似然→后验，逐步更新信念 | 先验参数，似然函数 |
+| t-分布 Student's t | 小样本均值推断，尾部厚于正态 | df = n − 1 |
+| χ²-分布 | 拟合优度检验、列联表、方差估计 | df |
+| F-分布 | 比较两组方差、ANOVA | df₁, df₂ |
+| 均匀 Uniform | 等概率事件、无先验默认 | a, b |
+
+选择原则：离散/连续、大样本趋正态（小样本用 t）、物理机制（泊松=稀有独立事件、指数=等待时间）。
+
+### 第三步：收集数据 / Collect Data
+检查**样本量**是否足够（功效分析定最小 n）、**样本偏差**（选择/幸存者/自愿响应偏差）、**数据质量**（测量误差/缺失/异常值）、**收集方式**（随机抽样 vs 方便抽样）、**区组结构**。代表性比数据量更重要——有偏大样本比无偏小样本更危险。
+
+### 第四步：统计推断 / Statistical Inference
+**点估计/MLE** θ̂ = argmax_θ L(θ;x)，L(θ;x)=f(x|θ)，大样本下渐近正态、渐近有效；**置信区间**以置信水平（如 95%）给区间估计，频率解释为重复抽样时 95% 区间含真值；**假设检验** H₀ vs H₁，p-value = P(观察到此数据或更极端 \| H₀)，p < α 拒绝 H₀；**贝叶斯更新** P(θ|D) = P(D|θ)·P(θ)/P(D)。
+
+### 第五步：回归建模 / Regression Modeling
+**线性回归** Y = β₀ + β₁X + ε, ε ~ N(0,σ²)，最小二乘 β̂ = (XᵀX)⁻¹XᵀY，假设线性/独立/同方差/正态残差；**多元/逻辑回归** P(Y=1\|X) = 1/(1+e^(−(β₀+ΣβX)))，MLE 估计输出概率；**模型选择** AIC = −2lnL + 2k（偏预测）、BIC = −2lnL + k·ln(n)（偏简约)、调整 R² = 1 − (1−R²)(n−1)/(n−k−1)；**偏差-方差权衡** 总误差 = 偏差² + 方差 + σ²，交叉验证选复杂度。
+
+### 第六步：实验设计 / Experimental Design
+**随机化**使处理组与对照组在所有变量（已知/未知）上期望相等；**区组化**将相似单元分组、区组内比较减少混杂变异；**功效分析** Power = 1 − β = P(拒绝 H₀ \| H₁ 为真)，给定效应量 δ、α 算所需最小 n，低功效 = 高假阴性；**因子设计** 2ᵏ 同时研究 k 因素及交互。
+
+### 第七步：因果推理 / Causal Inference
+**混淆变量** Z 同时影响 X 与 Y 使 P(Y\|X) ≠ P(Y\|do(X))，不调整则效应有偏；**DAG** 节点=变量、箭头=直接因果，识别后门/中介路径；**do-演算/后门准则** 若 S 阻断 X→Y 所有后门路径且不含 X 后代，则 P(Y\|do(X)) = Σₛ P(Y\|X,S=s)·P(S=s)；**随机化**直接阻断所有后门路径，是因果效应估计的黄金标准。
+
+### 第八步：解释结果 / Interpret Results
+区分**统计显著**与**实际显著**（p<0.05 ≠ 效应大，大样本下微小差异也"显著"）。报告**效应量**：Cohen's d = (μ₁−μ₂)/σ、odds ratio = (P₁/(1−P₁))/(P₂/(1−P₂))。注意**相关≠因果**（P(Y\|X) ≠ P(Y\|do(X))）、**多重比较**（m 个检验期望假阳性 = m·α，需 Bonferroni α_adj=α/m 或 BH-FDR 校正）。
+
+### 第九步：量化不确定性 / Quantify Uncertainty
+给出**置信区间**（频率：重复抽样覆盖率）或**可信区间**（贝叶斯：参数在此区间的概率）；说明结论可靠性与统计功效；识别剩余不确定性来源（模型假设、测量误差、未观测混淆）；报告效应量区间而非仅点估计。
+
+## 常见错误 / Common Errors
+
+| 错误 / Error | 批评 / Critique | 正确做法 / Correct Approach |
+|---|---|---|
+| 把 p-value 当真理 | p=0.05 不表示"95% 把握"，而是 H₀ 下观察到该数据或更极端的概率 | 理解 p = P(数据或更极端 \| H₀) |
+| 混淆概率与频率 | 概率是理论值 P(A)，频率是经验值 f(A)/n | 用大数定律连接：n→∞ 时 f/n → P |
+| 忽视先验概率 | 基础率忽视：只看新证据不看背景概率，罕见病检验尤其危险 | 贝叶斯：P(H\|E) = P(E\|H)·P(H)/P(E) |
+| 幸存者偏差 | 只看成功者，样本空间被截断 | 考虑完整样本空间 Ω，含失败样本 |
+| 小样本陷阱 | n=3 的"规律"不可信，方差估计不稳定 | 检查样本量、算功效、用 t 分布 |
+| 相关当因果 | 两变量相关 ≠ 一者导致另一者 | 找混淆变量，DAG + 后门准则 |
+| 忽视回归均值 | 极端表现后倾向回归平均 E[X] | 用回归分析而非直觉判断趋势 |
+| 小样本用正态而非 t | n<30 时正态近似低估不确定性 | n<30 用 t 分布，df=n−1 |
+| 混淆 AIC 与 BIC | AIC 偏拟合、BIC 偏简约 | 预测用 AIC，解释用 BIC |
+| 观测数据推断因果 | 无随机化时混淆无法消除，P(Y\|X) ≠ P(Y\|do(X)) | DAG + 后门准则调整，或只断关联 |
+| 忽略多重比较校正 | m 个检验期望假阳性 = m·α | Bonferroni α/m 或 BH-FDR |
+| 忽略功效与效应量 | 低功效即使有真实效应也不显著；只报 p 不报效应量 | 设计前算样本量，报 Cohen's d / odds ratio |
+| 精确积分/大表后验不可算 | 高维归一化 Z=P(D) 与边缘化无闭式，逐样本串行 MCMC 不可并行 | 改用 MCMC/变分 ELBO/低秩近似，过 GPU 八维门 |
+
+## 操作规程 / Operating Procedure
+
+当本 skill 被触发时，输出必须包含：
+
+1. **随机变量定义**：`[变量]: [含义] [类型: 离散/连续]`，指定样本空间 Ω 与事件域 𝔽
+2. **概率模型**：`[分布]: [选择] 因为 [理由]`，注明 df 或关键参数
+3. **数据评估**：`[样本量]: N, [偏差检查]: [结果], [收集方式]: [随机/方便]`
+4. **统计推断**：`[估计值]: [θ̂], [置信区间]: [a,b], [p-value]: [值], [方法]: [MLE/Bayesian]`
+5. **回归/实验设计（如适用）**：`[模型]: [线性/逻辑] [系数]: [β̂] [准则]: [AIC/BIC]`；`[设计]: [随机化/区组/因子] [功效]: [Power] [最小n]: [n]`
+6. **因果评估（如适用）**：`[DAG]: [路径], [混淆]: [列表], [调整集]: [S], [因果效应]: [P(Y\|do(X))]`
+7. **效应量与不确定性**：Cohen's d / odds ratio 及其区间，统计功效与剩余不确定性
+8. **偏差检查**：逐一核对常见错误表，标注 `✅ 无` 或 `⚠️ 发现 [问题]`
+9. **[GPU 可行性]**（若用于随机算法/采样/训练）：推断是否需采样/变分近似，过八维门，标注友好/可改造/反模式 + 改造建议
+10. **行动建议**：明确写出"接下来我将……"
+
+**输出不得只给分析而无结论。**
+
+## 与其他 skill 的关系 / Relations to Other Skills
+
+- **建模思想**：概率模型是建模的重要工具——不确定性需要概率框架。
+- **优化思想**：不确定性下的优化需期望值优化或鲁棒优化；随机优化/SAA 把期望目标转为确定性近似。
+- **归纳与类比**：从数据中发现规律本质是归纳推理的概率版本。
+- **逻辑演绎**：经典逻辑是确定性的，概率逻辑是不确定性的推广。
+- **因果推断思想**：P(Y\|X) 是统计关联，P(Y\|do(X)) 是因果效应；因果需机制假设（DAG），不能纯靠数据得出。
+- **信息论思想**：熵 H(X)=−ΣP(x)lnP(x) 量化不确定性；信息增益 I(X;Y)=H(X)−H(X\|Y)；最大熵原则在约束下选使熵最大的分布。
+- **现代数学激活**：`../../references/books/optimization-ml.md`（随机优化/SAA、变分推断 ELBO）、`../../references/books/matrix-analysis.md`（协方差低秩、因子化近似）。