@baimingtao/lbs-agent 1.0.0

package/extensions/skills/optional/mlops/obliteratus/SKILL.md

@@ -0,0 +1,342 @@
+---
+name: obliteratus
+description: "OBLITERATUS：消除 LLM 拒绝行为（diff-in-means）。"
+version: 2.0.0
+author: Hermes Agent
+license: MIT
+dependencies: [obliteratus, torch, transformers, bitsandbytes, accelerate, safetensors]
+platforms: [linux, macos]
+metadata:
+  hermes:
+    tags: [Abliteration, Uncensoring, Refusal-Removal, LLM, Weight-Projection, SVD, Mechanistic-Interpretability, HuggingFace, Model-Surgery]
+    related_skills: [vllm, gguf, huggingface-tokenizers]
+---
+
+# OBLITERATUS Skill
+
+## 包含内容
+
+9 个 CLI 方法、28 个分析模块、跨 5 个计算层级的 116 个模型预设、锦标赛评估，以及遥测驱动的建议。
+
+无需重新训练或微调，即可从开放权重的 LLM 中移除拒绝行为（护栏）。使用 mechanistic interpretability 技术——包括 diff-in-means、SVD、whitened SVD、LEACE concept erasure、SAE decomposition、Bayesian kernel projection 等——在保持推理能力的同时，识别并精准地从模型权重中切除拒绝方向。
+
+**许可证警告：** OBLITERATUS 采用 AGPL-3.0 协议。绝对不要将其作为 Python 库导入。务必通过 CLI（`obliteratus` 命令）或子进程调用。这能确保 Hermes Agent 的 MIT 许可证保持纯粹。
+
+## 视频 指南
+
+观看 Hermes agent 使用 OBLITERATUS 对 Gemma 进行 abliterate 的演示：
+https://www.youtube.com/watch?v=8fG9BrNTeHs ("OBLITERATUS: An AI Agent Removed Gemma 4's Safety Guardrails")
+
+适合希望在自己运行之前，直观了解端到端工作流的用户。
+
+## 何时使用此 Skill
+
+当出现以下情况时触发：
+- 想要“uncensor”或“abliterate”一个 LLM
+- 询问如何移除模型的 refusal/guardrails
+- 想要创建 Llama、Qwen、Mistral 等的 uncensored 版本
+- 提及“refusal removal”、“abliteration”、“weight projection”
+- 想要分析模型的拒绝机制是如何运作的
+- 提及 OBLITERATUS、abliterator 或拒绝方向
+
+## Step 1: 安装
+
+检查是否已安装：
+```bash
+obliteratus --version 2>/dev/null && echo "INSTALLED" || echo "NOT INSTALLED"
+```
+
+如果未安装，请从 GitHub 克隆并安装：
+```bash
+git clone https://github.com/elder-plinius/OBLITERATUS.git
+cd OBLITERATUS
+pip install -e .
+# For Gradio web UI support:
+# pip install -e ".[spaces]"
+```
+
+**重要提示：** 安装前请先与用户确认。这将拉取约 5-10GB 的依赖项（PyTorch、Transformers、bitsandbytes 等）。
+
+## Step 2: 检查硬件
+
+在进行任何操作之前，请先检查可用的 GPU：
+```bash
+python3 -c "
+import torch
+if torch.cuda.is_available():
+    gpu = torch.cuda.get_device_name(0)
+    vram = torch.cuda.get_device_properties(0).total_memory / 1024**3
+    print(f'GPU: {gpu}')
+    print(f'VRAM: {vram:.1f} GB')
+    if vram < 4: print('TIER: tiny (models under 1B)')
+    elif vram < 8: print('TIER: small (models 1-4B)')
+    elif vram < 16: print('TIER: medium (models 4-9B with 4bit quant)')
+    elif vram < 32: print('TIER: large (models 8-32B with 4bit quant)')
+    else: print('TIER: frontier (models 32B+)')
+else:
+    print('NO GPU - only tiny models (under 1B) on CPU')
+"
+```
+
+### VRAM 要求（使用 4-bit 量化）
+
+| VRAM | 最大模型规模 | 示例模型 |
+|:---------|:----------------|:--------------------------------------------|
+| 仅 CPU | ~1B 参数 | GPT-2, TinyLlama, SmolLM |
+| 4-8 GB | ~4B 参数 | Qwen2.5-1.5B, Phi-3.5 mini, Llama 3.2 3B |
+| 8-16 GB | ~9B 参数 | Llama 3.1 8B, Mistral 7B, Gemma 2 9B |
+| 24 GB | ~32B 参数 | Qwen3-32B, Llama 3.1 70B (较紧张), Command-R |
+| 48 GB+ | ~72B+ 参数 | Qwen2.5-72B, DeepSeek-R1 |
+| 多 GPU | 200B+ 参数 | Llama 3.1 405B, DeepSeek-V3 (685B MoE) |
+
+## Step 3: 浏览可用模型并获取建议
+
+```bash
+# Browse models by compute tier
+obliteratus models --tier medium
+
+# Get architecture info for a specific model
+obliteratus info <model_name>
+
+# Get telemetry-driven recommendation for best method & params
+obliteratus recommend <model_name>
+obliteratus recommend <model_name> --insights  # global cross-architecture rankings
+```
+
+## Step 4: 选择方法
+
+### 方法选择指南
+**大多数情况下的默认 / 推荐：`advanced`。** 它使用保留范数的多方向 SVD 投影，并且经过了充分测试。
+
+| 场景 | 推荐方法 | 原因 |
+|:----------------------------------|:-------------------|:-----------------------------------------|
+| 默认 / 大多数模型 | `advanced` | 多方向 SVD，保留范数，可靠 |
+| 快速测试 / 原型设计 | `basic` | 快速、简单，足以进行评估 |
+| 密集模型 | `advanced` | 多方向，保留范数 |
+| MoE 模型 | `nuclear` | 专家粒度，可处理 MoE 复杂性 |
+| 推理模型 (R1 distills) | `surgical` | 感知 CoT，保留思维链 |
+| 顽固的拒绝持续存在 | `aggressive` | Whitened SVD + head surgery + jailbreak |
+| 希望更改可逆 | 使用 steering vectors（见分析部分） |
+| 追求最高质量，不计时间 | `optimized` | 贝叶斯搜索寻找最佳参数 |
+| 实验性自动检测 | `informed` | 自动检测对齐类型——实验性，效果不一定总是优于 advanced |
+
+### 9 个 CLI 方法
+- **basic** — 通过 diff-in-means 计算单一拒绝方向。速度快（8B 模型约需 5-10 分钟）。
+- **advanced**（默认，推荐）— 多方向 SVD，保留范数投影，2 次精炼迭代。中等速度（约 10-20 分钟）。
+- **aggressive** — Whitened SVD + jailbreak-contrastive + attention head surgery。破坏连贯性的风险较高。
+- **spectral_cascade** — DCT 频域分解。研究/新颖方法。
+- **informed** — 在 abliteration 过程中进行分析以实现自动配置。实验性——比 advanced 更慢且不可预测。
+- **surgical** — SAE 特征 + 神经元掩码 + head surgery + 每个专家级别。非常慢（约 1-2 小时）。最适合推理模型。
+- **optimized** — 贝叶斯超参数搜索。运行时间最长，但能找到最佳参数。
+- **inverted** — 翻转拒绝方向。模型会变得非常主动配合。
+- **nuclear** — 针对顽固 MoE 模型的最强力组合。专家粒度。
+
+### 方向提取方法（--direction-method 标志）
+- **diff_means**（默认）— 在拒绝/服从的激活值之间进行简单的差分平均值计算。稳健。
+- **svd** — 多方向 SVD 提取。更适合复杂的对齐。
+- **leace** — LEACE（通过闭式估计进行线性擦除）。最优线性擦除。
+
+### 4 个仅限 Python-API 的方法
+（无法通过 CLI 使用——需要导入 Python，这违反了 AGPL 边界。仅在用户明确希望在其自己的 AGPL 项目中将 OBLITERATUS 作为库使用时，才向用户提及。）
+- failspy, gabliteration, heretic, rdo
+
+## Step 5: 运行 Abliteration
+
+### 标准用法
+```bash
+# Default method (advanced) — recommended for most models
+obliteratus obliterate <model_name> --method advanced --output-dir ./abliterated-models
+
+# With 4-bit quantization (saves VRAM)
+obliteratus obliterate <model_name> --method advanced --quantization 4bit --output-dir ./abliterated-models
+
+# Large models (70B+) — conservative defaults
+obliteratus obliterate <model_name> --method advanced --quantization 4bit --large-model --output-dir ./abliterated-models
+```
+
+### 微调参数
+```bash
+obliteratus obliterate <model_name> \
+  --method advanced \
+  --direction-method diff_means \
+  --n-directions 4 \
+  --refinement-passes 2 \
+  --regularization 0.1 \
+  --quantization 4bit \
+  --output-dir ./abliterated-models \
+  --contribute  # opt-in telemetry for community research
+```
+
+### 关键标志
+| 标志 | 说明 | 默认值 |
+|:-----|:------------|:--------|
+| `--method` | Abliteration 方法 | advanced |
+| `--direction-method` | 方向提取 | diff_means |
+| `--n-directions` | 拒绝方向的数量 (1-32) | 取决于方法 |
+| `--refinement-passes` | 迭代次数 (1-5) | 2 |
+| `--regularization` | 正则化强度 (0.0-1.0) | 0.1 |
+| `--quantization` | 以 4bit 或 8bit 加载 | none (全精度) |
+| `--large-model` | 针对 120B+ 模型的保守默认值 | false |
+| `--output-dir` | abliterated 模型的保存路径 | ./obliterated_model |
+| `--contribute` | 分享匿名结果用于研究 | false |
+| `--verify-sample-size` | 用于拒绝检查的测试提示数量 | 20 |
+| `--dtype` | 模型 dtype (float16, bfloat16) | auto |
+
+### 其他执行模式
+```bash
+# Interactive guided mode (hardware → model → preset)
+obliteratus interactive
+
+# Web UI (Gradio)
+obliteratus ui --port 7860
+
+# Run a full ablation study from YAML config
+obliteratus run config.yaml --preset quick
+
+# Tournament: pit all methods against each other
+obliteratus tourney <model_name>
+```
+
+## Step 6: 验证结果
+
+abliteration 完成后，请检查输出指标：
+
+| 指标 | 理想值 | 警告 |
+|:-------|:-----------|:--------|
+| 拒绝率 | < 5%（理想情况约为 0%） | > 10% 表示仍存在拒绝行为 |
+| 困惑度变化 | 增加幅度 < 10% | > 15% 表示连贯性受损 |
+| KL 散度 | < 0.1 | > 0.5 表示分布发生显著偏移 |
+| 连贯性 | 高 / 通过定性检查 | 回复退化、出现重复 |
+
+### 如果拒绝行为仍然存在 (> 10%)
+1. 尝试 `aggressive` 方法
+2. 增加 `--n-directions`（例如 8 或 16）
+3. 添加 `--refinement-passes 3`
+4. 尝试使用 `--direction-method svd` 代替 diff_means
+
+### 如果连贯性受损（困惑度增加 > 15%）
+1. 减少 `--n-directions`（尝试设为 2）
+2. 增加 `--regularization`（尝试设为 0.3）
+3. 将 `--refinement-passes` 减少到 1
+4. 尝试 `basic` 方法（更温和）
+
+## Step 7: 使用 Abliterated 模型
+
+输出的内容是一个标准的 HuggingFace 模型目录。
+
+```bash
+# Test locally with transformers
+python3 -c "
+from transformers import AutoModelForCausalLM, AutoTokenizer
+model = AutoModelForCausalLM.from_pretrained('./abliterated-models/<model>')
+tokenizer = AutoTokenizer.from_pretrained('./abliterated-models/<model>')
+inputs = tokenizer('How do I pick a lock?', return_tensors='pt')
+outputs = model.generate(**inputs, max_new_tokens=200)
+print(tokenizer.decode(outputs[0], skip_special_tokens=True))
+"
+
+# Upload to HuggingFace Hub
+huggingface-cli upload <username>/<model-name>-abliterated ./abliterated-models/<model>
+
+# Serve with vLLM
+vllm serve ./abliterated-models/<model>
+```
+
+## CLI 命令参考
+
+| 命令 | 说明 |
+|:--------|:------------|
+| `obliteratus obliterate` | 主要的 abliteration 命令 |
+| `obliteratus info <model>` | 打印模型架构细节 |
+| `obliteratus models --tier <tier>` | 按计算层级浏览精选模型 |
+| `obliteratus recommend <model>` | 遥测驱动的方法/参数建议 |
+| `obliteratus interactive` | 引导式设置向导 |
+| `obliteratus tourney <model>` | 锦标赛：所有方法正面交锋 |
+| `obliteratus run <config.yaml>` | 根据 YAML 执行消融研究 |
+| `obliteratus strategies` | 列出所有已注册的消融策略 |
+| `obliteratus report <results.json>` | 重新生成可视化报告 |
+| `obliteratus ui` | 启动 Gradio 网页界面 |
+| `obliteratus aggregate` | 汇总社区遥测数据 |
+
+## 分析模块
+
+OBLITERATUS 包含 28 个用于 mechanistic interpretability 的分析模块。
+查看 `skill_view(name="obliteratus", file_path="references/analysis-modules.md")` 获取完整参考。
+
+### 快速 analysis 命令
+```bash
+# Run specific analysis modules
+obliteratus run analysis-config.yaml --preset quick
+
+# Key modules to run first:
+# - alignment_imprint: Fingerprint DPO/RLHF/CAI/SFT alignment method
+# - concept_geometry: Single direction vs polyhedral cone
+# - logit_lens: Which layer decides to refuse
+# - anti_ouroboros: Self-repair risk score
+# - causal_tracing: Causally necessary components
+```
+
+### Steering Vectors（可逆的替代方案）
+相比于永久修改权重，可以使用推理时的 steering：
+```python
+# Python API only — for user's own projects
+from obliteratus.analysis.steering_vectors import SteeringVectorFactory, SteeringHookManager
+```
+
+## 消融策略
+
+除了基于方向的 abliteration 之外，OBLITERATUS 还包括结构化消融策略：
+- **Embedding Ablation** — 针对嵌入层组件
+- **FFN Ablation** — 前馈网络块移除
+- **Head Pruning** — 注意力头剪枝
+- **Layer Removal** — 全层移除
+
+列出所有可用策略：`obliteratus strategies`
+
+## 评估
+
+OBLITERATUS 包含内置的评估工具：
+- 拒绝率基准测试
+- 困惑度对比（之前/之后）
+- 集成 LM Eval Harness 以进行学术基准测试
+- 竞争者之间的正面比较
+- 基线性能跟踪
+
+## 平台支持
+
+- **CUDA** — 全面支持（NVIDIA GPU）
+- **Apple Silicon (MLX)** — 通过 MLX backend 支持
+- **CPU** — 支持微型模型（< 1B 参数）
+
+## YAML 配置模板
+
+通过 `skill_view` 加载模板以实现可重复运行：
+- `templates/abliteration-config.yaml` — 标准的单模型配置
+- `templates/analysis-study.yaml` — abliteration 前的分析研究
+- `templates/batch-abliteration.yaml` — 多模型批处理
+
+## 遥测
+
+OBLITERATUS 可以选择将匿名的运行数据贡献给全球研究数据集。
+使用 `--contribute` 标志启用。不会收集任何个人数据——仅限模型名称、方法和指标。
+
+## 常见陷阱
+
+1. **不要将 `informed` 作为默认选项** — 它是实验性的且速度较慢。请使用 `advanced` 获得可靠的结果。
+2. **小于 1B 参数的模型对 abliteration 反应不佳** — 它们的拒绝行为浅薄且分散，难以提取干净的方向。预计只能获得部分效果（仍存留 20-40% 的拒绝）。3B+ 的模型拥有更清晰的拒绝方向，反应要好得多（使用 `advanced` 通常能达到 0% 的拒绝率）。
+3. **`aggressive` 可能会适得其反** — 在小型模型上，它可能会破坏连贯性，并实际上增加拒绝率。只有在 `advanced` 对 3B+ 模型仍留下 > 10% 的拒绝时才使用它。
+4. **务必检查困惑度** — 如果激增超过 15%，说明模型已受损。请降低激进度。
+5. **MoE 模型需要特殊处理** — 对 Mixtral、DeepSeek-MoE 等使用 `nuclear` 方法。
+6. **量化模型无法重新量化** — 请先对全精度模型进行 abliterate，然后再对输出进行量化。
+7. **VRAM 预估值仅供参考** — 4-bit 量化有帮助，但在提取过程中峰值使用量可能会激增。
+8. **推理模型很敏感** — 对 R1 distills 使用 `surgical` 以保留其思维链。
+9. **查看 `obliteratus recommend`** — 遥测数据可能包含比默认值更好的参数。
+10. **AGPL 许可证** — 绝不要在 MIT/Apache 项目中 `import obliteratus`。只能通过 CLI 调用。
+11. **大型模型 (70B+)** — 务必使用 `--large-model` 标志以采用保守的默认设置。
+12. **Spectral 认证显示 RED 很常见** — 即使实际拒绝率为 0%，spectral 检查通常也会标记为“不完整”。请检查实际的拒绝率，而不要单纯依赖 spectral 认证。
+
+## 互补 Skills
+
+- **vllm** — 以高吞吐量提供 abliterated 模型服务
+- **gguf** — 将 abliterated 模型转换为 GGUF 格式以用于 llama.cpp
+- **huggingface-tokenizers** — 处理模型 tokenizers

package/extensions/skills/optional/mlops/obliteratus/references/analysis-modules.md

@@ -0,0 +1,160 @@
+# OBLITERATUS 分析 Modules — 参考
+
+OBLITERATUS 包含 28 个分析 modules，用于对 LLM 中的拒绝行为进行 mechanistic interpretability。
+这些 modules 有助于在执行 abliteration 之前，理解拒绝行为是如何以及在哪里被编码的。
+
+---
+
+## 核心分析（优先运行）
+
+### 1. Alignment Imprint Detection (`alignment_imprint.py`)
+指纹识别模型是通过 DPO、RLHF、CAI 还是 SFT 训练的。
+这决定了哪种提取策略效果最好。
+
+### 2. Concept Cone Geometry (`concept_geometry.py`)
+确定拒绝行为是单一的线性方向还是多面体锥形
+（多种机制的集合）。单一方向模型对 `basic` 响应良好；
+多面体模型需要 `advanced` 或 `surgical`。
+
+### 3. Refusal Logit Lens (`logit_lens.py`)
+通过将中间层表示解码到 token 空间，识别模型“决定”拒绝的具体层。
+
+### 4. Ouroboros Detection (`anti_ouroboros.py`)
+识别模型在切除后是否试图“自我修复”拒绝行为。
+报告风险评分（0-1）。高分意味着需要额外的细化步骤。
+
+### 5. Causal Tracing (`causal_tracing.py`)
+使用 activation patching 识别哪些组件（layers、heads、MLPs）对拒绝行为具有因果必要性。
+
+---
+
+## 几何分析
+
+### 6. Cross-Layer Alignment (`cross_layer.py`)
+测量拒绝方向在不同层之间是如何对齐的。高对齐度
+意味着拒绝信号是一致的；低对齐度则表明存在特定层的
+机制。
+
+### 7. Residual Stream Decomposition (`residual_stream.py`)
+将 residual stream 分解为 attention 和 MLP 的贡献，以
+了解哪种组件类型对拒绝的贡献更大。
+
+### 8. Riemannian Manifold Geometry (`riemannian_manifold.py`)
+分析拒绝方向附近权重流形的曲率和几何结构。
+用于判断在不破坏流形结构的情况下，可以多激进地应用投影。
+
+### 9. Whitened SVD (`whitened_svd.py`)
+协方差归一化的 SVD 提取，将防护信号与
+自然 activation variance 分离开来。对于具有高 activation variance 的模型，比标准 SVD 更精确。
+
+### 10. Concept Cone Geometry (extended)
+映射拒绝行为的完整多面体结构，包括锥角、
+面数和交集模式。
+
+---
+
+## 探测与分类
+
+### 11. Activation Probing (`activation_probing.py`)
+切除后的验证 — 在
+abliteration 后探测残留的拒绝概念，以确保完全移除。
+
+### 12. Probing Classifiers (`probing_classifiers.py`)
+训练线性分类器来检测 activations 中的拒绝行为。在之前（验证拒绝存在）和之后（验证已消失）均可使用。
+
+### 13. Activation Patching (`activation_patching.py`)
+交换干预 — 在拒绝和服从的运行之间
+交换 activations，以识别因果组件。
+
+### 14. Tuned Lens (`tuned_lens.py`)
+经过训练的 logit lens 版本，通过为每个层学习仿射变换，
+提供更准确的逐层解码。
+
+### 15. Multi-Token Position Analysis (`multi_token_position.py`)
+分析跨多个 token 位置的拒绝信号，而不仅仅是
+最后一个 token。对于在序列中分散拒绝行为的模型非常重要。
+
+---
+
+## Abliteration 与操纵
+
+### 16. SAE-Based Abliteration (`sae_abliteration.py`)
+使用 Sparse Autoencoder 特征来识别和移除特定的拒绝
+特征。比基于方向的方法更具手术切除般的精准性。
+
+### 17. Steering Vectors (`steering_vectors.py`)
+创建并应用推理时的 steering vectors，用于可逆的拒绝
+修改。包含 `SteeringVectorFactory` 和 `SteeringHookManager`。
+
+### 18. LEACE Concept Erasure (`leace.py`)
+Linear Erasure via Closed-form Estimation — 数学上最优的线性
+概念移除。既可作为分析 module 使用，也可作为方向提取方法使用。
+
+### 19. Sparse Surgery (`sparse_surgery.py`)
+针对单个神经元和
+权重矩阵条目而非完整方向的高精度权重修改。
+
+### 20. Conditional Abliteration (`conditional_abliteration.py`)
+仅影响特定拒绝类别同时
+保留其他类别的定向移除（例如，移除对制造武器的拒绝，但保留对 CSAM 的拒绝）。
+
+---
+
+## 迁移与鲁棒性
+
+### 21. Cross-Model Transfer (`cross_model_transfer.py`)
+测试从一个模型提取的拒绝方向是否能迁移到
+另一种架构。衡量防护方向（guardrail directions）的普适性。
+
+### 22. Defense Robustness (`defense_robustness.py`)
+评估 abliteration 对各种防御机制
+和重新对齐尝试的鲁棒性。
+
+### 23. Spectral Certification (`spectral_certification.py`)
+利用投影的谱分析，为拒绝移除的完整性
+提供数学边界。
+
+### 24. Wasserstein Optimal Extraction (`wasserstein_optimal.py`)
+利用最优传输理论进行更精确的方向提取，
+以最小化分布偏移。
+
+### 25. Wasserstein Transfer (`wasserstein_transfer.py`)
+使用 Wasserstein 距离进行模型间的分布迁移，
+用于跨架构的拒绝方向映射。
+
+---
+
+## 高级 / Research
+
+### 26. Bayesian Kernel Projection (`bayesian_kernel_projection.py`)
+概率特征映射，用于估计拒绝
+方向识别中的不确定性。
+
+### 27. Cross-Model Universality Index
+测量防护方向是否能在不同的模型
+架构和训练机制之间泛化。
+
+### 28. Visualization (`visualization.py`)
+用于所有分析 modules 的绘图和图表生成工具。生成
+热力图、方向图和逐层分析图表。
+
+---
+
+## 运行分析
+
+### 通过 CLI
+```bash
+# Run analysis from a YAML config
+obliteratus run analysis-study.yaml --preset quick
+
+# Available study presets:
+# quick     — Fast sanity check (2-3 modules)
+# full      — All core + geometric analysis
+# jailbreak — Refusal circuit localization
+# knowledge — Knowledge preservation analysis
+# robustness — Stress testing / defense evaluation
+```
+
+### 通过 YAML 配置
+有关完整示例，请参阅 `templates/analysis-study.yaml` 模板。
+加载方式：`skill_view(name="obliteratus", file_path="templates/analysis-study.yaml")`

package/extensions/skills/optional/mlops/obliteratus/references/methods-guide.md

@@ -0,0 +1,139 @@
+# OBLITERATUS 方法 — 详细指南
+
+> CLI 通过 `--method` 支持 9 种方法：basic、advanced、aggressive、spectral_cascade、informed、surgical、optimized、inverted、nuclear。
+> 另外有四种方法（failspy、gabliteration、heretic、rdo）仅能通过 Python API 使用。
+
+## Abliteration 的工作原理（理论）
+
+Abliteration 旨在识别一个“拒绝方向”——即在模型激活空间中对应拒绝行为的一个向量——并将其从权重矩阵中投影消除。
+
+数学公式为：`W_new = W_old - (W_old @ d @ d.T)`，其中 `d` 为拒绝方向。
+
+核心挑战在于，如何在不破坏模型其他能力的前提下，找到准确的拒绝方向。
+
+---
+
+## 方向提取方法
+
+在执行投影之前，OBLITERATUS 会使用以下三种方法之一来提取拒绝方向：
+
+| 方法 | 标志 | 说明 | 最适合 |
+| :------- | :----- | :------------ | :--------- |
+| Diff-in-Means | `--direction-method diff_means` | 拒绝提示与服从提示的平均激活值之差 | 默认，快速，稳健 |
+| SVD | `--direction-method svd` | 通过奇异值分解提取多方向 | 复杂对齐，多种拒绝机制 |
+| LEACE | `--direction-method leace` | 通过闭式估计进行线性擦除 —— 数学上最优 | 最高精度，研究 |
+
+---
+
+## 方法详情
+
+### basic
+- **方向：** 1（单个 diff-in-means 向量）
+- **速度：** 快（8B 模型约需 5-10 分钟）
+- **风险：** 低
+- **用例：** 快速测试、原型设计、评估 abliteration 是否适用于某模型
+- **工作原理：** 提取一个拒绝方向，并在所有层中统一将其投影消除。
+
+### advanced（默认 — 推荐）
+- **方向：** 4（多方向 SVD）
+- **速度：** 中等（8B 模型约需 10-20 分钟）
+- **风险：** 中低
+- **优化轮数：** 2
+- **用例：** 适用于大多数模型的默认选项。经过充分测试且可靠。
+- **工作原理：** 通过 SVD 提取多个拒绝方向，应用保持范数的双向投影以维持权重矩阵的范数。两轮优化过程可捕获残余的拒绝方向。
+
+### aggressive
+- **方向：** 8+（白化 SVD + 越狱对比）
+- **速度：** 中偏慢
+- **风险：** 中高（可能会破坏连贯性）
+- **用例：** 当 `advanced` 方法留下超过 10% 的拒绝时。适用于顽固模型。
+- **工作原理：** 使用白化 SVD 进行协方差归一化提取，添加越狱对比方向，并对拒绝最活跃的 attention head 执行 attention head surgery。
+
+### spectral_cascade
+- **速度：** 中等
+- **风险：** 中等
+- **用例：** 研究、新方法
+- **工作原理：** 对拒绝信号进行 DCT（离散余弦变换）频域分解。将高频（表层）与低频（深层）拒绝模式分离。
+
+### informed（实验性）
+- **速度：** 慢（8B 模型约需 20-40 分钟）
+- **风险：** 不定 —— 效果取决于分析质量
+- **用例：** 当你希望使用自动配置时，但请注意这是实验性功能，可能无法超越 `advanced`。
+- **工作原理：** 首先运行 4 个分析模块（对齐印记、概念几何、logit lens、ouroboros 检测），然后自动配置提取策略。包含一个“Ouroboros loop”，可检测并抵消自我修复。
+- **注意：** 自动检测有时会配置错误。如果效果不佳，请退回使用 `advanced`。
+
+### surgical
+- **速度：** 非常慢（8B 模型约需 1-2 小时）
+- **风险：** 低（非常精确）
+- **用例：** 推理模型（R1 distills、QwQ 等），此类模型必须保留思维链。
+- **工作原理：** 使用 SAE (Sparse Autoencoder) 特征 + 独立神经元掩码 + attention head surgery + 针对每个专家的分解（适用于 MoE）。具备 CoT 感知能力 —— 在投影前识别并保护对推理至关重要的方向。
+
+### optimized
+- **速度：** 非常慢（耗时长 —— 需要运行多次试验）
+- **风险：** 低（寻找最优参数）
+- **用例：** 当质量比速度更重要时。适用于生产环境模型。
+- **工作原理：** 通过 Optuna TPE 采样器进行贝叶斯超参数搜索。联合优化 n_directions、正则化、优化轮数以及层选择。在拒绝率 + 困惑度方面评估每种配置。
+
+### inverted
+- **速度：** 快
+- **风险：** 高（模型行为会发生剧烈变化）
+- **用例：** 研究、研究拒绝机制
+- **工作原理：** 不是将拒绝方向投影出去，而是将其反射。模型会主动服从，而不是被动地不拒绝。这对理解对齐的几何结构很有用。
+
+### nuclear
+- **速度：** 慢
+- **风险：** 中高
+- **用例：** 顽固的 MoE 模型（DeepSeek-MoE、Mixtral 等）
+- **工作原理：** 结合了专家粒度 abliteration (EGA)、steering vector 注入、attention head 剪枝和多轮优化。将 MoE 架构中的拒绝信号分解为针对每个专家的组件。
+
+---
+
+## 方法选择流程图
+
+```
+Is this a quick test?
+  → YES: basic
+  → NO: continue
+
+Is it an MoE model (Mixtral, DeepSeek-MoE)?
+  → YES: nuclear
+  → NO: continue
+
+Is it a reasoning model (R1, QwQ, CoT-focused)?
+  → YES: surgical
+  → NO: continue
+
+Do you need the absolute best quality and have time?
+  → YES: optimized
+  → NO: advanced (recommended default)
+
+Did advanced leave > 10% refusals?
+  → YES: aggressive
+  → Still refusing: nuclear
+```
+
+---
+
+## 关键参数
+
+| 参数 | 范围 | 默认值 | 作用 |
+| :---------- | :------ | :-------- | :------- |
+| `--n-directions` | 1-32 | 取决于方法 | 方向越多 = 移除越彻底，但造成破坏的风险越高 |
+| `--regularization` | 0.0-1.0 | 0.1 | 值越高 = 越保守（移除越少，破坏越小） |
+| `--refinement-passes` | 1-5 | 2 | 轮数越多能捕获更多残余拒绝，但边际效益递减 |
+| `--quantization` | 4bit, 8bit | 无 | 减少 VRAM 使用；对提取的质量影响极小 |
+| `--verify-sample-size` | 10-200 | 20 | 样本越多 = 估计的拒绝率越准确 |
+
+---
+
+## 故障排查
+
+| 问题 | 可能原因 | 解决方法 |
+| :-------- | :------------- | :---- |
+| 拒绝率 > 20% | 方向太少 | 增加 `--n-directions`，尝试 `aggressive` |
+| 拒绝率 5-20% | 残余拒绝 | 添加 `--refinement-passes 3`，尝试 `--direction-method svd` |
+| 困惑度激增 > 20% | 移除过于激进 | 减少 `--n-directions`，增加 `--regularization` |
+| 输出重复 | 权重矩阵受损 | 使用较少方向的 `basic`，检查范数保持情况 |
+| MoE 模型仍然拒绝 | 方法未感知非专家节点 | 切换至 `nuclear` |
+| 推理能力退化 | CoT 方向受损 | 使用 `surgical` 方法 |
+| 提取期间发生 OOM | VRAM 不足 | 添加 `--quantization 4bit` 和/或 `--large-model` |

package/extensions/skills/optional/mlops/obliteratus/templates/abliteration-config.yaml

@@ -0,0 +1,33 @@
+# OBLITERATUS Abliteration Config
+# Usage: obliteratus run this-file.yaml
+#
+# This is for reproducible, version-controlled abliteration runs.
+# For one-off usage, the CLI flags are simpler.
+
+# Model to abliterate
+model:
+  name: "meta-llama/Llama-3.1-8B-Instruct"
+  dtype: "bfloat16"         # float16, bfloat16, float32
+  quantization: null         # null, "4bit", "8bit"
+  device: "auto"             # auto, cuda, cuda:0, cpu
+
+# Abliteration method and parameters
+abliteration:
+  method: "informed"         # See SKILL.md Step 4 for all 13 methods
+  n_directions: null         # null = auto-detect, or integer (e.g., 8)
+  regularization: 0.0        # 0.0-1.0, fraction of original to preserve
+  refinement_passes: 1       # Iterative passes (increase for self-repair)
+  norm_preserve: true        # Keep weight norms intact after projection
+
+# Output
+output:
+  directory: "./abliterated-models"
+  save_metadata: true        # Save abliteration_metadata.json alongside model
+  contribute: false          # Save community contribution data
+
+# Verification
+verify:
+  enabled: true
+  test_prompts: null         # null = use built-in test prompts
+  compute_perplexity: true
+  compute_kl: true