ccbot-cli 2.0.0 → 2.1.0

package/skills/domains/ai/prompt-and-eval.md

@@ -0,0 +1,279 @@
+---
+name: prompt-and-eval
+description: Prompt 工程与模型评估。Prompt 模式（Zero-shot、Few-shot、CoT、ReAct、ToT）、模板设计、RAGAS、LLM-as-Judge、基准测试、A/B 测试、持续监控。当用户提到 Prompt 工程、Few-shot、CoT、模型评估、RAGAS、LLM-as-Judge、基准测试时使用。
+---
+
+# Prompt 工程与模型评估
+
+## 一、Prompt 模式
+
+### 模式对比
+
+| 模式 | 复杂度 | 准确性 | Token 消耗 | 适用场景 |
+|------|--------|--------|------------|----------|
+| Zero-shot | 低 | 中 | 低 | 简单任务、通用问题 |
+| Few-shot | 中 | 高 | 中 | 格式化输出、分类 |
+| CoT | 中 | 高 | 中 | 推理、数学、逻辑 |
+| Self-Consistency | 高 | 极高 | 高 | 关键决策 |
+| ToT | 极高 | 极高 | 极高 | 复杂规划 |
+| ReAct | 高 | 高 | 高 | 工具调用、Agent |
+
+### Zero-shot
+
+```python
+# 关键：清晰指令 + 角色设定 + 输出格式
+prompt = """
+你是一位资深安全工程师。
+任务: 将以下文本分类为正面、负面或中性。
+输入: {text}
+输出格式: JSON {"sentiment": "...", "confidence": 0.0-1.0}
+"""
+```
+
+### Few-shot
+
+```python
+# 关键：2-5 个高质量示例 + 语义相似度选择
+prompt = """
+将评论分类:
+
+评论: 音质很棒，佩戴舒适。 → 正面
+评论: 电池续航太差。 → 负面
+评论: {new_review} →
+"""
+
+# 动态示例选择（LangChain）
+selector = SemanticSimilarityExampleSelector.from_examples(
+    examples, OpenAIEmbeddings(), Chroma, k=2
+)
+```
+
+### Chain-of-Thought (CoT)
+
+```python
+# Zero-shot CoT — 魔法咒语
+prompt = f"问题: {question}\n\n让我们一步步思考:"
+
+# Self-Consistency — 多路投票
+answers = [extract_answer(llm.predict(prompt, temperature=0.7)) for _ in range(5)]
+final = Counter(answers).most_common(1)[0][0]
+```
+
+### ReAct
+
+```python
+# Thought → Action → Observation 循环
+prompt = """
+工具: Search[query], Calculate[expr], Finish[answer]
+
+Thought: 我需要查询埃菲尔铁塔高度
+Action: Search[埃菲尔铁塔高度]
+Observation: 330 米
+Thought: 现在知道答案了
+Action: Finish[330 米]
+"""
+```
+
+### Tree-of-Thoughts (ToT)
+
+```python
+# 生成多条思路 → 评估打分 → Beam Search 选最优 → 递归扩展
+class TreeOfThoughts:
+    def solve(self, problem):
+        thoughts = self._generate(problem, n=3)
+        scored = self._evaluate(problem, thoughts)
+        best = sorted(scored, key=lambda x: x[1], reverse=True)[:self.beam_width]
+        # 递归深入最佳路径
+```
+
+## 二、Prompt 设计技巧
+
+### 模板结构
+
+```python
+messages = [
+    {"role": "system", "content": "角色 + 能力边界 + 输出约束"},
+    {"role": "user", "content": "### 指令\n{task}\n### 输入\n{input}\n### 输出格式\n{format}"},
+]
+```
+
+### 优化原则
+
+| 原则 | 做 | 不做 |
+|------|-----|------|
+| 清晰性 | 具体、可执行、有约束 | 模糊指令 |
+| 结构化 | 分隔符、编号、格式 | 大段文字 |
+| 示例驱动 | 2-5 个高质量示例 | 无示例 |
+| 分步指令 | 步骤 1/2/3 | 一句话包办 |
+| 约束边界 | 说明要做和不做什么 | 无限制 |
+
+### 高级技巧
+
+```python
+# 元提示 — 用 LLM 生成 Prompt
+meta = "你是 Prompt 专家。为以下任务生成最优 Prompt: {task}"
+
+# 自我批评 — 生成 → 批评 → 改进
+answer = llm(question)
+critique = llm(f"批评: {answer}")
+improved = llm(f"基于批评改进: {critique}")
+```
+
+### Prompt 模板速查
+
+```yaml
+代码生成: "生成 {lang} 代码: {desc}。要求: 最佳实践 + 注释 + 异常处理"
+文本摘要: "总结为 {n} 字: {text}。保留关键信息，语言简洁"
+数据提取: "从文本提取 {fields}，输出 JSON: {text}"
+NL2SQL: "将自然语言转 SQL: {query}。表结构: {schema}"
+```
+
+## 三、模型评估
+
+### 评估维度
+
+| 维度 | 指标 | 适用场景 |
+|------|------|----------|
+| 准确性 | Accuracy, F1, Precision, Recall | 分类、NER |
+| 相关性 | Relevance, Context Precision | RAG、检索 |
+| 忠实性 | Faithfulness, Hallucination Rate | 生成任务 |
+| 效率 | Latency P95, Throughput, Cost/1K | 生产部署 |
+
+### RAGAS 框架
+
+```python
+from ragas import evaluate
+from ragas.metrics import faithfulness, answer_relevancy, context_precision, context_recall
+
+dataset = Dataset.from_dict({
+    "question": questions,
+    "answer": answers,
+    "contexts": contexts,
+    "ground_truth": ground_truths,
+})
+
+result = evaluate(dataset, metrics=[
+    faithfulness,        # 答案是否基于上下文（0-1）
+    answer_relevancy,    # 答案与问题相关度（0-1）
+    context_precision,   # 检索上下文中相关信息比例（0-1）
+    context_recall,      # 上下文是否包含所需全部信息（0-1）
+])
+```
+
+### LLM-as-Judge
+
+```python
+class LLMJudge:
+    def evaluate(self, question, answer, criteria):
+        prompt = f"""
+评估答案质量（1-5 分）:
+问题: {question}
+答案: {answer}
+标准: {criteria}
+
+输出 JSON: {{"accuracy": N, "completeness": N, "clarity": N, "overall": N, "feedback": "..."}}
+"""
+        return json.loads(self.llm.predict(prompt))
+
+# 成对比较 + ELO 排名
+def pairwise(q, a, b):
+    # 返回 {"winner": "A"|"B", "confidence": 0-1}
+    ...
+```
+
+### 基准测试速查
+
+| 基准 | 评估能力 | 核心指标 |
+|------|----------|----------|
+| MMLU | 多任务语言理解 | Accuracy |
+| HumanEval | 代码生成 | Pass@k |
+| GSM8K | 数学推理 | Accuracy (CoT) |
+| 自定义 | 业务场景 | 加权评分 + 延迟 |
+
+### 检索指标
+
+```python
+def evaluate_retrieval(retrieved, relevant, k=5):
+    precision_at_k = len(set(retrieved[:k]) & set(relevant)) / k
+    recall_at_k = len(set(retrieved[:k]) & set(relevant)) / len(relevant)
+    # MRR: 第一个相关文档的倒数排名
+    # NDCG: 归一化折损累积增益
+    return {"precision@k": precision_at_k, "recall@k": recall_at_k, "mrr": mrr, "ndcg": ndcg}
+```
+
+### 生成指标
+
+```python
+# ROUGE: 摘要质量（rouge-1, rouge-2, rouge-l）
+# BLEU: 翻译质量
+from rouge import Rouge
+rouge_scores = Rouge().get_scores(predictions, references, avg=True)
+```
+
+## 四、A/B 测试与监控
+
+### A/B 测试
+
+```python
+class ABTest:
+    def __init__(self, variants):  # [Variant(name, model, ratio)]
+        self.variants = variants
+
+    def get_variant(self, user_id):
+        # 一致性哈希分流
+        return self.variants[hash(user_id) % 100 < cumulative_ratio]
+
+    def check_significance(self, a_scores, b_scores, alpha=0.05):
+        t_stat, p_value = stats.ttest_ind(a_scores, b_scores)
+        cohens_d = (mean(a) - mean(b)) / pooled_std
+        return {"p_value": p_value, "significant": p_value < alpha, "effect": cohens_d}
+```
+
+### 持续监控
+
+```python
+from prometheus_client import Counter, Histogram, Gauge
+
+request_count = Counter('llm_requests_total', 'Total', ['model', 'status'])
+latency = Histogram('llm_latency_seconds', 'Latency', ['model'])
+quality = Gauge('llm_quality_score', 'Quality', ['model'])
+
+# 异常检测: Z-score > 2.0 触发告警
+class AnomalyDetector:
+    def check(self, value):
+        z = abs((value - mean(self.window)) / std(self.window))
+        return z > self.threshold
+```
+
+## 五、Checklist
+
+### Prompt 工程
+
+- 清晰指令 + 角色设定 + 输出格式约束
+- 复杂任务用 CoT / ReAct
+- 关键决策用 Self-Consistency 多路投票
+- 版本管理 Prompt，A/B 测试对比效果
+- 迭代优化：测试 → 分析 → 改进
+
+### 模型评估
+
+- 多维度评估：准确性 + 相关性 + 忠实性 + 效率
+- RAG 用 RAGAS 四指标
+- 自动评估 LLM-as-Judge + 定期人工抽检
+- 标准基准（MMLU/HumanEval）+ 业务自定义基准
+- 上线前 A/B 测试，上线后持续监控 + 异常告警
+- 反馈闭环：收集用户反馈持续改进
+
+## 工具速查
+
+| 工具 | 用途 |
+|------|------|
+| RAGAS | RAG 专用评估 |
+| LangSmith | LLM 应用监控 |
+| Phoenix | 可观测性平台 |
+| LangChain | Prompt 模板管理 |
+| Guidance | 结构化生成 |
+| OpenAI Evals | 模型评估框架 |
+| W&B | 实验追踪 |
+
+---