@chongyan/autospec 1.0.1

package/knowledge/guides/support/ai-component-analyzer.md

@@ -0,0 +1,169 @@
+# AI 组件分析器
+
+## 功能
+
+检测项目中的 AI/ML 组件，包括模型训练、LLM 应用、Agent 框架、向量存储等。对于配置规则中未定义的组件，使用 AI 进行智能识别。
+
+## 触发条件
+
+- 检测到 AI 相关依赖但未在规则中定义
+- 需要识别 RAG 架构组合
+- 需要判断项目是否需要效果评测
+
+## 输入
+
+```json
+{
+  "projectDir": "项目根目录",
+  "dependencies": ["依赖列表"],
+  "codeFiles": [
+    {
+      "path": "文件路径",
+      "patterns": ["检测到的代码模式"]
+    }
+  ],
+  "directoryStructure": "目录结构概览",
+  "unknownDeps": ["未识别的 AI 相关依赖"]
+}
+```
+
+## 输出
+
+```json
+{
+  "components": [
+    {
+      "name": "组件名称",
+      "type": "model-training/llm-application/agent-framework/vector-store/rag-application",
+      "needsEvaluation": true,
+      "confidence": "high/medium/low",
+      "evidence": "判断依据"
+    }
+  ],
+  "ragDetected": {
+    "hasVectorStore": true,
+    "hasLLM": true,
+    "isRAG": true
+  },
+  "evaluationRequired": true,
+  "suggestions": [
+    {
+      "component": "组件名",
+      "recommendation": "建议"
+    }
+  ]
+}
+```
+
+## 执行步骤
+
+1. **分析依赖**
+   - 识别已知的 AI/ML 框架
+   - 分析未知的 AI 相关依赖名称
+
+2. **代码模式分析**
+   - 扫描代码中的 AI 相关模式：
+     - `import torch` / `from transformers import`
+     - `ChatOpenAI` / `Anthropic` / `LangChain`
+     - `FAISS` / `ChromaDB` / `Pinecone`
+   - 识别 Agent 模式：`Agent`、`Tool`、`Chain`
+
+3. **RAG 架构识别**
+   - 检测向量存储依赖
+   - 检测 LLM 依赖
+   - 判断是否为 RAG 应用
+
+4. **评测需求判断**
+   - 模型训练项目需要评测
+   - LLM 应用需要效果评测
+   - Agent 框架需要行为评测
+
+5. **生成分析报告**
+   - 汇总所有 AI 组件
+   - 标注评测需求
+   - 提供配置更新建议
+
+## AI 组件类型
+
+| 类型 | 关键依赖 | 需要评测 |
+|------|---------|---------|
+| model-training | torch, tensorflow, jax | 是 |
+| inference-service | vllm, tgi, triton | 是 |
+| llm-application | langchain, openai, anthropic | 是 |
+| agent-framework | crewai, autogen, metagpt | 是 |
+| vector-store | faiss, chromadb, pinecone | 否 |
+| rag-application | vector-store + llm | 是 |
+| evaluation | mlflow, wandb, evaluate | 否 |
+
+## 规则
+
+1. **组合检测优先**
+   - RAG 应用需要同时有向量存储和 LLM
+   - Agent 需要有 LLM + 工具调用
+
+2. **评测需求判断**
+   - 涉及模型输出的组件需要评测
+   - 纯向量存储不需要评测
+
+3. **置信度评估**
+   - high: 配置规则匹配
+   - medium: 代码模式匹配
+   - low: 仅依赖名称推测
+
+## 示例
+
+### 输入
+
+```json
+{
+  "dependencies": ["langchain", "openai", "chromadb", "tiktoken"],
+  "codeFiles": [
+    {
+      "path": "src/rag.py",
+      "patterns": ["Chroma.from_documents", "ChatOpenAI"]
+    }
+  ]
+}
+```
+
+### 输出
+
+```json
+{
+  "components": [
+    {
+      "name": "LLM应用",
+      "type": "llm-application",
+      "needsEvaluation": true,
+      "confidence": "high",
+      "evidence": "检测到 langchain 和 openai 依赖"
+    },
+    {
+      "name": "向量存储",
+      "type": "vector-store",
+      "needsEvaluation": false,
+      "confidence": "high",
+      "evidence": "检测到 chromadb 依赖"
+    },
+    {
+      "name": "RAG应用",
+      "type": "rag-application",
+      "needsEvaluation": true,
+      "confidence": "high",
+      "evidence": "同时检测到向量存储和 LLM，代码中有 RAG 模式"
+    }
+  ],
+  "ragDetected": {
+    "hasVectorStore": true,
+    "hasLLM": true,
+    "isRAG": true
+  },
+  "evaluationRequired": true,
+  "suggestions": [
+    {
+      "component": "rag-application",
+      "recommendation": "建议创建评测数据集测试检索和生成质量"
+    }
+  ]
+}
+```

package/knowledge/guides/support/ai-data-validator.md

@@ -0,0 +1,276 @@
+---
+name: data-validator
+description: 当项目包含数据开发组件（ETL、数据管道、数据仓库等）时，分析数据质量、验证数据完整性、提供数据分析支持。用于数据开发的稳定、安全、效果保障。
+type: ai
+---
+
+## 定位
+
+AI专用技能。为数据开发提供质量验证、分析和挖掘支持，参考AI评测方法论到数据领域。
+
+## 输入
+
+- 必须输入：数据代码路径或项目目录、数据源配置
+- 可选输入：数据质量要求、验证规则
+
+## 输出
+
+```json
+{
+  "dataSystem": {
+    "type": "etl-pipeline",
+    "components": ["data-source", "transformation", "data-warehouse"],
+    "qualityRequirements": ["completeness", "accuracy", "timeliness"]
+  },
+  "validations": [
+    {
+      "dimension": "completeness",
+      "checks": ["null_check", "missing_value_check"],
+      "thresholds": {"null_rate": 0.05}
+    },
+    {
+      "dimension": "accuracy",
+      "checks": ["range_check", "format_check"],
+      "thresholds": {"error_rate": 0.01}
+    },
+    {
+      "dimension": "timeliness",
+      "checks": ["freshness_check", "delay_check"],
+      "thresholds": {"max_delay_hours": 24}
+    }
+  ],
+  "analysisSupport": {
+    "dataProfile": true,
+    "anomalyDetection": true,
+    "trendAnalysis": false
+  },
+  "tools": {
+    "suggested": ["great-expectations", "pandas-profiling", "dbt"],
+    "reason": "这些工具支持数据质量验证和分析"
+  }
+}
+```
+
+## 执行步骤
+
+### Step 1: 识别数据系统类型（确定性）
+
+基于依赖和代码特征识别数据系统：
+
+```
+数据系统识别规则：
+- dbt: 依赖dbt，代码中有 dbt run, dbt test
+- airflow: 依赖airflow，代码中有 DAG, Task
+- spark: 依赖pyspark，代码中有 SparkSession, DataFrame
+- pandas: 依赖pandas，代码中有 read_csv, read_excel
+- etl: 自定义ETL实现
+```
+
+### Step 2: Grep获取数据处理逻辑（高效）
+
+搜索数据处理模式：
+
+```bash
+# 数据读取
+grep -r -n -A 5 "read_csv\|read_excel\|load\|fetch" --include="*.py" .
+
+# 数据转换
+grep -r -n -A 5 "transform\|aggregate\|join\|filter" --include="*.py" .
+
+# 数据写入
+grep -r -n -A 5 "to_csv\|write\|save\|export" --include="*.py" .
+```
+
+### Step 3: 分析数据质量要求（模型）
+
+基于代码上下文分析数据质量要求：
+
+```
+关注点：
+- 数据源类型和可靠性
+- 数据转换逻辑
+- 数据质量检查点
+- 错误处理机制
+```
+
+### Step 4: 设计验证方案（模型）
+
+设计数据质量验证方案：
+
+```
+验证维度：
+1. 完整性：空值、缺失记录、重复数据
+2. 准确性：格式、范围、一致性
+3. 时效性：更新频率、延迟
+4. 唯一性：主键重复、外键关联
+5. 合法性：业务规则、数据约束
+```
+
+### Step 5: 输出结果
+
+汇总数据验证方案，包括验证规则、工具建议和实施计划。
+
+## 数据质量维度
+
+### 1. 完整性 (Completeness)
+
+| 检查项 | 指标 | 方法 |
+|--------|------|------|
+| 空值检查 | null_rate | 统计null/空字符串比例 |
+| 缺失记录 | missing_count | 对比预期记录数 |
+| 重复数据 | duplicate_rate | 检查主键重复 |
+
+### 2. 准确性 (Accuracy)
+
+| 检查项 | 指标 | 方法 |
+|--------|------|------|
+| 格式检查 | format_error_rate | 正则表达式验证 |
+| 范围检查 | range_error_rate | 数值范围验证 |
+| 一致性检查 | consistency_rate | 跨表一致性验证 |
+
+### 3. 时效性 (Timeliness)
+
+| 检查项 | 指标 | 方法 |
+|--------|------|------|
+| 新鲜度 | data_freshness | 数据更新时间 |
+| 延迟 | delay_hours | 数据延迟时间 |
+| 调度 | schedule_adherence | 调度执行情况 |
+
+### 4. 唯一性 (Uniqueness)
+
+| 检查项 | 指标 | 方法 |
+|--------|------|------|
+| 主键重复 | pk_duplicate_rate | 主键唯一性 |
+| 外键关联 | fk_violation_rate | 外键完整性 |
+
+### 5. 合法性 (Validity)
+
+| 检查项 | 指标 | 方法 |
+|--------|------|------|
+| 业务规则 | business_rule_violation | 业务规则验证 |
+| 数据约束 | constraint_violation | 约束检查 |
+
+## 数据分析支持
+
+### 数据分析维度
+
+| 维度 | 说明 | 工具 |
+|------|------|------|
+| **数据画像** | 数据的基本统计信息 | pandas-profiling, sweetviz |
+| **异常检测** | 识别异常数据点 | isolation-forest, z-score |
+| **趋势分析** | 数据随时间变化趋势 | pandas, matplotlib |
+| **相关性分析** | 变量间相关关系 | pandas, seaborn |
+| **分布分析** | 数据分布特征 | histogram, boxplot |
+
+### 数据挖掘支持
+
+| 任务 | 说明 | 适用场景 |
+|------|------|----------|
+| **特征工程** | 特征提取和转换 | 机器学习准备 |
+| **数据标注** | 标注数据生成 | AI模型训练 |
+| **数据增强** | 数据扩充 | 样本不足 |
+| **数据清洗** | 脏数据处理 | 质量提升 |
+
+## 数据验证工具
+
+### 开源工具
+
+| 工具 | 说明 | 特点 |
+|------|------|------|
+| **Great Expectations** | 数据质量验证 | 声明式验证规则 |
+| **Pandas Profiling** | 数据画像 | 自动生成报告 |
+| **Dbt** | 数据转换 | SQL式ETL |
+| **Great Expectations** | 数据测试 | 集成测试 |
+| **Soda** | 数据监控 | 主动监控 |
+
+### 验证规则模板
+
+```python
+# 完整性验证
+expect_column_values_to_not_be_null("email")
+expect_column_value_lengths_to_be_between("phone", 10, 15)
+expect_table_row_count_to_be_between("orders", 1000, 1000000)
+
+# 准确性验证
+expect_column_values_to_match_regex("email", ".*@.*\\..*")
+expect_column_values_to_be_between("price", 0, 10000)
+expect_column_values_to_be_in_set("status", ["active", "inactive"])
+
+# 唯一性验证
+expect_column_values_to_be_unique("user_id")
+expect_compound_columns_to_be_unique(["order_id", "line_item_id"])
+```
+
+## 调用时机
+
+- 检测到数据系统组件时
+- 数据管道开发阶段
+- 数据质量保障需求
+- 数据分析需求
+
+## 示例
+
+**输入**：
+```
+项目目录：/project
+数据系统：dbt + snowflake
+数据源：用户行为数据
+```
+
+**Grep搜索**：
+```
+找到文件：models/users.sql, tests/schema_test.yml
+```
+
+**代码上下文**：
+```sql
+-- models/users.sql
+SELECT
+    user_id,
+    email,
+    created_at,
+    status
+FROM raw_users
+WHERE status = 'active'
+```
+
+**输出**：
+```json
+{
+  "dataSystem": {
+    "type": "dbt-pipeline",
+    "components": ["raw_users", "users_model"],
+    "qualityRequirements": ["completeness", "accuracy"]
+  },
+  "validations": [
+    {
+      "dimension": "completeness",
+      "checks": ["not_null", "unique"],
+      "fields": ["user_id", "email"],
+      "thresholds": {"null_rate": 0}
+    },
+    {
+      "dimension": "accuracy",
+      "checks": ["valid_email", "valid_status"],
+      "fields": ["email", "status"],
+      "thresholds": {"error_rate": 0.01}
+    }
+  ],
+  "tools": {
+    "suggested": ["dbt-utils", "great-expectations"],
+    "reason": "与dbt集成良好"
+  }
+}
+```
+
+## 与AI评测的类比
+
+将AI评测方法论应用到数据开发：
+
+| AI评测 | 数据开发 | 说明 |
+|--------|----------|------|
+| 任务完成率 | 数据完整率 | 数据是否完整 |
+| 工具使用正确性 | 转换逻辑正确性 | ETL逻辑是否正确 |
+| 响应质量 | 数据准确性 | 数据是否准确 |
+| 基础设施噪声 | 数据源波动 | 源数据质量问题 |
+| AI-resistant评估 | 数据一致性验证 | 防止数据泄露 |