@chongyan/autospec 1.0.1 → 1.0.3

package/knowledge/guides/support/ai-component-analyzer.md

@@ -1,169 +0,0 @@
-# AI 组件分析器
-
-## 功能
-
-检测项目中的 AI/ML 组件，包括模型训练、LLM 应用、Agent 框架、向量存储等。对于配置规则中未定义的组件，使用 AI 进行智能识别。
-
-## 触发条件
-
-- 检测到 AI 相关依赖但未在规则中定义
-- 需要识别 RAG 架构组合
-- 需要判断项目是否需要效果评测
-
-## 输入
-
-```json
-{
-  "projectDir": "项目根目录",
-  "dependencies": ["依赖列表"],
-  "codeFiles": [
-    {
-      "path": "文件路径",
-      "patterns": ["检测到的代码模式"]
-    }
-  ],
-  "directoryStructure": "目录结构概览",
-  "unknownDeps": ["未识别的 AI 相关依赖"]
-}
-```
-
-## 输出
-
-```json
-{
-  "components": [
-    {
-      "name": "组件名称",
-      "type": "model-training/llm-application/agent-framework/vector-store/rag-application",
-      "needsEvaluation": true,
-      "confidence": "high/medium/low",
-      "evidence": "判断依据"
-    }
-  ],
-  "ragDetected": {
-    "hasVectorStore": true,
-    "hasLLM": true,
-    "isRAG": true
-  },
-  "evaluationRequired": true,
-  "suggestions": [
-    {
-      "component": "组件名",
-      "recommendation": "建议"
-    }
-  ]
-}
-```
-
-## 执行步骤
-
-1. **分析依赖**
-   - 识别已知的 AI/ML 框架
-   - 分析未知的 AI 相关依赖名称
-
-2. **代码模式分析**
-   - 扫描代码中的 AI 相关模式：
-     - `import torch` / `from transformers import`
-     - `ChatOpenAI` / `Anthropic` / `LangChain`
-     - `FAISS` / `ChromaDB` / `Pinecone`
-   - 识别 Agent 模式：`Agent`、`Tool`、`Chain`
-
-3. **RAG 架构识别**
-   - 检测向量存储依赖
-   - 检测 LLM 依赖
-   - 判断是否为 RAG 应用
-
-4. **评测需求判断**
-   - 模型训练项目需要评测
-   - LLM 应用需要效果评测
-   - Agent 框架需要行为评测
-
-5. **生成分析报告**
-   - 汇总所有 AI 组件
-   - 标注评测需求
-   - 提供配置更新建议
-
-## AI 组件类型
-
-| 类型 | 关键依赖 | 需要评测 |
-|------|---------|---------|
-| model-training | torch, tensorflow, jax | 是 |
-| inference-service | vllm, tgi, triton | 是 |
-| llm-application | langchain, openai, anthropic | 是 |
-| agent-framework | crewai, autogen, metagpt | 是 |
-| vector-store | faiss, chromadb, pinecone | 否 |
-| rag-application | vector-store + llm | 是 |
-| evaluation | mlflow, wandb, evaluate | 否 |
-
-## 规则
-
-1. **组合检测优先**
-   - RAG 应用需要同时有向量存储和 LLM
-   - Agent 需要有 LLM + 工具调用
-
-2. **评测需求判断**
-   - 涉及模型输出的组件需要评测
-   - 纯向量存储不需要评测
-
-3. **置信度评估**
-   - high: 配置规则匹配
-   - medium: 代码模式匹配
-   - low: 仅依赖名称推测
-
-## 示例
-
-### 输入
-
-```json
-{
-  "dependencies": ["langchain", "openai", "chromadb", "tiktoken"],
-  "codeFiles": [
-    {
-      "path": "src/rag.py",
-      "patterns": ["Chroma.from_documents", "ChatOpenAI"]
-    }
-  ]
-}
-```
-
-### 输出
-
-```json
-{
-  "components": [
-    {
-      "name": "LLM应用",
-      "type": "llm-application",
-      "needsEvaluation": true,
-      "confidence": "high",
-      "evidence": "检测到 langchain 和 openai 依赖"
-    },
-    {
-      "name": "向量存储",
-      "type": "vector-store",
-      "needsEvaluation": false,
-      "confidence": "high",
-      "evidence": "检测到 chromadb 依赖"
-    },
-    {
-      "name": "RAG应用",
-      "type": "rag-application",
-      "needsEvaluation": true,
-      "confidence": "high",
-      "evidence": "同时检测到向量存储和 LLM，代码中有 RAG 模式"
-    }
-  ],
-  "ragDetected": {
-    "hasVectorStore": true,
-    "hasLLM": true,
-    "isRAG": true
-  },
-  "evaluationRequired": true,
-  "suggestions": [
-    {
-      "component": "rag-application",
-      "recommendation": "建议创建评测数据集测试检索和生成质量"
-    }
-  ]
-}
-```

package/knowledge/guides/support/ai-data-validator.md

@@ -1,276 +0,0 @@
----
-name: data-validator
-description: 当项目包含数据开发组件（ETL、数据管道、数据仓库等）时，分析数据质量、验证数据完整性、提供数据分析支持。用于数据开发的稳定、安全、效果保障。
-type: ai
----
-
-## 定位
-
-AI专用技能。为数据开发提供质量验证、分析和挖掘支持，参考AI评测方法论到数据领域。
-
-## 输入
-
-- 必须输入：数据代码路径或项目目录、数据源配置
-- 可选输入：数据质量要求、验证规则
-
-## 输出
-
-```json
-{
-  "dataSystem": {
-    "type": "etl-pipeline",
-    "components": ["data-source", "transformation", "data-warehouse"],
-    "qualityRequirements": ["completeness", "accuracy", "timeliness"]
-  },
-  "validations": [
-    {
-      "dimension": "completeness",
-      "checks": ["null_check", "missing_value_check"],
-      "thresholds": {"null_rate": 0.05}
-    },
-    {
-      "dimension": "accuracy",
-      "checks": ["range_check", "format_check"],
-      "thresholds": {"error_rate": 0.01}
-    },
-    {
-      "dimension": "timeliness",
-      "checks": ["freshness_check", "delay_check"],
-      "thresholds": {"max_delay_hours": 24}
-    }
-  ],
-  "analysisSupport": {
-    "dataProfile": true,
-    "anomalyDetection": true,
-    "trendAnalysis": false
-  },
-  "tools": {
-    "suggested": ["great-expectations", "pandas-profiling", "dbt"],
-    "reason": "这些工具支持数据质量验证和分析"
-  }
-}
-```
-
-## 执行步骤
-
-### Step 1: 识别数据系统类型（确定性）
-
-基于依赖和代码特征识别数据系统：
-
-```
-数据系统识别规则：
-- dbt: 依赖dbt，代码中有 dbt run, dbt test
-- airflow: 依赖airflow，代码中有 DAG, Task
-- spark: 依赖pyspark，代码中有 SparkSession, DataFrame
-- pandas: 依赖pandas，代码中有 read_csv, read_excel
-- etl: 自定义ETL实现
-```
-
-### Step 2: Grep获取数据处理逻辑（高效）
-
-搜索数据处理模式：
-
-```bash
-# 数据读取
-grep -r -n -A 5 "read_csv\|read_excel\|load\|fetch" --include="*.py" .
-
-# 数据转换
-grep -r -n -A 5 "transform\|aggregate\|join\|filter" --include="*.py" .
-
-# 数据写入
-grep -r -n -A 5 "to_csv\|write\|save\|export" --include="*.py" .
-```
-
-### Step 3: 分析数据质量要求（模型）
-
-基于代码上下文分析数据质量要求：
-
-```
-关注点：
-- 数据源类型和可靠性
-- 数据转换逻辑
-- 数据质量检查点
-- 错误处理机制
-```
-
-### Step 4: 设计验证方案（模型）
-
-设计数据质量验证方案：
-
-```
-验证维度：
-1. 完整性：空值、缺失记录、重复数据
-2. 准确性：格式、范围、一致性
-3. 时效性：更新频率、延迟
-4. 唯一性：主键重复、外键关联
-5. 合法性：业务规则、数据约束
-```
-
-### Step 5: 输出结果
-
-汇总数据验证方案，包括验证规则、工具建议和实施计划。
-
-## 数据质量维度
-
-### 1. 完整性 (Completeness)
-
-| 检查项 | 指标 | 方法 |
-|--------|------|------|
-| 空值检查 | null_rate | 统计null/空字符串比例 |
-| 缺失记录 | missing_count | 对比预期记录数 |
-| 重复数据 | duplicate_rate | 检查主键重复 |
-
-### 2. 准确性 (Accuracy)
-
-| 检查项 | 指标 | 方法 |
-|--------|------|------|
-| 格式检查 | format_error_rate | 正则表达式验证 |
-| 范围检查 | range_error_rate | 数值范围验证 |
-| 一致性检查 | consistency_rate | 跨表一致性验证 |
-
-### 3. 时效性 (Timeliness)
-
-| 检查项 | 指标 | 方法 |
-|--------|------|------|
-| 新鲜度 | data_freshness | 数据更新时间 |
-| 延迟 | delay_hours | 数据延迟时间 |
-| 调度 | schedule_adherence | 调度执行情况 |
-
-### 4. 唯一性 (Uniqueness)
-
-| 检查项 | 指标 | 方法 |
-|--------|------|------|
-| 主键重复 | pk_duplicate_rate | 主键唯一性 |
-| 外键关联 | fk_violation_rate | 外键完整性 |
-
-### 5. 合法性 (Validity)
-
-| 检查项 | 指标 | 方法 |
-|--------|------|------|
-| 业务规则 | business_rule_violation | 业务规则验证 |
-| 数据约束 | constraint_violation | 约束检查 |
-
-## 数据分析支持
-
-### 数据分析维度
-
-| 维度 | 说明 | 工具 |
-|------|------|------|
-| **数据画像** | 数据的基本统计信息 | pandas-profiling, sweetviz |
-| **异常检测** | 识别异常数据点 | isolation-forest, z-score |
-| **趋势分析** | 数据随时间变化趋势 | pandas, matplotlib |
-| **相关性分析** | 变量间相关关系 | pandas, seaborn |
-| **分布分析** | 数据分布特征 | histogram, boxplot |
-
-### 数据挖掘支持
-
-| 任务 | 说明 | 适用场景 |
-|------|------|----------|
-| **特征工程** | 特征提取和转换 | 机器学习准备 |
-| **数据标注** | 标注数据生成 | AI模型训练 |
-| **数据增强** | 数据扩充 | 样本不足 |
-| **数据清洗** | 脏数据处理 | 质量提升 |
-
-## 数据验证工具
-
-### 开源工具
-
-| 工具 | 说明 | 特点 |
-|------|------|------|
-| **Great Expectations** | 数据质量验证 | 声明式验证规则 |
-| **Pandas Profiling** | 数据画像 | 自动生成报告 |
-| **Dbt** | 数据转换 | SQL式ETL |
-| **Great Expectations** | 数据测试 | 集成测试 |
-| **Soda** | 数据监控 | 主动监控 |
-
-### 验证规则模板
-
-```python
-# 完整性验证
-expect_column_values_to_not_be_null("email")
-expect_column_value_lengths_to_be_between("phone", 10, 15)
-expect_table_row_count_to_be_between("orders", 1000, 1000000)
-
-# 准确性验证
-expect_column_values_to_match_regex("email", ".*@.*\\..*")
-expect_column_values_to_be_between("price", 0, 10000)
-expect_column_values_to_be_in_set("status", ["active", "inactive"])
-
-# 唯一性验证
-expect_column_values_to_be_unique("user_id")
-expect_compound_columns_to_be_unique(["order_id", "line_item_id"])
-```
-
-## 调用时机
-
-- 检测到数据系统组件时
-- 数据管道开发阶段
-- 数据质量保障需求
-- 数据分析需求
-
-## 示例
-
-**输入**：
-```
-项目目录：/project
-数据系统：dbt + snowflake
-数据源：用户行为数据
-```
-
-**Grep搜索**：
-```
-找到文件：models/users.sql, tests/schema_test.yml
-```
-
-**代码上下文**：
-```sql
--- models/users.sql
-SELECT
-    user_id,
-    email,
-    created_at,
-    status
-FROM raw_users
-WHERE status = 'active'
-```
-
-**输出**：
-```json
-{
-  "dataSystem": {
-    "type": "dbt-pipeline",
-    "components": ["raw_users", "users_model"],
-    "qualityRequirements": ["completeness", "accuracy"]
-  },
-  "validations": [
-    {
-      "dimension": "completeness",
-      "checks": ["not_null", "unique"],
-      "fields": ["user_id", "email"],
-      "thresholds": {"null_rate": 0}
-    },
-    {
-      "dimension": "accuracy",
-      "checks": ["valid_email", "valid_status"],
-      "fields": ["email", "status"],
-      "thresholds": {"error_rate": 0.01}
-    }
-  ],
-  "tools": {
-    "suggested": ["dbt-utils", "great-expectations"],
-    "reason": "与dbt集成良好"
-  }
-}
-```
-
-## 与AI评测的类比
-
-将AI评测方法论应用到数据开发：
-
-| AI评测 | 数据开发 | 说明 |
-|--------|----------|------|
-| 任务完成率 | 数据完整率 | 数据是否完整 |
-| 工具使用正确性 | 转换逻辑正确性 | ETL逻辑是否正确 |
-| 响应质量 | 数据准确性 | 数据是否准确 |
-| 基础设施噪声 | 数据源波动 | 源数据质量问题 |
-| AI-resistant评估 | 数据一致性验证 | 防止数据泄露 |