ccbot-cli 2.0.1 → 2.1.0

package/skills/domains/architecture/security-arch.md

@@ -0,0 +1,297 @@
+---
+name: security-arch
+description: 安全架构设计。零信任、身份认证、威胁建模。当用户提到安全架构、零信任、IAM、身份认证、威胁建模时使用。
+---
+
+# 🏗 阵法秘典 · 安全架构设计
+
+
+## 零信任架构
+
+```
+┌─────────────────────────────────────────────────────────────┐
+│                    零信任原则                                │
+├─────────────────────────────────────────────────────────────┤
+│  1. 永不信任，始终验证                                       │
+│  2. 最小权限访问                                             │
+│  3. 假设已被入侵                                             │
+│  4. 显式验证每个请求                                         │
+│  5. 持续监控和验证                                           │
+└─────────────────────────────────────────────────────────────┘
+```
+
+### 核心组件
+```yaml
+身份验证:
+  - 多因素认证 (MFA)
+  - 单点登录 (SSO)
+  - 证书认证
+
+设备信任:
+  - 设备健康检查
+  - 端点检测响应 (EDR)
+  - 移动设备管理 (MDM)
+
+网络分段:
+  - 微分段
+  - 软件定义边界 (SDP)
+  - 网络访问控制
+
+数据保护:
+  - 加密传输/存储
+  - 数据分类
+  - DLP
+```
+
+## 身份与访问管理 (IAM)
+
+### 认证方式
+```yaml
+密码认证:
+  - 强密码策略
+  - 密码哈希 (bcrypt/argon2)
+  - 防暴力破解
+
+多因素认证:
+  - TOTP (Google Authenticator)
+  - FIDO2/WebAuthn
+  - 短信/邮件验证码
+
+单点登录:
+  - SAML 2.0
+  - OAuth 2.0 / OIDC
+  - Kerberos
+```
+
+### 授权模型
+```yaml
+RBAC (基于角色):
+  用户 → 角色 → 权限
+  示例:
+    - admin: [read, write, delete]
+    - editor: [read, write]
+    - viewer: [read]
+
+ABAC (基于属性):
+  策略 = f(主体属性, 资源属性, 环境属性)
+  示例:
+    - 部门=财务 AND 级别>=3 → 访问财务报表
+
+PBAC (基于策略):
+  使用策略语言定义复杂规则
+  示例: OPA/Rego
+```
+
+### JWT 最佳实践
+```yaml
+签名算法:
+  - 使用 RS256 或 ES256
+  - 避免 HS256 (共享密钥)
+  - 禁止 none 算法
+
+Token 管理:
+  - 短期访问令牌 (15分钟)
+  - 长期刷新令牌 (7天)
+  - 令牌轮换
+  - 黑名单机制
+
+Claims:
+  - iss: 签发者
+  - sub: 主题
+  - aud: 受众
+  - exp: 过期时间
+  - iat: 签发时间
+  - jti: 唯一标识
+```
+
+## 威胁建模
+
+### STRIDE 模型
+```yaml
+S - Spoofing (欺骗):
+  威胁: 冒充用户身份
+  缓解: 强认证、MFA
+
+T - Tampering (篡改):
+  威胁: 修改数据
+  缓解: 完整性校验、签名
+
+R - Repudiation (抵赖):
+  威胁: 否认操作
+  缓解: 审计日志、数字签名
+
+I - Information Disclosure (信息泄露):
+  威胁: 数据泄露
+  缓解: 加密、访问控制
+
+D - Denial of Service (拒绝服务):
+  威胁: 服务不可用
+  缓解: 限流、冗余
+
+E - Elevation of Privilege (权限提升):
+  威胁: 获取更高权限
+  缓解: 最小权限、输入验证
+```
+
+### 威胁建模流程
+```
+1. 识别资产
+   └─ 数据、服务、基础设施
+
+2. 绘制数据流图
+   └─ 信任边界、数据流向
+
+3. 识别威胁
+   └─ 使用 STRIDE 分析
+
+4. 评估风险
+   └─ 可能性 × 影响
+
+5. 制定缓解措施
+   └─ 技术控制、流程控制
+
+6. 验证和迭代
+   └─ 渗透测试、代码审计
+```
+
+## 安全设计原则
+
+```yaml
+纵深防御:
+  - 多层安全控制
+  - 单点失效不致命
+
+最小权限:
+  - 仅授予必要权限
+  - 定期审查权限
+
+安全默认:
+  - 默认拒绝
+  - 显式允许
+
+失败安全:
+  - 失败时拒绝访问
+  - 不泄露敏感信息
+
+分离职责:
+  - 关键操作需多人
+  - 开发/运维分离
+```
+
+## 安全架构检查清单
+
+```yaml
+认证:
+  - [ ] 实施 MFA
+  - [ ] 密码策略
+  - [ ] 会话管理
+  - [ ] 账户锁定
+
+授权:
+  - [ ] 最小权限
+  - [ ] RBAC/ABAC
+  - [ ] API 授权
+
+数据保护:
+  - [ ] 传输加密 (TLS)
+  - [ ] 存储加密
+  - [ ] 密钥管理
+
+日志审计:
+  - [ ] 安全事件日志
+  - [ ] 访问日志
+  - [ ] 日志保护
+
+网络:
+  - [ ] 网络分段
+  - [ ] 防火墙规则
+  - [ ] WAF
+```
+
+## 数据安全
+
+### 数据分类
+| 级别 | 类型 | 保护措施 | 示例 |
+|------|------|----------|------|
+| 公开 | Public | 无特殊要求 | 产品文档 |
+| 内部 | Internal | 访问控制 | 内部Wiki |
+| 机密 | Confidential | 加密+审计 | 客户数据 |
+| 受限 | Restricted | 加密+审计+MFA | 密钥、PII |
+
+### 加密要求
+```yaml
+传输加密:
+  - TLS 1.2+（禁用 1.0/1.1）
+  - 推荐: TLS_AES_256_GCM_SHA384 / TLS_CHACHA20_POLY1305_SHA256
+  - HSTS + 证书管理
+
+存储加密:
+  - AES-256-GCM（对称）+ 密钥与数据分离（KMS/Vault）+ 定期轮换
+
+密码存储:
+  - bcrypt (rounds>=12) 或 argon2，禁止 MD5/SHA1
+```
+
+### 隐私保护
+```yaml
+数据脱敏: 姓名(张**) / 手机(138****1234) / 邮箱(z***@x.com)
+数据最小化: 只收集必要数据 / 限制保留期限 / 定期清理 / 匿名化
+生命周期: 创建(分类)→存储(加密)→使用(审计)→共享(脱敏)→归档(压缩)→销毁(安全删除)
+```
+
+### 数据安全检查清单
+```yaml
+- [ ] 数据资产清单 + 敏感数据识别 + 数据流映射
+- [ ] 传输加密 + 存储加密 + 访问控制 + 数据脱敏
+- [ ] 访问日志 + 异常检测 + DLP
+```
+
+## 合规审计
+
+### 合规框架速查
+| 框架 | 适用范围 | 核心要求 | 处罚 |
+|------|----------|----------|------|
+| GDPR | 欧盟用户数据 | 数据保护、用户权利 | 营收4%或2000万欧 |
+| SOC 2 | SaaS/云服务 | 安全、可用、机密、隐私 | 失去客户信任 |
+| HIPAA | 医疗健康数据 | PHI保护 | $50K-$1.5M/次 |
+| PCI DSS | 支付卡数据 | 持卡人数据保护 | $5K-$100K/月 |
+
+### GDPR 用户权利 (DSAR)
+| 权利 | API | SLA |
+|------|-----|-----|
+| 访问权 | `GET /users/{id}/data-export` | 30天 |
+| 删除权 | `DELETE /users/{id}/data` | 30天 |
+| 可携带权 | `GET /users/{id}/data-export?format=json` | 30天 |
+| 限制处理 | `POST /users/{id}/restrict` | 72小时 |
+
+### SOC 2 关键控制
+```yaml
+访问控制: MFA强制 + RBAC + 最小权限 + 季度审查 + 离职即撤权
+变更管理: PR审查 + 分环境部署 + 审批流程 + 回滚方案
+监控告警: 安全事件监控 + 异常登录检测 + 数据访问审计
+事件响应: IR计划文档化 + 定期演练 + 72小时通知 + 事后复盘
+```
+
+### 审计日志要求
+```yaml
+必须审计: 登录/MFA/密码变更 | 权限/角色变更 | 敏感数据访问/导出/删除 | 配置/部署变更
+存储: 不可篡改(WORM) + 加密 + 异地备份
+保留: 安全事件>=1年 / 访问日志>=90天 / 变更>=3年 / 合规审计>=7年
+```
+
+### 合规即代码 (OPA)
+```rego
+deny[msg] {
+    input.resource_type == "aws_s3_bucket"
+    input.resource.acl == "public-read"
+    msg := sprintf("S3 %s must not be public", [input.resource.name])
+}
+```
+
+### 合规检查清单
+```yaml
+GDPR: 隐私政策 + 同意管理 + DSAR(30天) + 加密 + 保留策略 + 泄露通知(72h)
+SOC2: 访问控制+MFA + 变更管理 + IR计划 + 漏洞管理 + 安全培训
+审计: 日志覆盖关键操作 + 不可篡改 + 保留期限合规
+```
+

package/skills/domains/data-engineering/SKILL.md

@@ -0,0 +1,207 @@
+---
+name: data-engineering
+description: 数据工程。Airflow、Dagster、Kafka Streams、Flink、dbt、数据管道、流处理、数据质量。当用户提到数据管道、ETL、流处理、数据质量时路由到此。
+license: MIT
+user-invocable: false
+disable-model-invocation: false
+---
+
+# 数据工程域 · Data Engineering
+
+## 域概览
+
+数据工程域涵盖数据管道编排、流式处理、数据质量保障三大核心领域。
+
+```
+数据管道层                流处理层              质量保障层
+├── Airflow (调度编排)    ├── Kafka Streams     ├── Great Expectations
+├── Dagster (资产管理)    ├── Flink             ├── dbt
+└── Prefect (现代工作流)  └── Spark Streaming   └── Soda Core
+```
+
+---
+
+## 数据管道编排
+
+### 框架对比
+
+| 特性 | Airflow | Dagster | Prefect |
+|------|---------|---------|---------|
+| 核心模型 | DAG + Task | Asset + Op | Flow + Task |
+| 学习曲线 | 陡峭 | 中等 | 平缓 |
+| 资产管理 | 无 | 原生支持 | 无 |
+| 动态任务 | 支持 | 支持 | 支持 |
+| 本地开发 | 复杂 | 简单 | 简单 |
+| 社区生态 | 最大 | 成长中 | 成长中 |
+
+### Airflow 核心模式
+
+- DAG 定义：`with DAG(dag_id, schedule, default_args) as dag`
+- TaskFlow API：`@task` 装饰器，自动 XCom 传递
+- 动态任务：`@task` + `.expand()` 实现 dynamic task mapping
+- Operators：PythonOperator / BashOperator / SQL / HTTP / S3
+- Sensors：FileSensor / HttpSensor / ExternalTaskSensor
+- 重试策略：`retries=3, retry_delay=timedelta(minutes=5), retry_exponential_backoff=True`
+- 失败回调：`on_failure_callback` 发送告警
+- SLA 监控：`sla=timedelta(hours=2)` + `sla_miss_callback`
+
+### Dagster 核心模式
+
+- Asset 定义：`@asset(group_name, deps)` 声明数据资产
+- MaterializeResult：返回元数据（行数、预览等）
+- Resources：`ConfigurableResource` 管理外部连接
+- Jobs：`define_asset_job(selection=AssetSelection.groups(...))`
+- Schedules：`ScheduleDefinition(job, cron_schedule)`
+- Sensors：`@sensor(job)` 监听外部事件触发
+- Partitions：`DailyPartitionsDefinition` 按日分区
+- Asset Checks：`@asset_check` 验证数据新鲜度/质量
+
+### Prefect 核心模式
+
+- Flow/Task：`@flow` + `@task(retries=3, cache_key_fn=task_input_hash)`
+- 并发：`ConcurrentTaskRunner` + `task.map(items)`
+- Deployments：`Deployment.build_from_flow(schedule=CronSchedule(...))`
+- Blocks：`Secret` / `JSON` 管理配置和密钥
+
+### 调度策略 Checklist
+
+- [ ] Cron 表达式正确（`0 2 * * *` 日批 / `*/15 * * * *` 实时）
+- [ ] 事件驱动：文件到达 / S3 / API 触发
+- [ ] 跨 DAG 依赖：ExternalTaskSensor / Asset deps
+- [ ] 幂等性：UPSERT / 分区覆盖写入
+- [ ] 增量处理：`WHERE updated_at > last_run`
+- [ ] 数据血缘：Dagster 原生 / Airflow Lineage / dbt ref()
+
+---
+
+## 流式处理
+
+### 框架对比
+
+| 特性 | Kafka Streams | Flink | Spark Streaming |
+|------|---------------|-------|-----------------|
+| 部署模式 | 嵌入式(JVM) | 独立集群 | 独立集群 |
+| 状态管理 | RocksDB | 内存/RocksDB | 内存 |
+| Exactly-Once | 支持 | 支持 | 支持 |
+| 窗口类型 | 丰富 | 最丰富 | 基础 |
+| 学习曲线 | 平缓 | 陡峭 | 中等 |
+| Python API | kafka-python | PyFlink | PySpark |
+
+### Kafka Streams 核心模式
+
+- 拓扑构建：`StreamsBuilder` → `stream()` → `filter/map/flatMap` → `to()`
+- 聚合：`groupByKey().count()` / `.aggregate()` / `.reduce()`
+- Join：Stream-Stream（时间窗口）/ Stream-Table / Table-Table
+- 状态存储：`Stores.persistentKeyValueStore` + Transformer
+- Exactly-Once：`PROCESSING_GUARANTEE_CONFIG = EXACTLY_ONCE_V2`
+- 性能调优：`NUM_STREAM_THREADS=4` / `CACHE_MAX_BYTES_BUFFERING` / RocksDB 配置
+
+### Flink 核心模式
+
+- DataStream API：`env.addSource()` → `filter/map` → `addSink()`
+- 窗口类型：
+  - 滚动窗口 `TumblingProcessingTimeWindows.of(Time.minutes(5))`
+  - 滑动窗口 `SlidingProcessingTimeWindows.of(size, slide)`
+  - 会话窗口 `ProcessingTimeSessionWindows.withGap(gap)`
+  - 全局窗口 `GlobalWindows.create()` + 自定义 Trigger
+- 窗口聚合：`aggregate(AggregateFunction, WindowFunction)` 增量+全窗口
+- ProcessFunction：低级 API，访问时间戳、注册定时器
+- 状态管理：ValueState / ListState / MapState + TTL 清理
+- Checkpoint：`env.enableCheckpointing(60000)` + EXACTLY_ONCE
+- Savepoint：`flink run -s /path/to/savepoint`
+- 时间语义：Event Time + Watermark（`forBoundedOutOfOrderness`）
+- 延迟数据：`allowedLateness()` + `sideOutputLateData()`
+- 数据倾斜：添加随机前缀打散 key
+
+### 流处理 Checklist
+
+- [ ] 选择时间语义：Event Time vs Processing Time
+- [ ] Watermark 策略：乱序容忍度设置
+- [ ] 窗口类型匹配业务场景
+- [ ] 状态 TTL 防止无限增长
+- [ ] Checkpoint 间隔和超时配置
+- [ ] Exactly-Once 语义端到端保证
+- [ ] 背压监控和处理
+- [ ] 并行度调优
+
+---
+
+## 数据质量
+
+### 质量维度
+
+```
+完整性(非空) → 准确性(范围) → 一致性(关联) → 及时性(新鲜度) → 有效性(格式)
+```
+
+### 工具对比
+
+| 工具 | 优势 | 适用场景 |
+|------|------|----------|
+| Great Expectations | 丰富 Expectations、Data Docs | Python 生态、复杂验证 |
+| dbt | SQL 原生、血缘追踪 | 数据仓库、转换测试 |
+| Soda Core | 简洁 YAML 配置 | 快速验证、CI/CD |
+
+### Great Expectations 核心模式
+
+- Data Context：`gx.get_context()` → 添加数据源 → 构建批次
+- 常用 Expectations：
+  - `expect_table_row_count_to_be_between(min, max)`
+  - `expect_column_values_to_not_be_null(column)`
+  - `expect_column_values_to_be_unique(column)`
+  - `expect_column_values_to_be_between(column, min, max)`
+  - `expect_column_values_to_be_in_set(column, value_set)`
+  - `expect_column_values_to_match_regex(column, regex)`
+- Checkpoints：批量运行验证 + 生成 Data Docs
+- 自定义 Expectation：继承 `ColumnMapExpectation`
+
+### dbt 测试核心模式
+
+- Schema 测试：`unique` / `not_null` / `accepted_values` / `relationships`
+- Generic 测试：`{% test name(model, column_name, params) %}`
+- Singular 测试：`tests/` 目录下自定义 SQL，返回行 = 失败
+- dbt_expectations 包：`expect_column_mean_to_be_between` / `expect_row_values_to_have_recent_data`
+- 执行：`dbt test` / `dbt test --select model` / `dbt test --store-failures`
+- 血缘：`{{ ref('model') }}` + `{{ source('schema', 'table') }}` → `dbt docs generate`
+
+### Soda Core 核心模式
+
+```yaml
+checks for table_name:
+  - row_count > 100
+  - missing_count(column) = 0
+  - duplicate_count(column) = 0
+  - invalid_count(column) = 0:
+      valid format: email
+  - freshness(timestamp_col) < 1d
+```
+
+### 数据质量 Checklist
+
+- [ ] 分层验证：源数据 → 转换后 → 目标数据
+- [ ] 完整性：必需列非空、无空字符串
+- [ ] 准确性：数值范围、格式正则、逻辑一致
+- [ ] 一致性：跨表主键匹配、值一致
+- [ ] 及时性：数据新鲜度 < 阈值
+- [ ] 唯一性：主键/业务键无重复
+- [ ] 质量指标：完整性/唯一性/有效性加权评分
+- [ ] 告警：指标低于阈值自动通知（Slack/Email/PagerDuty）
+- [ ] 持续监控：定时执行质量检查
+
+---
+
+## 最佳实践
+
+| 实践 | 说明 |
+|------|------|
+| 幂等性设计 | UPSERT / 分区覆盖，重跑不产生副作用 |
+| 增量处理 | 基于时间戳/CDC 增量提取，减少全量扫描 |
+| 数据血缘 | dbt ref() / Dagster Asset deps 追踪上下游 |
+| 分层验证 | 源→转换→目标每层都验证 |
+| 监控告警 | 管道 SLA + 质量指标 + 延迟告警 |
+| 状态管理 | 流处理状态 TTL + Checkpoint + Savepoint |
+| 容错设计 | 重试策略 + 死信队列 + 回滚方案 |
+
+## 触发词
+
+数据管道、Airflow、Dagster、Prefect、ETL、流处理、Kafka Streams、Flink、数据质量、Great Expectations、dbt、数据验证、数据血缘

package/skills/domains/development/SKILL.md

@@ -0,0 +1,46 @@
+---
+name: development
+description: 开发语言能力索引。Python、Go、Rust、TypeScript、Java、C++、Shell。当用户提到编程、开发、代码、语言时路由到此。
+license: MIT
+user-invocable: false
+disable-model-invocation: false
+---
+
+# 符箓秘典 · 开发语言能力中枢
+
+## 能力矩阵
+
+| Skill | 语言 | 核心能力 |
+|-------|------|----------|
+| [python](python.md) | Python | Web框架、数据处理、自动化 |
+| [go](go.md) | Go | 高并发、微服务、云原生 |
+| [rust](rust.md) | Rust | 系统编程、内存安全、高性能 |
+| [typescript](typescript.md) | TS/JS | 前后端、Node.js、React/Vue |
+| [java](java.md) | Java | 企业级、Spring、微服务 |
+| [cpp](cpp.md) | C/C++ | 系统底层、性能优化 |
+| [shell](shell.md) | Bash | 脚本自动化、系统管理 |
+
+## 语言选型指南
+
+```yaml
+Web 后端:
+  - 快速开发: Python (FastAPI/Django)
+  - 高性能: Go (Gin/Echo)
+  - 企业级: Java (Spring Boot)
+
+Web 前端:
+  - SPA: TypeScript + React/Vue
+  - SSR: Next.js/Nuxt.js
+
+系统编程:
+  - 内存安全: Rust
+  - 传统: C/C++
+
+脚本自动化:
+  - 通用: Python
+  - 系统: Bash/Shell
+
+安全工具:
+  - 快速原型: Python
+  - 高性能: Go/Rust
+```