datasentry-ai 0.1.0__tar.gz

datasentry_ai-0.1.0/.github/workflows/ci.yml

@@ -0,0 +1,105 @@
+name: CI
+
+on:
+  push:
+    branches: [main]
+  pull_request:
+
+jobs:
+  test:
+    runs-on: ubuntu-latest
+    timeout-minutes: 20
+    env:
+      PYTHON_VERSION: "3.12"
+    steps:
+      - uses: actions/checkout@v4
+
+      - name: Install uv
+        uses: astral-sh/setup-uv@v5
+
+      - name: Set up Python
+        uses: actions/setup-python@v5
+        with:
+          python-version: ${{ env.PYTHON_VERSION }}
+
+      - name: Install dependencies
+        run: uv sync --frozen
+
+      - name: 1 · ruff lint
+        run: uv run ruff check .
+
+      - name: 2 · ruff format check
+        run: uv run ruff format --check .
+
+      - name: 3 · mypy --strict (datasentry_core + datasentry)
+        run: uv run mypy packages/core/src/datasentry_core src/datasentry
+
+      - name: 4 · pytest + coverage gate (>=85%)
+        run: uv run pytest --cov=datasentry_core --cov-fail-under=85 --cov-report=term --cov-report=xml
+
+      - name: 5 · upload coverage artifact
+        uses: actions/upload-artifact@v4
+        with:
+          name: coverage-xml
+          path: coverage.xml
+
+      - name: 6 · M9 demo smoke (budget 180s)
+        run: uv run python examples/demo/demo.py --rows 2000
+
+      - name: 7 · benchmark (1e6 rows, <=60s gate)
+        run: uv run python benchmarks/bench_scan.py 1000000
+
+      - name: 8 · CLI smoke (scan + report + exit code)
+        run: |
+          set -e
+          TMP=$(mktemp -d)
+          uv run python - <<'EOF'
+          from pathlib import Path
+          from datasentry import DataSentry
+          import tempfile
+          p = Path(tempfile.mkdtemp()) / "d.csv"
+          p.write_text("id,name\n1,alice\n2,bob\n")
+          c = DataSentry(project=p.parent / "ws")
+          try:
+              run, _, _ = c.scan_file(p)
+              r = c.export_report(run.id)
+              assert r["scan"]["fingerprint"]["row_count"] == 2
+          finally:
+              c.close()
+          EOF
+
+      - name: 9 · API + UI smoke (container-free)
+        run: |
+          set -e
+          uv run python - <<'EOF'
+          from fastapi.testclient import TestClient
+          from datasentry.api import create_app
+          c = TestClient(create_app())
+          assert c.get("/health").json()["ok"] is True
+          assert c.get("/ui/").status_code == 200
+          print("api+ui smoke ok")
+          EOF
+
+      - name: 10 · artifact check (report files exist)
+        run: |
+          set -e
+          TMP=$(mktemp -d)
+          uv run python examples/demo/demo.py --rows 500 --out "$TMP" >/dev/null
+          test -f "$TMP/report.json"
+          test -f "$TMP/report.html"
+          test -f "$TMP/customers.csv"
+          echo "artifacts ok"
+
+      - name: 11 · wheel build + isolated install smoke (both packages)
+        run: |
+          set -e
+          uv build
+          uv build packages/core
+          SMOKE=$(mktemp -d)
+          uv venv "$SMOKE/venv"
+          uv pip install --python "$SMOKE/venv/bin/python" \
+            dist/datasentry_ai-*.whl dist/datasentry_core-*.whl
+          TMP=$(mktemp -d)
+          printf 'name,price\n" alice ",10\nbob,n/a\n' > "$TMP/d.csv"
+          "$SMOKE/venv/bin/datasentry" --project "$TMP/ws" scan "$TMP/d.csv" >/dev/null
+          "$SMOKE/venv/bin/datasentry" --version

datasentry_ai-0.1.0/.github/workflows/pages.yml

@@ -0,0 +1,36 @@
+name: Deploy GitHub Pages
+
+on:
+  push:
+    branches: [main]
+  workflow_dispatch:
+
+permissions:
+  contents: read
+  pages: write
+  id-token: write
+
+concurrency:
+  group: pages
+  cancel-in-progress: true
+
+jobs:
+  deploy:
+    runs-on: ubuntu-latest
+    environment:
+      name: github-pages
+      url: ${{ steps.deployment.outputs.page_url }}
+    steps:
+      - uses: actions/checkout@v4
+
+      - name: Configure Pages
+        uses: actions/configure-pages@v5
+
+      - name: Upload site (docs/)
+        uses: actions/upload-pages-artifact@v3
+        with:
+          path: docs
+
+      - name: Deploy to GitHub Pages
+        id: deployment
+        uses: actions/deploy-pages@v4

datasentry_ai-0.1.0/.github/workflows/publish.yml

@@ -0,0 +1,39 @@
+name: Publish to PyPI
+
+on:
+  workflow_dispatch:
+  push:
+    tags:
+      - 'v*'
+
+permissions:
+  id-token: write
+  contents: read
+
+jobs:
+  publish:
+    name: Build + publish wheels to PyPI
+    runs-on: ubuntu-latest
+    environment: pypi
+    steps:
+      - uses: actions/checkout@v4
+
+      - name: Install uv
+        uses: astral-sh/setup-uv@v5
+
+      - name: Set up Python
+        uses: actions/setup-python@v5
+        with:
+          python-version: '3.12'
+
+      - name: Build both packages
+        run: |
+          uv build
+          uv build packages/core
+          ls -la dist/
+
+      - name: Publish to PyPI
+        uses: pypa/gh-action-pypi-publish@release/v1
+        with:
+          packages-dir: dist/
+          skip-existing: true

datasentry_ai-0.1.0/.gitignore

@@ -0,0 +1,32 @@
+# Python
+__pycache__/
+*.py[cod]
+*.egg-info/
+.venv/
+dist/
+build/
+.coverage
+htmlcov/
+.pytest_cache/
+.ruff_cache/
+.mypy_cache/
+hypothesis/
+.hypothesis/
+
+# Project data
+.datasentry/
+*.db
+*.sqlite3
+
+# Env / secrets
+.env
+credentials.json
+
+# OS
+.DS_Store
+
+# Editors
+.idea/
+.vscode/
+~$*
+workspace/

datasentry_ai-0.1.0/.python-version

@@ -0,0 +1 @@
+3.12

datasentry_ai-0.1.0/CHANGELOG.md

@@ -0,0 +1,87 @@
+# Changelog
+
+本项目的所有显著变更按时间倒序列出。格式基于
+[Keep a Changelog](https://keepachangelog.com/zh-CN/1.1.0/)，
+版本号遵循 [Semantic Versioning](https://semver.org/lang/zh-CN/)。
+
+## [0.1.0] - 2026-08-09
+
+MVP 里程碑：九项硬性验收 M1–M9 全达成（36+ 检测器、融合评分、
+质量门禁、修复闭环、报告引擎、Docker、CI 十阶段、M9 Demo）。
+V1 收官：漂移引擎、跨表完整性、AI 修复候选、MCP 生态面、趋势 UI。
+
+### 新增（Step 32–45，V1 收官）
+
+- **Step 45**：跨扫描趋势 UI —— `/ui/trends` 质量分趋势页
+  （纯函数数据层 `trends.build_trends`，ADR-045）
+- **Step 44**：AI 修复候选 —— `repair propose --ai`，LLM 在
+  检测器对应的操作白名单内生成操作/参数/理由（脱敏 + 审计 +
+  缓存，ADR-044）
+- **Step 43**：MCP stdio 服务器 —— 零依赖 JSON-RPC 2.0，
+  `datasentry mcp` 7 工具供 LLM 代理调用（ADR-043）
+- **Step 42**：模型异常检测 —— IsolationForest / LOF 单变量
+  离群（`ScanConfig.detector_params`，scikit-learn 依赖，
+  ADR-042）
+- **Step 41**：模糊重复检测 —— 归一化分组（大小写/标点/全半角），
+  uniqueness Level 3（ADR-041）
+- **Step 40**：跨表外键完整性 —— `Contract.references` +
+  `ForeignKeyViolationDetector`（DuckDB LEFT JOIN 孤儿行，
+  ADR-040）
+- **Step 39**：漂移引擎 —— `drift compare/latest`，两历史扫描
+  schema/行数/分数/issue 分布四类信号（ADR-039）
+- **Step 38**：DuckDB 文件连接器 —— `.duckdb` READ_ONLY ATTACH
+  + `scan --table`（ADR-038）
+- **Step 37**：契约导出 —— `contract export --as pandera|ge`
+  （ADR-037）
+- **Step 36**：CI 报告导出 —— JUnit / SARIF 两格式（ADR-036）
+- **Step 35**：契约门禁修复证据释放 —— gate 报告携带修复建议
+  （ADR-035）
+- **Step 34**：电商订单域多文件场景演示（契约 + 门禁 + 修复闭环
+  真实化，ADR-034）
+- **Step 33**：产品 README 用户优先重构 + 路线图（ADR-033）
+- **Step 32**：发布工程 —— wheel 构建、元数据、changelog
+  （ADR-032）
+
+### 新增（Step 25–31，V1 第一阶段收尾）
+
+- **Step 31**：检测器插件 API v1 —— `load_plugin_detectors`
+  目录动态加载（Detector 协议发现）、`<workspace>/plugins/`
+  自动加载、CLI `datasentry detectors`（ADR-031）
+- **Step 30**：危险规则批准安全阀门 —— `rules approve --file`
+  重跑预运行复核，dangerous 规则需 `--force` 才激活（ADR-030）
+- **Step 29**：Ollama 原生 `/api/generate` 接入 + 超时重试统一
+  （`_post_with_retry` 共享辅助）（ADR-029）
+- **Step 28**：自然语言 → 规则候选 —— propose 脱敏画像 → LLM
+  严格 JSON → 预运行报告 → 候选落库待批 → approve 转正；
+  `llm_cache` prompt 哈希复用（ADR-028）
+- **Step 27**：LLM Provider 抽象（core 零网络接口）+
+  确定性 PII 脱敏管线 + 审计闭环 `llm status/invocations`
+  （ADR-027）
+- **Step 26**：工程收尾 —— Apache-2.0 LICENSE、
+  CONTRIBUTING.md、Makefile、Dockerfile + compose、
+  CI 十阶段（ADR-026）
+- **Step 25**：M9 Demo 单脚本（5000 行 5.4s，预算内可复现）
+  （ADR-025）
+
+### 新增（Step 1–24，MVP 主体）
+
+- 36+ 检测器：缺失模式族（4 核心）、日期时间族（6 核心）、
+  表示变体与编码（spelling/fullwidth/mojibake/invalid_numeric）、
+  跨字段规则（受限安全表达式求值，ADR-015）等
+- 证据驱动融合 + 六维质量评分（27 章归一化，ADR-013）
+- 质量门禁 `scan --fail-on`（22 章场景 C，ADR-014）
+- 修复闭环：propose → preview → apply → rollback（15 章，
+  ADR-020）
+- 报告引擎：JSON / Markdown / HTML 三形态（26 章）
+- 多格式连接器：CSV / Parquet / JSONL / XLSX（7.1，ADR-019）
+- 契约引擎（跨表/多文件约束，C-04）
+- REST API（FastAPI 单工作区门面，ADR-023）+ Web UI
+  （服务端渲染五核心页，ADR-024）
+- 性能基准：1e6 行双档判定（20.4，ADR-021/022）
+
+### 工程
+
+- Python >= 3.12，DuckDB 执行引擎（ADR-005/007）
+- 门禁：ruff + mypy --strict + pytest 覆盖率 >= 85%
+  （当前 522 例，95%）
+- Docker 一键启动（`datasentry-server` 入口）

datasentry_ai-0.1.0/CONTRIBUTING.md

@@ -0,0 +1,54 @@
+# 贡献指南
+
+欢迎为 DataSentry 贡献代码。本项目按《产品设计与开发 Prompt 完整版 v2.0》
+的开发流程演进（Step 阶段 + 3 连绿门禁），所有改动遵循下述约定。
+
+## 开发环境
+
+```bash
+uv sync                 # 安装依赖（Python 3.12+，uv 项目工作区）
+make check              # 门禁：lint + type + test（覆盖率 ≥ 85%）
+make check-all          # 门禁 + M9 Demo + 性能基准
+```
+
+## 门禁（必须全绿方可提交）
+
+| 目标 | 内容 |
+| --- | --- |
+| `make lint` | ruff check + ruff format --check |
+| `make type` | mypy --strict（datasentry_core + datasentry，69+ 文件 0 错误） |
+| `make test` | pytest 全套 + coverage 门禁（--cov-fail-under=85） |
+| 3 连绿 | 提交前连续 3 次全量门禁通过（防 flaky） |
+
+## 代码约定
+
+- 类型标注：全量 mypy --strict（新代码必须通过严格类型检查）
+- 风格：ruff 默认 + E/F/W/I/UP/B/SIM/RUF 规则集；100 列
+- 全角标点豁免：中文报告/文案（RUF002/003 全局忽略；RUF001 按
+  per-file-ignores 豁免 benchmarks、examples/demo、ui.py）
+- 测试：pytest + coverage；新增功能必须带测试，覆盖新代码路径
+- ADR：架构级决策（数据模型、接口契约、跨包改动）须在
+  `docs/00-设计裁决记录-ADR.md` 追加 ADR 条目再实现
+
+## 提交规范
+
+- 单步单提交：一个 Step 的成果一次提交，消息含 Step 编号
+  （如 `feat: REST API single-workspace facade (Step 23, ADR-023)`）
+- 禁止提交机密：密钥、令牌、客户数据一律不进仓库
+- 提交前检查：`git status` + `git diff` 确认只含本步文件
+
+## 新增检测器 / 规则
+
+1. 在 `packages/core/src/datasentry_core/detectors/` 实现（含规则元数据）
+2. 加入 DETECTOR_REGISTRY 与 BenchRunner 预算表（ADR-007）
+3. 测试：detector 单测 + 集成回归（tests/test_integration.py 同款）
+4. README 检测器表格更新计数（当前 36）
+
+## 性能与基准
+
+- `make bench`（benchmarks/bench_scan.py）：1e6 行全量扫描 ≤ 60s 为验收档
+- 引入新依赖（尤其是 C 扩展）须说明对扫描预算的影响
+
+## 许可证
+
+Apache-2.0。提交代码即表示同意以 Apache-2.0 许可发布您的贡献。