xforge 0.4.3__tar.gz

xforge-0.4.3/PKG-INFO

@@ -0,0 +1,10 @@
+Metadata-Version: 2.4
+Name: xforge
+Version: 0.4.3
+Summary: XForge — 穿透式监管规则锻造平台 | Penetrating Supervision Rule Forge
+Requires-Python: >=3.10
+Requires-Dist: textual>=0.52
+Requires-Dist: duckdb>=0.9
+Requires-Dist: polars>=0.19
+Requires-Dist: openpyxl>=3.1
+Requires-Dist: pyyaml>=6.0

xforge-0.4.3/README.md

@@ -0,0 +1,198 @@
+# XForge — 穿透式监管规则全生命周期管理平台
+
+规则的全生命周期管理中心：Excel 导入 → 状态匹配 → 编写 SQL → 审批部署 → DuckDB 直接执行 → 预警工单。
+
+**执行架构：** DuckDB in-process 直接执行 SQL，不再通过 subprocess 调用外部 regula。DSL 导出作为兼容层保留。
+
+## 快速开始
+
+```bash
+git clone ssh://git@codeberg.org/songwupei/RuleForge.git
+cd RuleForge
+cp config.yaml.example config.yaml   # 按需修改 Excel 路径和数据绑定
+pip install -e "."
+
+# 导入规则（从规则手册 Excel）
+python scripts/import_rules.py --excel --clear
+
+# 启动 TUI
+python -m src.app
+```
+
+## 依赖
+
+| 依赖 | 要求 | 
+|------|------|
+| textual | ≥0.52 |
+| duckdb | ≥0.9 |
+| polars | ≥0.19 |
+| openpyxl | ≥3.1 |
+| pyyaml | ≥6.0 |
+
+## 界面
+
+```
+┌─ 统计面板 (可拖拽) ─┬─ 快速筛选 ─────────────────────────────┐
+│ 📊 筛选统计          │ [问题乱象▼] [状态▼]                    │
+│                     │ 📋 条件筛选                             │
+│ 按问题乱象           │ [字段▼] [运算符▼] [值___] [✕]          │
+│ 靠企吃企   6 ████   │ [+条件] [搜索] [重置]                  │
+│ 过度负债  11 ████   │ ─────────────────────────────────────  │
+│ ...                 │ │模型代码│模型名称│问题乱象│规则序号│..│
+│                     │ │KQCQ_11│假期开票│靠企吃企│KQCQ_11_1│  │
+│ 按状态              │ │...    │...    │...    │...     │   │
+│ 🟢生效中  19 ████   │                                        │
+│ 🔍审核中  28 ████   │                                        │
+│ 📝草稿   131 ████   │                                        │
+└─────────────────────┴────────────────────────────────────────┘
+```
+
+## 快捷键
+
+| 键 | 功能 |
+|----|------|
+| `Enter` | 查看规则详情（6维度 + 版本历史） |
+| `e` | 编辑规则 |
+| `n` | 新建规则 |
+| `a` | 推进状态（draft→review→approved→deployed→active） |
+| `s` | 暂停 |
+| `r` | 回退 |
+| `Backspace` | 废弃 |
+| `f` | 聚焦条件筛选 |
+| `[` / `]` | 面板变窄/变宽 |
+| 鼠标拖 `┃` | 调整面板宽度 |
+| `x` | 执行规则（异步，不阻塞 UI） |
+| `t` | 执行历史：全部/汇总切换 |
+
+| `ctrl+1~6` | 切换 Tab |
+| `?` | 帮助 |
+
+## 命令行工具
+
+```bash
+# 导入规则（从 Excel 规则手册，--clear 清空重导）
+python scripts/import_rules.py --excel --clear
+
+# 导入 SQL 文件（按 sub_code 匹配）
+python scripts/import_sql_files.py
+
+# 执行中心（交互式多选 + 实时进度 + 自动备份 + 日志）
+python scripts/run_center.py              # 交互选择
+python scripts/run_center.py --all        # 全部有 SQL 的规则
+python scripts/run_center.py --all --clear  # 清空旧数据后全部执行
+
+# 改写 MySQL SQL 为 DuckDB 语法
+python scripts/rewrite_sql_duckdb.py
+
+# 导出 DSL
+python scripts/export_dsl.py [--model 靠企吃企] [--status active]
+
+# 生成规则手册（7 步模板 + AI 增强 + PDF/DOCX，默认全部开启）
+python scripts/generate_rule_manual.py --all               # 默认：AI, -ai后缀, PDF+DOCX, 已有跳过
+python scripts/generate_rule_manual.py --all --no-ai       # 仅 SQL 解析，不调 AI
+python scripts/generate_rule_manual.py --all --no-pdf      # 仅生成 DOCX
+python scripts/generate_rule_manual.py --all --suffix ''    # 文件名不加 -ai 后缀
+python scripts/generate_rule_manual.py --all --force        # 强制重生成 md
+
+# 一键生成全部规则手册（AI 增强 + PDF/DOCX + 自动备份）
+./make_all_manual.sh                  # 全部流程
+./make_all_manual.sh --no-ai          # 跳过 AI
+./make_all_manual.sh --no-pdf         # 仅生成 md + docx
+./make_all_manual.sh --rule KQCQ_12   # 仅指定规则
+```
+
+> **规则手册生成**：`generate_rule_manual.py` 从数据库读取规则 / SQL / 执行历史，按 7 步模板生成 Markdown。默认启用 AI 从 SQL 反向解读业务逻辑（`$OPENAI_API_KEY` + `$OPENAI_BASE_URL` 自动适配 DeepSeek/OpenAI），`--no-ai` 关闭。默认同时输出 PDF + DOCX，`--no-pdf` / `--no-docx` 排除。已有文件自动跳过，`--force` 强制重生成。`make_all_manual.sh` 一键执行 + 自动备份到 `data/manual/backups/`。
+
+## 规则状态流转
+
+规则从录入到退役的完整生命周期，共 8 种状态：
+
+```
+  draft ──→ review ──→ approved ──→ deployed ──→ active ⇄ suspended
+    ↑          ↑           ↑            ↑           ↑
+    └──────────┴───────────┴────────────┴───────────┘  (r 回退)
+                           ↑
+                     deprecated ──→ retired
+```
+
+| 状态 | 图标 | 含义 | 判定来源 |
+|------|------|------|----------|
+| `draft` | 📝 | 草稿 | 默认状态；开发状态未匹配到其他规则 |
+| `review` | 🔍 | 审核中 | Excel 开发状态含「待主责部门确认」（28 条） |
+| `active` | 🟢 | 生效中 | Excel 开发状态含「已上线」（19 条） |
+
+> **状态初值由 Excel 概览 sheet 的「开发状态」字段决定**，通过 `config.yaml` 的 `status_rules` 关键词匹配。其余状态（approved/deployed/suspended/deprecated/retired）在 TUI 中手动流转。
+
+**推进路径（`a`）：** draft → review → approved → deployed → active
+**回退（`r`）：** 任一步骤逆向前一步
+**废弃（`Backspace`）：** → deprecated → retired
+
+## 6维度规则模型
+
+| 维度 | 内容 | 示例 |
+|------|------|------|
+| 1. 管理要求 | 国资委文件/内部制度 | 国资委《关于加强中央企业资金管理有关事项的通知》 |
+| 2. 规则解读 | 业务语言翻译 | 集团合并货币资金<50亿 且 货币资金/带息负债<3% |
+| 3. 系统及字段 | 数据源、表名、字段 | 司库系统 → account_balance → 货币资金余额 |
+| 4. SQL代码 | 可执行查询 | `SELECT ... WHERE cash < 50e8` |
+| 5. 输出结果 | 预警记录结构 | alert_record(rule_id, corp_code, metric_value) |
+| 6. 输出解读 | 业务核查指南 | 比值<3%表明现金紧张，需核查资金归集情况 |
+
+## 配置说明
+
+`config.yaml` 核心配置项：
+
+```yaml
+# Excel 导入
+excel:
+  excluded_sheets: [封皮, 封面, ...]    # 跳过的 sheet
+  excluded_models: [军品工资奖金套取, ...]  # 排除的问题乱象
+  column_mapping: {规则代码: rule_code, ...}  # 默认列映射
+  sheet_mappings:                     # 特定 sheet 覆盖映射
+    概览: {模型: model_name, 开发状态: dev_status, ...}
+  status_rules:                       # 开发状态→生命周期状态
+    - keyword: "已上线"
+      status: "active"
+    - keyword: "待主责部门确认"
+      status: "review"
+
+# UI 术语
+terminology:
+  model: "问题乱象"
+  rule_code: "模型代码"
+  rule_name: "模型名称"
+  rule_interpretation: "规则要点"
+```
+
+## Roadmap
+
+### ✅ v0.3.1 — 全部完成
+
+- [x] 6 Tab TUI（仪表盘/查询/审批/执行/预警/分析）
+- [x] 执行中心（交互式多选 + 实时进度 + DB 自动备份 + 日志）
+- [x] 分析 Tab（覆盖率/触发率/SLA 时效/执行趋势 + 手动更新）
+- [x] 仪表盘积压告警（>7/14 天红色标记）
+- [x] 执行历史全部/汇总切换（t 键）
+- [x] 异步执行（不阻塞 UI）+ 耗时用分秒显示
+- [x] 概览 sheet 独立列映射 + 开发状态→生命周期状态自动匹配
+- [x] 配置驱动的术语系统 + 排除清单
+- [x] 完整子代码（sub_code）支持
+- [x] 延续行 logic 拼接（不丢多行规则解析）
+- [x] Textual 6.x/8.x NoSelection 兼容
+- [x] KQCQ_10_2 SQL 优化 (390s→4s, CTE+coalesce)
+- [x] 跨批次去重 (同批次不去重, 不同批次相同数据跳过)
+- [x] 设置 Tab (一键备份/还原 + 执行中心快捷入口)
+- [x] 启动环境检测 (startup_check)
+
+### ✅ v0.3.4 — 全部完成
+
+- [x] 字段名映射表：从附件1 parquet 完整提取（80 表 1679 字段，覆盖率 62%→100%），CSV 格式优先加载
+- [x] parquet 直查 SQL（`rules_dsl/sql/parquet/`）：`generate_parquet_sql.py` 自动生成，列名中文 + `read_parquet()` 自包含
+- [x] 设置 Tab：SQL 导入 + MySQL→DuckDB 转换 + 映射表状态/刷新缓存
+- [x] 审批/执行/预警三个 Tab 新增「规则序号」列
+- [x] 预警工单批量多选修复（`update_cell` 单格更新，不重建表格）
+- [x] Header 显示版本号（自动读取 pyproject.toml）
+- [x] SQL 导入过滤 TODO 占位文件
+- [x] sql_adapter 精确匹配优先 + 模糊匹配日志 + `发票代码→fpdm, 单位→dw` 修正
+- [x] filepulse 自动同步映射表到 RuleForge（kedro hook 集成）
+- [x] 删除重复 `data/rules_dsl/` 目录

xforge-0.4.3/pyproject.toml

@@ -0,0 +1,25 @@
+[project]
+name = "xforge"
+version = "0.4.3"
+description = "XForge — 穿透式监管规则锻造平台 | Penetrating Supervision Rule Forge"
+requires-python = ">=3.10"
+dependencies = [
+    "textual>=0.52",
+    "duckdb>=0.9",
+    "polars>=0.19",
+    "openpyxl>=3.1",
+    "pyyaml>=6.0",
+]
+
+[project.scripts]
+xforge = "src.app:main"
+xforge-import = "scripts.import_rules:main"
+xforge-export = "scripts.export_dsl:main"
+xforge-manual = "scripts.generate_rule_manual:main"
+
+[build-system]
+requires = ["setuptools>=68"]
+build-backend = "setuptools.build_meta"
+
+[tool.setuptools.packages.find]
+include = ["src*", "scripts*"]

xforge-0.4.3/scripts/export_dsl.py

@@ -0,0 +1,60 @@
+#!/usr/bin/env python3
+"""一键导出：SQLite 规则 → regula DSL JSON 文件。
+
+Usage:
+    python scripts/export_dsl.py
+    python scripts/export_dsl.py --model 靠企吃企
+    python scripts/export_dsl.py --status approved
+    python scripts/export_dsl.py --rule-id 1 --rule-id 2
+"""
+
+from __future__ import annotations
+
+import sys
+from pathlib import Path
+
+_PROJECT_ROOT = Path(__file__).resolve().parent.parent
+if str(_PROJECT_ROOT) not in sys.path:
+    sys.path.insert(0, str(_PROJECT_ROOT))
+
+from src.database.connection import init_db
+from src.services.export_service import export_to_dsl
+
+
+def main() -> None:
+    import argparse
+
+    parser = argparse.ArgumentParser(
+        description="导出规则 → regula DSL JSON"
+    )
+    parser.add_argument("--model", "-m", type=str, help="按模型筛选")
+    parser.add_argument("--status", "-s", type=str, help="按状态筛选")
+    parser.add_argument("--rule-id", type=int, action="append", dest="rule_ids",
+                        help="指定规则 ID（可重复）")
+    args = parser.parse_args()
+
+    init_db()
+
+    result = export_to_dsl(
+        rule_ids=args.rule_ids,
+        model=args.model,
+        status=args.status,
+    )
+
+    print(f"[export] 完成: 生成 {result.generated}, 失败 {result.failed}")
+    if result.files:
+        print(f"[export] 输出目录: {result.files[0].parent}")
+        for f in result.files[:10]:
+            print(f"  - {f.name}")
+        if len(result.files) > 10:
+            print(f"  ... 共 {len(result.files)} 个文件")
+
+    if result.errors:
+        print(f"\n[export] 错误 ({len(result.errors)}):")
+        for err in result.errors[:10]:
+            print(f"  - {err}")
+        sys.exit(1)
+
+
+if __name__ == "__main__":
+    main()

xforge-0.4.3/scripts/generate_parquet_sql.py

@@ -0,0 +1,195 @@
+#!/usr/bin/env python3
+"""从 rules_dsl/sql/*.sql 生成 parquet 直查版 SQL → rules_dsl/sql/parquet/
+
+转换规则：
+- ml_kqcq_zzsfp: 拼音别名 → 中文 parquet 列名 (read_parquet)
+- ml_cd_company / ml_base_fdjjr / ml_base_fdjjr_bx: 列名不变
+- 保留 DuckDB 语法 (string_agg, regexp_matches, any_value 等)
+- 跳过注释行，避免旧代码块被误转换
+"""
+
+from __future__ import annotations
+
+import re
+import sys
+from pathlib import Path
+
+_PROJECT_ROOT = Path(__file__).resolve().parent.parent
+if str(_PROJECT_ROOT) not in sys.path:
+    sys.path.insert(0, str(_PROJECT_ROOT))
+
+import polars as pl
+import yaml
+
+from src.services.sql_adapter import build_column_map
+
+SQL_DIR = _PROJECT_ROOT / "rules_dsl" / "sql"
+PARQUET_OUT_DIR = SQL_DIR / "parquet"
+CONFIG_PATH = _PROJECT_ROOT / "config.yaml"
+
+# 补充修正：build_column_map 模糊匹配会误伤的列
+# parquet 列名 → 正确拼音别名（覆盖 build_column_map 的错误结果）
+_ALIAS_FIXES: dict[str, dict[str, str]] = {
+    "ml_kqcq_zzsfp": {
+        "发票代码": "fpdm",    # 发票代码，模糊匹配错映射到 fphm(发票号码)
+        "单位": "dw",          # 计量单位，模糊匹配错映射到 xfdwmc(销方名称)
+    },
+}
+
+
+def load_config() -> dict:
+    with open(CONFIG_PATH, encoding="utf-8") as f:
+        return yaml.safe_load(f) or {}
+
+
+def build_subquery(table_name: str, parquet_path: str) -> str:
+    """为一张表生成 read_parquet 子查询，保证别名唯一。
+
+    返回: 子查询 SQL 文本
+    格式:
+        (SELECT "开票日期" AS kpsj, ... FROM read_parquet('/path'))
+    """
+    pq_path = str(Path(parquet_path).resolve())
+    df = pl.read_parquet(pq_path)
+    parquet_cols = list(df.columns)
+    fixes = _ALIAS_FIXES.get(table_name, {})
+
+    select_parts = []
+    used_aliases: set[str] = set()
+    dup_count: dict[str, int] = {}
+
+    if table_name == "ml_kqcq_zzsfp":
+        # 直接用 sql_adapter.build_column_map（读取 _MAPPING_FILE + 手动修正 + 模糊匹配）
+        col_map = build_column_map(table_name, parquet_cols)
+
+        for pc in parquet_cols:
+            # 覆盖修正优先
+            if pc in fixes:
+                alias = fixes[pc]
+            else:
+                alias = col_map.get(pc, pc)
+
+            # 去重：同一别名出现多次时，第一个保留，后续加 _2, _3...
+            if alias in used_aliases:
+                dup_count[alias] = dup_count.get(alias, 1) + 1
+                alias = f"{alias}_{dup_count[alias]}"
+            used_aliases.add(alias)
+
+            select_parts.append(f'    "{pc}" AS {alias}')
+    else:
+        for pc in parquet_cols:
+            select_parts.append(f'    "{pc}" AS "{pc}"')
+
+    col_list = ",\n".join(select_parts)
+    return (
+        f"(\n"
+        f"  SELECT\n"
+        f"{col_list}\n"
+        f"  FROM read_parquet('{pq_path}')\n"
+        f")"
+    )
+
+
+def _is_comment_line(line: str) -> bool:
+    """判断是否为纯注释行。"""
+    stripped = line.strip()
+    return stripped.startswith('--') or stripped == ''
+
+
+def replace_table_refs(sql: str, data_bindings: dict[str, str]) -> str:
+    """替换 SQL 中所有表引用为 read_parquet 子查询（跳过注释行）。"""
+    lines = sql.split('\n')
+    result_lines: list[str] = []
+
+    for line in lines:
+        if _is_comment_line(line):
+            result_lines.append(line)
+            continue
+
+        modified = line
+        for table_name, pq_path in sorted(
+            data_bindings.items(), key=lambda x: -len(x[0])
+        ):
+            subquery = build_subquery(table_name, pq_path)
+
+            # 模式: (FROM|JOIN) table_name alias → 替换
+            pattern = re.compile(
+                rf'\b((?:FROM|JOIN)\s+){re.escape(table_name)}\s+(\w+)\b',
+                re.IGNORECASE,
+            )
+            modified = pattern.sub(
+                lambda m, sq=subquery: (
+                    f"{m.group(1)}{sq} AS {m.group(2)}"
+                ),
+                modified,
+            )
+
+            # 模式: FROM table_name 无别名 (CTE 内等) → 自动生成别名
+            pattern_no_alias = re.compile(
+                rf'\b(FROM\s+){re.escape(table_name)}\b(?!\s+\w)',
+                re.IGNORECASE,
+            )
+            modified = pattern_no_alias.sub(
+                lambda m, sq=subquery, tn=table_name: (
+                    f"{m.group(1)}{sq} AS _{tn}"
+                ),
+                modified,
+            )
+
+        result_lines.append(modified)
+
+    return '\n'.join(result_lines)
+
+
+def _strip_comments(sql: str) -> str:
+    """去掉 SQL 注释行，返回纯净的 SQL 语句。"""
+    lines = []
+    for line in sql.split('\n'):
+        stripped = line.strip()
+        if stripped.startswith('--'):
+            continue
+        lines.append(line)
+    return '\n'.join(lines).strip().rstrip(';')
+
+
+def main() -> None:
+    config = load_config()
+    data_bindings = config.get("data_bindings", {})
+    if not data_bindings:
+        print("[generate] config.yaml 中无 data_bindings 配置，退出")
+        return
+
+    PARQUET_OUT_DIR.mkdir(parents=True, exist_ok=True)
+
+    sql_files = sorted(SQL_DIR.glob("*.sql"))
+    generated = 0
+    skipped = 0
+
+    for fp in sql_files:
+        sql_text = fp.read_text(encoding="utf-8").strip()
+
+        # 跳过 TODO 占位文件
+        sql_no_comments = _strip_comments(sql_text)
+        if sql_no_comments in ("SELECT 1", "SELECT 1;", "SELECT 1;"):
+            skipped += 1
+            continue
+
+        # 生成 parquet 版
+        header = (
+            f"-- Parquet 直查版: {fp.name}\n"
+            f"-- 来源: rules_dsl/sql/{fp.name}\n"
+            f"-- 可直接在 DuckDB 中执行，无需依赖项目 VIEW\n"
+            f"-- 生成脚本: scripts/generate_parquet_sql.py\n\n"
+        )
+        transformed = replace_table_refs(sql_text, data_bindings)
+        out_path = PARQUET_OUT_DIR / fp.name
+        out_path.write_text(header + transformed + "\n", encoding="utf-8")
+        print(f"  [OK] {fp.name} → parquet/{fp.name}")
+        generated += 1
+
+    print(f"\n[generate] 生成 {generated} 个, 跳过 {skipped} 个 (TODO/SELECT 1)")
+    print(f"[generate] 输出目录: {PARQUET_OUT_DIR}")
+
+
+if __name__ == "__main__":
+    main()