clearai-dsh 0.1.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (154) hide show
  1. package/CHANGELOG.md +26 -0
  2. package/LICENSE +201 -0
  3. package/README.md +138 -0
  4. package/README.zh-CN.md +138 -0
  5. package/bin/clearai.mjs +224 -0
  6. package/brand/README.md +41 -0
  7. package/brand/logo-512-dark.png +0 -0
  8. package/brand/logo-512.png +0 -0
  9. package/brand/logo-lockup-dark.png +0 -0
  10. package/brand/logo-lockup.png +0 -0
  11. package/brand/logo-lockup.svg +12 -0
  12. package/brand/logo-wordmark.svg +6 -0
  13. package/brand/logo.svg +19 -0
  14. package/cordis.patch.yml +39 -0
  15. package/lib/client.js +3071 -0
  16. package/lib/fold.js +1576 -0
  17. package/lib/host.js +605 -0
  18. package/package.json +65 -0
  19. package/presets/clearai/agent.cordis.yml +226 -0
  20. package/presets/clearai/plugins/brain.js +547 -0
  21. package/presets/clearai/plugins/clearai-kernel.js +5485 -0
  22. package/presets/clearai/plugins/ontology.js +306 -0
  23. package/presets/clearai/plugins/prompts.js +312 -0
  24. package/presets/clearai/preset.yml +5 -0
  25. package/presets/clearai/skills/clearai-loop/SKILL.md +89 -0
  26. package/presets/clearai/template/knowledge/README.md +25 -0
  27. package/presets/clearai/template/memory/README.md +34 -0
  28. package/presets/clearai/template/project.md +49 -0
  29. package/presets/clearai/template/skills/README.md +37 -0
  30. package/presets/clearai/template/skills/chart-diagram-qa/SKILL.md +43 -0
  31. package/presets/clearai/template/skills/citation-management/SKILL.md +73 -0
  32. package/presets/clearai/template/skills/citation-management/references/bibtex_formatting.md +908 -0
  33. package/presets/clearai/template/skills/citation-management/references/citation_validation.md +794 -0
  34. package/presets/clearai/template/skills/citation-management/references/google_scholar_search.md +725 -0
  35. package/presets/clearai/template/skills/citation-management/references/metadata_extraction.md +870 -0
  36. package/presets/clearai/template/skills/citation-management/references/pubmed_search.md +839 -0
  37. package/presets/clearai/template/skills/citation-management/scripts/doi_to_bibtex.py +204 -0
  38. package/presets/clearai/template/skills/citation-management/scripts/extract_metadata.py +569 -0
  39. package/presets/clearai/template/skills/citation-management/scripts/format_bibtex.py +349 -0
  40. package/presets/clearai/template/skills/citation-management/scripts/generate_schematic.py +139 -0
  41. package/presets/clearai/template/skills/citation-management/scripts/generate_schematic_ai.py +817 -0
  42. package/presets/clearai/template/skills/citation-management/scripts/search_google_scholar.py +282 -0
  43. package/presets/clearai/template/skills/citation-management/scripts/search_pubmed.py +398 -0
  44. package/presets/clearai/template/skills/citation-management/scripts/validate_citations.py +497 -0
  45. package/presets/clearai/template/skills/data-analysis/SKILL.md +92 -0
  46. package/presets/clearai/template/skills/data-analysis/checklists/readiness_check.md +23 -0
  47. package/presets/clearai/template/skills/data-analysis/templates/analysis_report.md.tpl +63 -0
  48. package/presets/clearai/template/skills/data-analysis/templates/cleaning_rules_draft.yaml.tpl +32 -0
  49. package/presets/clearai/template/skills/data-analysis/templates/data_dictionary.md.tpl +12 -0
  50. package/presets/clearai/template/skills/data-analysis/templates/domain_knowledge_template.md.tpl +316 -0
  51. package/presets/clearai/template/skills/data-analysis/templates/feature_candidates.json.tpl +20 -0
  52. package/presets/clearai/template/skills/data-analysis/templates/quality_scorecard.md.tpl +30 -0
  53. package/presets/clearai/template/skills/data-analysis/workflows/01-data-profiling.md +42 -0
  54. package/presets/clearai/template/skills/data-analysis/workflows/02-quality-audit.md +36 -0
  55. package/presets/clearai/template/skills/data-analysis/workflows/03-physical-correlation.md +25 -0
  56. package/presets/clearai/template/skills/data-analysis/workflows/04-unstructured-mining.md +26 -0
  57. package/presets/clearai/template/skills/data-qa-analysis/SKILL.md +102 -0
  58. package/presets/clearai/template/skills/data-qa-analysis/checklists/readiness_check.md +62 -0
  59. package/presets/clearai/template/skills/data-qa-analysis/templates/best_in_class_report.md.tpl +56 -0
  60. package/presets/clearai/template/skills/data-qa-analysis/templates/cleaning_rules_draft.yaml.tpl +56 -0
  61. package/presets/clearai/template/skills/data-qa-analysis/templates/data_dictionary.md.tpl +13 -0
  62. package/presets/clearai/template/skills/data-qa-analysis/templates/data_source_inventory_and_lineage.md.tpl +146 -0
  63. package/presets/clearai/template/skills/data-qa-analysis/templates/data_status_report.md.tpl +60 -0
  64. package/presets/clearai/template/skills/data-qa-analysis/templates/steady_state_rules.yaml.tpl +41 -0
  65. package/presets/clearai/template/skills/data-qa-analysis/templates/subsystem_registry.md.tpl +101 -0
  66. package/presets/clearai/template/skills/data-qa-analysis/templates/unified_execution_plan.md.tpl +100 -0
  67. package/presets/clearai/template/skills/data-qa-analysis/workflows/01-data-source-inventory-and-lineage.md +194 -0
  68. package/presets/clearai/template/skills/data-qa-analysis/workflows/02-data-alignment-and-tag-semantics.md +122 -0
  69. package/presets/clearai/template/skills/data-qa-analysis/workflows/03-steady-state-identification.md +126 -0
  70. package/presets/clearai/template/skills/data-qa-analysis/workflows/04-consumption-analysis.md +152 -0
  71. package/presets/clearai/template/skills/data-qa-analysis/workflows/05-best-in-class-and-optimization-space.md +78 -0
  72. package/presets/clearai/template/skills/domain-presearch/SKILL.md +131 -0
  73. package/presets/clearai/template/skills/domain-presearch/checklists/domain_checklist.md +24 -0
  74. package/presets/clearai/template/skills/domain-presearch/references/figure_code.md +78 -0
  75. package/presets/clearai/template/skills/domain-presearch/references/strategic_frameworks.md +38 -0
  76. package/presets/clearai/template/skills/exploration-loop/SKILL.md +81 -0
  77. package/presets/clearai/template/skills/exploratory-data-analysis/SKILL.md +77 -0
  78. package/presets/clearai/template/skills/exploratory-data-analysis/references/bioinformatics_genomics_formats.md +664 -0
  79. package/presets/clearai/template/skills/exploratory-data-analysis/references/chemistry_molecular_formats.md +664 -0
  80. package/presets/clearai/template/skills/exploratory-data-analysis/references/general_scientific_formats.md +518 -0
  81. package/presets/clearai/template/skills/exploratory-data-analysis/references/microscopy_imaging_formats.md +620 -0
  82. package/presets/clearai/template/skills/exploratory-data-analysis/references/proteomics_metabolomics_formats.md +517 -0
  83. package/presets/clearai/template/skills/exploratory-data-analysis/references/spectroscopy_analytical_formats.md +633 -0
  84. package/presets/clearai/template/skills/exploratory-data-analysis/scripts/eda_analyzer.py +547 -0
  85. package/presets/clearai/template/skills/hypothesis-generation/SKILL.md +73 -0
  86. package/presets/clearai/template/skills/hypothesis-generation/references/experimental_design_patterns.md +329 -0
  87. package/presets/clearai/template/skills/hypothesis-generation/references/hypothesis_quality_criteria.md +198 -0
  88. package/presets/clearai/template/skills/hypothesis-generation/references/literature_search_strategies.md +622 -0
  89. package/presets/clearai/template/skills/hypothesis-generation/scripts/generate_schematic.py +139 -0
  90. package/presets/clearai/template/skills/hypothesis-generation/scripts/generate_schematic_ai.py +817 -0
  91. package/presets/clearai/template/skills/literature-review/SKILL.md +72 -0
  92. package/presets/clearai/template/skills/literature-review/references/citation_styles.md +166 -0
  93. package/presets/clearai/template/skills/literature-review/references/database_strategies.md +455 -0
  94. package/presets/clearai/template/skills/literature-review/scripts/generate_pdf.py +176 -0
  95. package/presets/clearai/template/skills/literature-review/scripts/generate_schematic.py +139 -0
  96. package/presets/clearai/template/skills/literature-review/scripts/generate_schematic_ai.py +817 -0
  97. package/presets/clearai/template/skills/literature-review/scripts/search_databases.py +303 -0
  98. package/presets/clearai/template/skills/literature-review/scripts/verify_citations.py +221 -0
  99. package/presets/clearai/template/skills/paper-lookup/SKILL.md +59 -0
  100. package/presets/clearai/template/skills/paper-lookup/references/arxiv.md +161 -0
  101. package/presets/clearai/template/skills/paper-lookup/references/biorxiv.md +118 -0
  102. package/presets/clearai/template/skills/paper-lookup/references/core.md +150 -0
  103. package/presets/clearai/template/skills/paper-lookup/references/crossref.md +181 -0
  104. package/presets/clearai/template/skills/paper-lookup/references/medrxiv.md +104 -0
  105. package/presets/clearai/template/skills/paper-lookup/references/openalex.md +174 -0
  106. package/presets/clearai/template/skills/paper-lookup/references/pmc.md +152 -0
  107. package/presets/clearai/template/skills/paper-lookup/references/pubmed.md +124 -0
  108. package/presets/clearai/template/skills/paper-lookup/references/semantic-scholar.md +203 -0
  109. package/presets/clearai/template/skills/paper-lookup/references/unpaywall.md +127 -0
  110. package/presets/clearai/template/skills/process-presearch/SKILL.md +196 -0
  111. package/presets/clearai/template/skills/process-presearch/checklists/process_checklist.md +18 -0
  112. package/presets/clearai/template/skills/process-presearch/references/figure_code.md +107 -0
  113. package/presets/clearai/template/skills/process-presearch/references/source_attribution_example.md +22 -0
  114. package/presets/clearai/template/skills/process-understanding-extraction/SKILL.md +69 -0
  115. package/presets/clearai/template/skills/process-understanding-extraction/checklists/readiness_check.md +34 -0
  116. package/presets/clearai/template/skills/process-understanding-extraction/templates/docx_raw_dump_extractor.py.tpl +132 -0
  117. package/presets/clearai/template/skills/process-understanding-extraction/templates/entity_map_unit_topology.json.tpl +86 -0
  118. package/presets/clearai/template/skills/process-understanding-extraction/templates/process_brief.md.tpl +89 -0
  119. package/presets/clearai/template/skills/process-understanding-extraction/templates/process_brief_builder_from_raw_dump.py.tpl +203 -0
  120. package/presets/clearai/template/skills/process-understanding-extraction/templates/process_flow_mermaid.md.tpl +41 -0
  121. package/presets/clearai/template/skills/process-understanding-extraction/templates/unified_execution_plan.md.tpl +53 -0
  122. package/presets/clearai/template/skills/process-understanding-extraction/workflows/01-process-doc-discovery.md +173 -0
  123. package/presets/clearai/template/skills/process-understanding-extraction/workflows/02-process-understanding-and-diagramming.md +106 -0
  124. package/presets/clearai/template/skills/scientific-brainstorming/SKILL.md +64 -0
  125. package/presets/clearai/template/skills/scientific-brainstorming/references/brainstorming_methods.md +326 -0
  126. package/presets/clearai/template/skills/scientific-critical-thinking/SKILL.md +72 -0
  127. package/presets/clearai/template/skills/scientific-critical-thinking/references/common_biases.md +364 -0
  128. package/presets/clearai/template/skills/scientific-critical-thinking/references/evidence_hierarchy.md +485 -0
  129. package/presets/clearai/template/skills/scientific-critical-thinking/references/experimental_design.md +496 -0
  130. package/presets/clearai/template/skills/scientific-critical-thinking/references/logical_fallacies.md +478 -0
  131. package/presets/clearai/template/skills/scientific-critical-thinking/references/scientific_method.md +169 -0
  132. package/presets/clearai/template/skills/scientific-critical-thinking/references/statistical_pitfalls.md +506 -0
  133. package/presets/clearai/template/skills/skill-creator/SKILL.md +109 -0
  134. package/presets/clearai/template/skills/skill-creator/references/authoring-guide.md +89 -0
  135. package/presets/clearai/template/skills/statistical-analysis/SKILL.md +79 -0
  136. package/presets/clearai/template/skills/statistical-analysis/references/assumptions_and_diagnostics.md +369 -0
  137. package/presets/clearai/template/skills/statistical-analysis/references/bayesian_statistics.md +653 -0
  138. package/presets/clearai/template/skills/statistical-analysis/references/effect_sizes_and_power.md +578 -0
  139. package/presets/clearai/template/skills/statistical-analysis/references/reporting_standards.md +469 -0
  140. package/presets/clearai/template/skills/statistical-analysis/references/test_selection_guide.md +129 -0
  141. package/presets/clearai/template/skills/statistical-analysis/scripts/assumption_checks.py +538 -0
  142. package/presets/clearai/template/skills/web-artifact/SKILL.md +165 -0
  143. package/presets/clearai/template/skills/web-artifact/assets/renderer/renderer.css +229 -0
  144. package/presets/clearai/template/skills/web-artifact/assets/renderer/renderer.js +373 -0
  145. package/presets/clearai/template/skills/web-artifact/assets/vendor/elkjs/LICENSE +263 -0
  146. package/presets/clearai/template/skills/web-artifact/assets/vendor/elkjs/UPSTREAM.md +26 -0
  147. package/presets/clearai/template/skills/web-artifact/assets/vendor/elkjs/elk.bundled.js +6605 -0
  148. package/presets/clearai/template/skills/web-artifact/references/when-drawing-a-topology.md +150 -0
  149. package/presets/clearai/template/skills/web-artifact/references/when-the-page-must-work-offline.md +62 -0
  150. package/presets/clearai/template/skills/web-artifact/scripts/check_artifact.py +167 -0
  151. package/presets/clearai/template/skills/web-artifact/scripts/render_topology.js +272 -0
  152. package/presets/clearai/template/skills/what-if-oracle/LICENSE.txt +5 -0
  153. package/presets/clearai/template/skills/what-if-oracle/SKILL.md +72 -0
  154. package/presets/clearai/template/skills/what-if-oracle/references/scenario-templates.md +154 -0
@@ -0,0 +1,32 @@
1
+ # 清洗规则草案 (Cleaning Rules Draft)
2
+ # Generated by: analyze/quality-audit
3
+ # Purpose: Input for Governance Skill
4
+
5
+ rules:
6
+ - id: "R001"
7
+ target_field: "temperature"
8
+ action: "set_null"
9
+ condition: "value < 0 or value > 1200"
10
+ reason: "Physical limits exceeded (sensor failure)"
11
+
12
+ - id: "R002"
13
+ target_field: "pressure"
14
+ action: "clip"
15
+ params:
16
+ min: 0.0
17
+ max: 10.0
18
+ reason: "Operational range constraint"
19
+
20
+ - id: "R003"
21
+ target_field: "timestamp"
22
+ action: "drop_duplicates"
23
+ params:
24
+ keep: "first"
25
+ reason: "Duplicate timestamps found"
26
+
27
+ - id: "R004"
28
+ target_field: "all_sensors"
29
+ action: "ffill"
30
+ params:
31
+ limit: 30
32
+ reason: "Short communication gaps (<30s)"
@@ -0,0 +1,12 @@
1
+ # 数据字典 (Data Dictionary)
2
+
3
+ | 字段名称 (Field) | 物理含义 (Meaning) | 单位 (Unit) | 数据类型 (Type) | 精度 (Precision) | 采样频率 (Hz) | 来源地址 (Source) | 备注 (Remarks) |
4
+ | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- |
5
+ | `timestamp` | 采样时间戳 | `ISO8601` | `datetime` | `ms` | - | - | 必须单调递增 |
6
+ | `batch_no` | 批次/轮次号 (Business Key) | - | `string` | - | - | `runs.batch_no` | 关联主键 |
7
+ | `temp_sample` | 样品温度 | `°C` | `float` | `0.1` | `1` | `sensor_A.ch4` | 正常范围 20-80 |
8
+ | `pressure_inlet` | 进口压力 | `MPa` | `float` | `0.01` | `10` | `sensor_A.ch8` | - |
9
+
10
+ ## 补充说明
11
+ - **缺失值代码**: `-9999` (采集故障), `0` (停止采集/无信号)
12
+ - **时间对齐**: 所有观测通道数据已对齐至 `timestamp`
@@ -0,0 +1,316 @@
1
+ # 领域先验知识模板
2
+
3
+ ## 模板说明
4
+
5
+ 本文档是领域先验知识的通用模板。在迁移到新项目时,按照本文档的章节结构填充对应的领域知识即可。
6
+
7
+ **适用范围**:任何需要对业务/科研流程进行建模的数据分析场景
8
+
9
+ **填写原则**:
10
+ 1. 从纯业务视角描述,不涉及具体的建模技术术语
11
+ 2. 面向业务/领域分析师可理解的语言
12
+ 3. 覆盖核心流程、关键对象、数据特征、业务规则等维度
13
+
14
+ ---
15
+
16
+ # [业务场景名称]领域先验知识
17
+
18
+ ## 文档说明
19
+
20
+ *【填写说明】简要描述本文档的目的和覆盖范围。*
21
+
22
+ **对象系统**: ${SYSTEM_NAME}
23
+ **分析日期**: ${DATE}
24
+
25
+ ---
26
+
27
+ ## 一、业务背景与目标
28
+
29
+ ### 1.1 业务场景概述
30
+
31
+ *【填写说明】描述业务/研究场景的整体背景,包括:*
32
+ - *该场景在整体链条(业务链/研究链)中的位置*
33
+ - *场景的核心功能和价值*
34
+
35
+ ### 1.2 核心业务目标
36
+
37
+ *【填写说明】描述场景的核心目标,可以用表格形式列出:*
38
+
39
+ | 目标维度 | 描述 | 约束条件 |
40
+ |---------|------|---------|
41
+ | *目标1* | *描述* | *刚性/软性约束* |
42
+ | *目标2* | *描述* | *刚性/软性约束* |
43
+
44
+ ### 1.3 业务挑战
45
+
46
+ *【填写说明】描述该场景面临的主要挑战和难点。*
47
+
48
+ ---
49
+
50
+ ## 二、系统与对象结构
51
+
52
+ ### 2.1 系统布局
53
+
54
+ *【填写说明】描述对象系统的组成单元数量和布局(如:多条采集链路、多个站点、多台仪器)。*
55
+
56
+ ### 2.2 对象层级结构
57
+
58
+ *【填写说明】描述系统/对象的层级关系,可以用树形结构表示:*
59
+
60
+ ```
61
+ 系统
62
+ ├── 子系统1
63
+ │ ├── 单元A
64
+ │ └── 单元B
65
+ └── 子系统2
66
+ ├── 单元A
67
+ └── 单元B
68
+ ```
69
+
70
+ ### 2.3 对象编号规则
71
+
72
+ *【填写说明】描述对象/通道编号的命名规则和各组成部分的含义:*
73
+
74
+ | 组成部分 | 含义 | 取值范围 |
75
+ |---------|------|---------|
76
+ | *前缀* | *含义* | *取值* |
77
+ | *标识1* | *含义* | *取值* |
78
+
79
+ ### 2.4 对象对应关系
80
+
81
+ *【填写说明】描述不同单元/对象之间的固定对应关系(如有)。*
82
+
83
+ ---
84
+
85
+ ## 三、核心流程
86
+
87
+ ### 3.1 流程概述
88
+
89
+ *【填写说明】描述核心流程的整体阶段划分:*
90
+
91
+ ```
92
+ 阶段1:[阶段名称]
93
+ ↓
94
+ 阶段2:[阶段名称]
95
+ ↓
96
+ 阶段3:[阶段名称]
97
+ ```
98
+
99
+ ### 3.2 阶段1:[阶段名称]
100
+
101
+ *【填写说明】详细描述该阶段的业务内容:*
102
+
103
+ #### 3.2.1 [环节名称]
104
+
105
+ *描述该环节的业务操作、输入信息、输出信息。*
106
+
107
+ #### 3.2.2 [环节名称]
108
+
109
+ *描述该环节的业务操作、输入信息、输出信息。*
110
+
111
+ ### 3.3 阶段2:[阶段名称]
112
+
113
+ *【填写说明】按照上述格式描述各个环节。*
114
+
115
+ ### 3.4 阶段3:[阶段名称]
116
+
117
+ *【填写说明】按照上述格式描述各个环节。*
118
+
119
+ ---
120
+
121
+ ## 四、关键业务对象
122
+
123
+ ### 4.1 主键对象
124
+
125
+ *【填写说明】找出能够将整个流程串联起来的主键对象。主键对象应满足以下特征:*
126
+ - *是全流程的唯一标识,所有过程事件都应归属于该对象*
127
+ - *在业务上稳定、可重复,不随时间变化*
128
+ - *能够作为不同数据表之间的关联键*
129
+
130
+ *描述该主键对象的定义、命名规则和在流程中的作用。*
131
+
132
+ ### 4.2 [核心对象2]
133
+
134
+ *【填写说明】可以用表格形式列出相关对象:*
135
+
136
+ | 对象 | 说明 |
137
+ |-----|------|
138
+ | *对象A* | *说明* |
139
+ | *对象B* | *说明* |
140
+
141
+ ### 4.3 标准/配置类对象
142
+
143
+ *【填写说明】描述业务中的标准或配置类数据,特别注意说明其静态特性:*
144
+
145
+ | 对象 | 说明 |
146
+ |-----|------|
147
+ | *标准A* | *说明* |
148
+ | *标准B* | *说明* |
149
+
150
+ **静态配置数据的特性**(如适用):
151
+ - *说明哪些数据是静态配置数据,不会随时间发生状态变化*
152
+ - *说明这些数据如何被多个业务对象共享引用*
153
+
154
+ ### 4.4 [核心对象4]
155
+
156
+ *【填写说明】继续描述其他关键业务对象。*
157
+
158
+ ---
159
+
160
+ ## 五、数据文件与业务映射
161
+
162
+ ### 5.1 数据文件清单
163
+
164
+ *【填写说明】列出所有相关的数据文件及其业务描述,并标注时间戳字段:*
165
+
166
+ | 数据文件 | 业务描述 | 时间戳字段 |
167
+ |---------|---------|-----------|
168
+ | *文件名1* | *该文件记录的业务内容* | *用于排序的时间字段* |
169
+ | *文件名2* | *该文件记录的业务内容(如是静态配置数据请标注)* | *无(留空)* |
170
+
171
+ **时间戳字段选择规则**:
172
+ - 若同时存在"开始/结束"类时间字段:优先使用结束/完成时间
173
+ - 若同时存在"创建/修改"类时间字段:优先使用修改时间
174
+ - 若无合适时间字段:时间戳留空
175
+
176
+ ### 5.2 数据区分规则
177
+
178
+ *【填写说明】描述如何从数据中区分不同的业务阶段或类型:*
179
+
180
+ #### 5.2.1 [数据类型1]区分规则
181
+
182
+ | 区分条件 | 业务阶段 |
183
+ |---------|---------|
184
+ | *条件1* | *阶段A* |
185
+ | *条件2* | *阶段B* |
186
+
187
+ #### 5.2.2 [数据类型2]区分规则
188
+
189
+ *【填写说明】描述其他数据的区分规则。*
190
+
191
+ ---
192
+
193
+ ## 六、关键字段语义
194
+
195
+ ### 6.1 [字段类别1]
196
+
197
+ *【填写说明】列出该类别下的关键字段及其含义:*
198
+
199
+ | 字段名 | 含义 | 说明 |
200
+ |-------|------|------|
201
+ | *字段1* | *含义* | *补充说明* |
202
+ | *字段2* | *含义* | *补充说明* |
203
+
204
+ ### 6.2 [字段类别2]
205
+
206
+ *【填写说明】继续描述其他类别的关键字段。*
207
+
208
+ ### 6.3 [字段类别3]
209
+
210
+ *【填写说明】继续描述其他类别的关键字段。*
211
+
212
+ ---
213
+
214
+ ## 七、特殊业务逻辑
215
+
216
+ ### 7.1 [特殊逻辑1]
217
+
218
+ *【填写说明】描述该业务场景中的特殊逻辑,如循环、并行、分支等:*
219
+
220
+ | 属性 | 说明 |
221
+ |-----|------|
222
+ | *属性1* | *说明* |
223
+ | *属性2* | *说明* |
224
+
225
+ ### 7.2 [特殊逻辑2]
226
+
227
+ *【填写说明】继续描述其他特殊业务逻辑。*
228
+
229
+ ### 7.3 数据状态演进
230
+
231
+ *【填写说明】描述关键数据在流程中的状态变化:*
232
+
233
+ ```
234
+ 初始状态 → 状态1 → 状态2 → 最终状态
235
+ ```
236
+
237
+ ---
238
+
239
+ ## 八、业务指标
240
+
241
+ ### 8.1 [核心指标1]
242
+
243
+ *【填写说明】描述该指标的定义、业务意义和历史统计特征。*
244
+
245
+ **定义**:*指标的计算方法*
246
+
247
+ **业务意义**:*该指标反映的业务价值*
248
+
249
+ **历史统计特征**:*用于建立业务预期的参考数据*
250
+
251
+ ### 8.2 [核心指标2]
252
+
253
+ *【填写说明】继续描述其他核心业务指标。*
254
+
255
+ ### 8.3 [辅助指标]
256
+
257
+ *【填写说明】描述辅助性的业务指标。*
258
+
259
+ ---
260
+
261
+ ## 九、误差来源与不确定性
262
+
263
+ ### 9.1 数据记录问题
264
+
265
+ *【填写说明】描述数据记录中常见的问题:*
266
+
267
+ | 问题类型 | 描述 |
268
+ |---------|------|
269
+ | *问题1* | *描述* |
270
+ | *问题2* | *描述* |
271
+
272
+ ### 9.2 过程扰动因素
273
+
274
+ *【填写说明】描述影响业务/实验结果的过程扰动因素:*
275
+
276
+ | 扰动因素 | 影响 |
277
+ |---------|------|
278
+ | *因素1* | *影响描述* |
279
+ | *因素2* | *影响描述* |
280
+
281
+ ### 9.3 设备/来源差异
282
+
283
+ *【填写说明】描述不同仪器、站点或数据来源之间的系统性差异。*
284
+
285
+ ---
286
+
287
+ ## 十、数据关联规则
288
+
289
+ ### 10.1 核心关联键
290
+
291
+ *【填写说明】描述不同数据之间的关联关系:*
292
+
293
+ | 关联场景 | 关联键 | 说明 |
294
+ |---------|-------|------|
295
+ | *场景1* | *关联键* | *说明* |
296
+ | *场景2* | *关联键* | *说明* |
297
+
298
+ ### 10.2 共享数据
299
+
300
+ *【填写说明】描述在多个业务环节中共享使用的数据。*
301
+
302
+ ### 10.3 独立采集数据
303
+
304
+ *【填写说明】描述独立采集、不依赖前序环节的数据。*
305
+
306
+ ---
307
+
308
+ ## 附录:业务术语表
309
+
310
+ *【填写说明】列出该业务场景中的关键术语及其解释:*
311
+
312
+ | 术语 | 说明 |
313
+ |------|------|
314
+ | *术语1* | *解释* |
315
+ | *术语2* | *解释* |
316
+ | *术语3* | *解释* |
@@ -0,0 +1,20 @@
1
+ {
2
+ "candidates": [
3
+ {
4
+ "name": "cooling_rate",
5
+ "description": "冷却速率 (dT/dt)",
6
+ "formula": "diff(temperature) / diff(timestamp)",
7
+ "physical_meaning": "反映热交换效率,关联系统状态变化速度",
8
+ "required_fields": ["temperature", "timestamp"],
9
+ "priority": "High"
10
+ },
11
+ {
12
+ "name": "accumulated_energy",
13
+ "description": "累计能量消耗",
14
+ "formula": "cumsum(power * delta_time)",
15
+ "physical_meaning": "反映累计能量投入",
16
+ "required_fields": ["power", "timestamp"],
17
+ "priority": "Medium"
18
+ }
19
+ ]
20
+ }
@@ -0,0 +1,30 @@
1
+ # 数据质量评分卡 (Quality Scorecard)
2
+
3
+ **评估时间**: {{ analysis_date }}
4
+ **数据源**: {{ data_source }}
5
+
6
+ ## 1. 总体评分 (Overall Score)
7
+ | 维度 (Dimension) | 得分 (0-100) | 权重 | 加权分 | 评级 (S/A/B/C/D) |
8
+ | :--- | :--- | :--- | :--- | :--- |
9
+ | **完整性 (Completeness)** | {{ score_completeness }} | 30% | - | - |
10
+ | **准确性 (Accuracy)** | {{ score_accuracy }} | 30% | - | - |
11
+ | **一致性 (Consistency)** | {{ score_consistency }} | 20% | - | - |
12
+ | **物理合理性 (Physicality)** | {{ score_physicality }} | 20% | - | - |
13
+ | **总分** | **{{ score_total }}** | **100%** | **-** | **-** |
14
+
15
+ ## 2. 缺陷统计 (Defect Stats)
16
+ - **缺失率 (Missing Rate)**: {{ missing_rate }}% (Threshold: <1%)
17
+ - **异常值比例 (Outlier Rate)**: {{ outlier_rate }}% (Threshold: <3%)
18
+ - **时间戳跳变 (Time Jumps)**: {{ time_jumps_count }} 次
19
+ - **重复记录 (Duplicates)**: {{ duplicates_count }} 行
20
+
21
+ ## 3. 物理/机理约束检查 (Physics Audit)
22
+ | 检查项 | 规则 | 结果 | 违规示例 |
23
+ | :--- | :--- | :--- | :--- |
24
+ | **极值检查** | Temp > 0 && Temp < 1000 | Pass/Fail | - |
25
+ | **变化率检查** | |dT/dt| < 50°C/s | Pass/Fail | Batch#123: 200°C/s |
26
+ | **状态一致性** | 停止状态下 Power == 0 | Pass/Fail | - |
27
+
28
+ ## 4. 改进建议 (Recommendations)
29
+ 1. 建议对 `{{ field_name }}` 进行插值处理。
30
+ 2. 检查 `{{ time_range }}` 期间的观测通道状态。
@@ -0,0 +1,42 @@
1
+ # Workflow 1: 深度数据画像与过程还原 (Deep Data Understanding)
2
+
3
+ ## 目标
4
+ 超越简单的数据统计,建立对数据背后真实系统的"数字孪生"认知。还原数据生成过程,映射真实实体,理解运行/实验模式。
5
+
6
+ ## 步骤
7
+
8
+ ### Step 1: 多维数据接入与概览
9
+ > **取证要求**:本步骤所有数值须先通过 read/bash 从源数据取得,并标注 `来源: <path>`;无法取得则写「待确认」。
10
+ 1. **结构化时序数据**:使用 `read` 读取 Header 和样本行,识别时间戳、变量名、Value。
11
+ 2. **离散事件/日志**:读取告警记录、操作/实验日志,识别 EventType, Message。
12
+ 3. **元数据/清单**:如果有,读取观测通道清单、仪器/设备清单或样本清单。
13
+
14
+ ### Step 2: 实体映射 (Entity Mapping)
15
+ **思考**: 这个变量代表什么真实含义?它属于哪个观测对象?
16
+ 1. **语义推断**: 从变量名 (e.g., `site3_temp_02`) 推断:
17
+ - `temp` -> Temperature (温度类观测)
18
+ - `02` -> 通道/仪器编号
19
+ - `site3` -> 站点/分组
20
+ 2. **角色分类**:
21
+ - **控制变量 (Controlled)**: 设定值、实验条件、干预输入。
22
+ - **观测变量 (Observed)**: 实际测量/反馈值。
23
+ - **关键结果 (Outcome)**: 结果指标、目标量。
24
+
25
+ ### Step 3: 过程还原 (Process Mining)
26
+ **思考**: 对象是如何流转的?状态是如何变迁的?
27
+ 1. **阶段识别 (Stage Identification)**:
28
+ - 观察关键状态变量(如功率、温度、活动量)的突变点。
29
+ - 定义阶段:`Idle` -> `Ramping` -> `Stable` -> `Cooling`。
30
+ 2. **批次/轮次切分 (Batch Segmentation)**:
31
+ - 如果是分批/分轮次采集,寻找开始/结束信号(如 `Run_Start` 标记,或某状态量从 0 突变)。
32
+ - 将连续时间序列切分为 Batch/Run 片段。
33
+
34
+ ### Step 4: 运行状态识别 (Regime Detection)
35
+ 1. **稳态 vs 瞬态**: 区分系统是在稳定运行还是在转换状态。
36
+ 2. **多状态聚类**: 是否存在不同的运行/实验模式(如:条件 A vs 条件 B)?
37
+ - 依据:设定值/实验条件的不同组合。
38
+
39
+ ### Step 5: 产出落地
40
+ - 填写 `products/extracted/domain_knowledge.md` 的「一、业务背景与目标」与「二、系统与对象结构」(结构参考 `templates/domain_knowledge_template.md.tpl`)。
41
+ - 生成 `products/extracted/tag_entity_map.json`(变量 → Entity 映射表;与流程拓扑 `entity_map.json` 分离)。
42
+ - 生成或更新 `products/extracted/data_dictionary.md`(结构参考 `templates/data_dictionary.md.tpl`,含变量/字段含义与单位)。
@@ -0,0 +1,36 @@
1
+ # Workflow 2: 质量审计与物理一致性 (Quality & Consistency)
2
+
3
+ ## 目标
4
+ 评估数据不仅要"干净",还要"物理正确"。检查时序对齐、机理守恒和数据质量。
5
+
6
+ ## 步骤
7
+
8
+ ### Step 1: 时序对齐检查 (Synchronization)
9
+ > **取证要求**:本步骤所有数值须先通过 read/bash 从源数据取得,并标注 `来源: <path>`;无法取得则写「待确认」。
10
+ **痛点**: 观测通道采样频率不同(1s vs 1min),或来自不同采集系统(不同仪器/平台)导致时间戳偏差。
11
+ 1. **频率分析**: 统计各关键变量的平均采样间隔 `dt`。
12
+ 2. **对齐策略**:
13
+ - 如果 `dt` 差异大,建议重采样 (Resample) 到统一时间网格。
14
+ - 检查是否存在时钟漂移 (Drift) 或时区不一致。
15
+
16
+ ### Step 2: 物理一致性校验 (Physical Consistency)
17
+ **思考**: 数据是否违反了物理定律或量纲常识?
18
+ 1. **范围约束**:
19
+ - `0 <= 百分比/占空比 <= 100%`
20
+ - `绝对温度 / 浓度 / 计数 >= 0`
21
+ 2. **守恒/平衡关系**:
22
+ - **物质平衡**: `Sum(Inflow) - Sum(Outflow) ≈ d(Storage)/dt`。
23
+ - **能量平衡**: 输入功率应与升温速率正相关。
24
+ 3. **死值检测 (Frozen Signals)**:
25
+ - 观测通道读数长时间完全不变(方差为0),通常意味着断线或采集卡死。
26
+
27
+ ### Step 3: 数据质量评分
28
+ > **取证要求**:本步骤所有数值须先通过 read/bash 从源数据取得,并标注 `来源: <path>`;无法取得则写「待确认」。
29
+ 1. **完整性**: 缺失率。
30
+ 2. **准确性**: 物理越限率。
31
+ 3. **一致性**: 违反守恒/平衡关系的样本比例。
32
+
33
+ ### Step 4: 产出落地
34
+ - 更新 `products/extracted/data_quality_report.md`。
35
+ - 更新 `products/extracted/domain_knowledge.md` 的「九、误差来源与不确定性」(结构参考 `templates/domain_knowledge_template.md.tpl`)。
36
+ - 生成清洗规则建议 `products/extracted/cleaning_rules.yaml`。
@@ -0,0 +1,25 @@
1
+ # Workflow 3: 机理关联与因果发现 (Causal Discovery)
2
+
3
+ ## 目标
4
+ 挖掘变量间的机理因果关系,识别滞后效应,为后续建模筛选特征。
5
+
6
+ ## 步骤
7
+
8
+ ### Step 1: 滞后相关性分析 (Lag Correlation)
9
+ **痛点**: 扰动从输入传导到输出需要时间,直接相关性可能为 0。
10
+ 1. **互相关函数 (CCF)**: 计算 `X(t)` 与 `Y(t+k)` 的相关系数,寻找最佳滞后 `k`。
11
+ 2. **机理验证**: 滞后时间 `k` 是否与系统的传导/响应时间 (Response Time) 吻合?
12
+
13
+ ### Step 2: 非线性关系探索
14
+ > **取证要求**:本步骤所有数值须先通过 read/bash 从源数据取得,并标注 `来源: <path>`;无法取得则写「待确认」。
15
+ 1. **散点图矩阵**: 观察 X-Y 是否呈现线性、指数、S形或无规律。
16
+ 2. **互信息 (Mutual Information)**: 捕捉非线性依赖。
17
+
18
+ ### Step 3: 影响因子排序
19
+ 针对关键结果指标 (如产率、误差率、能耗):
20
+ 1. 使用 **Random Forest** 或 **XGBoost** 计算特征重要性 (Feature Importance)。
21
+ 2. 结合领域机理剔除"伪相关"(如:X 与 Y 同涨同跌,其实是共同受第三变量 Z 驱动的混杂效应,而非 X 导致 Y)。
22
+
23
+ ### Step 4: 产出落地
24
+ - 生成 `products/extracted/feature_candidates.json`。
25
+ - 更新 `products/extracted/domain_knowledge.md` 的「十、数据关联规则」(结构参考 `templates/domain_knowledge_template.md.tpl`)。
@@ -0,0 +1,26 @@
1
+ # Workflow 4: 非结构化知识挖掘 (Unstructured Mining)
2
+
3
+ ## 目标
4
+ 从实验记录、运行日志、维护记录、专家访谈记录等文本数据中,提炼出结构化的专家规则和异常模式。
5
+
6
+ ## 步骤
7
+
8
+ ### Step 1: 文本预处理与分类
9
+ 1. **分类**: 区分是"操作记录"(我做了什么)、"现象描述"(看到了什么)还是"原因分析"(为什么)。
10
+ 2. **关键词提取**: 提取对象名、异常现象("漂移"、"噪声异常")、操作动作("更换"、"重启"、"重新标定")。
11
+
12
+ ### Step 2: 规则提取 (Rule Extraction)
13
+ **目标**: 提取 **If-Then** 规则。
14
+ 1. **模式匹配**: 寻找 "当...时"、"导致"、"因为" 等连接词。
15
+ 2. **结构化**:
16
+ - Condition: `P_inlet < 0.5` (从文本 "入口压力低" 映射到变量)
17
+ - Action: `Check Filter` (从 "检查滤网" 提取)
18
+ - Consequence: `Flow Rate Drop`
19
+
20
+ ### Step 3: 异常模式库构建
21
+ 1. **聚类**: 将相似的异常描述归为一类。
22
+ 2. **统计**: 计算各类异常的发生频率(平均间隔时间)和平均处理时长。
23
+
24
+ ### Step 4: 产出落地
25
+ - 更新 `products/extracted/domain_knowledge.md` 的「七、特殊业务逻辑」(结构参考 `templates/domain_knowledge_template.md.tpl`)。
26
+ - 生成 `products/extracted/expert_rules.json`。
@@ -0,0 +1,102 @@
1
+ ---
2
+ name: data-qa-analysis
3
+ description: |
4
+ 【观测/实验数据·QA】数据源盘点、对齐、稳态/有效段筛选、代价与波动分析、最优区段与改进空间。适用:传感器时序、实验记录、公开数据集等观测/实验数据的质量核查与量化分析。不适用:无系统结构骨架(先用 process-understanding-extraction);通用首触 EDA(用 exploratory-data-analysis)。
5
+ version: 1.0
6
+ metadata:
7
+ tier: system
8
+ origin: template
9
+ created_at: '2026-06-12T02:47:05.409368+00:00'
10
+ ---
11
+
12
+ # 观测/实验数据 QA 与分析 Skill (SOP)
13
+
14
+ > 本 Skill 是“观测/实验数据分析”的数据部分:在系统边界与观测对象结构骨架已具备的前提下,完成“数据从哪里来 → 如何对齐成母表 → 测量口径如何落到通道 → 如何筛有效稳态段 → 如何做代价/波动/最优区段/改进空间”的可复现交付。
15
+
16
+ ## 落盘约定
17
+
18
+ - **最终交付**:`products/extracted/`(母表、稳态表、字典、报告等)
19
+ - **过程数据**:`lab/data/`(合并中间表、脚本输出等,见 workflow01 血缘 Pattern)
20
+ - **图表**:PNG 等可视化写入 `lab/diagrams/`;`products/extracted/workflow06_figures.md` 仅作图表索引(清单 + 口径 + 文件路径)
21
+ - 文中若出现 `extracted/` 逻辑别名,**write 必须使用** `products/extracted/` 完整路径
22
+
23
+ ## 1. 前置依赖(必须)
24
+
25
+ 本 Skill 不负责“从资料恢复系统结构”。在执行前必须具备上游结构产物(由 `process-understanding-extraction/` 生成):
26
+ - `products/extracted/unit_inventory.md`:存在性三态 + 观测单元/流转关系清单 + 资源/环境接口(不含通道号)
27
+ - `products/extracted/entity_map.json`:单元级结构骨架(topology-only:节点=观测单元/支持设施/边界;边=物质或信号流/资源接口;含 evidence;不含通道号)
28
+
29
+ > **规则**:本 Skill 不跨目录引用对方 templates/checklists;只把上述产物作为输入约束,具体落点由你的统一 plan 决定。
30
+
31
+ ## 2. 核心方法论 (Core Method)
32
+
33
+ - **Lineage-First(血缘优先)**:母表不是原始数据。必须先做数据源盘点与血缘图,明确“谁合并谁、冲突谁优先、表头行如何保留”。
34
+ - **Mother-Table-Only(母表唯一输入)**:从本 skill 的 `workflow01` 结束开始,下游所有分析只能基于 `products/extracted/mother_table_aligned.csv`(稳态后则只能基于 `products/extracted/steady_state_table.csv`)。
35
+ - **Metric-of-Record(测量口径落点)**:资料以设备/环节编号叙述时必须在本 skill 的 `workflow02` 将对象映射到实际测量通道(流量/温度/计数/功率等)。
36
+ - **Steady-State-First(稳态优先)**:稳态以“有效观测(In-observation:仪器正常采集、实验正常进行)”为核心口径;先 basis 确认再生成 mask/table,且必须检查连续性与关键通道齐全性。
37
+ - **System Benchmarking(系统级标杆)**:强耦合系统优先系统级 P20(分负荷段),再在系统最优时段集合内做单元归因,避免“单元最优拼不出系统最优”。
38
+ - **Extrapolation Discipline(外推纪律)**:长周期外推优先用“绝对量差/逐负荷段累计”,避免比值平均陷阱。
39
+
40
+ ## 3. 决策树 (Decision Tree)
41
+
42
+ 根据用户意图选择工作流:
43
+ 1. **“我需要盘点数据源/补齐母表血缘/合并契约”** -> `workflows/01-data-source-inventory-and-lineage.md`
44
+ 2. **“我要对齐时间/通道语义/测量口径并输出缺失清单”** -> `workflows/02-data-alignment-and-tag-semantics.md`
45
+ 3. **“我要识别有效稳态段/剔除启停与校准异常段”** -> `workflows/03-steady-state-identification.md`
46
+ 4. **“我要做资源代价/单位代价/长周期外推与波动诊断”** -> `workflows/04-consumption-analysis.md`
47
+ 5. **“我要做 Best-in-Class/P20 最优区段与改进空间”** -> `workflows/05-best-in-class-and-optimization-space.md`
48
+ 6. **“全面体检(数据部分)”** -> 按顺序执行 01 -> 02 -> 03 -> 04 -> 05。
49
+
50
+ ## 4. 核心指令 (Core Instructions)
51
+
52
+ <instruction>
53
+ <role>
54
+ 你是观测/实验数据 QA 与量化分析专家。你对数据血缘、口径一致性、稳态门槛、系统级标杆与外推计算的陷阱极其敏感。你优先产出“可审计、可复现”的交付物,而不是凭直觉写结论。
55
+ </role>
56
+
57
+ <rule>
58
+ 1. **必须先输出统一 plan 并确认(强制)**:执行本次任务涉及的**第一个 workflow**之前,必须先输出一份覆盖本 skill 全部 workflows(01-05)的统一 plan 供用户确认(确认后再执行)。
59
+ - plan 必须逐 workflow 列出强制产出物清单(逐项列文件名/路径),并声明 `lab/`(过程) vs `products/`(最终)分区与落点。
60
+ - plan 必须包含“产出物对照表”,逐条对照 workflows 文件中的 `## 产出物` 清单逐行复制;可选项也必须明确 Yes/No。
61
+ 2. **母表在 workflow01 产出(强制)**:`workflow01` 必须落地生成 `products/extracted/mother_table_aligned.csv`;后续任何统计/稳态/标杆计算禁止直接读取上游原始导出表。
62
+ 3. **稳态先 basis 确认(强制)**:`workflow03` 必须先输出 `products/extracted/steady_state_basis.md` 与 `products/extracted/steady_state_rules.yaml` 并获得确认记录,才能生成 `steady_state_mask/segments/table`。
63
+ 4. **稳态后只用稳态表(强制)**:`workflow04/05` 的唯一数据输入为 `products/extracted/steady_state_table.csv`,禁止混入母表全量或原始导出。
64
+ 5. **缺失类型必须区分(强制)**:`products/extracted/missing_tags.md` 必须区分 ObjectNotConfirmed / schema / 语义 / 数据缺失;“未确认存在 ≠ 无测量通道”。
65
+ 6. **子系统与资源覆盖检查(强制)**:若存在多路输入,必须登记子系统并固化负荷口径;对选定代价资源(含规格)必须做消耗方覆盖完整性检查(expected vs metered)。
66
+ 7. **波动诊断按单元逐一输出(强制)**:`products/extracted/variability_summary.md` 必须按 unit 一节一节输出诊断结构(波动形态/影响假设/可验证假设/下一步核对)。
67
+ 8. **Workflow 闸门(强制)**:每个 workflow 的产出物必须经确认无误并记录确认记录后,才允许进入下一个 workflow。
68
+ 9. **母表数字唯一来源**:P20、单位代价、外推基线等必须来自已生成的 `products/extracted/mother_table_aligned.csv` 或 `products/extracted/steady_state_table.csv` 经 bash 计算,禁止凭经验写分位数。
69
+ 10. **列名必须可验证**:报告中出现的 tag/列名必须能在母表表头或 `products/extracted/data_dictionary.md` 中找到。
70
+ </rule>
71
+
72
+ <thinking>
73
+ 在每一步给出结论前,强制回答:
74
+ 1) 母表从哪些已有产物/数据源合并而来?冲突优先级与去重规则是否可复现?
75
+ 2) 我是否只使用了母表(或稳态表)作为输入?是否存在口径漂移?
76
+ 3) 通道语义与测量口径是否已落点(设备/环节编号是否已映射到实际测量通道)?
77
+ 4) 稳态 basis 是否已确认?稳态段是否连续且关键通道齐全?
78
+ 5) 子系统边界与资源规格覆盖检查是否完成?是否存在漏项风险?
79
+ 6) BiC 是否系统级先行?外推是否用绝对量差/逐段累计,避免比值平均陷阱?
80
+ 7) 当前 workflow 的产出物是否齐全,并且确认记录可追溯?
81
+ </thinking>
82
+ </instruction>
83
+
84
+ ## 5. 资源索引 (Resource Index)
85
+
86
+ - **Workflows**:
87
+ - `workflows/01-data-source-inventory-and-lineage.md`
88
+ - `workflows/02-data-alignment-and-tag-semantics.md`
89
+ - `workflows/03-steady-state-identification.md`
90
+ - `workflows/04-consumption-analysis.md`
91
+ - `workflows/05-best-in-class-and-optimization-space.md`
92
+ - **Templates**:
93
+ - `templates/unified_execution_plan.md.tpl`
94
+ - `templates/data_source_inventory_and_lineage.md.tpl`
95
+ - `templates/data_dictionary.md.tpl`
96
+ - `templates/cleaning_rules_draft.yaml.tpl`
97
+ - `templates/data_status_report.md.tpl`
98
+ - `templates/steady_state_rules.yaml.tpl`
99
+ - `templates/subsystem_registry.md.tpl`
100
+ - `templates/best_in_class_report.md.tpl`
101
+ - **Checklists**:
102
+ - `checklists/readiness_check.md`