qiyu-cli 0.2.1 → 0.2.3
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/README.md +433 -72
- package/dist/cli.js +48 -7
- package/dist/commands/api-notes.js +70 -0
- package/dist/commands/api.js +169 -49
- package/dist/commands/auth.js +151 -29
- package/dist/commands/credentials-source.js +30 -5
- package/dist/commands/db-notes.js +75 -0
- package/dist/commands/db.js +165 -127
- package/dist/commands/query-notes.js +58 -0
- package/dist/commands/query.js +449 -61
- package/dist/commands/skill.js +445 -51
- package/dist/commands/spec-types.js +101 -1
- package/dist/commands/stats.js +160 -33
- package/dist/commands/store-flags.js +18 -0
- package/dist/commands/store-notes.js +38 -0
- package/dist/commands/store-precheck.js +321 -0
- package/dist/commands/store.js +165 -77
- package/dist/commands/sync-notes.js +374 -0
- package/dist/commands/sync-run.js +180 -47
- package/dist/commands/sync.js +232 -127
- package/dist/core/config.js +280 -24
- package/dist/core/credentials.js +38 -4
- package/dist/core/edition.js +1 -1
- package/dist/core/envelope.js +73 -9
- package/dist/core/errors.js +73 -16
- package/dist/core/http.js +175 -54
- package/dist/core/ratelimit.js +5 -1
- package/dist/core/registry/index.js +36 -2
- package/dist/core/registry/params/export.session.check.json +17 -2
- package/dist/core/registry/params/export.session.json +24 -2
- package/dist/core/registry/params/export.session.one.json +10 -2
- package/dist/core/registry/params/export.session.one.message.json +17 -2
- package/dist/core/registry/specs.json +65 -43
- package/dist/core/shell.js +30 -0
- package/dist/core/time.js +1 -1
- package/dist/core/validate.js +21 -2
- package/dist/output.js +215 -29
- package/dist/postinstall.js +14 -5
- package/dist/query/errors.js +145 -45
- package/dist/query/mask.js +1277 -25
- package/dist/query/metric-catalog.js +11 -0
- package/dist/query/native-error.js +189 -0
- package/dist/query/sandbox.js +148 -25
- package/dist/query/table-query.js +36 -5
- package/dist/schedule/install.js +136 -13
- package/dist/skill/check.js +11 -6
- package/dist/skill/detect.js +89 -29
- package/dist/skill/install.js +233 -43
- package/dist/skill/paths.js +54 -0
- package/dist/skill/qiyu/SKILL.md +29 -5
- package/dist/skill/qiyu/errors.md +5 -4
- package/dist/skill/qiyu/protocols.md +57 -5
- package/dist/skill/qiyu/setup.md +6 -2
- package/dist/store/config.js +92 -16
- package/dist/store/duckdb.js +1551 -64
- package/dist/store/object-kinds.js +32 -0
- package/dist/store/retry.js +190 -7
- package/dist/store/schema.js +32 -4
- package/dist/sync/engine.js +439 -77
- package/dist/sync/registry.js +6 -0
- package/dist/sync/state.js +20 -0
- package/dist/sync/tasks/dim.js +23 -14
- package/dist/sync/tasks/knowledge.js +50 -8
- package/dist/sync/tasks/pace.js +27 -0
- package/dist/sync/tasks/pipeline.js +29 -9
- package/dist/sync/tasks/reports.js +176 -49
- package/dist/sync/tasks/sessions.js +88 -21
- package/dist/sync/tasks/tickets.js +59 -8
- package/dist/sync/types.js +60 -1
- package/dist/sync/windowing.js +0 -22
- package/dist/sync/write-contract.js +79 -0
- package/package.json +2 -2
|
@@ -13,6 +13,17 @@
|
|
|
13
13
|
// ——绝不为了「输出好看」给一个编造的单位。
|
|
14
14
|
//
|
|
15
15
|
// 分层约束(spec §5.1):本文件是纯数据 + 纯函数,不 import 任何模块。
|
|
16
|
+
/**
|
|
17
|
+
* 指标单位(闭集;'unknown' = 目录与后缀都判不出)。
|
|
18
|
+
*
|
|
19
|
+
* ⚠️ 运行时数组 + `typeof ARR[number]` 而不是裸联合类型:这是**输出数据里的机器值**
|
|
20
|
+
* (`stats fields` 的 `declared.<字段>.unit`),Agent 要按它分支(比率要不要乘 100、
|
|
21
|
+
* 毫秒要不要换算)。值域必须能在运行时导出,`meta.field_notes` 的图例与测试才能
|
|
22
|
+
* 双向核对「枚举 ⊆ 图例、图例 ⊆ 枚举」—— 裸联合类型编译后就没了,谁加了值都不会红。
|
|
23
|
+
*/
|
|
24
|
+
export const METRIC_UNITS = ['ratio', 'count', 'ms', 'unknown'];
|
|
25
|
+
/** 声明出处:设计稿实测 / 命名后缀推断(同上:运行时可导出)。 */
|
|
26
|
+
export const METRIC_SOURCES = ['design-doc', 'name-suffix'];
|
|
16
27
|
/**
|
|
17
28
|
* 报表域表(spec §9.1):字段自描述只对「业务字段收敛进 payload」的报表域有意义。
|
|
18
29
|
* 会话/工单的 payload 是 PII 副本,统计它没有价值且扩大暴露面 —— 故是**闭集**,
|
|
@@ -0,0 +1,189 @@
|
|
|
1
|
+
// src/query/native-error.ts —— DuckDB **原生错误报文**的判据:**唯一实现点**
|
|
2
|
+
// (2026-11-01,PR #54)。
|
|
3
|
+
//
|
|
4
|
+
// 为什么单独一个模块:这些判据此前在 `query/sandbox.ts` 与 `query/errors.ts` 里各写一份
|
|
5
|
+
// (layer2 拦截那条是逐字复制),而两者都拿**整条原始报文**做子串搜索 —— 于是
|
|
6
|
+
// 「报文里恰好含判据的文本」就能骗过它们。两份拷贝改一处漏一处,同一输入会给出两个结论。
|
|
7
|
+
// 形态归属:「同一份解码规则复制到多处 → 同一输入两个结论」(同族:`nonEmptyValue`
|
|
8
|
+
// 空串判据、profile 名解析 PR #41、打开失败成因 PR #53、库前置检查 PR #54)。
|
|
9
|
+
//
|
|
10
|
+
// ## 根本约束:DuckDB 的报文会把**外部文本**带进来
|
|
11
|
+
//
|
|
12
|
+
// 这不是理论风险,是实测(2026-11-01 探针 + E2E):
|
|
13
|
+
// · `Conversion Error` 回显**列值原文**:
|
|
14
|
+
// `Conversion Error: Could not convert string 'interrupt' to INT32 when casting from source column x`
|
|
15
|
+
// · `Parser Error` 回显**出错行的 SQL 全文**(`\n\nLINE 1: <SQL>\n ^`)。
|
|
16
|
+
// 所以「报文里出现某个词」**不等于**「那个词是 DuckDB 在说这件事」——
|
|
17
|
+
// 用户数据、用户写的 SQL 都会出现在同一根字符串里。
|
|
18
|
+
//
|
|
19
|
+
// 判据因此必须锚 DuckDB 自己的**类别前缀**(`INTERRUPT Error:` / `Permission Error:`),
|
|
20
|
+
// 而不是搜整条报文里有没有那个词。
|
|
21
|
+
//
|
|
22
|
+
// ⚠️ 边界如实记录:类别前缀是 `Xxx Error:` 形态的**约定**,不是解析出来的结构;
|
|
23
|
+
// 若 DuckDB 换掉前缀措辞,这些判据会退化成「不命中」——退化的方向是安全的
|
|
24
|
+
// (错误归 internal 并带上原文,不会把无关错误谎报成超时/拦截),且
|
|
25
|
+
// `tests/query/native-error.test.ts` 会把真实报文逐字钉住,换措辞时必红。
|
|
26
|
+
/** DuckDB 把「出错行的 SQL 全文」附在 `\nLINE n: …` 之后与会话回显区分。 */
|
|
27
|
+
const SQL_ECHO = /\n\s*LINE \d+:[\s\S]*$/;
|
|
28
|
+
/** 去掉报文里的 SQL 回显(判据只看 DuckDB 自己说的那半句)。 */
|
|
29
|
+
export function withoutSqlEcho(msg) {
|
|
30
|
+
return msg.replace(SQL_ECHO, '');
|
|
31
|
+
}
|
|
32
|
+
/**
|
|
33
|
+
* 查询被中断(真超时)。实测原生报文恒为 `INTERRUPT Error: Interrupted!`。
|
|
34
|
+
*
|
|
35
|
+
* ⚠️ **不能**只搜 `/INTERRUPT/i`(2026-11-01 实测修):`Conversion Error` 会把列值
|
|
36
|
+
* 原文回显进 message,数据里恰好含 `interrupt` 时(如
|
|
37
|
+
* `Could not convert string 'interrupt' to INT32 …`)子串判会把**类型转换错误**
|
|
38
|
+
* 谎报成查询超时 —— kind 与真实成因相反、真实错误线索被整体丢弃,
|
|
39
|
+
* `--timeout 0`(用户显式关闭超时)下也照样报「查询超过 0ms 未完成」。
|
|
40
|
+
*
|
|
41
|
+
* ⚠️ 只锚 `INTERRUPT Error` 这个词也不够(2026-11-01 CodeRabbit + 探针实测):值恰为
|
|
42
|
+
* `'INTERRUPT Error: Interrupted!'` 时,Conversion Error 的**头部**就逐字含这串
|
|
43
|
+
* (`Could not convert string 'INTERRUPT Error: Interrupted!' to INT32 …`)。
|
|
44
|
+
* 所以与 `isLayer2Blocked` 同样两步:先剥 SQL 回显,再要求前缀锚在**开头**(`^`)。
|
|
45
|
+
* 真实中断报文实测无包装前缀(`runAndReadUntil` 抛出的 message 恰为上面那句)。
|
|
46
|
+
*/
|
|
47
|
+
export function isInterrupt(msg) {
|
|
48
|
+
return /^INTERRUPT Error:/i.test(withoutSqlEcho(msg));
|
|
49
|
+
}
|
|
50
|
+
/**
|
|
51
|
+
* DuckDB 说「表/列不存在」时,它**自己**那句话必须出现在报文的开头。
|
|
52
|
+
*
|
|
53
|
+
* ⚠️ 为什么判据要锚开头(2026-11-01 审查实测,与 `isInterrupt` 同族):
|
|
54
|
+
* `errors.ts` 的四条表/列正则只锚了类别前缀(`Catalog Error:` / `Binder Error:`),
|
|
55
|
+
* 以为这样就挡住了 Parser Error 的 SQL 回显。**挡不住** —— 回显本身就是用户写的文本,
|
|
56
|
+
* 用户(或数据)写的字符串里可以逐字含类别前缀:
|
|
57
|
+
* · `Conversion Error: Could not convert string 'Catalog Error: Table with name zzz does not exist!' to INT64 …`
|
|
58
|
+
* (prepare 期常量折叠,实测:`SELECT * FROM sessions LIMIT '<值>'`)
|
|
59
|
+
* · `Parser Error: …\n\nLINE 1: SELEC'Binder Error: Referenced table "sessons" not found!'`
|
|
60
|
+
* 两者都让 `TABLE_NAME_RE` 命中,于是**类型转换错误/语法错被谎报成「表 X 不存在」**,
|
|
61
|
+
* 还附带一份候选清单把 Agent 支使去改一个它没写过的表名。
|
|
62
|
+
* 真报文(探针逐字):`Catalog Error: Table with name sessons does not exist!` —— 类别前缀
|
|
63
|
+
* 就在开头;带包装的只有 Parser(`Failed to extract statements: Parser Error: …`),
|
|
64
|
+
* 而 Parser 不是本判据要认的类别。故「剥回显 + 锚开头(容忍该包装)」两者都满足才算。
|
|
65
|
+
*/
|
|
66
|
+
export function duckDbSaysMissingName(msg, pattern) {
|
|
67
|
+
const own = withoutSqlEcho(msg);
|
|
68
|
+
const wrap = /^\s*(?:Failed to extract statements:\s*)?/.exec(own)?.[0] ?? '';
|
|
69
|
+
const rest = own.slice(wrap.length);
|
|
70
|
+
if (!/^(?:Catalog|Binder) Error:/i.test(rest))
|
|
71
|
+
return null;
|
|
72
|
+
// ⚠️ 判据模式本身也必须锚在**那句话的开头**(2026-11-01 CodeRabbit):只查「报文以类别
|
|
73
|
+
// 前缀开头」还不够 —— 列名是用户给的,可以整段长成另一条报文的形状。实测:
|
|
74
|
+
// 列名 = `Catalog Error: Table with name zzz does not exist!` 时,DuckDB 说
|
|
75
|
+
// `Binder Error: Referenced column "Catalog Error: Table with name zzz does not exist!" not found`
|
|
76
|
+
// —— 前缀检查通过(Binder Error: 在开头),而表名正则在**列名内部**命中,
|
|
77
|
+
// 于是「列不存在」被报成「表 zzz 不存在」(实测复现)。锚开头后两者不会互串。
|
|
78
|
+
return new RegExp('^(?:' + pattern.source + ')', pattern.flags.replace('g', '')).exec(rest);
|
|
79
|
+
}
|
|
80
|
+
/**
|
|
81
|
+
* DuckDB **自己**说语法错(`Parser Error: syntax error at or near …`)。
|
|
82
|
+
*
|
|
83
|
+
* ⚠️ 同样不能只搜子串(2026-11-01 审查实测,与同族三条同一形态):`Conversion Error`
|
|
84
|
+
* 回显列值时,值里含 `Parser Error` 就会被判成「SQL 语法错误」——而归因是假的
|
|
85
|
+
*(真实成因是类型转换,修法完全不同:改数据或改 cast,不是改语法)。
|
|
86
|
+
* 实测:`SELECT CAST(x AS INT) FROM t`(`t.x` 值含该串)→ 曾被报成语法错。
|
|
87
|
+
*
|
|
88
|
+
* ⚠️ 容忍 `Failed to extract statements: ` 包装:真 Parser 报文实测就带它
|
|
89
|
+
*(`extractStatements` 阶段抛出,探针逐字)。
|
|
90
|
+
*/
|
|
91
|
+
export function isParserError(msg) {
|
|
92
|
+
return /^\s*(?:Failed to extract statements:\s*)?Parser Error:/i.test(withoutSqlEcho(msg));
|
|
93
|
+
}
|
|
94
|
+
/**
|
|
95
|
+
* 去掉 DuckDB OOM 报文里那段「Possible solutions」。
|
|
96
|
+
*
|
|
97
|
+
* 实测原文(2026-11-05,沙箱同款配置 1GB + lock_configuration):
|
|
98
|
+
* ```
|
|
99
|
+
* Out of Memory Error: failed to allocate data of size 16.0 MiB (944.5 MiB/953.6 MiB used)
|
|
100
|
+
*
|
|
101
|
+
* Possible solutions:
|
|
102
|
+
* * Reducing the number of threads (SET threads=X)
|
|
103
|
+
* * Disabling insertion-order preservation (SET preserve_insertion_order=false)
|
|
104
|
+
* * Increasing the memory limit (SET memory_limit='...GB')
|
|
105
|
+
*
|
|
106
|
+
* See also https://duckdb.org/docs/stable/guides/performance/how_to_tune_workloads
|
|
107
|
+
* ```
|
|
108
|
+
* 这三条 SET 在 `query` 的只读沙箱里**一条都跑不了**:建连时已 `SET
|
|
109
|
+
* lock_configuration=true`,实测 `SET memory_limit='8GB'` 报
|
|
110
|
+
* `Invalid Input Error: Cannot change configuration option "memory_limit" - the
|
|
111
|
+
* configuration has been locked`。原样透出等于给 Agent 一串「照做必然失败」的命令,
|
|
112
|
+
* 而 `--sql` 通道又会把这段当成一条可执行语句再吃一次错。
|
|
113
|
+
*
|
|
114
|
+
* 截到**最后一个**标记(而不是第一个):报文会被用户 SQL/列值污染(同族「报文回声」),
|
|
115
|
+
* 前面出现同样的字面不该让我们少留半句真原因。截掉后 message 只剩成因那行,
|
|
116
|
+
* 可执行建议由 hint 统一给(两处出口共用 `OOM_HINT`)。
|
|
117
|
+
*/
|
|
118
|
+
export function stripOomSolutions(msg) {
|
|
119
|
+
const marker = /\n\s*Possible solutions:/gi;
|
|
120
|
+
let cut = -1;
|
|
121
|
+
for (const m of msg.matchAll(marker))
|
|
122
|
+
cut = m.index ?? -1;
|
|
123
|
+
return cut === -1 ? msg : msg.slice(0, cut);
|
|
124
|
+
}
|
|
125
|
+
/**
|
|
126
|
+
* DuckDB **自己**说内存不足(`Out of Memory Error: failed to allocate …`,探针实测)。
|
|
127
|
+
*
|
|
128
|
+
* ⚠️ 同样不能只搜子串(2026-11-01 审查实测):`Conversion Error` 会回显列值,
|
|
129
|
+
* 值里含 `Out of Memory Error` 时(实测 `INSERT INTO t VALUES ('Out of Memory Error: fake')`
|
|
130
|
+
* 后 `CAST(x AS INT)`)子串判会给这条**类型转换错误**补上「缩小时间范围或加过滤条件」的
|
|
131
|
+
* hint —— 真正的修法是改数据/改 cast,按 hint 去缩窗口只会白跑一轮。
|
|
132
|
+
*/
|
|
133
|
+
export function isOutOfMemory(msg) {
|
|
134
|
+
return /^\s*(?:Failed to extract statements:\s*)?Out of Memory Error:/i.test(withoutSqlEcho(msg));
|
|
135
|
+
}
|
|
136
|
+
/**
|
|
137
|
+
* DuckDB **自己**说的 Binder/Catalog 错误(函数不存在、类型不匹配等)。
|
|
138
|
+
*
|
|
139
|
+
* ⚠️ 子串判可被列值/回显伪造(同族):值里含 `Catalog Error:` 时,
|
|
140
|
+
* `Conversion Error` 的报文会被判成「SQL 写错了」——真正的修法完全不同。
|
|
141
|
+
* 真报文在开头(Parser 形态带 `Failed to extract statements: ` 包装),故锚开头。
|
|
142
|
+
*/
|
|
143
|
+
export function isBinderOrCatalogError(msg) {
|
|
144
|
+
return /^\s*(?:Failed to extract statements:\s*)?(?:Binder|Catalog) Error:/i.test(withoutSqlEcho(msg));
|
|
145
|
+
}
|
|
146
|
+
/**
|
|
147
|
+
* layer2 只读沙箱的文件/网络拦截。实测五形态(read_csv / read_text / glob / COPY /
|
|
148
|
+
* ATTACH / EXPORT / INSTALL)报文恒以 `Permission Error: Cannot access file|directory
|
|
149
|
+
* "…" - file system operations are disabled by configuration` 开头。
|
|
150
|
+
*
|
|
151
|
+
* ⚠️ 四个条件缺一不可:
|
|
152
|
+
* · 剥掉 SQL 回显后判定 —— `Parser Error` 会把出错行 SQL 全文附在 `LINE n:` 之后,
|
|
153
|
+
* SQL 里恰好含特征句(`SELEC 'file system operations are disabled by configuration'`,
|
|
154
|
+
* 实测)会被判成「已被沙箱拦截」(真实成因是语法错,归因是假的);
|
|
155
|
+
* · 锚**类别前缀** `Permission Error:` —— 特征句单独出现在回显区/列值里不算数;
|
|
156
|
+
* · 同时要特征句 **`file system operations are disabled`** —— 这才是「配置禁用」的
|
|
157
|
+
* 标记。`Cannot access file` 单独出现不作数:裸的文件访问失败也可能带
|
|
158
|
+
* `Permission Error:` 前缀,把它算成「被沙箱拦截」会把环境问题说成用法问题。
|
|
159
|
+
* · 特征句还必须锚在**句尾**(` - … by configuration` 结尾,2026-11-01 Sourcery):
|
|
160
|
+
* 头部里的引号路径是用户给的,路径本身含这句话时只搜子串仍会误判。
|
|
161
|
+
* 七种实测形态全部以这半句收尾。
|
|
162
|
+
*/
|
|
163
|
+
export function isLayer2Blocked(msg) {
|
|
164
|
+
const head = withoutSqlEcho(msg);
|
|
165
|
+
return /^Permission Error:/i.test(head)
|
|
166
|
+
&& / - file system operations are disabled by configuration\s*$/i.test(head);
|
|
167
|
+
}
|
|
168
|
+
/**
|
|
169
|
+
* Extension Autoloading 被沙箱拦截时的报文识别。
|
|
170
|
+
*
|
|
171
|
+
* 报文形如:
|
|
172
|
+
* ```
|
|
173
|
+
* Extension Autoloading Error: An error occurred while trying to automatically install
|
|
174
|
+
* the required extension 'delta':
|
|
175
|
+
* Cannot access directory "…/.duckdb/extensions/v1.5.6/osx_amd64" - file system operations
|
|
176
|
+
* are disabled by configuration
|
|
177
|
+
* ```
|
|
178
|
+
*
|
|
179
|
+
* ⚠️ 报文前缀是 `Extension Autoloading Error:` 而非 `Permission Error:`,因此独立于
|
|
180
|
+
* `isLayer2Blocked` 之外 —— `isLayer2Blocked` 需要的是 `^Permission Error:`,本前缀
|
|
181
|
+
* 走不到它。但后半句特征 `file system operations are disabled by configuration` 与
|
|
182
|
+
* layer2 同源(同一原因的不同展现形态),所以本判据锚头部前缀 + 尾部特征句。
|
|
183
|
+
* 注意去掉 SQL 回显(`SELEC 'Extension Autoloading Error: ... x is disabled ...'`)。
|
|
184
|
+
*/
|
|
185
|
+
export function isExtensionAutoloadBlocked(msg) {
|
|
186
|
+
const head = withoutSqlEcho(msg);
|
|
187
|
+
return /^Extension Autoloading Error:/i.test(head)
|
|
188
|
+
&& / - file system operations are disabled by configuration\s*$/i.test(head);
|
|
189
|
+
}
|
package/dist/query/sandbox.js
CHANGED
|
@@ -18,7 +18,25 @@
|
|
|
18
18
|
// M-4 后下沉,让 query/ 的依赖面与 spec 白名单逐字一致),两条路径的 hint 逐字一致由它保证。
|
|
19
19
|
//
|
|
20
20
|
// ⚠️ 依赖加载:`@duckdb/node-api` 只经 dynamic import(与 store/duckdb.ts 同款惰性边界)。
|
|
21
|
-
import { isLockError, retryWithBackoff, isModuleNotFound } from '../store/retry.js';
|
|
21
|
+
import { isLockError, retryWithBackoff, isModuleNotFound, classifyOpenFailure, openFailureHint } from '../store/retry.js';
|
|
22
|
+
import { storeInitCommand } from '../output.js';
|
|
23
|
+
import { isInterrupt, isLayer2Blocked, isExtensionAutoloadBlocked, isOutOfMemory, stripOomSolutions } from './native-error.js';
|
|
24
|
+
/** 超时的默认 hint(`query` 两个通道的可执行建议;其余命令经 `withTimeoutHint` 覆盖)。 */
|
|
25
|
+
export const DEFAULT_TIMEOUT_HINT = '请缩小时间范围或加过滤条件,把查询收窄到能在超时内完成';
|
|
26
|
+
/**
|
|
27
|
+
* 把同一个超时 hint 注入到会话的**每一次**查询(元数据命令没有可调过滤参数)。
|
|
28
|
+
*
|
|
29
|
+
* 用包装而不是在每个 `session.run` 上逐个传参:`db tables` 一次要跑十几条内部查询,
|
|
30
|
+
* 漏传任何一条,那条超时就会拿到 `query` 口径的假建议 —— 也就是本包装要修的那个缺陷。
|
|
31
|
+
*/
|
|
32
|
+
export function withTimeoutHint(session, hint) {
|
|
33
|
+
return {
|
|
34
|
+
run: (sql, opts) => session.run(sql, {
|
|
35
|
+
...opts, ...(opts?.timeoutHint === undefined ? { timeoutHint: hint } : {}),
|
|
36
|
+
}),
|
|
37
|
+
close: () => session.close(),
|
|
38
|
+
};
|
|
39
|
+
}
|
|
22
40
|
const defaultImporter = () => import('@duckdb/node-api');
|
|
23
41
|
// —— 加固序列(⚠️ 顺序敏感,spec §5.2 探针 3/6/10)——
|
|
24
42
|
// TimeZone / memory_limit 必须在 lock_configuration 之前设:lock 之后连
|
|
@@ -53,13 +71,23 @@ export function memoryLimitBytes(display) {
|
|
|
53
71
|
const n = Number(m[1]) * unit[m[2]];
|
|
54
72
|
return Number.isFinite(n) ? n : 0;
|
|
55
73
|
}
|
|
56
|
-
// statementType 数值 →
|
|
57
|
-
// ⚠️
|
|
58
|
-
//
|
|
59
|
-
|
|
60
|
-
|
|
61
|
-
|
|
62
|
-
|
|
74
|
+
// statementType 数值 → 类型名。
|
|
75
|
+
// ⚠️ **整表按驱动枚举逐值抄写**(2026-11-01 修):此表此前是从任务 brief 抄的,其中
|
|
76
|
+
// `21: 'INSTALL'` 与事实相反 —— `@duckdb/node-api` 的 `StatementType` 枚举 21 = **LOAD**,
|
|
77
|
+
// INSTALL 与 LOAD 在实测中都返回 21(`INSTALL json` 与 `LOAD json` 逐语句探针实测),
|
|
78
|
+
// 于是 `LOAD json` 被拒时报「不接受 INSTALL 语句」—— 点名的语句名与用户输入的不符。
|
|
79
|
+
// 同时补上此前落裸数字的 6/8/12/18/26(spec §十一要求点明类型名)。
|
|
80
|
+
// 形态归属:本仓库记录过的「枚举字面量与事实相反」。
|
|
81
|
+
// 唯一事实源:`node -e "console.log(require('@duckdb/node-api').StatementType)"`(见
|
|
82
|
+
// `tests/query/statement-type-names.test.ts` 的对拍守卫)。
|
|
83
|
+
/** 导出供对拍守卫(`tests/query/statement-type-names.test.ts`)逐值核对驱动的枚举。 */
|
|
84
|
+
export const TYPE_NAMES = {
|
|
85
|
+
0: 'INVALID', 1: 'SELECT', 2: 'INSERT', 3: 'UPDATE', 4: 'EXPLAIN', 5: 'DELETE',
|
|
86
|
+
6: 'PREPARE', 7: 'CREATE', 8: 'EXECUTE', 9: 'ALTER', 10: 'TRANSACTION', 11: 'COPY',
|
|
87
|
+
12: 'ANALYZE', 13: 'VARIABLE_SET', 14: 'CREATE_FUNC', 15: 'DROP', 16: 'EXPORT',
|
|
88
|
+
17: 'PRAGMA', 18: 'VACUUM', 19: 'CALL', 20: 'SET', 21: 'LOAD', 22: 'RELATION',
|
|
89
|
+
23: 'EXTENSION', 24: 'LOGICAL_PLAN', 25: 'ATTACH', 26: 'DETACH', 27: 'MULTI',
|
|
90
|
+
28: 'COPY_DATABASE', 29: 'UPDATE_EXTENSIONS', 30: 'MERGE_INTO',
|
|
63
91
|
};
|
|
64
92
|
/** 所有抛出的错误都带 `kind`(+ 可选 `code`/`hint`/`retryable`),供命令层 thrownToExit 同族映射。 */
|
|
65
93
|
function sandboxError(kind, message, extra = {}) {
|
|
@@ -85,11 +113,21 @@ function depError(e) {
|
|
|
85
113
|
: '未安装 DuckDB 依赖。请在 qiyu-cli 的安装环境中运行:npm install @duckdb/node-api@1.5.6-r.1',
|
|
86
114
|
});
|
|
87
115
|
}
|
|
88
|
-
/**
|
|
116
|
+
/**
|
|
117
|
+
* ro 撞锁退避超限 → store_locked(spec §5.2)。
|
|
118
|
+
*
|
|
119
|
+
* ⚠️ 与 `store/duckdb.ts` 的写者撞锁**有意不同措辞**(此前注释写「同款」,已不成立):
|
|
120
|
+
* DuckDB 是「写者独占 / 读者共享」—— 只读打开被挡时持有者**必然是写者**,说「被写进程
|
|
121
|
+
* 占用」是准确的;而写者撞锁时持有者可能是只读会话,那边必须说「被其他进程占用」
|
|
122
|
+
*(CodeRabbit PR #68 第十三轮)。
|
|
123
|
+
*/
|
|
89
124
|
function lockedError(cfg) {
|
|
90
125
|
return sandboxError('store_locked', `数据库被写进程占用(等待 ${cfg.readOnlyRetryMs}ms 后超时):${cfg.path}`, {
|
|
91
126
|
retryable: true,
|
|
92
|
-
|
|
127
|
+
// ⚠️ 必须给**完整路径**(2026-10-26 实测):此前只写裸键名(不带 profiles/store
|
|
128
|
+
// 前缀),而配置里它只能放在 `profiles.<name>.store.` 之下 —— 用户按字面写进
|
|
129
|
+
// 顶层或 profile 级都会被「配置文件未知键」拒绝(退出码 2),照 hint 做反而更糟。
|
|
130
|
+
hint: '请稍后重试;等待上限可经配置文件 profiles.<name>.store.readOnlyRetryMs(默认 30000 毫秒)调整,或用 --db 指向其他数据库文件',
|
|
93
131
|
});
|
|
94
132
|
}
|
|
95
133
|
function typeName(t) {
|
|
@@ -270,14 +308,49 @@ function hasAnalyzeToken(sql) {
|
|
|
270
308
|
* ⚠️ 只认 layer2 的两个特征串,不能把泛化的 `Permission Error` 也算进来 ——
|
|
271
309
|
* 读库文件本身的 OS 权限错误也带这个前缀,误报成「沙箱拦截」会误导用户。
|
|
272
310
|
*/
|
|
311
|
+
/**
|
|
312
|
+
* layer2 拦截的统一渲染 —— prepare 期与执行期共用**同一句**。
|
|
313
|
+
*
|
|
314
|
+
* ⚠️ 执行期也会撞上 layer2(2026-11-05 审查实测):`sniff_csv('/etc/passwd')` 的签名
|
|
315
|
+
* 推断发生在**执行**阶段(探针 stage=execute),报文与 prepare 期完全同形。此前
|
|
316
|
+
* `runAndReadUntil` 的 catch 只判 `isInterrupt`,其余一律落 `internal` +
|
|
317
|
+
* 「请检查查询条件;若反复出现请报告此问题」—— 同一成因在 prepare 期报
|
|
318
|
+
* `sandbox_blocked`、在执行期报 `internal`,Agent 会以为是自己 SQL 写坏了。
|
|
319
|
+
* 判断依据(何时发生)不该决定归因(是谁拒绝的),所以两处都走这一个构造点。
|
|
320
|
+
*/
|
|
321
|
+
function layer2BlockedError() {
|
|
322
|
+
return sandboxError('usage', '该语句尝试访问文件或网络,已被只读沙箱拦截', {
|
|
323
|
+
code: 'sandbox_blocked',
|
|
324
|
+
hint: '沙箱只允许读取数据库内的数据:read_csv / read_text / glob / COPY TO / ATTACH / EXPORT / INSTALL 均不可用',
|
|
325
|
+
});
|
|
326
|
+
}
|
|
327
|
+
/**
|
|
328
|
+
* Extension Autoloading 被拦截的统一渲染(prepare 与执行两期同句)。
|
|
329
|
+
*
|
|
330
|
+
* ⚠️ 2026-11-05 审查实测:`delta_scan` / `iceberg_scan` / `postgres_scan` 需要自动安装
|
|
331
|
+
* 扩展,而只读沙箱禁用了扩展安装/LOAD/INSTALL —— 报文前缀是
|
|
332
|
+
* `Extension Autoloading Error:`(**不是** `Permission Error:`),旧实现落到
|
|
333
|
+
* `query_error` + 「请检查表名、列名与 SQL 语法」:把「这个函数在这里用不了」说成
|
|
334
|
+
* 「你 SQL 写错了」,Agent 会反复改名重试。单独一档、给可执行的动作。
|
|
335
|
+
*/
|
|
336
|
+
function extensionBlockedError() {
|
|
337
|
+
return sandboxError('usage', '该函数需要安装 DuckDB 扩展,已被只读沙箱拦截', {
|
|
338
|
+
code: 'sandbox_blocked',
|
|
339
|
+
hint: '只读沙箱禁用了扩展的安装与加载(INSTALL / LOAD / autoload),delta_scan、'
|
|
340
|
+
+ 'iceberg_scan、postgres_scan 等依赖扩展的函数在这里不可用;请改用库内的表与内置函数',
|
|
341
|
+
});
|
|
342
|
+
}
|
|
273
343
|
function mapPrepareError(e) {
|
|
274
344
|
const msg = e instanceof Error ? e.message : String(e);
|
|
275
|
-
|
|
276
|
-
|
|
277
|
-
|
|
278
|
-
|
|
279
|
-
|
|
280
|
-
|
|
345
|
+
// 判据走 `query/native-error.ts` 的 `isLayer2Blocked`(**唯一实现点**,2026-11-01),
|
|
346
|
+
// 与 `query/errors.ts` 同源。锚类别前缀 `Permission Error:` + 特征句,并在判定前
|
|
347
|
+
// 剥掉 SQL 回显:Parser Error 会把出错行 SQL 全文附在 `LINE n:` 之后,SQL 里恰好
|
|
348
|
+
// 含特征句时(`SELEC 'file system operations are disabled by configuration'`,
|
|
349
|
+
// 实测)会被谎报成「已被沙箱拦截」(真实成因是语法错,exit 同为 2 但归因是假的)。
|
|
350
|
+
if (isLayer2Blocked(msg))
|
|
351
|
+
return layer2BlockedError();
|
|
352
|
+
if (isExtensionAutoloadBlocked(msg))
|
|
353
|
+
return extensionBlockedError();
|
|
281
354
|
// 裁决 R9:把原生错误挂在 cause 上,Task 5 从原文补算表/列候选(message 格式保持不变)。
|
|
282
355
|
return sandboxError('usage', `SQL 无法执行:${msg}`, {
|
|
283
356
|
code: 'query_error',
|
|
@@ -319,6 +392,22 @@ export async function openSandbox(cfg, deps = {}) {
|
|
|
319
392
|
tryOpen: open,
|
|
320
393
|
isRetryable: isLockError,
|
|
321
394
|
maxMs: cfg.readOnlyRetryMs,
|
|
395
|
+
// ⚠️ `attemptMs` 必须传(CodeRabbit PR#74 第三轮):不传时 `withAttemptTimeout` 直接返回
|
|
396
|
+
// 原 promise,截止时间只会在**抛错后**才比较 —— `create`/`connect` 卡住(网络盘、卡死的
|
|
397
|
+
// 锁等待)就没有任何上界,`qiyu query` / `db tables` / `stats` 会无限挂着。
|
|
398
|
+
// `store` 那条路径早已传,此处漏掉的后果是「有界打开」只覆盖了一半的只读命令。
|
|
399
|
+
attemptMs: cfg.readOnlyRetryMs,
|
|
400
|
+
// 超时被放弃的尝试若稍后成功,交回关掉(否则多一个锁持有者)。
|
|
401
|
+
onAbandoned: (r) => {
|
|
402
|
+
try {
|
|
403
|
+
r.conn.closeSync?.();
|
|
404
|
+
}
|
|
405
|
+
catch { /* 清理失败不掩盖原错误 */ }
|
|
406
|
+
try {
|
|
407
|
+
r.inst.closeSync?.();
|
|
408
|
+
}
|
|
409
|
+
catch { /* 同上 */ }
|
|
410
|
+
},
|
|
322
411
|
sleep: deps.sleep,
|
|
323
412
|
now: deps.now,
|
|
324
413
|
});
|
|
@@ -326,11 +415,24 @@ export async function openSandbox(cfg, deps = {}) {
|
|
|
326
415
|
conn = r.conn;
|
|
327
416
|
}
|
|
328
417
|
catch (e) {
|
|
329
|
-
|
|
418
|
+
// 打开超时与撞锁是同一类后果(等不到库),走同一条 store_locked 出口 ——
|
|
419
|
+
// 否则超时会落到下面的 `classifyOpenFailure`,识别不出 → 变成「库不存在」类的误导。
|
|
420
|
+
if (isLockError(e) || e.timedOut === true)
|
|
330
421
|
throw lockedError(cfg);
|
|
331
422
|
// 其余打开失败(库不存在 / 非 DuckDB 文件 / 权限)→ store_not_initialized(spec §十一:
|
|
332
423
|
// 库不存在 → 退出码 1、hint 指 `qiyu store init`)。底层原文保留在 message 里。
|
|
333
|
-
|
|
424
|
+
// ⚠️ 成因分流走 `store/retry.ts` 的 `classifyOpenFailure`(2026-10-31 单一实现点):
|
|
425
|
+
// 判据与 hint 口径必须与 `commands/store.ts` 的 `thrownToExit`、`sync-run.ts` 的
|
|
426
|
+
// `storeInitFail` 一致 —— 此前三处各写各的,
|
|
427
|
+
// 同一个 `chmod 000` 的文件在 `store status` 与 `query` 上给出**互相矛盾**的 hint
|
|
428
|
+
//(store 说「检查读写权限」、query 却说「请确认文件存在且由本 CLI 创建,跑 store init」)。
|
|
429
|
+
// 判据本身的形态要求(DuckDB 原生报文、strerror 在句尾、锚 `$` 不能子串搜)见 retry.ts。
|
|
430
|
+
const openFailure = classifyOpenFailure(e);
|
|
431
|
+
if (openFailure !== null) {
|
|
432
|
+
throw sandboxError('store_not_initialized', `无法打开数据库:${e instanceof Error ? e.message : String(e)}`, { hint: openFailureHint(openFailure) });
|
|
433
|
+
}
|
|
434
|
+
throw sandboxError('store_not_initialized', `无法打开数据库:${e instanceof Error ? e.message : String(e)}`, { hint: '请确认数据库文件存在且由本 CLI 创建(`' + storeInitCommand(cfg.path)
|
|
435
|
+
+ '`),或用 --db 指向其他数据库文件' });
|
|
334
436
|
}
|
|
335
437
|
// ⚠️ 关闭顺序与 store/duckdb.ts:305 同:先 conn 再 inst —— 只关 instance 不关 conn,
|
|
336
438
|
// 锁会随进程存活、永不释放。两个 closeSync 都包 try,清理期错误不掩盖原结果。
|
|
@@ -428,8 +530,8 @@ export async function openSandbox(cfg, deps = {}) {
|
|
|
428
530
|
if (p.parameterCount !== params.length) {
|
|
429
531
|
throw sandboxError('usage', `SQL 含 ${p.parameterCount} 个参数占位符,实际提供 ${params.length} 个参数(--sql 不接受参数占位符)`, { code: 'query_error', hint: '请把过滤条件写成字面量;参数化查询仅供 CLI 内部代码使用' });
|
|
430
532
|
}
|
|
431
|
-
// layer1-④:类型白名单。DESCRIBE / SHOW / PRAGMA table_info / PRAGMA database_list
|
|
432
|
-
//
|
|
533
|
+
// layer1-④:类型白名单。DESCRIBE / SHOW / PRAGMA table_info / PRAGMA database_list /
|
|
534
|
+
// VALUES / TABLE x / FROM x 等只读形态,都报告为 1(只读,放行)。`typeof` 守卫:注入的假模块若把 StatementType 的值
|
|
433
535
|
// 给成字符串,不能让它静默地把所有语句都挡掉。
|
|
434
536
|
const ST = mod.StatementType ?? {};
|
|
435
537
|
const SELECT = typeof ST.SELECT === 'number' ? ST.SELECT : 1; // 实测值:SELECT=1
|
|
@@ -437,7 +539,10 @@ export async function openSandbox(cfg, deps = {}) {
|
|
|
437
539
|
if (p.statementType !== SELECT && p.statementType !== EXPLAIN) {
|
|
438
540
|
throw sandboxError('usage', `只读沙箱不接受 ${typeName(p.statementType)} 语句`, {
|
|
439
541
|
code: 'sandbox_blocked',
|
|
440
|
-
|
|
542
|
+
// 文案按实测写全(2026-11-09):放行的是「DuckDB 判为只读」的全部形态,
|
|
543
|
+
// 不止 SELECT/DESCRIBE/SHOW/EXPLAIN —— PRAGMA 查询、VALUES、TABLE/FROM 也是。
|
|
544
|
+
hint: '只允许只读查询:SELECT / DESCRIBE / SHOW / EXPLAIN / PRAGMA 查询 / VALUES / TABLE / FROM;'
|
|
545
|
+
+ '写操作、SET/CALL 与多语句一律拦截',
|
|
441
546
|
});
|
|
442
547
|
}
|
|
443
548
|
// layer1-⑤:EXPLAIN ANALYZE 内层执行闸门(spec §5.3 探针 16)。ANALYZE 会让 DuckDB
|
|
@@ -470,19 +575,37 @@ export async function openSandbox(cfg, deps = {}) {
|
|
|
470
575
|
}
|
|
471
576
|
catch (e) {
|
|
472
577
|
const msg = e instanceof Error ? e.message : String(e);
|
|
473
|
-
|
|
578
|
+
// ⚠️ 判据走 `query/native-error.ts` 的 `isInterrupt`(**唯一实现点**,2026-11-01):
|
|
579
|
+
// 只锚类别前缀 `INTERRUPT Error:`,不能只搜 `/INTERRUPT/i` —— Conversion Error 会
|
|
580
|
+
// 把列值原文回显进 message,数据里恰好含 interrupt 时(如 `Could not convert
|
|
581
|
+
// string 'interrupt' to INT32 …`)子串判会把**类型转换错误**谎报成查询超时
|
|
582
|
+
// (kind 与真实成因相反、真实错误线索被整体丢弃、`--timeout 0` 也照样报超时)。
|
|
583
|
+
// 形态与边界见那里的注释。
|
|
584
|
+
if (isInterrupt(msg)) {
|
|
474
585
|
// 实测:interrupt 约 300ms 生效,中断后连接仍可用(探针 6/9)。
|
|
475
|
-
// ⚠️ hint 不得点名 `--timeout`(审查 I-4):只有 `query` 接受该 flag,
|
|
586
|
+
// ⚠️ 默认 hint 不得点名 `--timeout`(审查 I-4):只有 `query` 接受该 flag,
|
|
476
587
|
// `db tables` / `db describe` / `stats fields` 共用本出口,建议一个它们
|
|
477
588
|
// 不认的参数等于给一条走不通的路(`未知参数:--timeout`,退出码 2)。
|
|
589
|
+
// ⚠️ 「缩小时间范围或加过滤条件」对元数据命令同样走不通(2026-11-05 审查):
|
|
590
|
+
// 它们没有 --since/--limit —— 调用方经 `withTimeoutHint` 换成自己的说法。
|
|
478
591
|
throw sandboxError('query_timeout', `查询超过 ${timeoutMs}ms 未完成,已中断`, {
|
|
479
592
|
code: 'query_timeout',
|
|
480
|
-
hint:
|
|
593
|
+
hint: opts.timeoutHint ?? DEFAULT_TIMEOUT_HINT,
|
|
481
594
|
});
|
|
482
595
|
}
|
|
483
596
|
// 裁决 R11:执行期原生错误也挂 cause —— errors.ts 从原文补 OOM 的可操作 hint
|
|
484
597
|
//(不挂的话「Out of Memory Error → 缩小时间范围」在生产路径永远不触发)。
|
|
485
|
-
|
|
598
|
+
// ⚠️ 但 layer2 拦截必须先于 internal 判定(2026-11-05 审查实测):`sniff_csv`
|
|
599
|
+
// 的文件访问发生在执行期,报文与 prepare 期同形 —— 见 `layer2BlockedError`。
|
|
600
|
+
if (isLayer2Blocked(msg))
|
|
601
|
+
throw layer2BlockedError();
|
|
602
|
+
if (isExtensionAutoloadBlocked(msg))
|
|
603
|
+
throw extensionBlockedError();
|
|
604
|
+
// OOM 报文里那段「Possible solutions」的 SET 在只读沙箱里必然失败
|
|
605
|
+
// (lock_configuration=true)—— 入口处就剥掉,别让「照做必然失败」的命令流到
|
|
606
|
+
// stdout(`errors.ts` 的两条 OOM 出口也各剥一次,见 `stripOomSolutions`)。
|
|
607
|
+
const cleanMsg = isOutOfMemory(msg) ? stripOomSolutions(msg) : msg;
|
|
608
|
+
throw sandboxError('internal', `查询执行失败:${cleanMsg}`, {
|
|
486
609
|
code: 'internal',
|
|
487
610
|
hint: '请检查查询条件;若反复出现请报告此问题',
|
|
488
611
|
cause: e,
|
|
@@ -20,7 +20,7 @@
|
|
|
20
20
|
import { shanghaiDayIso, shanghaiDayStart, shanghaiIso } from '../core/time.js';
|
|
21
21
|
import { timeShapeClauses } from './time-shape.js';
|
|
22
22
|
import { suggestNames } from './errors.js';
|
|
23
|
-
import { describeArgs } from '../output.js';
|
|
23
|
+
import { describeArgs, querySqlCommand, SQL_ARG_REPLACE_NOTE } from '../output.js';
|
|
24
24
|
/**
|
|
25
25
|
* `--table` 的用法类错误(未知表/列、敏感列、区间无效)。
|
|
26
26
|
* 纯函数只负责抛,命令层统一转 `usageFail`(退出码 2)—— 与 `parseStoreFlags` 的异常形态同款。
|
|
@@ -110,7 +110,7 @@ function boundParam(kind, ms) {
|
|
|
110
110
|
* · 敏感列 → 拒绝(脱敏会把不同取值归并成同一个分组键,分组与计数都会失真);
|
|
111
111
|
* · 重复列 → 拒绝(不静默去重,否则 Agent 会以为按两列分组)。
|
|
112
112
|
*/
|
|
113
|
-
export function validateGroupBy(table, groupBy) {
|
|
113
|
+
export function validateGroupBy(table, groupBy, loc) {
|
|
114
114
|
const names = table.columns.map((c) => c.name);
|
|
115
115
|
const sensitive = new Set(table.columns.filter((c) => c.sensitive === true).map((c) => c.name));
|
|
116
116
|
const seen = new Set();
|
|
@@ -125,7 +125,8 @@ export function validateGroupBy(table, groupBy) {
|
|
|
125
125
|
if (sensitive.has(name)) {
|
|
126
126
|
throw new TableQueryUsageError(`--group-by 不接受敏感列 ${name}:脱敏会把不同取值归并成同一个分组键,`
|
|
127
127
|
+ '分组结果无法区分(计数本身准确,但每个分组代表哪些原值不可知)。'
|
|
128
|
-
+ '确需按原值分组请改用 `
|
|
128
|
+
+ '确需按原值分组请改用 `' + querySqlCommand(loc) + ' --no-mask`(显式承担 PII 风险;'
|
|
129
|
+
+ SQL_ARG_REPLACE_NOTE + ')');
|
|
129
130
|
}
|
|
130
131
|
if (seen.has(name)) {
|
|
131
132
|
throw new TableQueryUsageError(`--group-by 列重复:${name}(同一列只能给一次,不做静默去重)`);
|
|
@@ -141,7 +142,7 @@ export function validateGroupBy(table, groupBy) {
|
|
|
141
142
|
function buildTimeFilter(input) {
|
|
142
143
|
const { table, since, until } = input;
|
|
143
144
|
const tc = table.timeColumn;
|
|
144
|
-
const empty = { clauses: [], params: [], resolvedRange: null, warnings: [] };
|
|
145
|
+
const empty = { clauses: [], params: [], resolvedRange: null, warnings: [], timeFiltered: false };
|
|
145
146
|
if (tc === undefined) {
|
|
146
147
|
if (since !== undefined || until !== undefined) {
|
|
147
148
|
throw new TableQueryUsageError(`表 ${table.name} 没有时间列,不支持 --since/--until`);
|
|
@@ -208,7 +209,37 @@ function buildTimeFilter(input) {
|
|
|
208
209
|
clauses.push(`${expr} <= ${boundPlaceholder(tc.kind)}`);
|
|
209
210
|
params.push(boundParam(tc.kind, upper));
|
|
210
211
|
}
|
|
211
|
-
return { clauses, params, resolvedRange, warnings };
|
|
212
|
+
return { clauses, params, resolvedRange, warnings, timeFiltered: true };
|
|
213
|
+
}
|
|
214
|
+
/**
|
|
215
|
+
* 「本次过滤会静默丢掉的脏时间值」计数 SQL(2026-11-05 审查修)。
|
|
216
|
+
*
|
|
217
|
+
* 事实:`buildTimeFilter` 把**形态谓词**与时间谓词放进同一个 WHERE(正确性 F8),于是
|
|
218
|
+
* 时间列里的脏值(`not-a-date`、非数字的 epoch-ms)在给了 `--since/--until` 时被
|
|
219
|
+
* **静默排除**——`rows` 少了它们、`data_coverage` 也不算它们、`warnings` 一个字不说。
|
|
220
|
+
* `db tables` / `db describe` 对同一张表会报「时间列有 N 个值不符合约定形态」,
|
|
221
|
+
* 两条命令对同一个库给出两种说法。
|
|
222
|
+
*
|
|
223
|
+
* 没有时间过滤时返回 null:那时脏值行照常出现在 rows 里(没有被丢弃),
|
|
224
|
+
* `data_coverage` 为 null 这条事实由图例说明,不必每次查询都多跑一次全表计数。
|
|
225
|
+
*
|
|
226
|
+
* ⚠️ 谓词与 `commands/db.ts` 的 `dirtyTimeValues` 逐字同形(`NOT COALESCE(shape, false)`),
|
|
227
|
+
* 两处都构造自 `shapeClause` 这一份形态定义 —— 只有 SQL 外壳各自拼(表名单引号 vs 双引号、
|
|
228
|
+
* 参数形态不同),判据本身仍是一处。
|
|
229
|
+
*/
|
|
230
|
+
export function buildDirtyTimeQuery(input) {
|
|
231
|
+
const { table } = input;
|
|
232
|
+
const tc = table.timeColumn;
|
|
233
|
+
if (tc === undefined)
|
|
234
|
+
return null;
|
|
235
|
+
if (!buildTimeFilter(input).timeFiltered)
|
|
236
|
+
return null;
|
|
237
|
+
const col = quote(tc.name);
|
|
238
|
+
const bad = `NOT COALESCE((${shapeClause(tc).join(' AND ')}), false)`;
|
|
239
|
+
return {
|
|
240
|
+
sql: `SELECT COUNT(*) AS n FROM ${quote(table.name)} WHERE ${col} IS NOT NULL AND ${bad}`,
|
|
241
|
+
params: [],
|
|
242
|
+
};
|
|
212
243
|
}
|
|
213
244
|
/**
|
|
214
245
|
* 构造 `query --table` 的 SQL(契约 A–F)。
|