dsh-git-push 2.18.2 → 2.20.17
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/.gitignore +4 -0
- package/README.md +12 -5
- package/cli-audit.mjs +141 -0
- package/cli-tool.mjs +86 -0
- package/cli.mjs +116 -324
- package/lib/ARCHITECTURE.md +3 -0
- package/lib/app/audit-api.js +1 -1
- package/lib/app/command-registry.js +16 -3
- package/lib/app/constants.js +9 -0
- package/lib/app/handlers/clone.js +12 -3
- package/lib/app/handlers/http-constants.js +11 -2
- package/lib/app/handlers/npm.js +4 -2
- package/lib/app/handlers/repos.js +10 -1
- package/lib/app/handlers/settings.js +9 -1
- package/lib/app/http-handlers.js +24 -3
- package/lib/app/inject-text.js +1 -0
- package/lib/app/schema-audit.js +42 -0
- package/lib/app/schema.js +19 -19
- package/lib/app/scope-check.js +69 -0
- package/lib/app/settings-bridge.js +51 -0
- package/lib/app/tool-call.js +56 -7
- package/lib/ast/credential.js +130 -14
- package/lib/ast/dataflow.js +127 -10
- package/lib/ast/index.js +2 -0
- package/lib/ast/naming.js +9 -1
- package/lib/ast/scope-collisions.js +228 -0
- package/lib/ast/treesitter.js +142 -1
- package/lib/audit/history.js +1 -1
- package/lib/audit/orchestrate.js +93 -6
- package/lib/audit/scope-policy.js +110 -0
- package/lib/audit-rules/audit-rules-dsh.yml +16 -1
- package/lib/audit-rules/audit-rules-nodejs.yml +21 -6
- package/lib/audit-rules/audit-rules-paths.yml +7 -1
- package/lib/audit-ui-sdk/contract.js +117 -0
- package/lib/audit-ui-sdk/index.js +17 -0
- package/lib/checks/common.js +4 -4
- package/lib/checks/dispatch.js +5 -0
- package/lib/checks/index.js +2 -0
- package/lib/checks/regex.js +8 -3
- package/lib/checks/scope-collision.js +68 -0
- package/lib/cli/commands-audit.mjs +13 -18
- package/lib/cli/commands-tool.mjs +93 -0
- package/lib/cli/commands-vcs.mjs +2 -1
- package/lib/cli/shared.mjs +448 -0
- package/lib/client-parts/{account.js → git/account.js} +1 -1
- package/lib/client-parts/{actions.js → git/actions.js} +26 -11
- package/lib/client-parts/{apply.js → git/apply.js} +1 -1
- package/lib/client-parts/{browser.js → git/browser.js} +1 -1
- package/lib/client-parts/{const.js → git/const.js} +6 -1
- package/lib/client-parts/{controller.js → git/controller.js} +23 -11
- package/lib/client-parts/{icons.js → git/icons.js} +1 -1
- package/lib/client-parts/{loader.js → git/loader.js} +1 -1
- package/lib/client-parts/{npm.js → git/npm.js} +1 -1
- package/lib/client-parts/{page.js → git/page.js} +11 -21
- package/lib/client-parts/{repo.js → git/repo.js} +1 -1
- package/lib/client-parts/{settings.js → git/settings.js} +1 -1
- package/lib/client-parts/{utils.js → git/utils.js} +1 -1
- package/lib/client.js +75 -354
- package/lib/commit-push/pre-commit-engine.js +388 -0
- package/lib/commit-push.js +44 -17
- package/lib/exempt/index.js +5 -2
- package/lib/git/ignore.js +6 -4
- package/lib/git/init-compat.js +83 -4
- package/lib/git/push.js +25 -2
- package/lib/git/sensitive.js +30 -1
- package/lib/git/transport.js +31 -10
- package/lib/http/index.js +82 -10
- package/lib/lint-adapter/detect.js +161 -0
- package/lib/lint-adapter/index.js +50 -0
- package/lib/lint-adapter/runner.js +133 -0
- package/lib/npm/npmrc.js +22 -5
- package/lib/rule/compilers/structure.js +24 -0
- package/lib/score/index.js +36 -4
- package/lib/self/index.js +1 -1
- package/package.json +25 -2
- package/scripts/audit-gate.mjs +235 -0
- package/scripts/build-client.mjs +15 -8
- package/scripts/bump-version.mjs +20 -5
- package/scripts/check-js-scope.mjs +87 -0
- package/scripts/check.mjs +51 -4
- package/scripts/scan-file-io.mjs +5 -1
- package/scripts/scan-version.mjs +10 -7
- package/skills/dev/dsh-git-push.md +70 -2
- package/skills/guide/guide-audit.md +11 -11
- package/skills/guide/guide-cli-scripts.md +3 -3
- package/skills/guide/guide-commit-push.md +2 -2
- package/skills/guide/guide-inject-ui.md +0 -16
- package/assets/start.sh +0 -396
- package/scripts/scan-hardcoded-paths.mjs +0 -125
- /package/lib/client-parts/{audit.js → audit/audit.js} +0 -0
package/lib/ast/credential.js
CHANGED
|
@@ -6,9 +6,17 @@
|
|
|
6
6
|
* 占位符判据(CRED_PLACEHOLDER / CRED_SCHEME_PREFIX / isMeaningfulCredentialValue)
|
|
7
7
|
* 必须只有一份:两处检查共用,否则判据漂移会出现「同一串值 A 规则放行、
|
|
8
8
|
* B 规则拦截」的自相矛盾。
|
|
9
|
+
*
|
|
10
|
+
* 精筛双路径(2026-11-06 方向 E1「有树走树」):
|
|
11
|
+
* checkCredentialRefAst(text, tree) 传入语法树时走 credentialLinesFromTree——按真语法
|
|
12
|
+
* 节点判「赋值左值是不是凭据名、右值是不是纯字面量」,参数默认值(default_parameter /
|
|
13
|
+
* assignment_pattern)、复合右值(binary_operator)、三元(conditional_expression)、
|
|
14
|
+
* f-string 插值天然落空;无树/解析失败回退 scanCredentialTokens(token 级近似)。
|
|
15
|
+
* 回退是常态路径之一(D5 口径)——双向样本回归见 test/test-tree-first-credential.mjs。
|
|
9
16
|
*/
|
|
10
17
|
|
|
11
18
|
import { tokenize } from './tokenizer.js';
|
|
19
|
+
import { credentialLinesFromTree } from './treesitter.js';
|
|
12
20
|
|
|
13
21
|
/**
|
|
14
22
|
* 检查「凭据类标识符是否真的被赋了字面量值」(no-hardcoded-credentials kind 的 AST 精筛)。
|
|
@@ -66,16 +74,29 @@ const CRED_SCHEME_PREFIX = /^(gh[pousr]_|github_pat_|sk-[a-z]*-?|xox[baprs]-|glp
|
|
|
66
74
|
*/
|
|
67
75
|
const CRED_INTERPOLATED = /\$\(|\$\{|^\$[A-Za-z0-9_]/;
|
|
68
76
|
|
|
69
|
-
/**
|
|
77
|
+
/** 去掉字符串字面量外层引号(含 Python bytes/raw/f 前缀:b"…" / rb'…')。 */
|
|
70
78
|
function stripQuotes(raw) {
|
|
71
|
-
return String(raw)
|
|
79
|
+
return String(raw)
|
|
80
|
+
.replace(/^([a-zA-Z]{0,2})(\'|"|`)([\s\S]*)\2$/, '$3')
|
|
81
|
+
.trim();
|
|
72
82
|
}
|
|
73
83
|
|
|
74
84
|
/**
|
|
75
|
-
*
|
|
85
|
+
* 主题令牌/标签样式值形状:小写点分段(text.secondary / bg.hover / accent.subtle)
|
|
86
|
+
* 或「小写词+冒号」标签前缀(plugin-preset: / preview-remove:,后接拼接/插值)。
|
|
87
|
+
* 这类值是被 `token=`/`fill_token=` 之类**变量名撞词**带进来的样式枚举名,
|
|
88
|
+
* 不是凭据内容——外部仓库实测 10 条 blocker 全部误报源于此形态。
|
|
89
|
+
* 刻意取最小面:段内禁大写禁特殊字符、点分段≥2 或尾冒号;
|
|
90
|
+
* `hunter2`(全小写无点无冒号)这类真弱口令**不在豁免内**,照报。
|
|
91
|
+
*/
|
|
92
|
+
const THEME_TOKEN_SHAPE = /^[a-z][a-z0-9_-]*(\.[a-z][a-z0-9_-]*)+:?$/;
|
|
93
|
+
const LABEL_COLON_SHAPE = /^[a-z][a-z0-9_-]*:$/;
|
|
94
|
+
|
|
95
|
+
/**
|
|
96
|
+
* 判断一个字面量值是否算「真凭据」(非空、非掩码、非占位/演示、非主题令牌样式值)。
|
|
76
97
|
*
|
|
77
|
-
* @param raw
|
|
78
|
-
* @returns true = 像真凭据(应报);false =
|
|
98
|
+
* @param raw 原始字面量(可带引号,可带 Python bytes/raw 前缀)
|
|
99
|
+
* @returns true = 像真凭据(应报);false = 占位符/空值/主题令牌(豁免)
|
|
79
100
|
*/
|
|
80
101
|
export function isMeaningfulCredentialValue(raw) {
|
|
81
102
|
const v = stripQuotes(raw);
|
|
@@ -83,6 +104,10 @@ export function isMeaningfulCredentialValue(raw) {
|
|
|
83
104
|
if (isPlaceholderText(v)) return false;
|
|
84
105
|
// 运行时求值($(cmd) / ${VAR} / $VAR)→ 值不在代码里,不是硬编码
|
|
85
106
|
if (CRED_INTERPOLATED.test(v)) return false;
|
|
107
|
+
// 主题令牌/标签前缀形状(text.secondary / plugin-preset:):变量名撞 token 词的样式枚举。
|
|
108
|
+
// scheme 前缀保护——带 ghp_/sk-/AKIA 等凭据前缀的值即便碰巧撞形状也照报,形状豁免不开后门。
|
|
109
|
+
CRED_SCHEME_PREFIX.lastIndex = 0;
|
|
110
|
+
if (!CRED_SCHEME_PREFIX.test(v) && (THEME_TOKEN_SHAPE.test(v) || LABEL_COLON_SHAPE.test(v))) return false;
|
|
86
111
|
return !isPlaceholderText(v.replace(CRED_SCHEME_PREFIX, ''));
|
|
87
112
|
}
|
|
88
113
|
|
|
@@ -134,8 +159,65 @@ export function checkPlaceholderCredentialAst(text = '', file = '') {
|
|
|
134
159
|
return out;
|
|
135
160
|
}
|
|
136
161
|
|
|
137
|
-
/**
|
|
138
|
-
|
|
162
|
+
/**
|
|
163
|
+
* 凭据语义标识符(命名**以这些词结尾**的变量/字段才纳入判断)。
|
|
164
|
+
*
|
|
165
|
+
* 此前判「名字里含凭据词即可」,外部 Python 仓库实测暴露两类误报:
|
|
166
|
+
* token_pattern = r'…'(正则模式变量)、_ICON_TOKEN_PROP = "_themed_icon_token"(属性名字面量)
|
|
167
|
+
* ——凭据词只是长描述名的**前缀/中段**,变量装的根本不是凭据值。
|
|
168
|
+
* 改为结尾锚定后:APP_UPDATE_TOKEN_SECRET(结尾 SECRET)、API_KEY、db_password、githubToken
|
|
169
|
+
* (camelCase 结尾 Token)这类「名字即凭据」的写法照常命中;
|
|
170
|
+
* password_length / token_pattern / secretCache 这类不再命中。
|
|
171
|
+
* 代价:mytoken2 这类尾部带数字的命名会漏——刻意取此边界(命中集宁窄勿宽,
|
|
172
|
+
* 前缀型真密钥串另有 secret-github-pat 等形状规则兜底)。
|
|
173
|
+
*/
|
|
174
|
+
/**
|
|
175
|
+
* 凭据语义名两级判定:
|
|
176
|
+
* strong(词义无歧义:password/secret/credential/apikey/accesskey/privatekey/pwd…)
|
|
177
|
+
* → 右侧是有效字面量即判硬编码(历史行为)。
|
|
178
|
+
* weak(token/cookie/key 这类**常用普通词**:token_pattern=正则模式、_ICON_TOKEN_PROP=属性名、
|
|
179
|
+
* cookieChars=字符表)→ 仅当值本身有凭据置信度(scheme 前缀 ghp_/sk-/AKIA…
|
|
180
|
+
* 或 ≥20 位混合大小写+数字的高熵串)才判硬编码。
|
|
181
|
+
* 背景(外部 Python 仓库实测):把 token 当无歧义凭据名时,主题令牌/标签前缀/模式变量
|
|
182
|
+
* 全线误报(10 条 blocker 全假);而真凭据 APP_UPDATE_TOKEN_SECRET 的强词是 SECRET。
|
|
183
|
+
* 结尾锚定试过并再放宽回分段匹配——SECRET_KEY(强词在**前段**)被锚定漏掉即回归,
|
|
184
|
+
* 分段 + 强弱分级同时解决两者。
|
|
185
|
+
*/
|
|
186
|
+
// strong:词义即凭据容器(cookie 的值就是会话凭据,属强词;1.1.4 测试夹具锁死其必报行为)。
|
|
187
|
+
const CRED_NAME_STRONG = /(password|passwd|pwd|secret|credential|cookie|api[_-]?key|access[_-]?key|private[_-]?key|auth[_-]?token|session[_-]?token|refresh[_-]?token)/i;
|
|
188
|
+
// weak:常用普通词(token 常做主题令牌/正则模式变量名、key 常做字典键/琴键名)——要值置信度。
|
|
189
|
+
const CRED_NAME_WEAK = /(token|key)/i;
|
|
190
|
+
|
|
191
|
+
/** 值置信度:scheme 前缀或高熵串(≥20 字符、字符集干净、大小写数字混合)。 */
|
|
192
|
+
const CRED_VALUE_ENTROPY = /^[A-Za-z0-9+/_=.:-]{20,}$/;
|
|
193
|
+
|
|
194
|
+
/** 凭据名分级('strong'|'weak'|null),导出供树提取器与 token 扫描共用同一份定义。 */
|
|
195
|
+
export function credentialNameTier(name) {
|
|
196
|
+
const n = String(name || '');
|
|
197
|
+
if (CRED_NAME_STRONG.test(n)) return 'strong';
|
|
198
|
+
if (CRED_NAME_WEAK.test(n)) return 'weak';
|
|
199
|
+
return null;
|
|
200
|
+
}
|
|
201
|
+
|
|
202
|
+
/**
|
|
203
|
+
* 「名字+值」组合判硬编码(token 路径与树路径共用的唯一判据)。
|
|
204
|
+
* strong 名维持历史口径;weak 名要求值有凭据置信度(scheme/高熵)。
|
|
205
|
+
*/
|
|
206
|
+
export function isHardcodedCredentialValue(name, raw) {
|
|
207
|
+
const tier = credentialNameTier(name);
|
|
208
|
+
if (!tier) return false;
|
|
209
|
+
if (!isMeaningfulCredentialValue(raw)) return false;
|
|
210
|
+
if (tier === 'strong') return true;
|
|
211
|
+
const v = stripQuotes(raw);
|
|
212
|
+
CRED_SCHEME_PREFIX.lastIndex = 0;
|
|
213
|
+
if (CRED_SCHEME_PREFIX.test(v)) return true;
|
|
214
|
+
return CRED_VALUE_ENTROPY.test(v) && /[a-z]/.test(v) && /[A-Z]/.test(v) && /\d/.test(v);
|
|
215
|
+
}
|
|
216
|
+
|
|
217
|
+
/** 凭据语义名判定谓词(旧签名,兼容树提取器入参;tier 判定走 credentialNameTier)。 */
|
|
218
|
+
export function isCredentialIdent(name) {
|
|
219
|
+
return credentialNameTier(name) !== null;
|
|
220
|
+
}
|
|
139
221
|
|
|
140
222
|
/**
|
|
141
223
|
* 在一段 token 序列上判「凭据标识符右侧是否直接是有效字符串字面量」,命中行号写入 out。
|
|
@@ -147,7 +229,7 @@ const CRED_IDENT = /(password|passwd|pwd|secret|token|apikey|api_key|accesskey|a
|
|
|
147
229
|
function scanCredentialTokens(tokens, out, lineOffset = 0) {
|
|
148
230
|
for (let i = 0; i < tokens.length; i++) {
|
|
149
231
|
const t = tokens[i];
|
|
150
|
-
if (t.type !== 'ident' || !
|
|
232
|
+
if (t.type !== 'ident' || !credentialNameTier(t.value)) continue;
|
|
151
233
|
// 向后找该标识符所在语句的赋值/比较运算符(遇到语句边界就放弃)
|
|
152
234
|
let opIdx = -1;
|
|
153
235
|
for (let j = i + 1; j < Math.min(tokens.length, i + 8); j++) {
|
|
@@ -168,21 +250,55 @@ function scanCredentialTokens(tokens, out, lineOffset = 0) {
|
|
|
168
250
|
const opTok = tokens[opIdx];
|
|
169
251
|
const next = tokens[opIdx + 1];
|
|
170
252
|
if (!next) continue;
|
|
171
|
-
|
|
172
|
-
|
|
173
|
-
|
|
253
|
+
// 字面量前缀(Python b"…"/rb'…'、JS 标签 foo`…`):分词器把前缀切成独立 ident,
|
|
254
|
+
// 值仍在紧随的 str/tmpl token 上。不认前缀会让 bytes 真凭据整行漏报
|
|
255
|
+
// (外部仓库实测 SECRET_KEY = b"…" 未被任何路径捕获)。
|
|
256
|
+
// 认前缀的条件:ident 值≤2 字符且紧随的字符串 token **列紧邻**(无前缀与引号之间
|
|
257
|
+
// 只允许一个空格),否则 `token = b; "x"` 这类跨语句会被误并。
|
|
258
|
+
const litTok = literalAfterPrefix(tokens, next, opIdx);
|
|
259
|
+
// 组合判据与树路径同一份(isHardcodedCredentialValue:strong 名直判 / weak 名要值置信度)
|
|
260
|
+
if (opTok.value === '=' && litTok && isHardcodedCredentialValue(t.value, litTok.value)) {
|
|
261
|
+
out.add(t.line + lineOffset);
|
|
174
262
|
continue;
|
|
175
263
|
}
|
|
176
|
-
if (opTok.value === ':') {
|
|
264
|
+
if (opTok.value === ':' && litTok && isHardcodedCredentialValue(t.value, litTok.value)) {
|
|
177
265
|
// 对象字面量 `token: 'abc'` → 真硬编码;`token: cfg.token` 是引用,不报
|
|
178
|
-
|
|
266
|
+
out.add(t.line + lineOffset);
|
|
179
267
|
}
|
|
180
268
|
}
|
|
181
269
|
}
|
|
182
270
|
|
|
183
|
-
|
|
271
|
+
/**
|
|
272
|
+
* 取运算符右侧的「字面量 token」,兼容 Python bytes/raw/f 前缀与 JS 模板标签。
|
|
273
|
+
*
|
|
274
|
+
* 分词器把 `b"abc"` 切成 ident("b") + str("\"abc\""),直接看 next.type 会当成
|
|
275
|
+
* 「右侧是变量」而漏报真凭据。这里在 next 是**短小写 ident**(≤2 字符,形如 b/r/f/rb/fr)
|
|
276
|
+
* 且其后紧跟一个字符串 token、且**列紧邻**(间隔 ≤1 列)时,返回那个字符串 token。
|
|
277
|
+
* 列紧邻是必需的:`token = b; other = "x"` 里 b 与 "x" 分属两条语句,
|
|
278
|
+
* 不加列约束会把无关字符串当成 b 的值(实测跨语句误并报)。
|
|
279
|
+
*
|
|
280
|
+
* @returns 命中的字符串 token,否则原样返回 next(非字面量时为 null/其它类型,由调用方判 type)
|
|
281
|
+
*/
|
|
282
|
+
function literalAfterPrefix(tokens, next, opIdx) {
|
|
283
|
+
if (!next) return null;
|
|
284
|
+
if (next.type === 'str' || next.type === 'tmpl') return next;
|
|
285
|
+
if (next.type !== 'ident' || !/^[a-zA-Z]{1,2}$/.test(String(next.value))) return null;
|
|
286
|
+
const after = tokens[opIdx + 2];
|
|
287
|
+
if (!after || (after.type !== 'str' && after.type !== 'tmpl')) return null;
|
|
288
|
+
if (after.line !== next.line) return null;
|
|
289
|
+
if (Math.abs(after.col - (next.col + String(next.value).length)) > 1) return null;
|
|
290
|
+
return after;
|
|
291
|
+
}
|
|
292
|
+
|
|
293
|
+
export function checkCredentialRefAst(text = '', tree = null) {
|
|
184
294
|
const raw = String(text);
|
|
185
295
|
const out = new Set();
|
|
296
|
+
// 「有树走树」:tree 为真语法树时,凭据赋值由语法节点判定(参数默认值/复合右值/三元
|
|
297
|
+
// 天然落空),bytes/raw/f-string 前缀也正常识别。树不可用或提取异常 ⇒ 回退 token 级。
|
|
298
|
+
if (tree && tree.rootNode) {
|
|
299
|
+
const fromTree = credentialLinesFromTree(tree, isHardcodedCredentialValue);
|
|
300
|
+
if (fromTree) return fromTree; // 树路径成功(含「无命中」的空集合)——不回退,避免两套判定叠加
|
|
301
|
+
}
|
|
186
302
|
scanCredentialTokens(tokenize(raw), out);
|
|
187
303
|
// markdown 行内代码段兜底:`token: "abc"` 里的反引号被分词器当成模板字面量定界符,
|
|
188
304
|
// 整段合并成一个 tmpl token,内部**不产生** ident/punct/str,直接扫原始 token 会漏报。
|
package/lib/ast/dataflow.js
CHANGED
|
@@ -27,8 +27,16 @@
|
|
|
27
27
|
import { tokenize } from './tokenizer.js';
|
|
28
28
|
import { matchBrace } from './brace.js';
|
|
29
29
|
|
|
30
|
-
/** 清空动作:方法调用(对象.clear() / .reset() / .flush() / .purge())。
|
|
31
|
-
|
|
30
|
+
/** 清空动作:方法调用(对象.clear() / .reset() / .flush() / .purge())。
|
|
31
|
+
* **刻意不含 empty**:empty() 在各语言都是**查询**(Python Queue.empty() / C++ vector.empty()
|
|
32
|
+
* 返回 bool,JS 库的 isEmpty 同义),把它当清空会制造系统性误报——
|
|
33
|
+
* 实测真实语料:`while not q.empty():` 之后的 `q.get()` 被误报成"清空后访问"。
|
|
34
|
+
* **刻意不含 reset**(2026-11-06 实测追加):业务代码里 reset() 绝大多数是
|
|
35
|
+
* 「**恢复默认值/重置状态**」而不是「清空容器」——被重置后对象**仍有内容**,之后读取完全安全。
|
|
36
|
+
* 实测证据:某配置类 `reset() -> bool`,测试断言 `cfg.reset()` 后 `cfg.get("general.theme") == "dark"`
|
|
37
|
+
* (有效值,不是空);同语料 13 条命中里 **12 条**都源于把 reset() 当清空。
|
|
38
|
+
* 真正的容器清空在各语言里用 clear()(本表保留)。若某库确把 reset() 用作清空,宁可漏报。 */
|
|
39
|
+
const CLEAR_METHODS = new Set(['clear', 'flush', 'purge']);
|
|
32
40
|
/** 访问动作:方法读——清空后调用会拿 undefined(.get() / .at(0) / .first() / .peek())。
|
|
33
41
|
* shift/pop 是「消费式访问」,常见于 `while (len) { shift() }` 保护模式,不报(宁漏不误报)。 */
|
|
34
42
|
const ACCESS_METHODS = new Set(['get', 'at', 'first', 'last', 'peek', 'head']);
|
|
@@ -90,6 +98,70 @@ function collectArrowMethodBodies(tokens) {
|
|
|
90
98
|
return fnRanges;
|
|
91
99
|
}
|
|
92
100
|
|
|
101
|
+
/**
|
|
102
|
+
* 段③·前:Python 缩进式函数体区间(`def f():` / `async def f():`)。
|
|
103
|
+
*
|
|
104
|
+
* 为什么必须单独一段:前面两段都只认 **JS 风格**——`function` 关键字与 `) {`。
|
|
105
|
+
* Python 用 `def` + 缩进,两者都不命中,于是 `fnRanges` 为空,
|
|
106
|
+
* `mergeFnRanges` 的第 3 步退化成「整个文件一个区间」⇒ 同文件内**任意位置**的
|
|
107
|
+
* 清空与访问都会被配成一对(实测:clear 在 invalidate()、访问在 build_index(),
|
|
108
|
+
* 相距 177 行仍被报)。这是结构性失真,不能靠调判据修补。
|
|
109
|
+
*
|
|
110
|
+
* 块范围判据(与 Python 语法一致):从 `def` 行起,向下直到首个
|
|
111
|
+
* **非空、非注释且缩进 ≤ def 缩进** 的行(该行已属同级/外层,不属于本函数体)。
|
|
112
|
+
* 嵌套 def 会被各自识别并**独立成体**(不做父子合并,数据流不跨函数体)。
|
|
113
|
+
* @param {string} text 源文本
|
|
114
|
+
* @param {Array} tokens token 流(用于把行号换算成 token 下标,并确认 `def` 是真标识符)
|
|
115
|
+
* @returns {Array<[number, number]>} token 下标闭区间
|
|
116
|
+
*/
|
|
117
|
+
function collectPythonDefBodies(text, tokens) {
|
|
118
|
+
const src = String(text || '');
|
|
119
|
+
if (!/^[ \t]*(async[ \t]+)?def[ \t]+\w+[ \t]*\(/m.test(src)) return [];
|
|
120
|
+
const lines = src.split('\n');
|
|
121
|
+
// tab 按 4 空格折算(与常见 Python 风格一致;混用缩进本身是语法错误,不深究)
|
|
122
|
+
const indentOf = (s) => {
|
|
123
|
+
const m = s.match(/^[ \t]*/);
|
|
124
|
+
return m ? m[0].replace(/\t/g, ' ').length : 0;
|
|
125
|
+
};
|
|
126
|
+
const isBlankOrComment = (s) => !s.trim() || /^\s*#/.test(s);
|
|
127
|
+
// 行号(1-based) → 该行首个/末个有效 token 下标
|
|
128
|
+
const firstTokOfLine = new Map();
|
|
129
|
+
const lastTokOfLine = new Map();
|
|
130
|
+
for (let i = 0; i < tokens.length; i++) {
|
|
131
|
+
const tk = tokens[i];
|
|
132
|
+
if (tk.type === 'ws' || tk.type === 'comment') continue;
|
|
133
|
+
const ln = Number(tk.line) || 0;
|
|
134
|
+
if (!ln) continue;
|
|
135
|
+
if (!firstTokOfLine.has(ln)) firstTokOfLine.set(ln, i);
|
|
136
|
+
lastTokOfLine.set(ln, i);
|
|
137
|
+
}
|
|
138
|
+
const ranges = [];
|
|
139
|
+
for (let li = 0; li < lines.length; li++) {
|
|
140
|
+
const m = lines[li].match(/^([ \t]*)(?:async[ \t]+)?def[ \t]+\w+[ \t]*\(/);
|
|
141
|
+
if (!m) continue;
|
|
142
|
+
const lineNo = li + 1;
|
|
143
|
+
// 必须确认该行的 def 是**真 token**(避免三引号字符串/注释里的 "def ")
|
|
144
|
+
const firstIdx = firstTokOfLine.get(lineNo);
|
|
145
|
+
const firstTok = firstIdx === undefined ? null : tokens[firstIdx];
|
|
146
|
+
const looksLikeDef = firstTok && (firstTok.value === 'def' || firstTok.value === 'async');
|
|
147
|
+
const lineHasDefTok = looksLikeDef || [...(firstTokOfLine.keys())].length === 0;
|
|
148
|
+
if (!lineHasDefTok) continue;
|
|
149
|
+
const base = indentOf(lines[li]);
|
|
150
|
+
let endLine = lineNo;
|
|
151
|
+
for (let lj = li + 1; lj < lines.length; lj++) {
|
|
152
|
+
const cur = lines[lj];
|
|
153
|
+
if (isBlankOrComment(cur)) continue; // 空行/注释不结束块
|
|
154
|
+
if (indentOf(cur) <= base) break; // 回到同级/外层 ⇒ 块结束
|
|
155
|
+
endLine = lj + 1;
|
|
156
|
+
}
|
|
157
|
+
const startTok = firstTokOfLine.get(lineNo);
|
|
158
|
+
const endTok = lastTokOfLine.get(endLine);
|
|
159
|
+
if (startTok === undefined || endTok === undefined || endTok < startTok) continue;
|
|
160
|
+
ranges.push([startTok, endTok]);
|
|
161
|
+
}
|
|
162
|
+
return ranges;
|
|
163
|
+
}
|
|
164
|
+
|
|
93
165
|
/** 段③:排序去重叠(嵌套只留最外层)+ 补顶层作用域孤岛(函数外 token 段)。 */
|
|
94
166
|
function mergeFnRanges(fnRanges, tokens) {
|
|
95
167
|
fnRanges.sort((a, b) => a[0] - b[0]);
|
|
@@ -114,9 +186,17 @@ function mergeFnRanges(fnRanges, tokens) {
|
|
|
114
186
|
return bodies;
|
|
115
187
|
}
|
|
116
188
|
|
|
117
|
-
/**
|
|
118
|
-
|
|
119
|
-
|
|
189
|
+
/**
|
|
190
|
+
* 收集全部函数体区间(声明/表达式/箭头/方法 + Python def 缩进体 + 顶层孤岛)。
|
|
191
|
+
* @param {Array} tokens token 流
|
|
192
|
+
* @param {string} [text] 源文本(Python 缩进体解析必需;缺省则退化为仅花括号语言)
|
|
193
|
+
*/
|
|
194
|
+
function collectFnBodies(tokens, text = '') {
|
|
195
|
+
const fnRanges = [
|
|
196
|
+
...collectDeclaredFnBodies(tokens),
|
|
197
|
+
...collectArrowMethodBodies(tokens),
|
|
198
|
+
...collectPythonDefBodies(text, tokens),
|
|
199
|
+
];
|
|
120
200
|
return mergeFnRanges(fnRanges, tokens);
|
|
121
201
|
}
|
|
122
202
|
|
|
@@ -166,7 +246,19 @@ function applyAssignClearOrWriteback(tokens, i, to, t, nxt, obj, clearMap) {
|
|
|
166
246
|
// 声明初始化(var/let/const 变量 = [] / = null)不算清空
|
|
167
247
|
const prev = prevNonWs(tokens, i);
|
|
168
248
|
const decl = prev && prev.type === 'ident' && (prev.value === 'var' || prev.value === 'let' || prev.value === 'const');
|
|
169
|
-
|
|
249
|
+
// ① 注解位:`self._x: list = []` 里被赋空值的是 **_x**,但扫描到 `list` 时它也满足
|
|
250
|
+
// 「ident 紧跟 =」——`list` 前面是 `:`(PEP 526 注解分隔符)⇒ 它在注解位,不是赋值目标。
|
|
251
|
+
// ⚠️ `:` 前面必须是**标识符**:Python 函数定义的 `def f(c):` 也用冒号,但其前是 `)`,
|
|
252
|
+
// 若不加这条就会把函数体第一条语句的赋值误当注解位 —— 实测会压制真缺陷
|
|
253
|
+
// (`def f(c): c = []` 后 `c[0]` 本该报却不报)。
|
|
254
|
+
const colonPrev = prev && prev.type === 'punct' && prev.value === ':'
|
|
255
|
+
? prevNonWs(tokens, prevNonWs(tokens, i) === prev ? i - 1 : i - 1)
|
|
256
|
+
: null;
|
|
257
|
+
const annPos = !!colonPrev && colonPrev.type === 'ident';
|
|
258
|
+
// ② 多目标解包:`result, last = [], {}` 中 last 后面紧跟 `=`,但 `[]` 属于 **result**。
|
|
259
|
+
// 判据:obj 之前(同语句内)出现过 `,` 而尚未出现 `=` ⇒ 它是解包目标之一,rhs 不归它。
|
|
260
|
+
const unpackTarget = prev && prev.type === 'punct' && prev.value === ',';
|
|
261
|
+
if (!decl && !annPos && !unpackTarget) {
|
|
170
262
|
clearMap.set(obj, { line: t.line, op: `= ${rhs.value === '[' ? '[]' : rhs.value}` });
|
|
171
263
|
}
|
|
172
264
|
return true;
|
|
@@ -200,7 +292,7 @@ function applyClearMethods(t, member, memberIdx, callOpen, tokens, obj, clearMap
|
|
|
200
292
|
* 清空后访问:.get()/.at() 或 [下标]。命中则记一条并撤销该对象标记(同对象只报一次)。
|
|
201
293
|
* @returns {number} 新的循环下标 i
|
|
202
294
|
*/
|
|
203
|
-
function applyAccessAfterClear(t, nxt, member, memberIdx, callOpen, tokens, i, obj, clearMap, out) {
|
|
295
|
+
function applyAccessAfterClear(t, nxt, member, memberIdx, callOpen, tokens, i, obj, clearMap, out, to) {
|
|
204
296
|
if (!clearMap.has(obj)) return i;
|
|
205
297
|
const cleared = clearMap.get(obj);
|
|
206
298
|
if (callOpen && ACCESS_METHODS.has(member)) {
|
|
@@ -210,14 +302,39 @@ function applyAccessAfterClear(t, nxt, member, memberIdx, callOpen, tokens, i, o
|
|
|
210
302
|
}
|
|
211
303
|
if (nxt?.type === 'punct' && nxt.value === '[') {
|
|
212
304
|
const idx = tokens[i + 2];
|
|
213
|
-
|
|
305
|
+
// 写目标不是读:`obj[k] = v` / `obj[k] += v` 的 `[k]` 是**写入下标**,
|
|
306
|
+
// 读一个刚清空的容器才危险,往刚清空的容器里写恰恰是"重新填充"(安全)。
|
|
307
|
+
// 判据:配对 `]` 之后的下一个实义 token 若是 `=`/复合赋值,按写回处理(撤销清空),不报。
|
|
308
|
+
if (idx && (idx.type === 'num' || idx.type === 'ident') && !isWriteSubscript(tokens, i, to)) {
|
|
214
309
|
out.push({ line: t.line, obj, clearLine: cleared.line, clearOp: cleared.op, accessOp: `[${idx.value}]` });
|
|
215
310
|
clearMap.delete(obj);
|
|
311
|
+
} else if (idx && isWriteSubscript(tokens, i, to)) {
|
|
312
|
+
clearMap.delete(obj); // 写入 = 重新填充,撤销清空标记(与 push/set 同口径)
|
|
216
313
|
}
|
|
217
314
|
}
|
|
218
315
|
return i;
|
|
219
316
|
}
|
|
220
317
|
|
|
318
|
+
/** `obj[...]` 是否是**写入**目标(配对 `]` 后紧跟 `=` / 复合赋值)。 */
|
|
319
|
+
function isWriteSubscript(tokens, objIdx, to) {
|
|
320
|
+
// 方括号配对自己走(brace.js 的 matchBrace 只处理 {},且返回数组)
|
|
321
|
+
let depth = 0;
|
|
322
|
+
let close = -1;
|
|
323
|
+
for (let k = objIdx + 1; k <= to && k < tokens.length; k++) {
|
|
324
|
+
const tk = tokens[k];
|
|
325
|
+
if (tk.type !== 'punct') continue;
|
|
326
|
+
if (tk.value === '[') depth++;
|
|
327
|
+
else if (tk.value === ']') {
|
|
328
|
+
depth--;
|
|
329
|
+
if (depth === 0) { close = k; break; }
|
|
330
|
+
}
|
|
331
|
+
}
|
|
332
|
+
if (close < 0) return false;
|
|
333
|
+
const after = nextNonWs(tokens, close + 1, to);
|
|
334
|
+
if (!after || after.type !== 'punct') return false;
|
|
335
|
+
return ['=', '+=', '-=', '*=', '/='].includes(after.value);
|
|
336
|
+
}
|
|
337
|
+
|
|
221
338
|
/**
|
|
222
339
|
* 在单个函数体区间内判定「清空后访问」。
|
|
223
340
|
*
|
|
@@ -246,7 +363,7 @@ function scanClearThenAccess(tokens, from, to) {
|
|
|
246
363
|
if (applyAssignClearOrWriteback(tokens, i, to, t, nxt, identName, clearMap)) continue;
|
|
247
364
|
const afterClear = applyClearMethods(t, member, memberIdx, callOpen, tokens, identName, clearMap, i);
|
|
248
365
|
if (afterClear !== i) { i = afterClear; continue; }
|
|
249
|
-
i = applyAccessAfterClear(t, nxt, member, memberIdx, callOpen, tokens, i, identName, clearMap, out);
|
|
366
|
+
i = applyAccessAfterClear(t, nxt, member, memberIdx, callOpen, tokens, i, identName, clearMap, out, to);
|
|
250
367
|
}
|
|
251
368
|
return out;
|
|
252
369
|
}
|
|
@@ -259,7 +376,7 @@ function scanClearThenAccess(tokens, from, to) {
|
|
|
259
376
|
*/
|
|
260
377
|
export function checkClearAccessAst(text = '') {
|
|
261
378
|
const tokens = tokenize(text);
|
|
262
|
-
const bodies = collectFnBodies(tokens);
|
|
379
|
+
const bodies = collectFnBodies(tokens, String(text || ''));
|
|
263
380
|
const seen = new Set(); // 去重(同一行同对象只报一次)
|
|
264
381
|
const out = [];
|
|
265
382
|
for (const [from, to] of bodies) {
|
package/lib/ast/index.js
CHANGED
|
@@ -32,5 +32,7 @@ export {
|
|
|
32
32
|
} from './credential.js';
|
|
33
33
|
// 三层审计 L2——数据流检查(同函数清空后访问)
|
|
34
34
|
export { checkClearAccessAst } from './dataflow.js';
|
|
35
|
+
// 拼接产物作用域撞名(分片拼成同一作用域时 var/function 静默覆盖)
|
|
36
|
+
export { analyzeScopeCollisions } from './scope-collisions.js';
|
|
35
37
|
// I/O 风险分级(四级;scanIoRiskAst 供 checks 层精筛与 scan-file-io 复用)
|
|
36
38
|
export { scanIoRiskAst, summarizeIoRisk, rankIoFixList, RISK_BADGE, RISK_LABEL } from './io-risk.js';
|
package/lib/ast/naming.js
CHANGED
|
@@ -5,6 +5,7 @@
|
|
|
5
5
|
*/
|
|
6
6
|
|
|
7
7
|
import { tokenize } from './tokenizer.js';
|
|
8
|
+
import { shortFunctionNamesFromTree } from './treesitter.js';
|
|
8
9
|
|
|
9
10
|
/** 声明/控制流关键字(Java「类型 短名」分支须排除的常见语言关键字前缀)——
|
|
10
11
|
* prevT 是这些时不是「类型名」,`短名` 属各语言声明/流程语境而非 Java 变量声明。
|
|
@@ -202,13 +203,20 @@ export function checkNameLengthAst(text = '', { min = 2, allow = [] } = {}) {
|
|
|
202
203
|
* @param {{max?: number, allow?: string[]}} [opts] max 默认 2;allow 追加白名单
|
|
203
204
|
* @returns {Array<{line:number, name:string}>} 命中列表
|
|
204
205
|
*/
|
|
205
|
-
export function checkShortFunctionNameAst(text = '', { max = 2, allow = [] } = {}) {
|
|
206
|
+
export function checkShortFunctionNameAst(text = '', { max = 2, allow = [], tree = null } = {}) {
|
|
206
207
|
const tokens = tokenize(text);
|
|
207
208
|
const out = [];
|
|
208
209
|
// 长度 ≤2 但有公认语义的缩写(不报):i18n 的 tr/t、字典 L、常见工具名
|
|
209
210
|
const ALLOW = new Set(['tr', 't', 'r', 'L', 'i18n', 'db', 'fs', 'os', 'el', 'cb', 'fn', 'ns',
|
|
210
211
|
'id', 'ok', 'kv', 'ui', 'js', 'ts', 'is', 'to', 'of', 'in', 'no', 'op', 'up', 'un',
|
|
211
212
|
'i', 'j', 'k', 'x', 'y', 'z', 'e', 'a', 'b', 'n', 'p', 's', 'v', 'f', ...allow]);
|
|
213
|
+
const isShortName = (name) => String(name).length <= max && !ALLOW.has(name);
|
|
214
|
+
// 「有树走树」:树版覆盖函数声明 + 类/对象方法(token 级查不到的那族),判定语汇仍是同一份
|
|
215
|
+
// isShortName(长度阈值 + 白名单只有一处定义)。树不可用则继续走下面的 token 路径(D5)。
|
|
216
|
+
if (tree && tree.rootNode) {
|
|
217
|
+
const fromTree = shortFunctionNamesFromTree(tree, isShortName);
|
|
218
|
+
if (fromTree) return fromTree;
|
|
219
|
+
}
|
|
212
220
|
for (let i = 0; i < tokens.length; i++) {
|
|
213
221
|
const t = tokens[i];
|
|
214
222
|
if (!(t.type === 'ident' && t.value === 'function')) continue;
|