dsh-bagu 0.3.0 → 0.3.1

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
package/dsh-plugin.json CHANGED
@@ -3,7 +3,7 @@
3
3
  "manifestVersion": "0.15",
4
4
  "id": "dsh-bagu",
5
5
  "name": "dsh-bagu",
6
- "version": "0.3.0",
6
+ "version": "0.3.1",
7
7
  "license": "MIT",
8
8
  "description": "八股检测:数具体物、撑场面的话、留白词、结构腔密度。只读不改写。",
9
9
  "facets": {
package/lib/analyze.js CHANGED
@@ -30,9 +30,10 @@ import {
30
30
  CONCRETE_MARKERS,
31
31
  CONCRETE_WEIGHTS,
32
32
  SYNONYM_GROUPS,
33
+ HEDGE_WORDS_EN,
34
+ TEMPLATE_TRIPLE,
33
35
  STRUCTURE_FRAMES,
34
36
  REGISTERS,
35
- HEDGE_BASELINE,
36
37
  } from './lexicon.js';
37
38
  import { DEFAULTS } from './config.js';
38
39
 
@@ -179,7 +180,10 @@ export function analyze(input, opts = {}) {
179
180
  const fakeHits = countWords(text, FAKE_SIGNIFICANCE);
180
181
 
181
182
  // ── 留白 ─────────────────────────────────────
182
- const hedgeHits = countWords(text, HEDGE_WORDS);
183
+ // 中文 + 英文两张表一起数。英文只收明确的不确定词,should 不算。
184
+ const hedgeHits = countWords(text, HEDGE_WORDS).concat(
185
+ countWords(text.toLowerCase(), HEDGE_WORDS_EN)
186
+ );
183
187
  const hedgePer1k = per1k(hedgeHits.length);
184
188
 
185
189
  // ── 结构腔 ────────────────────────────────────
@@ -226,6 +230,7 @@ export function analyze(input, opts = {}) {
226
230
  // 同义轮换 +0.91 > 不是A而是B +0.88 > 顿号并列 +0.56 > 破折号 分模型
227
231
  // 分数用 sloplint 的写法:100 × 权重 / (权重 + 6),短句和长文同一把尺。
228
232
  const shortWeight =
233
+ (TEMPLATE_TRIPLE.test(text) ? 2 : 0) +
229
234
  (synRot.length >= 2 ? 3 : synRot.length === 1 ? 2 : 0) +
230
235
  (aiWordHits.length >= 2 ? 3 : aiWordHits.length === 1 ? 2 : 0) +
231
236
  (structures.find((x) => x.id === 'negation') ? 3 : 0) +
@@ -334,7 +339,10 @@ export function analyze(input, opts = {}) {
334
339
  structures,
335
340
  },
336
341
  asks,
337
- baselineHedge: HEDGE_BASELINE,
342
+ hedgeFloor,
343
+ // 留白只报绝对数和每千字,不再跟一个来源不明的「真人基线」并排 ——
344
+ // 那个数(0.55 或 2.0)量纲不对,并排放出来会是一句差 165 倍的废话。
345
+
338
346
  synonyms: synRot,
339
347
  duplicateSynonym: synRot,
340
348
  thresholds: { hedgeFloor, structureTimes, concreteFloor },
package/lib/lexicon.js CHANGED
@@ -128,6 +128,17 @@ export const HEDGE_WORDS = [
128
128
  '我猜',
129
129
  ];
130
130
 
131
+ /**
132
+ * 英文 uncertainty 词。只收明确的不确定表达 ——
133
+ * should 在英文里同样是 must,不能算(issue #1 评论第 2 条)。
134
+ */
135
+ export const HEDGE_WORDS_EN = [
136
+ 'maybe', 'probably', 'perhaps', 'possibly', 'not sure',
137
+ "don't know", 'do not know', 'i think', 'i guess',
138
+ 'might', 'could be', 'seems', 'apparently', 'roughly',
139
+ 'approximately', 'iirc', 'afaik', 'unsure', 'unclear',
140
+ ];
141
+
131
142
  /**
132
143
  * 具体性信号:只有真的在说事的人才给得出的东西。
133
144
  * 「可替换」的反面。
@@ -143,20 +154,30 @@ export const CONCRETE_MARKERS = {
143
154
  sense: /(?:看见|听到|闻|摸|尝|痛|酸|烫|凉|冷|热|饿|困|累|味道|声音|手感)/g,
144
155
  /** 引号里的原话、书名号、代码 */
145
156
  quoted: /(?:「[^」]{1,40}」|"[^"]{1,40}"|《[^》]{1,40}》|`[^`]{1,40}`)/g,
157
+ /** 数量:次、遍、个、天、分钟,不带阿拉伯数字也算 */
158
+ count: /(?:[一二三四五六七八九十两几半]{1,3}|\d+)(?:次|遍|个|天|分钟|小时|秒|岁|块钱|人|行|页|版本)/g,
146
159
  /** 具体到能指认的东西:路径、命令、英文标识符。必须带非字母字符或数字,否则 the/and/before 全命中(issue #1 第 1 条)。 */
147
160
  ident: /(?:[A-Za-z_][A-Za-z0-9_]*[\/._:=-][\w./:-]{2,}|\/[\w./-]{3,}|\b[A-Z]{2,}\b|\d+[A-Za-z]+)/g,
148
161
  };
149
162
 
150
163
  /**
151
- * 各类具体物的权重。路径串和版本号最容易凭空写出来,
152
- * 亲身经历和身体感受最难(issue #1 第 2 条)。
164
+ * 各类具体物的权重。
165
+ *
166
+ * 原版按「难伪造 → 加权」,把 experience/sense 给到 1.5。这是错的(issue #1 评论):
167
+ * 经历最好编 —— 「时间词 + 我试过 + 身体感受」三样凑齐就是模板,写任何内容都能套。
168
+ * 实测编造的「我昨天试着改了一下,折腾到凌晨两点半才跑通,手都酸了」拿 18.52,
169
+ * 真实的「配置文件在 /etc/app/config.yml,端口 8080,版本 v1.4.2」只有 5.68,三倍差。
170
+ *
171
+ * 数字和路径好写,但可核验 —— 编一个具体版本号,查一下就知道。
172
+ * 所以这两类给分,经历类降到 0.5:它测的是信息密度,不是真伪。
153
173
  */
154
174
  export const CONCRETE_WEIGHTS = {
155
- experience: 1.5,
156
- sense: 1.5,
175
+ number: 1.2,
176
+ ident: 1.2,
157
177
  time: 1.0,
158
- number: 0.5,
159
- ident: 0.5,
178
+ count: 1.0,
179
+ experience: 0.5,
180
+ sense: 0.5,
160
181
  quoted: 0,
161
182
  };
162
183
 
@@ -190,6 +211,15 @@ export const SYNONYM_GROUPS = [
190
211
  ['显著', '大幅', '明显', '卓有成效'],
191
212
  ];
192
213
 
214
+ /**
215
+ * 短句路径专用的信号:模板三连。
216
+ *
217
+ * 「首先/其次/最后」作为结构腔指标已经删了(δ +0.02,人类用得一样多),
218
+ * 但三连齐全时它仍是模板的标记 —— issue #1 评论实测:
219
+ * 「首先我们要明确目标;其次要拆解任务;最后要复盘总结。」26 字判「正常」。
220
+ */
221
+ export const TEMPLATE_TRIPLE = /首先[^。;!?\n]{1,30}[;;][^。;!?\n]{0,10}其次[^。;!?\n]{1,30}[;;,,][^。;!?\n]{0,10}(?:最后|最终|总之)/;
222
+
193
223
  /** 文体基线与判定词,按真人评论语料实测。 */
194
224
  export const REGISTERS = {
195
225
  chat: { label: '闲聊', per1k: 0.8 },
@@ -200,14 +230,13 @@ export const REGISTERS = {
200
230
  };
201
231
 
202
232
  /**
203
- * 真人留白词密度(每千字)。
233
+ * 留白词低于这条线就报「句句在下断言」。单位是每千字。
234
+ *
235
+ * 曾经这里还有一个 HEDGE_BASELINE = 2.0(后来改成 0.55)用来在输出里
236
+ * 跟真人对齐。那个数是量纲错的:它更像「真人样本里含留白词的比例」,
237
+ * 却在跟 per1k 的密度并排放,于是「33 个字里有 3 个留白词」会输出成
238
+ * 「90.9/千,真人约 0.55」—— 差 165 倍的一句废话。
204
239
  *
205
- * 这个数字我核不出来了 —— 原始语料不在这台机器上,注释里留的两组数
206
- * (0.41~0.70 vs 2.0)差三到五倍,issue #1 第 6a 条指的就是这个。
207
- * 按保守取值:用 0.55(注释区间上限附近),宁可少报也不误伤真人。
208
- * 重新量过语料的人应该把这里改回实测值。
240
+ * 删掉了。判档从头到尾只看下面这个绝对门槛。
209
241
  */
210
- export const HEDGE_BASELINE = 0.55;
211
-
212
- /** 留白词低于这条线就报「句句在下断言」。 */
213
242
  export const HEDGE_FLOOR = 0.2;
package/lib/render.js CHANGED
@@ -51,7 +51,7 @@ export function render(r, opts = {}) {
51
51
  `[具体] 每百字 ${r.scores.concretePer100} 个 · 抽象词 ${r.scores.abstract} · 评价词 ${r.scores.evaluation}`
52
52
  );
53
53
  L.push(
54
- `[留白] ${r.scores.hedges} 个(${r.scores.hedgePer1k}/千字,真人约 ${r.baselineHedge})` +
54
+ `[留白] ${r.scores.hedges} 个(${r.scores.hedgePer1k}/千字)` +
55
55
  (r.scores.hedgePer1k < (r.thresholds?.hedgeFloor ?? 0.2) ? ' —— 句句在下断言' : '')
56
56
  );
57
57
  L.push(
package/package.json CHANGED
@@ -1,6 +1,6 @@
1
1
  {
2
2
  "name": "dsh-bagu",
3
- "version": "0.3.0",
3
+ "version": "0.3.1",
4
4
  "description": "八股检测:判断一句话是不是谁都能说。AI 味不是礼貌问题,是可替换问题。",
5
5
  "type": "module",
6
6
  "main": "lib/index.js",
@@ -116,13 +116,13 @@ test('#1.1 真正的标识符仍然计入', () => {
116
116
  assert.ok(ids.some((t) => t.includes('EADDRINUSE')));
117
117
  });
118
118
 
119
- test('#1.2 experience 和 sense 的权重高于 number 和 ident', () => {
120
- const a = concreteness('我昨天试了一下,手都酸了。');
121
- const b = concreteness('版本 1.2.3,路径 /a/b/c,端口 8080。');
122
- assert.ok(a.weighted > 0);
123
- assert.ok(b.weighted > 0);
124
- // a 是两条经历类,b 是两条数字/路径类,按权重 a 应该更高
125
- assert.ok(a.weighted >= b.weighted, `experience 权重不足: a=${a.weighted} b=${b.weighted}`);
119
+ test('#1.2 可核验的数字路径权重高于可编造的经历(方向修正)', () => {
120
+ // 上一版把 experience/sense 给到 1.5,理由是「难伪造」。
121
+ // 这是错的:经历最好编,三样凑齐就是模板。数字和路径可核验,反而该给分。
122
+ const fabricated = concreteness('我昨天试着改了一下,折腾到凌晨两点半才跑通,手都酸了。');
123
+ const real = concreteness('配置文件在 /etc/app/config.yml,端口 8080,版本 v1.4.2。');
124
+ assert.ok(real.weighted > fabricated.weighted,
125
+ `真实配置该比编造经历高: real=${real.weighted} fabricated=${fabricated.weighted}`);
126
126
  });
127
127
 
128
128
  test('#1.4 具体物充足时往回减一格', () => {