dsh-bagu 0.5.0 → 0.5.1
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/README.md +20 -2
- package/dsh-plugin.json +1 -1
- package/lib/guard.js +19 -2
- package/lib/layers.js +3 -1
- package/package.json +1 -1
- package/test/tieba.test.mjs +91 -0
package/README.md
CHANGED
|
@@ -112,13 +112,16 @@ let total = 0;
|
|
|
112
112
|
|
|
113
113
|
| 测试 | 样本 | 结果 |
|
|
114
114
|
|---|---|---|
|
|
115
|
+
| **贴吧真人**(孙吧 + v吧原文) | 68 条 | 误拦 0 |
|
|
115
116
|
| **全域场景**(18 个场景 × 2 条) | 36 条 | 漏 0,误拦 0 |
|
|
116
|
-
| **真人原话**(DSH +
|
|
117
|
-
| **git 真人**(commit + PR + review) | 28 条 | 误拦
|
|
117
|
+
| **真人原话**(DSH + 聊天) | 51 条 | 误拦 0 |
|
|
118
|
+
| **git 真人**(commit + PR + review) | 28 条 | 误拦 0 |
|
|
118
119
|
| **AI 八股**(客服腔 + 对举 + 空夸 + 模板) | 35 条 | 拦住 35(100%) |
|
|
120
|
+
| **真实场景** | 25 条 | 漏 0,误拦 0 |
|
|
119
121
|
| **对抗绕过**(故意换皮) | 10 种 | 拦住 6(60%) |
|
|
120
122
|
|
|
121
123
|
```sh
|
|
124
|
+
node tools/tieba-real.mjs # 贴吧真人 68 条(孙吧、v吧原文)
|
|
122
125
|
node tools/all-scenes.mjs # 18 个场景,36 条
|
|
123
126
|
node tools/falserate.mjs # 真人 51 条
|
|
124
127
|
node tools/git-false.mjs # git 真人 28 条
|
|
@@ -127,6 +130,21 @@ node tools/evasion.mjs # 对抗绕过
|
|
|
127
130
|
node tools/audit.mjs # 真实场景 25 条
|
|
128
131
|
```
|
|
129
132
|
|
|
133
|
+
### 贴吧那批语料为什么值钱
|
|
134
|
+
|
|
135
|
+
孙吧、v吧的真人说话充满了「八股规则看来可疑」的形状——
|
|
136
|
+
|
|
137
|
+
```text
|
|
138
|
+
反问: 你确定看不到过去的时间?兄弟
|
|
139
|
+
三段并列:提瓦特世界是过去、现在、未来同时存在的
|
|
140
|
+
复述后反打:是啊,所以就静悄悄的也忘了
|
|
141
|
+
直接骂: 你放屁,分明是天理提供的
|
|
142
|
+
单字回复:诶嘿 / 草 / 就这?
|
|
143
|
+
接梗: 那维莱特:新鞋,别搞
|
|
144
|
+
```
|
|
145
|
+
|
|
146
|
+
这些都是真人在说真话。68 条零误拦,说明规则没把这些当成套话。
|
|
147
|
+
|
|
130
148
|
## 它拦不住什么
|
|
131
149
|
|
|
132
150
|
对抗测试里 10 种绕过手法拦住了 6 种。剩下 4 种是已知边界:
|
package/dsh-plugin.json
CHANGED
package/lib/guard.js
CHANGED
|
@@ -213,13 +213,27 @@ const REASONS = [
|
|
|
213
213
|
// 判据抄 issue #1:前面出现过「以为/很多人/不是词表」这类,或者
|
|
214
214
|
// 「不是X」里的 X 在前面真正被提过。
|
|
215
215
|
const m = text.match(/不是([^,。!?\n]{1,20})[,]?(?:而是|,是)/);
|
|
216
|
+
const x = m ? m[1].trim() : null;
|
|
217
|
+
|
|
216
218
|
if (m) {
|
|
217
|
-
const x = m[1].trim();
|
|
218
219
|
const before = text.slice(0, text.indexOf(m[0]));
|
|
219
220
|
if (before.includes(x)) return false; // X 在前面被种下过
|
|
220
221
|
}
|
|
221
222
|
// 前面有「以为/很多人/都」这类误解标记
|
|
222
|
-
if (/(
|
|
223
|
+
if (/(?:以为|很多人|不少人|都说|总有人|别人说)/.test(text.slice(0, text.indexOf(m ? m[0] : '')))) {
|
|
224
|
+
return false;
|
|
225
|
+
}
|
|
226
|
+
if (!m) return true;
|
|
227
|
+
|
|
228
|
+
// 两边都是专名(人名、地名、组织名)时,这是对事实的纠正,不是自造对立。
|
|
229
|
+
// 「不是天理,是阿斯莫代」—— 放过
|
|
230
|
+
// 「不是技术问题,而是认知问题」—— 拦
|
|
231
|
+
const after = text.slice(text.indexOf(m[0]) + m[0].length);
|
|
232
|
+
const y = after.split(/[,。!?]/)[0].replace(/^(?:而是|,是|是)/, '').trim();
|
|
233
|
+
// 专名判据要严:两边都不带抽象后缀,长度都在 2-5 字。
|
|
234
|
+
const SUFFIX = /(?:问题|层面|角度|维度|本质|核心|关键|认知|思维|逻辑|方式|方法|原因|结论)$/;
|
|
235
|
+
const isName = (w) => typeof w === 'string' && w.length >= 2 && w.length <= 5 && !SUFFIX.test(w);
|
|
236
|
+
if (isName(x) && isName(y)) {
|
|
223
237
|
return false;
|
|
224
238
|
}
|
|
225
239
|
return true;
|
|
@@ -324,6 +338,9 @@ const REASONS = [
|
|
|
324
338
|
},
|
|
325
339
|
];
|
|
326
340
|
|
|
341
|
+
/** 供测试用:直接调用每条规则的 test,绕开 guard 的 try/catch 兜底。 */
|
|
342
|
+
export const REASONS_FOR_TEST = REASONS;
|
|
343
|
+
|
|
327
344
|
/**
|
|
328
345
|
* 过一遍。
|
|
329
346
|
*
|
package/lib/layers.js
CHANGED
|
@@ -42,7 +42,9 @@ export const LEARNED_TONE = [
|
|
|
42
42
|
/(?:学|涨)到了?[^,。!?\n]{0,4}(?:很多|不少|东西|知识)?/g,
|
|
43
43
|
/(?:涨|长)(?:知识|见识|姿势)了?/g,
|
|
44
44
|
/(?:受益|收获)(?:匪浅|颇多|良多|很大)/g,
|
|
45
|
-
|
|
45
|
+
// 只认明确在拍马屁的形态。「你说得对但是我不听」是梗,不在此列。
|
|
46
|
+
// 「讲得很好」「说得太对」都是拍马屁。「你说得对」不收(那是接梗/抬杠)。
|
|
47
|
+
/(?:说得|讲得)(?:太|很|非常|真)(?:对|好|准)(?:了)?/g,
|
|
46
48
|
/(?:非常|很|挺)(?:实用|有用|干货|有价值)/g,
|
|
47
49
|
/希望(?:以后|下次|继续|多)[^,。!?\n]{0,8}(?:多发|更新|分享)/g,
|
|
48
50
|
];
|
package/package.json
CHANGED
|
@@ -0,0 +1,91 @@
|
|
|
1
|
+
import { test } from 'node:test';
|
|
2
|
+
import assert from 'node:assert/strict';
|
|
3
|
+
import { guard, REASONS_FOR_TEST } from '../lib/guard.js';
|
|
4
|
+
|
|
5
|
+
/**
|
|
6
|
+
* 贴吧真人语料回归。样本从孙笑川吧 / v吧原文抄的。
|
|
7
|
+
*
|
|
8
|
+
* 这批句子的价值在于:它们充满了「八股规则看来可疑」的形状 ——
|
|
9
|
+
* 反问、三段并列、复述、骂人、单字 —— 但都是真人在说真话。
|
|
10
|
+
* 如果哪条被拦了,说明规则又放得太宽。
|
|
11
|
+
*/
|
|
12
|
+
|
|
13
|
+
const TIEBA = [
|
|
14
|
+
'?', '3', '???', '诶嘿', '哎嘿', '就这?', '啊这', '难绷',
|
|
15
|
+
'还有盾斧的事', '超解确实帅', '什么宿舍还是5人寝',
|
|
16
|
+
'为了方便鼠鼠就称呼它为超姐',
|
|
17
|
+
'超姐这个外号就是来源于玩怪物猎人的那个人',
|
|
18
|
+
'鼠鼠是大一新生,宿舍是六人寝,但运气比较好只分到了五个人',
|
|
19
|
+
'经典傅首尔面相,凭一己之力孤立全宿舍人',
|
|
20
|
+
'尸体镇楼', '室友在宿舍卡泡怎么办', '像这样的室友我们宿舍有两个',
|
|
21
|
+
'这个世界是不是癫了?', '你们如果知道我长这样,还会骂我吗?',
|
|
22
|
+
'本来我只是纯良v87的', '这下直接被感动了',
|
|
23
|
+
'他们刷生日快乐给我刷了五分钟的屏',
|
|
24
|
+
'她半天没说话,我又说了句学生时代没钱是正常的先顾好自己吃饱穿暖',
|
|
25
|
+
'我看不下去就说了句666还让人家用生活费上舰',
|
|
26
|
+
'刚才发了个30sc 说主播我今天生日可以祝我生日快乐吗',
|
|
27
|
+
'一开始的一两千还算比较中肯的数据,到2000多,甚至到了大几千',
|
|
28
|
+
'鉴于有些谣言已经越传越离谱,本人澄清一下,顺便赛博留档',
|
|
29
|
+
'一句轻飘飘的道歉就能抹去蒙德到须弥做的孽吗?',
|
|
30
|
+
'这个龙不是博士搞出来的吗?', '编剧你回答的了吗?',
|
|
31
|
+
'拉倒吧,纯粹编剧为了洗至冬给的理由',
|
|
32
|
+
'原神可以有很多,活下来的原神只能一国一个',
|
|
33
|
+
'老玛:我的这双眼睛究竟看到了多远,看穿了第四面墙',
|
|
34
|
+
'那维莱特:新鞋,别搞', '水龙:别,我不想,你个战斗狂',
|
|
35
|
+
'希诺宁,他鼠标转冒烟了,快给他修一下。',
|
|
36
|
+
'他俩一个是自转,一个是公转,就这点区别',
|
|
37
|
+
'脑子里出现了水龙在中心自转,火神在外圈绕圈的画面',
|
|
38
|
+
'编剧已经没闹子考虑那么多了',
|
|
39
|
+
'现在这剧情看看就得了,没必要深究',
|
|
40
|
+
'卖卡卖完了随便写了',
|
|
41
|
+
'你放屁,分明是天理提供的',
|
|
42
|
+
'是啊,所以就静悄悄的也忘了,底民的死跟我伟大的神明有什么关系',
|
|
43
|
+
];
|
|
44
|
+
|
|
45
|
+
test('贴吧真人语料零误拦', () => {
|
|
46
|
+
const fails = [];
|
|
47
|
+
for (const t of TIEBA) {
|
|
48
|
+
const r = guard(t);
|
|
49
|
+
if (!r.ok) fails.push({ t, line: r.line });
|
|
50
|
+
}
|
|
51
|
+
assert.deepEqual(fails, [], '误拦了 ' + fails.length + ' 条:\n' +
|
|
52
|
+
fails.map((f) => `「${f.t}」→ ${f.line}`).join('\n'));
|
|
53
|
+
});
|
|
54
|
+
|
|
55
|
+
test('专名对举放过,抽象对举拦住', () => {
|
|
56
|
+
// 「不是天理,是阿斯莫代」两边都是专名 → 对事实的纠正
|
|
57
|
+
assert.equal(guard('一开头拦下双子的人就不是天理,是阿斯莫代').ok, true);
|
|
58
|
+
assert.equal(guard('不是因为崩坏,是被策划削了').ok, true);
|
|
59
|
+
|
|
60
|
+
// 「不是技术问题,而是认知问题」两边都是抽象概念 → 自造对立
|
|
61
|
+
assert.equal(guard('这不是技术问题,而是认知问题。').ok, false);
|
|
62
|
+
assert.equal(guard('问题不在于工具本身,而在于使用工具的人。').ok, false);
|
|
63
|
+
assert.equal(guard('与其说是技术突破,不如说是思维方式的转变。').ok, false);
|
|
64
|
+
});
|
|
65
|
+
|
|
66
|
+
test('规则不能静默失效:直接调每条 test,不要靠 try/catch 兜着', () => {
|
|
67
|
+
// 曾经踩过的坑:x 在 if 块里 const 声明,块外又引用,
|
|
68
|
+
// 抛 ReferenceError 之后被 guard 的 try/catch 吞成「没命中」——
|
|
69
|
+
// 规则整个失效,但 doestNotThrow 永远测不出来。
|
|
70
|
+
// 所以这里绕过 guard,直接拿每条规则的 test 函数跑一遍。
|
|
71
|
+
const cases = [
|
|
72
|
+
'这不是技术问题,而是认知问题。',
|
|
73
|
+
'一开头拦下双子的人就不是天理,是阿斯莫代',
|
|
74
|
+
'不是',
|
|
75
|
+
'不是A而是B',
|
|
76
|
+
'',
|
|
77
|
+
'?',
|
|
78
|
+
'这条我认!首先态度要正,其次内容要实',
|
|
79
|
+
'feat: 优化了用户模块的代码结构',
|
|
80
|
+
'// 初始化计数器\nlet total = 0;',
|
|
81
|
+
];
|
|
82
|
+
for (const reason of REASONS_FOR_TEST) {
|
|
83
|
+
for (const t of cases) {
|
|
84
|
+
let hit;
|
|
85
|
+
assert.doesNotThrow(() => {
|
|
86
|
+
hit = reason.test({ hits: { structures: [], aiWords: [], summary: [], fakeSignificance: [] }, synonyms: [], scores: {}, band: 'low' }, t, { repeatBar: 1 });
|
|
87
|
+
}, `规则 ${reason.id} 在「${t}」上抛异常`);
|
|
88
|
+
assert.equal(typeof hit, 'boolean', `规则 ${reason.id} 在「${t}」上返回了 ${typeof hit},不是布尔`);
|
|
89
|
+
}
|
|
90
|
+
}
|
|
91
|
+
});
|