@furongjun1999/dsh-memory 0.10.1 → 0.10.3
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/CHANGELOG.en.md +65 -0
- package/CHANGELOG.md +642 -516
- package/README.en.md +1 -1
- package/README.md +2 -2
- package/docs/mdcg/cogmap_ops.md +15 -13
- package/lib/tools.d.ts +2 -2
- package/md_cg/bucketscope.py +36 -18
- package/md_cg/cohesion.py +337 -0
- package/md_cg/config_registry_bulk.py +5 -0
- package/md_cg/constraint_audit.py +231 -0
- package/md_cg/constraint_watch.py +206 -0
- package/md_cg/context_audit.py +240 -0
- package/md_cg/context_plan.py +142 -0
- package/md_cg/distill.py +247 -0
- package/md_cg/dossier.py +151 -0
- package/md_cg/entities.py +133 -0
- package/md_cg/mcp_server.py +60 -7
- package/md_cg/mdcg.py +27 -0
- package/md_cg/mdcos.py +319 -2
- package/md_cg/op_table.py +14 -0
- package/md_cg/profiles.py +298 -0
- package/md_cg/protocol.py +7 -1
- package/md_cg/reldate.py +142 -0
- package/md_cg/selfstmt.py +139 -0
- package/md_cg/state_slots.py +4 -0
- package/md_cg/state_view.py +181 -0
- package/md_cg/sustain.py +28 -2
- package/md_cg/test_alternatives_historical.py +4 -1
- package/md_cg/test_bucket_time_rounds.py +87 -0
- package/md_cg/test_cohesion.py +107 -0
- package/md_cg/test_constraint_audit.py +87 -0
- package/md_cg/test_constraint_watch.py +108 -0
- package/md_cg/test_context_audit.py +110 -0
- package/md_cg/test_context_plan.py +81 -0
- package/md_cg/tokens.py +1 -1
- package/md_cg/version_anchor.py +84 -1
- package/md_cg/whitebox_kb/wisdom/code_solidified.json +6195 -6195
- package/package.json +137 -137
|
@@ -0,0 +1,142 @@
|
|
|
1
|
+
# -*- coding: utf-8 -*-
|
|
2
|
+
"""上下文规划器(context_plan)——把五步判据链做成可执行建议。
|
|
3
|
+
|
|
4
|
+
来源:上下文管理研究(三十轮)框架 v4。五步链是:
|
|
5
|
+
① 判级 按不可逆性 → L1 / L2 / L3 / 灰区
|
|
6
|
+
② 定形态 该级需要「并列」还是「连续」
|
|
7
|
+
③ 定声明 L2 起四维条件空间;L3 加逐条不可逆清单
|
|
8
|
+
④ 拼装 并列→检索拼装+指针;连续→原文优先
|
|
9
|
+
⑤ 核对 读数比对;不达标三选一,不得静默
|
|
10
|
+
|
|
11
|
+
**本模块是启发式,不是判级本身。**
|
|
12
|
+
判级需要判断「后果可否撤销」,那是语义判断;本模块只做两件机械的事:
|
|
13
|
+
* 扫强制词(不能/不得/必须…)→ 抬到至少 L2
|
|
14
|
+
* 扫不可逆词(覆盖/删除/永久…)→ 抬到 L3
|
|
15
|
+
判不出时**按 L2 兜底,不按 L1**——因为误判为低是不可逆损失(研究第六轮)。
|
|
16
|
+
|
|
17
|
+
诚实边界:
|
|
18
|
+
1. 词表是启发式,会漏(用户可用陈述句表达强制:「我们希望旧文件保留」);
|
|
19
|
+
2. 判级准确率未知——判级本身属盲区 13;
|
|
20
|
+
3. 输出是**建议**,不是裁决;人可覆盖,但覆盖须留理由(降级留痕,升级不用);
|
|
21
|
+
4. 不读上下文,只读传入的任务描述。
|
|
22
|
+
"""
|
|
23
|
+
|
|
24
|
+
import re
|
|
25
|
+
|
|
26
|
+
__all__ = ["plan", "LEVELS", "MANDATORY_RE", "IRREVERSIBLE_RE", "FACT_SEEKING_RE"]
|
|
27
|
+
|
|
28
|
+
LEVELS = ("L1", "L2", "L3", "灰区")
|
|
29
|
+
|
|
30
|
+
#: 强制语气词:出现即至少 L2
|
|
31
|
+
MANDATORY_RE = re.compile(r"(不能|不得|不许|禁止|必须|务必|一律|绝不|不可|一定要|严禁)")
|
|
32
|
+
|
|
33
|
+
#: 不可逆词:出现即 L3(后果不可撤销)
|
|
34
|
+
IRREVERSIBLE_RE = re.compile(
|
|
35
|
+
r"(覆盖|删除|销毁|永久|不可恢复|不可逆|彻底清除|重写历史|force|drop|truncate)")
|
|
36
|
+
|
|
37
|
+
#: 查事实型:倾向 L1(并列够用)
|
|
38
|
+
FACT_SEEKING_RE = re.compile(r"(是什么|是多少|哪一年|哪个版本|查一下|确认一下|是否等于)")
|
|
39
|
+
|
|
40
|
+
#: 各层级的策略建议
|
|
41
|
+
_PLAYBOOK = {
|
|
42
|
+
"L1": {
|
|
43
|
+
"form": "并列",
|
|
44
|
+
"declaration": "可不声明(或一句话记约束)",
|
|
45
|
+
"strategy": "滑窗/截断均可;检索拼装够用,不追求接缝",
|
|
46
|
+
"check": "不做(错了可重来)",
|
|
47
|
+
},
|
|
48
|
+
"L2": {
|
|
49
|
+
"form": "半连续",
|
|
50
|
+
"declaration": "四维条件空间(观测位置/工具/时间窗/存在约束)",
|
|
51
|
+
"strategy": "分层折叠+指针;原文下沉但保留可回取",
|
|
52
|
+
"check": "核对关键约束能否从当前上下文推出",
|
|
53
|
+
},
|
|
54
|
+
"L3": {
|
|
55
|
+
"form": "连续",
|
|
56
|
+
"declaration": "四维 + 逐条不可逆清单(清单必须外置,不得留在上下文里)",
|
|
57
|
+
"strategy": "原文优先;必须拼装时用指针,不硬拼",
|
|
58
|
+
"check": "全量核对;推不出必须三选一(回取/报警/显式降级),不得静默",
|
|
59
|
+
},
|
|
60
|
+
"灰区": {
|
|
61
|
+
"form": "按 L3(声明)/按实际(策略)",
|
|
62
|
+
"declaration": "按 L3 声明(清单外置),但策略可用便宜方式",
|
|
63
|
+
"strategy": "声明升 L3、策略按实际能力——灰区解耦(研究第七轮)",
|
|
64
|
+
"check": "核对清单;不可用则显式降级并留理由",
|
|
65
|
+
},
|
|
66
|
+
}
|
|
67
|
+
|
|
68
|
+
|
|
69
|
+
def plan(task_text):
|
|
70
|
+
"""给定任务描述,返回规划建议。
|
|
71
|
+
|
|
72
|
+
返回 dict:
|
|
73
|
+
level L1 / L2 / L3 / 灰区
|
|
74
|
+
level_reason 判定依据(命中的词或「无命中,按 L2 兜底」)
|
|
75
|
+
mandatory 命中的强制词
|
|
76
|
+
irreversible 命中的不可逆词
|
|
77
|
+
fact_seeking 是否为查事实型
|
|
78
|
+
form / declaration / strategy / check 各步建议
|
|
79
|
+
caveat 必读的边界提示
|
|
80
|
+
"""
|
|
81
|
+
text = str(task_text or "")
|
|
82
|
+
mand = sorted(set(MANDATORY_RE.findall(text)))
|
|
83
|
+
irrev = sorted(set(IRREVERSIBLE_RE.findall(text)))
|
|
84
|
+
fact = bool(FACT_SEEKING_RE.search(text))
|
|
85
|
+
|
|
86
|
+
if irrev:
|
|
87
|
+
level = "L3"
|
|
88
|
+
reason = "命中不可逆词 %s → 后果不可撤销" % ("、".join(irrev))
|
|
89
|
+
elif mand:
|
|
90
|
+
level = "L2"
|
|
91
|
+
reason = "命中强制词 %s → 至少 L2(含不可逆则升 L3)" % ("、".join(mand))
|
|
92
|
+
elif fact:
|
|
93
|
+
level = "L1"
|
|
94
|
+
reason = "查事实型且无强制/不可逆词 → L1(并列够用)"
|
|
95
|
+
else:
|
|
96
|
+
level = "灰区"
|
|
97
|
+
reason = "无强制/不可逆命中,也未识别为查事实型 → 灰区,声明按 L3、策略按实际"
|
|
98
|
+
|
|
99
|
+
pb = _PLAYBOOK[level]
|
|
100
|
+
return {
|
|
101
|
+
"level": level,
|
|
102
|
+
"level_reason": reason,
|
|
103
|
+
"mandatory": mand,
|
|
104
|
+
"irreversible": irrev,
|
|
105
|
+
"fact_seeking": fact,
|
|
106
|
+
"form": pb["form"],
|
|
107
|
+
"declaration": pb["declaration"],
|
|
108
|
+
"strategy": pb["strategy"],
|
|
109
|
+
"check": pb["check"],
|
|
110
|
+
"caveat": "本输出是启发式建议非裁决;词表会漏(陈述句也可表达强制);"
|
|
111
|
+
"降级须留理由,升级不用。",
|
|
112
|
+
}
|
|
113
|
+
|
|
114
|
+
|
|
115
|
+
def main(argv=None):
|
|
116
|
+
import json
|
|
117
|
+
import sys
|
|
118
|
+
try:
|
|
119
|
+
sys.stdout.reconfigure(encoding="utf-8")
|
|
120
|
+
except Exception:
|
|
121
|
+
pass
|
|
122
|
+
argv = list(sys.argv[1:] if argv is None else argv)
|
|
123
|
+
if not argv:
|
|
124
|
+
print("用法:python -m md_cg.context_plan \"任务描述\" [--json]")
|
|
125
|
+
return 2
|
|
126
|
+
rep = plan(argv[0])
|
|
127
|
+
if "--json" in argv:
|
|
128
|
+
print(json.dumps(rep, ensure_ascii=False, indent=1))
|
|
129
|
+
else:
|
|
130
|
+
print("层级:%s" % rep["level"])
|
|
131
|
+
print("依据:%s" % rep["level_reason"])
|
|
132
|
+
print("形态:%s" % rep["form"])
|
|
133
|
+
print("声明:%s" % rep["declaration"])
|
|
134
|
+
print("策略:%s" % rep["strategy"])
|
|
135
|
+
print("核对:%s" % rep["check"])
|
|
136
|
+
print("")
|
|
137
|
+
print("注:%s" % rep["caveat"])
|
|
138
|
+
return 0
|
|
139
|
+
|
|
140
|
+
|
|
141
|
+
if __name__ == "__main__":
|
|
142
|
+
raise SystemExit(main())
|
package/md_cg/distill.py
ADDED
|
@@ -0,0 +1,247 @@
|
|
|
1
|
+
# -*- coding: utf-8 -*-
|
|
2
|
+
"""写入时信息整理(LLM 填表 + **原文复核**)——规则对自然对话天生失效后的换代方案。
|
|
3
|
+
|
|
4
|
+
判据(使用者 2026-11-12):
|
|
5
|
+
> 在记忆写入时用 LLM 做一个信息整理。因为规则对多变的自然对话天生失效。
|
|
6
|
+
> 我们用**表**做一个确定性内容让 LLM 填写。同时做**原文复核机制**,避免 LLM 的信息整理失误。
|
|
7
|
+
|
|
8
|
+
分工(本模块只做确定性那半):
|
|
9
|
+
· **表**(SCHEMA / table_text):字段名、类型、取值范围由我们定死 —— LLM 只填值,不发明字段;
|
|
10
|
+
· **复核**(verify):每个填进去的值都必须在**原文里找得到**(归一化子串匹配),
|
|
11
|
+
找不到 ⇒ 拒收(unverified),不进档案;
|
|
12
|
+
· **落地**(apply):只写通过复核的字段,并记 `ev_span`(原文里命中的片段)+ `ev_node` + `source`;
|
|
13
|
+
· **调用**:LLM 由宿主提供(本模块**不自带模型**),传入 filled 字典即可。
|
|
14
|
+
|
|
15
|
+
为什么复核必须写死在数据面而不是提示词里:
|
|
16
|
+
外测实证——纯规则会把「在包里」当城市;纯 LLM 则可能写出原文没有的值。
|
|
17
|
+
「值必须在原文出现」是**可机械判定**的,不依赖模型自觉。
|
|
18
|
+
|
|
19
|
+
不适用条件:
|
|
20
|
+
· 同义改写(原文「二十四」、LLM 填 24)会被判 unverified —— 这是**有意的保守**,
|
|
21
|
+
宁可漏收也不放行(要放行请用别名/规范化表,而不是放松复核);
|
|
22
|
+
· 数值型字段(年龄)按字符串匹配 + 数值等值两种口径都试,仍失败即拒收。
|
|
23
|
+
"""
|
|
24
|
+
from __future__ import annotations
|
|
25
|
+
|
|
26
|
+
import re
|
|
27
|
+
|
|
28
|
+
#: 表的字段定义(**确定性**:字段名/类型/是否必填/提示语都由这里定)。
|
|
29
|
+
SCHEMA = (
|
|
30
|
+
("姓名", "str", False, "自称或全名,2–4 个汉字"),
|
|
31
|
+
("年龄", "int", False, "数字,语料常见无「岁」字"),
|
|
32
|
+
("城市", "str", False, "必须是**地名**(区/市/县/路/街/镇/州 之一,或明确城市名)"),
|
|
33
|
+
("职业", "str", False, "职业短语,如 全职带娃 / 晚班调酒师"),
|
|
34
|
+
("单位", "str", False, "工作地点/机构名"),
|
|
35
|
+
("学历", "str", False, "本科/大专/硕士/研究生/博士/高中/中专/技校"),
|
|
36
|
+
("专业", "str", False, "专业名"),
|
|
37
|
+
("父", "str", False, "父亲的名字或职业(原文出现的形式)"),
|
|
38
|
+
("母", "str", False, "母亲的名字或状况(原文出现的形式)"),
|
|
39
|
+
# 【外测 2026-11-12】档案不能只是当前身份快照——这 19 题要的是经历/家庭**序列**。
|
|
40
|
+
("经历", "list", False, "职业经历序列,每项 {单位, 职位, 从, 到};原文只给部分就只填部分"),
|
|
41
|
+
("家庭", "list", False, "家庭成员序列,每项 {关系, 姓名, 职业}"),
|
|
42
|
+
)
|
|
43
|
+
|
|
44
|
+
#: 允许的字段集合(LLM 填了表外字段 ⇒ 直接丢弃,不让它发明字段)。
|
|
45
|
+
FIELDS = tuple(f for f, _t, _r, _h in SCHEMA)
|
|
46
|
+
|
|
47
|
+
|
|
48
|
+
# 生效条件:无参;返回给 LLM 的确定性表模板(字段/类型/必填/提示)
|
|
49
|
+
def table_text():
|
|
50
|
+
"""生成「让 LLM 填」的表(纯文本,便于贴进提示词)。"""
|
|
51
|
+
lines = ["字段 | 类型 | 必填 | 说明", "--- | --- | --- | ---"]
|
|
52
|
+
for name, typ, req, hint in SCHEMA:
|
|
53
|
+
lines.append("%s | %s | %s | %s" % (name, typ, "是" if req else "否", hint))
|
|
54
|
+
lines.append("")
|
|
55
|
+
lines.append("规则:只填原文**明确出现**的值;原文没有的字段填空字符串;"
|
|
56
|
+
"不要推断、不要补全、不要换算。")
|
|
57
|
+
return "\n".join(lines)
|
|
58
|
+
|
|
59
|
+
|
|
60
|
+
# 生效条件:text 为原文;返回归一化文本(去空白,全角数字转半角)
|
|
61
|
+
def _norm(text):
|
|
62
|
+
s = str(text or "")
|
|
63
|
+
s = re.sub(r"\s+", "", s)
|
|
64
|
+
s = s.translate(str.maketrans("0123456789", "0123456789"))
|
|
65
|
+
return s
|
|
66
|
+
|
|
67
|
+
|
|
68
|
+
# 生效条件:value 为待核值、text 为原文;在原文中可命中(或数值等值)返回命中的片段,否则 None
|
|
69
|
+
def span_of(value, text):
|
|
70
|
+
"""**原文复核单点**:返回命中片段(用于 ev_span),命中不了返回 None。"""
|
|
71
|
+
if value is None or value == "":
|
|
72
|
+
return None
|
|
73
|
+
nv = _norm(value)
|
|
74
|
+
nt = _norm(text)
|
|
75
|
+
if not nv or not nt:
|
|
76
|
+
return None
|
|
77
|
+
if nv in nt:
|
|
78
|
+
return str(value)
|
|
79
|
+
# 数值字段:24 vs 「24岁」「,24」——数值等值也算命中(但必须是原文的子串形式)
|
|
80
|
+
if isinstance(value, int) or (isinstance(value, str) and value.isdigit()):
|
|
81
|
+
if str(int(value)) in nt:
|
|
82
|
+
return str(value)
|
|
83
|
+
return None
|
|
84
|
+
|
|
85
|
+
|
|
86
|
+
#: 关系词别名(**只对「家庭」项的「关系」分量**生效):LLM 惯写「母/父」,语料多写「妈/爸」。
|
|
87
|
+
#: 这是**确定性白名单**,不是放松复核——白名单外的写法仍然拒收。
|
|
88
|
+
RELATION_ALIASES = {
|
|
89
|
+
"母": ("妈妈", "妈", "母亲", "老娘"),
|
|
90
|
+
"父": ("爸爸", "爸", "父亲", "老爷子"),
|
|
91
|
+
"妻": ("妻子", "老婆", "媳妇"),
|
|
92
|
+
"夫": ("丈夫", "老公"),
|
|
93
|
+
"子": ("儿子",),
|
|
94
|
+
"女": ("女儿",),
|
|
95
|
+
"兄": ("哥哥", "哥"),
|
|
96
|
+
"姐": ("姐姐", "姐"),
|
|
97
|
+
}
|
|
98
|
+
|
|
99
|
+
|
|
100
|
+
# 生效条件:k 为分量名、v 为值、text 为原文;命中(含关系白名单)返回 True
|
|
101
|
+
def _part_in_source(k, v, text):
|
|
102
|
+
"""分量复核:普通分量走 span_of;「关系」分量额外接受别名白名单。"""
|
|
103
|
+
if span_of(v, text) is not None:
|
|
104
|
+
return True
|
|
105
|
+
if k == "关系":
|
|
106
|
+
for alias in RELATION_ALIASES.get(str(v), ()):
|
|
107
|
+
if span_of(alias, text) is not None:
|
|
108
|
+
return True
|
|
109
|
+
return False
|
|
110
|
+
|
|
111
|
+
|
|
112
|
+
#: 槽位值的长度上限(超限即拒收,reason=too_long)。
|
|
113
|
+
#: 依据(外测 2026-11-12):LLM 会把「母」填成整句
|
|
114
|
+
#: "61了,从社区超市理货员退下来,现在当广场舞领队" —— 那不是槽位值。
|
|
115
|
+
#: 语义上这些槽位是**短值**;长内容应当拆成 家庭/经历 序列项。
|
|
116
|
+
MAX_LEN = {"姓名": 4, "年龄": 3, "城市": 12, "职业": 20, "单位": 20,
|
|
117
|
+
"学历": 6, "专业": 12, "父": 12, "母": 12}
|
|
118
|
+
|
|
119
|
+
|
|
120
|
+
# 生效条件:item 为序列项 dict;返回**扁平化**后的新 dict(值若是 {value,_raw} 取 value)
|
|
121
|
+
def _flat_item(item):
|
|
122
|
+
"""序列项扁平化:LLM 有时把值写成 {value, _raw},扁平后避免嵌套进卡。"""
|
|
123
|
+
out = {}
|
|
124
|
+
raw = None
|
|
125
|
+
for kk, vv in (item or {}).items():
|
|
126
|
+
if isinstance(vv, dict) and "value" in vv:
|
|
127
|
+
out[kk] = vv.get("value")
|
|
128
|
+
if vv.get("_raw") and not raw:
|
|
129
|
+
raw = vv.get("_raw")
|
|
130
|
+
else:
|
|
131
|
+
out[kk] = vv
|
|
132
|
+
if raw and "_raw" not in out:
|
|
133
|
+
out["_raw"] = raw
|
|
134
|
+
return out
|
|
135
|
+
|
|
136
|
+
#: 地名后缀(值必须带其一,或在已知地名词典里)。
|
|
137
|
+
PLACE_SUFFIX = ("市", "区", "县", "路", "街", "镇", "州", "村", "岛", "港")
|
|
138
|
+
#: 已知地名(可扩展;用于「南宁」「江北」这类无后缀写法)。
|
|
139
|
+
PLACE_KNOWN = ("南宁", "江北", "渝中", "半坡", "江北市", "渝中区")
|
|
140
|
+
|
|
141
|
+
|
|
142
|
+
# 生效条件:v 为城市候选值;形如地名(后缀命中或词典命中)返回 True
|
|
143
|
+
def is_place(v):
|
|
144
|
+
"""城市值校验:挡「外出包里 / 包里 / 家里」这类方位短语。"""
|
|
145
|
+
s = str(v or "").strip()
|
|
146
|
+
if not s:
|
|
147
|
+
return False
|
|
148
|
+
if any(s.endswith(x) for x in PLACE_SUFFIX):
|
|
149
|
+
return True
|
|
150
|
+
return any(x in s for x in PLACE_KNOWN)
|
|
151
|
+
|
|
152
|
+
|
|
153
|
+
# 生效条件:item 为表项(dict,可能含 _raw);text 为原文;返回证据片段或 None
|
|
154
|
+
def _evidence_of(item, text):
|
|
155
|
+
"""取证据片段:优先用调用方给的 _raw(原文摘录),否则返回 None。
|
|
156
|
+
|
|
157
|
+
为什么必须支持 _raw(外测 502 次填表:947 次 no_item_in_source):
|
|
158
|
+
LLM 会把「做过一年学徒」归一成 职位=学徒、「江北那家咖啡店」写成 单位=江北咖啡店——
|
|
159
|
+
值对、字面不同。按值做子串匹配必然失败,按**证据片段**匹配应当通过。
|
|
160
|
+
复核对象 = 证据(必须真的出现在原文),而不是归一化后的值:既保住防幻觉
|
|
161
|
+
(_raw 不在原文 ⇒ 拒收),又不逼 LLM 逐字复制。
|
|
162
|
+
"""
|
|
163
|
+
raw = (item or {}).get("_raw") if isinstance(item, dict) else None
|
|
164
|
+
if raw:
|
|
165
|
+
return str(raw) if span_of(raw, text) is not None else None
|
|
166
|
+
return None
|
|
167
|
+
|
|
168
|
+
# 生效条件:filled 为 LLM 填的表(dict)、text 为原文;返回 (accepted, rejected)
|
|
169
|
+
def verify(filled, text):
|
|
170
|
+
from . import dossier as _dos
|
|
171
|
+
"""逐字段复核:命中保留并给 ev_span;未命中拒收并给原因。"""
|
|
172
|
+
accepted, rejected = {}, []
|
|
173
|
+
for k, v in (filled or {}).items():
|
|
174
|
+
if k not in FIELDS:
|
|
175
|
+
rejected.append({"field": k, "value": v, "reason": "field_not_in_schema"})
|
|
176
|
+
continue
|
|
177
|
+
if v is None or v == "":
|
|
178
|
+
continue
|
|
179
|
+
# 【序列型】逐项复核:每项的字符串分量都要能在原文找到,否则丢该项
|
|
180
|
+
if k in _dos.LIST_FIELDS and isinstance(v, list):
|
|
181
|
+
_kept = []
|
|
182
|
+
for _it in v:
|
|
183
|
+
if not isinstance(_it, dict):
|
|
184
|
+
continue
|
|
185
|
+
# 【B 方案】项自带 _raw 原文片段且能在原文找到 ⇒ 接受该项(结构化改写允许)
|
|
186
|
+
_raw = _it.get("_raw")
|
|
187
|
+
if isinstance(_raw, str) and _raw.strip() and span_of(_raw, text) is not None:
|
|
188
|
+
_kept.append(_it)
|
|
189
|
+
continue
|
|
190
|
+
_it = _flat_item(_it)
|
|
191
|
+
_item_raw = _it.get("_raw")
|
|
192
|
+
if _item_raw:
|
|
193
|
+
_ok_item = span_of(_item_raw, text) is not None
|
|
194
|
+
else:
|
|
195
|
+
_ok_item = all(_part_in_source(_k2, x, text)
|
|
196
|
+
for _k2, x in _it.items()
|
|
197
|
+
if x not in (None, "") and _k2 != "_raw")
|
|
198
|
+
if _ok_item:
|
|
199
|
+
_kept.append(_it)
|
|
200
|
+
if not _kept:
|
|
201
|
+
rejected.append({"field": k, "value": v, "reason": "no_item_in_source"})
|
|
202
|
+
continue
|
|
203
|
+
accepted[k] = {"value": _kept, "ev_span": ""}
|
|
204
|
+
continue
|
|
205
|
+
_val = v.get("value") if isinstance(v, dict) else v
|
|
206
|
+
_raw_span = _evidence_of(v, text)
|
|
207
|
+
span = _raw_span or span_of(_val, text)
|
|
208
|
+
if span is None:
|
|
209
|
+
rejected.append({"field": k, "value": _val, "reason": "not_in_source"})
|
|
210
|
+
continue
|
|
211
|
+
# 字段级形态校验(目前只对城市):原文有 ≠ 是地名
|
|
212
|
+
_lim = MAX_LEN.get(k)
|
|
213
|
+
if _lim and isinstance(_val, str) and len(_val.strip()) > _lim:
|
|
214
|
+
rejected.append({"field": k, "value": _val, "reason": "too_long"})
|
|
215
|
+
continue
|
|
216
|
+
if k == "城市" and not is_place(_val):
|
|
217
|
+
rejected.append({"field": k, "value": _val, "reason": "not_a_place"})
|
|
218
|
+
continue
|
|
219
|
+
accepted[k] = {"value": _val, "ev_span": span}
|
|
220
|
+
return accepted, rejected
|
|
221
|
+
|
|
222
|
+
|
|
223
|
+
# 生效条件:cg 提供 get;node_id 存在、filled 为 dict;返回 {applied, rejected, dossier}
|
|
224
|
+
def apply(cg, node_id, filled, text=None, ts=None, source="llm"):
|
|
225
|
+
"""把 LLM 填的表复核后并入档案。
|
|
226
|
+
|
|
227
|
+
**不写盘**(无副作用):返回合并后的 dossier,由调用方在正常写入路径里落盘
|
|
228
|
+
(这样只走一条写链,避免第二套写入面)。
|
|
229
|
+
"""
|
|
230
|
+
node = cg.get(node_id) or {}
|
|
231
|
+
if not node:
|
|
232
|
+
return {"ok": False, "error": "node_not_found", "node_id": node_id}
|
|
233
|
+
body = text if text is not None else (node.get("content") or "")
|
|
234
|
+
fm = node.get("frontmatter") or {}
|
|
235
|
+
ts = ts if ts is not None else fm.get("created_at")
|
|
236
|
+
accepted, rejected = verify(filled, body)
|
|
237
|
+
if not accepted:
|
|
238
|
+
return {"ok": True, "applied": {}, "rejected": rejected,
|
|
239
|
+
"dossier": dict(fm.get("dossier") or {}),
|
|
240
|
+
"note": "无可复核字段(全部拒收或空表)"}
|
|
241
|
+
from . import dossier as _dos
|
|
242
|
+
cur = dict(fm.get("dossier") or {})
|
|
243
|
+
incoming = {k: {"value": v["value"], "t": ts, "ev": node_id,
|
|
244
|
+
"ev_span": v["ev_span"], "source": source}
|
|
245
|
+
for k, v in accepted.items()}
|
|
246
|
+
merged = _dos.merge(cur, incoming)
|
|
247
|
+
return {"ok": True, "applied": accepted, "rejected": rejected, "dossier": merged}
|
package/md_cg/dossier.py
ADDED
|
@@ -0,0 +1,151 @@
|
|
|
1
|
+
# -*- coding: utf-8 -*-
|
|
2
|
+
"""人物档案(画像)抽取——按"公民档案"结构,从会话里**增量补字段**。
|
|
3
|
+
|
|
4
|
+
判据(使用者 2026-11-12):按中国公安/人社局的公民档案思路做人物档案(人物画像),会话中不断补充。
|
|
5
|
+
|
|
6
|
+
字段:基本信息(姓名/年龄/城市)· 身份职业(职业/单位/学历/专业)· 家庭(父/母)。
|
|
7
|
+
每条带 {value, t(陈述时刻), ev(来源节点)},可回溯;merge() 增量合并,旧值进 _history。
|
|
8
|
+
|
|
9
|
+
语料实证(外测提供的原句):
|
|
10
|
+
P01 #15 我叫沈知夏,知了的知,夏天的夏,24
|
|
11
|
+
P12 #8 我叫罗杏子,今年38,在南宁,全职带娃,你叫我罗姐就行。
|
|
12
|
+
P16 #1 …我叫祁野,25,在渝中区半坡酒馆做晚班调酒师。
|
|
13
|
+
P17 #13 还没正经跟你说我名字。我叫谈书宁,谈是谈话的谈,书是书本的书…
|
|
14
|
+
P17 #27 明天还得陪我爸谈国华去社区医院开降糖药
|
|
15
|
+
|
|
16
|
+
由此定下的五条形态(正则按此写,不按教科书):
|
|
17
|
+
① 姓名后可能跟**拆字解释**("谈是谈话的谈…")⇒ 截断在分隔符前;
|
|
18
|
+
② 年龄**常常没有"岁"字**("我叫X,24" / "今年38");
|
|
19
|
+
③ 城市**没有稳定后缀**("在南宁" / "在渝中区")⇒ 带行政区后缀 或 「在X,/。」;
|
|
20
|
+
④ 职业是「做<短语>」或「全职带娃」这类整体短语;
|
|
21
|
+
⑤ 父母两种形态:「我爸<人名>」与「我妈<状况>」——不硬把状况当人名。
|
|
22
|
+
|
|
23
|
+
**隐私边界(不做)**:身份证号、证件号、银行卡、手机号、详细住址——命中任一敏感字样则整段不建档。
|
|
24
|
+
档案只服务回忆与检索,不服务身份核验。
|
|
25
|
+
"""
|
|
26
|
+
from __future__ import annotations
|
|
27
|
+
|
|
28
|
+
import re
|
|
29
|
+
|
|
30
|
+
_RULES = (
|
|
31
|
+
("姓名", re.compile(r"(?:我叫|我的名字是|我名字叫|叫我)([\u4e00-\u9fa5]{2,4})(?=[,,。!!;;\s]|$)")),
|
|
32
|
+
("年龄", re.compile(r"今年(\d{1,2})(?!\d)|(\d{1,2})\s*岁")),
|
|
33
|
+
("城市", re.compile(r"我(?:住在|住|在)([\u4e00-\u9fa5]{2,6}?(?:市|区|县))"
|
|
34
|
+
r"|(?:我)?在([\u4e00-\u9fa5]{2,4})(?=[,,。])")),
|
|
35
|
+
("职业", re.compile(r"做([\u4e00-\u9fa5]{2,8}?(?:师|员|工|手|调酒|设计|护理))"
|
|
36
|
+
r"|(全职带娃|全职妈妈|全职爸爸)")),
|
|
37
|
+
("单位", re.compile(r"在([\u4e00-\u9fa5]{2,12}?(?:店|馆|公司|学校|医院|厂|所|局))"
|
|
38
|
+
r"(?:做|上班|工作)")),
|
|
39
|
+
("学历", re.compile(r"(本科|大专|硕士|研究生|博士|高中|中专|技校)")),
|
|
40
|
+
("专业", re.compile(r"([\u4e00-\u9fa5]{2,8})专业")),
|
|
41
|
+
("父", re.compile(r"我(?:爸|父亲)([\u4e00-\u9fa5]{2,4})(?=[去说来在陪嫌,,。])")),
|
|
42
|
+
("母", re.compile(r"我(?:妈|母亲)([^,,。;;]{2,12})")),
|
|
43
|
+
)
|
|
44
|
+
|
|
45
|
+
#: 列表型字段(值为 list[dict],逐项复核;合并时按项去重追加,互不覆盖)
|
|
46
|
+
LIST_FIELDS = ("经历", "家庭")
|
|
47
|
+
|
|
48
|
+
#: 明确 **不采** 的敏感字段(出现即整段拒收)。
|
|
49
|
+
FORBIDDEN = ("身份证", "证件号", "银行卡", "手机号", "电话", "详细住址", "门牌")
|
|
50
|
+
|
|
51
|
+
|
|
52
|
+
# 生效条件:text 为正文、ts 为陈述时刻(float)、nid 为来源节点;返回 {字段: {value, t, ev}}
|
|
53
|
+
def extract(text, ts=None, nid=""):
|
|
54
|
+
"""从一段正文里抽档案字段(确定性;抽不到不写)。"""
|
|
55
|
+
body = str(text or "")
|
|
56
|
+
if any(w in body for w in FORBIDDEN):
|
|
57
|
+
return {}
|
|
58
|
+
out = {}
|
|
59
|
+
for field, rx in _RULES:
|
|
60
|
+
for m in rx.finditer(body):
|
|
61
|
+
grp = next((g for g in m.groups() if g), None)
|
|
62
|
+
if not grp:
|
|
63
|
+
continue
|
|
64
|
+
val = grp.strip()
|
|
65
|
+
if field == "年龄":
|
|
66
|
+
try:
|
|
67
|
+
n = int(val)
|
|
68
|
+
except ValueError:
|
|
69
|
+
continue
|
|
70
|
+
if not (1 <= n <= 120):
|
|
71
|
+
continue
|
|
72
|
+
val = n
|
|
73
|
+
out[field] = {"value": val, "t": ts, "ev": nid}
|
|
74
|
+
break
|
|
75
|
+
# 自我介绍里的**裸数字**也算年龄(「我叫沈知夏,…,24」无「岁」字)。
|
|
76
|
+
# 只在同段已认出姓名时启用,避免把任意数字当年龄。
|
|
77
|
+
if "姓名" in out and "年龄" not in out:
|
|
78
|
+
m2 = re.search(r"[,,]\s*(\d{1,2})\s*(?:[,,。]|$)", body)
|
|
79
|
+
if m2:
|
|
80
|
+
try:
|
|
81
|
+
n2 = int(m2.group(1))
|
|
82
|
+
except ValueError:
|
|
83
|
+
n2 = None
|
|
84
|
+
if n2 and 1 <= n2 <= 120:
|
|
85
|
+
out["年龄"] = {"value": n2, "t": ts, "ev": nid}
|
|
86
|
+
return out
|
|
87
|
+
|
|
88
|
+
|
|
89
|
+
#: 字段的时间可变性:只有这些字段允许「同权重下较新值覆盖」;其余同权重**保留旧值**。
|
|
90
|
+
#: 理由(外测实证):多来源 dossier 合并时,弱证据曾把「姓名/城市」覆盖成错值。
|
|
91
|
+
TIME_VARYING = ("年龄",)
|
|
92
|
+
|
|
93
|
+
|
|
94
|
+
# 生效条件:text 为原文;返回该节点作为档案证据的**权重**(3=自我介绍/声明,2=行为句,1=泛提)
|
|
95
|
+
def weight_of(text):
|
|
96
|
+
"""证据权重:自我介绍最强;含「在/做/住」的行为句次之;其余最弱。"""
|
|
97
|
+
body = str(text or "")
|
|
98
|
+
if re.search(r"(我叫|我的名字是|我名字叫|叫我)[\u4e00-\u9fa5]{2,4}", body):
|
|
99
|
+
return 3
|
|
100
|
+
if re.search(r"(今年\d|\d{1,2}\s*岁|我(?:住在|住|在)|做[\u4e00-\u9fa5]{2,8})", body):
|
|
101
|
+
return 2
|
|
102
|
+
return 1
|
|
103
|
+
|
|
104
|
+
|
|
105
|
+
# 生效条件:old/new 为两条档案 dict;返回合并结果(新值覆盖;旧值进 _history 不丢)
|
|
106
|
+
def merge(old, new):
|
|
107
|
+
"""档案增量合并:同字段取**较新**的值,旧值保留在 _history。"""
|
|
108
|
+
out = dict(old or {})
|
|
109
|
+
hist = dict(out.get("_history") or {})
|
|
110
|
+
for k, v in (new or {}).items():
|
|
111
|
+
if k.startswith("_"):
|
|
112
|
+
continue
|
|
113
|
+
prev = out.get(k)
|
|
114
|
+
if prev and prev.get("value") == v.get("value"):
|
|
115
|
+
# 同值:仅抬高权重、补 ev_span(不新增历史)
|
|
116
|
+
if (v.get("w") or 0) > (prev.get("w") or 0):
|
|
117
|
+
prev["w"] = v["w"]
|
|
118
|
+
continue
|
|
119
|
+
# 【序列型】经历/家庭:按项去重追加(不同项都保留,不互相覆盖)
|
|
120
|
+
if k in LIST_FIELDS and isinstance(prev, dict) and isinstance(v, dict):
|
|
121
|
+
_old = list(prev.get("value") or [])
|
|
122
|
+
_new = list(v.get("value") or [])
|
|
123
|
+
def _key(it):
|
|
124
|
+
return tuple(sorted((str(a), str(b)) for a, b in (it or {}).items()
|
|
125
|
+
if b not in (None, "")))
|
|
126
|
+
_seen = {_key(x) for x in _old}
|
|
127
|
+
for _it in _new:
|
|
128
|
+
if _key(_it) not in _seen:
|
|
129
|
+
_old.append(_it)
|
|
130
|
+
_seen.add(_key(_it))
|
|
131
|
+
prev = dict(prev)
|
|
132
|
+
prev["value"] = _old
|
|
133
|
+
if (v.get("w") or 0) > (prev.get("w") or 0):
|
|
134
|
+
prev["w"] = v["w"]
|
|
135
|
+
out[k] = prev
|
|
136
|
+
continue
|
|
137
|
+
if prev:
|
|
138
|
+
_pw, _nw = (prev.get("w") or 0), (v.get("w") or 0)
|
|
139
|
+
# 【证据权重】强证据胜;同权重时只有时间可变字段允许较新值覆盖,
|
|
140
|
+
# 其余**保留旧值**——避免「在包里」这类弱证据盖掉自我介绍的姓名/城市。
|
|
141
|
+
if _nw < _pw:
|
|
142
|
+
hist.setdefault(k, []).append(v)
|
|
143
|
+
continue
|
|
144
|
+
if _nw == _pw and k not in TIME_VARYING:
|
|
145
|
+
hist.setdefault(k, []).append(v)
|
|
146
|
+
continue
|
|
147
|
+
hist.setdefault(k, []).append(prev)
|
|
148
|
+
out[k] = v
|
|
149
|
+
if hist:
|
|
150
|
+
out["_history"] = hist
|
|
151
|
+
return out
|
|
@@ -0,0 +1,133 @@
|
|
|
1
|
+
# -*- coding: utf-8 -*-
|
|
2
|
+
"""实体抽取(确定性)——人物 / 地点 / 时间 核心;物品 / 情绪 辅助。
|
|
3
|
+
|
|
4
|
+
判据(使用者 2026-11-12):人物·地点·时间·事件是**核心状态**,物品与情绪是**辅助**
|
|
5
|
+
(只用于辅助检索,不建跟踪树)。
|
|
6
|
+
|
|
7
|
+
本模块**不用模型**,全部确定性规则:
|
|
8
|
+
· 人物:自我介绍式(我叫X/叫我X)、称谓式(X阿姨/师傅/姐/哥/老师/编辑)、
|
|
9
|
+
对话式(X说/X问/和X约),以及已有 tags 里的 person: 前缀;
|
|
10
|
+
· 地点:动词后接处所词干(在/去/到/回/从 + X店/馆/院/校/门口/小区/路/街…);
|
|
11
|
+
· 时间:先按绝对日期正则(YYYY-MM-DD、M月D日),再由调用方用 `reldate` 以陈述时刻换算相对表述;
|
|
12
|
+
· 辅助(物品/情绪):物品取引号内与「拿/借/寄/买/放」宾语;情绪取小词表。**只作为 facet**,不进状态树。
|
|
13
|
+
|
|
14
|
+
不适用条件(不猜):
|
|
15
|
+
· 两字以上才认人名(单字姓名歧义过大);
|
|
16
|
+
· 「我是X」不认(跟职业/身份混在一起,如「我是面包师」);
|
|
17
|
+
· 处所词必须命中词尾表,否则不认(宁缺不错);
|
|
18
|
+
· 本模块**不判断真假/归属关系**,只产出候选,去重与归属由 profiles 层做。
|
|
19
|
+
"""
|
|
20
|
+
from __future__ import annotations
|
|
21
|
+
|
|
22
|
+
import re
|
|
23
|
+
|
|
24
|
+
#: 人物称谓后缀(出现在名字之后)。
|
|
25
|
+
_HONORIFIC = ("阿姨", "叔叔", "师傅", "姐", "哥", "老师", "医生", "编辑", "编",
|
|
26
|
+
"总", "老板", "园长", "经理")
|
|
27
|
+
|
|
28
|
+
#: 处所词尾(地点候选必须以此结尾)。
|
|
29
|
+
_PLACE_TAIL = ("店", "馆", "院", "校", "门口", "小区", "路", "街", "市", "省",
|
|
30
|
+
"楼", "层", "公园", "书店", "医院", "学校", "咖啡店", "公司")
|
|
31
|
+
|
|
32
|
+
#: 情绪小词表(辅助面)。
|
|
33
|
+
_EMOTION = ("开心", "高兴", "难过", "累", "烦", "怕", "紧张", "委屈", "生气",
|
|
34
|
+
"踏实", "欣慰", "焦虑", "轻松", "感动")
|
|
35
|
+
|
|
36
|
+
_NAME = r"[\u4e00-\u9fa5]{2,4}"
|
|
37
|
+
_SELF_INTRO = re.compile(r"(?:我叫|我叫作|叫我|名字叫)(" + _NAME + ")")
|
|
38
|
+
_HONOR = re.compile(r"([\u4e00-\u9fa5]{1,3})(?:" + "|".join(_HONORIFIC) + ")")
|
|
39
|
+
_SPEAK = re.compile(r"(" + _NAME + r")(?:说|讲|问|回|答|笑|提醒|建议)")
|
|
40
|
+
_WITH = re.compile(r"(?:和|跟|与)(" + _NAME + r")(?:说好|约|一起|商量|碰面)")
|
|
41
|
+
_PLACE = re.compile(r"(?:在|去|到|回|从|来)([\u4e00-\u9fa5]{1,10}?(?:" + "|".join(_PLACE_TAIL) + r"))")
|
|
42
|
+
_DATE = re.compile(r"(\d{4}-\d{2}-\d{2}|\d{4}/(\d{1,2})/(\d{1,2})|(\d{1,2})月(\d{1,2})[日号])")
|
|
43
|
+
_QUOTED = re.compile(r"[「『“\"]([^」』”\"]{1,20})[」』”\"]")
|
|
44
|
+
_OBJ_VERB = re.compile(r"(?:拿|借|寄|买|放|带|送|收)([\u4e00-\u9fa5]{1,8})")
|
|
45
|
+
|
|
46
|
+
#: 明显不是人名的词(动词/代词/常见名词),避免「他说」「我说」被当人名。
|
|
47
|
+
_NOT_NAME = {"他说", "我说", "你说", "她说", "他说", "告诉", "觉得", "知道",
|
|
48
|
+
"今天", "昨天", "明天", "晚上", "上午", "下午", "那边", "这里",
|
|
49
|
+
"我们", "你们", "他们", "自己", "大家", "有人", "别人"}
|
|
50
|
+
|
|
51
|
+
|
|
52
|
+
# 代词/泛称:绝不能当人名(外测实证:曾抽出 profile-person-号你)。
|
|
53
|
+
_PRONOUN = {
|
|
54
|
+
"你", "我", "他", "她", "它", "您", "咱", "谁", "这", "那", "其",
|
|
55
|
+
"你们", "我们", "他们", "她们", "它们", "咱们", "大家", "各位",
|
|
56
|
+
"有人", "别人", "自己", "人家", "某人",
|
|
57
|
+
}
|
|
58
|
+
|
|
59
|
+
# 语气/助词:出现在姓名首或尾即判非人名(如「号你」「了吗」)。
|
|
60
|
+
_PARTICLE_CHARS = set(
|
|
61
|
+
"了吗呢吧啊呀嘛哦哈欸诶啦咯喔噢得了着过地"
|
|
62
|
+
"你您我他她它这那"
|
|
63
|
+
"说问讲让把给和跟与在是有要就都也还什怎"
|
|
64
|
+
)
|
|
65
|
+
|
|
66
|
+
|
|
67
|
+
# 生效条件:name 为候选串;通过(非代词、长度 2-4、纯汉字、非语气助词首尾)返回 True
|
|
68
|
+
def gate_name(name):
|
|
69
|
+
"""人名闸:代词 / 长度 / 字符类 / 语气助词首尾 四道。宁缺不错。"""
|
|
70
|
+
n = (name or "").strip()
|
|
71
|
+
if not n or n in _PRONOUN or n in _NOT_NAME:
|
|
72
|
+
return False
|
|
73
|
+
if not (2 <= len(n) <= 4):
|
|
74
|
+
return False
|
|
75
|
+
if not all("\u4e00" <= ch <= "\u9fff" for ch in n):
|
|
76
|
+
return False
|
|
77
|
+
if n[0] in _PARTICLE_CHARS or n[-1] in _PARTICLE_CHARS:
|
|
78
|
+
return False
|
|
79
|
+
return True
|
|
80
|
+
|
|
81
|
+
|
|
82
|
+
# 生效条件:items 为候选串集合;返回去重后的有序列表(排除 _NOT_NAME 与空)
|
|
83
|
+
def _dedupe(items):
|
|
84
|
+
seen, out = set(), []
|
|
85
|
+
for x in items or []:
|
|
86
|
+
x = (x or "").strip()
|
|
87
|
+
if not x or x in seen or x in _NOT_NAME or len(x) < 2:
|
|
88
|
+
continue
|
|
89
|
+
seen.add(x)
|
|
90
|
+
out.append(x)
|
|
91
|
+
return out
|
|
92
|
+
|
|
93
|
+
|
|
94
|
+
# 生效条件:text 为正文、tags 为节点标签;返回人物候选(自我介绍/称谓/对话/和X约 + person: 标签)
|
|
95
|
+
def persons(text, tags=()):
|
|
96
|
+
body = str(text or "")
|
|
97
|
+
got = []
|
|
98
|
+
got += [m.group(1) for m in _SELF_INTRO.finditer(body)]
|
|
99
|
+
got += [m.group(1) for m in _HONOR.finditer(body)]
|
|
100
|
+
got += [m.group(1) for m in _SPEAK.finditer(body)]
|
|
101
|
+
got += [m.group(1) for m in _WITH.finditer(body)]
|
|
102
|
+
for t in tags or []:
|
|
103
|
+
t = str(t)
|
|
104
|
+
for pre in ("person:", "人物:"):
|
|
105
|
+
if t.startswith(pre):
|
|
106
|
+
got.append(t[len(pre):])
|
|
107
|
+
return [n for n in _dedupe(got) if gate_name(n)]
|
|
108
|
+
|
|
109
|
+
|
|
110
|
+
# 生效条件:text 为正文、tags 为节点标签;返回地点候选(动词 + 处所词尾;place: 标签)
|
|
111
|
+
def places(text, tags=()):
|
|
112
|
+
body = str(text or "")
|
|
113
|
+
got = [m.group(1) for m in _PLACE.finditer(body)]
|
|
114
|
+
for t in tags or []:
|
|
115
|
+
t = str(t)
|
|
116
|
+
for pre in ("place:", "地点:"):
|
|
117
|
+
if t.startswith(pre):
|
|
118
|
+
got.append(t[len(pre):])
|
|
119
|
+
return _dedupe(got)
|
|
120
|
+
|
|
121
|
+
|
|
122
|
+
# 生效条件:text 为正文;返回正文里出现的**绝对日期**原文串(相对表述由 reldate 另换算)
|
|
123
|
+
def dates(text):
|
|
124
|
+
return _dedupe([m.group(0) for m in _DATE.finditer(str(text or ""))])
|
|
125
|
+
|
|
126
|
+
|
|
127
|
+
# 生效条件:text 为正文;返回辅助面 facet {"objects": [...], "emotions": [...]}(**不进状态树**)
|
|
128
|
+
def auxiliary(text):
|
|
129
|
+
body = str(text or "")
|
|
130
|
+
objs = [m.group(1) for m in _OBJ_VERB.finditer(body)]
|
|
131
|
+
objs += [m.group(1) for m in _QUOTED.finditer(body)]
|
|
132
|
+
emos = [w for w in _EMOTION if w in body]
|
|
133
|
+
return {"objects": _dedupe(objs), "emotions": _dedupe(emos)}
|