@furongjun1999/dsh-memory 0.10.1 → 0.10.3

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
@@ -0,0 +1,298 @@
1
+ # -*- coding: utf-8 -*-
2
+ """资料树(档 1):把散落节点聚合成**可召回的一等节点**——人物 / 地点 / 事件。
3
+
4
+ 判据(使用者 2026-11-12):人物·地点·时间·事件是核心状态;物品与情绪是辅助(只进 facet,不建树)。
5
+
6
+ 为什么必须写成**真节点**而不是渲染期拼装:外测归因(弱项 19 题)证明「要素不在 pack」——
7
+ 单点事实(姓名/年龄/职业)散在某几轮原话里,召回不命中。资料卡的价值是**给单点事实造一个
8
+ 稠密的可召回容器**:查询提到「沈知夏」时,一张 20 字的卡同时带着姓名/年龄/职业。
9
+
10
+ 设计约束:
11
+ · **增量 + 幂等**:重跑只在内容真的变了才写(按渲染结果逐字比对);
12
+ · **只增不改事实**:事实行按 (日期, 节点 id) 稳定排序,新增节点只会追加行;
13
+ · **不判断真假/归属**:抽取只产候选(见 entities),本层只做聚合与去重;
14
+ · **辅助面只进 tags**:`obj:` / `emo:` 前缀标签,用于辅助检索,不参与状态。
15
+
16
+ 节点命名(可预测、可回查):
17
+ profile:person:<人名> profile:place:<地点> profile:event:<YYYY-MM-DD>
18
+
19
+ 不适用条件:实体抽取为确定性规则(见 entities 的不适用条件);同一人多名(昵称/全名)不合并;
20
+ 跨人物同名歧义不消解。
21
+ """
22
+ from __future__ import annotations
23
+
24
+ import hashlib
25
+ import os
26
+ import time
27
+
28
+ from . import distill as _dis
29
+ from . import dossier as _dos
30
+ from . import entities as _en
31
+
32
+ # 落盘 id 只允许 ^[A-Za-z0-9_.@\u4e00-\u9fff,-]{1,128}$(**冒号非法**,会拼进路径),
33
+ # 故用 `profile-<kind>-<slug>` 形态;实体名里的非法字符按 _ 归一。
34
+ PREFIX = "profile-"
35
+ #: 角色名(闭集):未配置则为空串 ⇒ 不建角色卡(不猜名字)。
36
+ _ROLE_USER = (os.environ.get("MDCG_ROLE_USER") or "").strip()
37
+ _ROLE_AI = (os.environ.get("MDCG_ROLE_AI") or "").strip()
38
+ LAYER = "knowledge"
39
+
40
+ #: 渲染时单条事实的最大字数(资料卡要稠密,不能变成原文堆)。
41
+ SNIPPET_MAX = 60
42
+ #: 单个资料卡最多保留的事实条数(超出按最近保留)。
43
+ MAX_FACTS = 40
44
+
45
+
46
+ # 生效条件:s 为任意实体名;返回只含合法 node_id 字符的 slug(长度 ≤48)
47
+ def _slug(s):
48
+ out = []
49
+ for ch in str(s or ""):
50
+ if ch.isalnum() or ch in "_.@,-" or "\u4e00" <= ch <= "\u9fff":
51
+ out.append(ch)
52
+ else:
53
+ out.append("_")
54
+ return "".join(out)[:48] or "x"
55
+
56
+
57
+ # 生效条件:kind ∈ {person, place, event}、name 为实体名;返回资料卡节点 id(可预测,便于回查与幂等覆写)
58
+ def card_id(kind, name):
59
+ return "%s%s-%s" % (PREFIX, kind, _slug(name))
60
+
61
+
62
+ # 生效条件:text 为正文;返回压成单行的片段(去换行/去 CCG 头,截 SNIPPET_MAX)
63
+ def _snippet(text):
64
+ lines = [l.strip() for l in str(text or "").splitlines()]
65
+ body = [l for l in lines if l and not l.startswith("#")]
66
+ return (" ".join(body) or "")[:SNIPPET_MAX]
67
+
68
+
69
+ # 生效条件:facts 为 [(日期, 节点id, 片段)];返回渲染后的资料卡正文(CCG 六要素 + 事实序列)
70
+ def render(kind, name, facts, dossier=None):
71
+ title = {"role": "角色资料", "person": "人物资料", "place": "地点资料", "event": "事件资料"}[kind]
72
+ head = [
73
+ "# 功能名:%s:%s" % (title, name),
74
+ "# 生效条件:查询提到「%s」或其属性(姓名/年龄/职业/地点/日期)时" % name,
75
+ "# 子功能:① 事实序列(按日期升序,每条带来源节点)",
76
+ "# 执行:由 profiles.build 从既有节点确定性聚合(无模型抽取)",
77
+ "# 验证方式:tests/test_profiles.py",
78
+ "# 不适用条件:正文未出现的属性不在本卡;同名不合并",
79
+ "",
80
+ ]
81
+ #: 档案字段的展示顺序(基本信息 → 身份职业 → 家庭)
82
+ _ORDER = ("姓名", "年龄", "城市", "职业", "单位", "学历", "专业",
83
+ "父", "母", "配偶", "子女")
84
+ _LIST_ORDER = ("经历", "家庭")
85
+ body = []
86
+ if dossier:
87
+ body.append(dept_line := "【档案】")
88
+ for k in _ORDER:
89
+ v = dossier.get(k)
90
+ if v in (None, "", [], {}):
91
+ continue
92
+ # 形态容错:标量可能是 {value,t} 也可能是裸值(写入方不止一个)。
93
+ _vv = v.get("value") if isinstance(v, dict) else v
94
+ _tt = v.get("t") if isinstance(v, dict) else None
95
+ _stamp = ""
96
+ if _tt:
97
+ try:
98
+ _stamp = "(%s)" % time.strftime("%Y-%m", time.localtime(float(_tt)))
99
+ except (TypeError, ValueError, OSError):
100
+ _stamp = ""
101
+ body.append("- %s:%s%s" % (k, _vv, _stamp))
102
+ for k in _LIST_ORDER:
103
+ v = dossier.get(k)
104
+ # 形态容错:{"value": [...]} / 裸 list / 裸字符串 三种都认。
105
+ if isinstance(v, list):
106
+ items = v
107
+ elif isinstance(v, dict):
108
+ items = v.get("value") or []
109
+ if isinstance(items, str):
110
+ items = [items]
111
+ elif isinstance(v, str):
112
+ items = [v]
113
+ else:
114
+ items = []
115
+ if not items:
116
+ continue
117
+ body.append("【%s】" % k)
118
+ for it in items:
119
+ if isinstance(it, dict):
120
+ # 跳过 `_raw` 这类内部证据键(键名以 _ 开头),不要把证据片段渲染成值
121
+ parts = [str(x) for _kk, x in it.items()
122
+ if not str(_kk).startswith("_")
123
+ and x not in (None, "")]
124
+ txt = " | ".join(parts)
125
+ else:
126
+ txt = str(it)
127
+ if txt.strip():
128
+ body.append("- " + txt)
129
+ body.append("")
130
+ for date, nid, snip in facts:
131
+ body.append("- %s | %s(来源 %s)" % (date or "日期不明", snip, nid))
132
+ return "\n".join(head + body) + "\n"
133
+
134
+
135
+ # 生效条件:cg 提供 index/get/add;返回 {"scanned", "cards", "written", "skipped", "facts"}
136
+ def build(cg, dry_run=True, limit=None):
137
+ """扫描既有节点 → 按实体聚合 → 写成资料卡(幂等;dry_run 只算不写)。"""
138
+ from . import reldate
139
+ nodes = (cg.index.get("nodes") or {})
140
+ buckets = {} # (kind, name) -> [(date, nid, snippet)]
141
+ _declared_nids = set() # 带 diary 声明的来源节点(用于卡来源标记)
142
+ st = {"scanned": 0, "cards": 0, "written": 0, "skipped": 0, "facts": 0,
143
+ "dry_run": bool(dry_run), "declared": 0, "extracted": 0}
144
+ for nid, e in list(nodes.items()):
145
+ if str(nid).startswith(PREFIX):
146
+ continue
147
+ if limit and st["scanned"] >= int(limit):
148
+ break
149
+ node = cg.get(nid)
150
+ if not node:
151
+ continue
152
+ st["scanned"] += 1
153
+ fm = node.get("frontmatter") or {}
154
+ content = node.get("content") or ""
155
+ ts = fm.get("created_at")
156
+ day = ""
157
+ if ts is not None:
158
+ try:
159
+ day = time.strftime("%Y-%m-%d", time.localtime(float(ts)))
160
+ except (TypeError, ValueError, OSError):
161
+ day = ""
162
+ tags = fm.get("tags") or []
163
+ snip = _snippet(content)
164
+ # 【情景层 v0.1】diary 声明优先:角色名是闭集,由写入声明(零抽取)。
165
+ # 外测实证:靠正则猜名字会抽出 profile-person-号你 这类错卡,正确卡反被淹没。
166
+ diary = fm.get("diary") if isinstance(fm.get("diary"), dict) else None
167
+ if diary:
168
+ _declared_nids.add(nid)
169
+ day = str(diary.get("date") or day or "")
170
+ for key in ("speaker", "listener"):
171
+ v = str(diary.get(key) or "").strip()
172
+ if v:
173
+ buckets.setdefault(("role", v), []).append((day, nid, snip))
174
+ for pp in (diary.get("participants") or []):
175
+ v = str(pp or "").strip()
176
+ if v and _en.gate_name(v):
177
+ buckets.setdefault(("person", v), []).append((day, nid, snip))
178
+ pl = str(diary.get("place") or "").strip()
179
+ if pl:
180
+ buckets.setdefault(("place", pl), []).append((day, nid, snip))
181
+ if day:
182
+ buckets.setdefault(("event", day), []).append((day, nid, snip))
183
+ continue
184
+ # 【外测实证 2026-11-12】只传 diary 的节点极少时,role/person 卡会**完全不产出**,
185
+ # 注入就只能塞事件卡(对属性题无用)。故补一条**角色兜底**:
186
+ # 节点带 role=user/assistant 且配置了角色名(MDCG_ROLE_USER / MDCG_ROLE_AI)⇒ 归到角色卡。
187
+ # 未配置则不做——**不猜角色名**。
188
+ _role = str(fm.get("role") or "").strip().lower()
189
+ if _role in ("user", "assistant"):
190
+ _rname = ((os.environ.get("MDCG_ROLE_USER") or _ROLE_USER).strip()
191
+ if _role == "user" else
192
+ (os.environ.get("MDCG_ROLE_AI") or _ROLE_AI).strip())
193
+ if _rname:
194
+ buckets.setdefault(("role", _rname), []).append((day, nid, snip))
195
+ # 回落:无 diary 的存量节点按确定性抽取(卡标 extracted,与 declared 不混报)
196
+ for name in _en.persons(content, tags):
197
+ buckets.setdefault(("person", name), []).append((day, nid, snip))
198
+ for name in _en.places(content, tags):
199
+ buckets.setdefault(("place", name), []).append((day, nid, snip))
200
+ if day and any(k in content for k in ("约定", "约好", "碰面", "聚餐", "改期", "会议")):
201
+ buckets.setdefault(("event", day), []).append((day, nid, snip))
202
+ for (kind, name), facts in sorted(buckets.items()):
203
+ # 去重 + 稳定排序(日期, 节点 id)⇒ 增量:新节点只会往后追加
204
+ seen, uniq = set(), []
205
+ for f in sorted(facts, key=lambda x: (x[0] or "", x[1])):
206
+ if f[1] in seen:
207
+ continue
208
+ seen.add(f[1])
209
+ uniq.append(f)
210
+ uniq = uniq[-MAX_FACTS:]
211
+ # 档案:从本卡来源节点里抽字段并增量合并(只对 role/person 卡建)
212
+ # 【外测 2026-11-12】必须扫**未截断的全量 facts**:早期自我介绍(w=3)曾因
213
+ # MAX_FACTS 窗口只保留最近 N 条而被丢弃 ⇒ 卡的档案里只剩弱证据的误填。
214
+ _dos_all = {}
215
+ if kind in ("role", "person"):
216
+ _seen_dos = set()
217
+ for _d, _nid, _snip in facts:
218
+ if _nid in _seen_dos:
219
+ continue
220
+ _seen_dos.add(_nid)
221
+ _n = cg.get(_nid) or {}
222
+ _fm = _n.get("frontmatter") or {}
223
+ # ① 先并入**声明/LLM 填表**的档案(fm.dossier,带 ev_span、经原文复核)
224
+ # 档案可能落在 fm.dossier,也可能被未知 kwarg 收进 fm.extra.dossier,
225
+ # 两处都读(口径单点:先顶层,后 extra)。
226
+ _dec = _fm.get("dossier")
227
+ if not isinstance(_dec, dict):
228
+ _dec = (_fm.get("extra") or {}).get("dossier")
229
+ # ② 再补**规则抽取**的档案(LLM 没填的字段由规则兜底;不覆盖已有值)
230
+ _rule = _dos.extract(_n.get("content") or "", _fm.get("created_at"), _nid)
231
+ # 【证据权重】自我介绍/声明的条目权重大于泛提;合并时弱者不得覆盖强者。
232
+ _w = _dos.weight_of(_n.get("content") or "")
233
+ for _fk, _fv in _rule.items():
234
+ _fv = dict(_fv)
235
+ _fv["w"] = _w
236
+ if _fk == "城市" and not _dis.is_place(_fv.get("value")):
237
+ continue # 合并期同样过地名闸(旧节点可能绕过写入期复核)
238
+ _dos_all = _dos.merge(_dos_all, {_fk: _fv})
239
+ # 声明/LLM 填表的档案同样按该节点权重入账
240
+ if isinstance(_dec, dict) and _dec:
241
+ for _fk, _fv in _dec.items():
242
+ if _fk.startswith("_"):
243
+ continue
244
+ _fv = dict(_fv) if isinstance(_fv, dict) else {"value": _fv}
245
+ _fv.setdefault("w", _w)
246
+ if _fk == "城市" and not _dis.is_place(_fv.get("value")):
247
+ continue # 声明/LLM 的旧档案也过闸
248
+ _dos_all = _dos.merge(_dos_all, {_fk: _fv})
249
+ st["cards"] += 1
250
+ st["facts"] += len(uniq)
251
+ text = render(kind, name, uniq, dossier=_dos_all)
252
+ nid = card_id(kind, name)
253
+ prev = cg.get(nid)
254
+ if prev and (prev.get("content") or "") == text:
255
+ st["skipped"] += 1
256
+ continue
257
+ if dry_run:
258
+ continue
259
+ # 辅助面(物品/情绪)只进 tags:用于辅助检索,不参与状态
260
+ aux = _en.auxiliary(" ".join(f[2] for f in uniq))
261
+ tags = ["%s%s" % (kind, ":" + name if kind != "event" else ""),
262
+ "profile", "%s:%s" % (kind, name)]
263
+ _src = "declared" if any(nid in _declared_nids for _d, nid, _s in uniq) else "extracted"
264
+ st[_src] = st.get(_src, 0) + 1
265
+ tags.append("card_source:" + _src)
266
+ tags += ["obj:" + o for o in aux["objects"][:8]]
267
+ tags += ["emo:" + w for w in aux["emotions"][:5]]
268
+ # created_at 只在**已有卡**时透传(保持出生时刻);新卡交给 add 取 now。
269
+ # 传 None 会落到 add 的观测窗锚点计算上(`None + float` 直接炸)。
270
+ # 【外测请求 #2/#3】卡的 created_at 不能是**建卡时刻**:库历史到 2026-05、卡却落在 2026-11-11,
271
+ # 桶/日路径因此 bucket=0,卡只能靠词法进——而词法长句只给 1 条。
272
+ # 现取**最早事实日**(有 diary.date 就用它),并把它换算成时刻;推不出则不传(交给 add 取 now)。
273
+ _dates = sorted(f[0] for f in uniq if f[0])
274
+ _first_day = _dates[0] if _dates else ""
275
+ _kw = {"layer": LAYER, "tags": tags, "importance": 0.6,
276
+ "consistency": False}
277
+ # session 继承:取来源节点里出现最多的 session(多人物隔离时卡才不会被 session 过滤掉)。
278
+ import time as _t
279
+ _sess = {}
280
+ for _f in uniq:
281
+ _n = cg.get(_f[1]) or {}
282
+ _s = ((_n.get("frontmatter") or {}).get("session"))
283
+ if _s:
284
+ _sess[_s] = _sess.get(_s, 0) + 1
285
+ if _sess:
286
+ _kw["session"] = sorted(_sess.items(), key=lambda x: -x[1])[0][0]
287
+ _prev_has_ts = (((prev or {}).get("frontmatter") or {}).get("created_at") is not None)
288
+ if _first_day and not _prev_has_ts:
289
+ try:
290
+ _kw["created_at"] = _t.mktime(_t.strptime(_first_day, "%Y-%m-%d"))
291
+ except ValueError:
292
+ pass
293
+ _prev_ts = ((prev or {}).get("frontmatter") or {}).get("created_at")
294
+ if _prev_ts is not None:
295
+ _kw["created_at"] = _prev_ts
296
+ cg.add(nid, text, **_kw)
297
+ st["written"] += 1
298
+ return st
package/md_cg/protocol.py CHANGED
@@ -196,7 +196,13 @@ VERB_SPECS = {
196
196
  # (持久验证状态)**语义不同**,同一条可同时是 ACCEPT + unverified。
197
197
  "entry_required": ("id", "score", "state", "tokens", "content",
198
198
  "frontmatter", "provenance", "metadata"),
199
- "entry_optional": ("truncated",),
199
+ # created_at_date(2026-11-12):pack 条目的**格式化日期**(YYYY-MM-DD)。
200
+ # 存在理由:`frontmatter.created_at` 是 epoch 浮点,下游 `str(v)[:10]` 会截出
201
+ # `1784043360` 这种假日期(外测脚手架真实踩过)。此字段是唯一正确格式化的出口。
202
+ # content_dated(2026-11-12):正文里相对日期**内联补绝对日期**的版本
203
+ # (「上周五」→「上周五(2026-11-06)」)。存在理由:平行章节会被模型忽略,
204
+ # 只有正文内联标注才会被读到;换算必须由算法做,不能交给模型。
205
+ "entry_optional": ("truncated", "created_at_date", "content_dated"),
200
206
  "entry_metadata_required": ("state", "reason", "verification_state"),
201
207
  "entry_metadata_optional": ("verification_basis", "check_strength",
202
208
  "derived_from", "derived_relation",
@@ -0,0 +1,142 @@
1
+ # -*- coding: utf-8 -*-
2
+ """相对日期绝对化——把文本里的「上周五」补成「上周五(2026-11-06)」。
3
+
4
+ 判据(使用者 2026-11-12 定):**所有相对日期后,用确定性规则补绝对日期。**
5
+
6
+ 为什么必须由算法做、且必须内联在正文里:
7
+ · 外测实证(Ornn8 B 类):模型面对「周一/昨天」这类相对表述会照抄,不换算;
8
+ 状态视图那节明明给了绝对日期,判官仍写「只按周一/昨天相对表述,未给出具体日期」
9
+ ——**平行章节会被忽略,只有正文里的内联标注才会被读到**。
10
+ · 整条路线的立足点就是「时序归纳不该由模型做」,相对日期换算同理。
11
+
12
+ 确定性规则(全部以**陈述时刻**为锚,即节点 created_at;不用"今天"):
13
+ 今天/今日 0 · 昨天/昨日 −1 · 前天 −2 · 大前天 −3 · 明天 +1 · 后天 +2
14
+ N 天前/N 天后(中文数字或阿拉伯数字)
15
+ 上周X/这周X/本周X/下周X(X = 一二三四五六日天,周一为周首)
16
+ 上个月/下个月(按整月区间标注)
17
+
18
+ 不适用与边界(不猜):
19
+ · 锚点缺失或不可解析 ⇒ 原样返回,不标注;
20
+ · 文本里已有紧随其后的(YYYY-MM-DD)⇒ 跳过(幂等,重复调用不叠加);
21
+ · 无年份的裸「周五」不标注(可属任一周,标了就是编造);
22
+ · 「上周」「今年」这类区间只在能确定起止时标注,否则不动。
23
+ """
24
+ from __future__ import annotations
25
+
26
+ import datetime as _dt
27
+ import re
28
+
29
+ _CN_NUM = {"一": 1, "二": 2, "两": 2, "三": 3, "四": 4, "五": 5, "六": 6, "七": 7,
30
+ "八": 8, "九": 9, "十": 10}
31
+ _CN_NUM.update({"十" + c: 10 + v for c, v in zip("一二三四五六七八九", range(1, 10))})
32
+ _CN_NUM.update({"二十": 20, "二十一": 21, "二十二": 22, "二十三": 23, "二十四": 24,
33
+ "二十五": 25, "二十六": 26, "二十七": 27, "二十八": 28,
34
+ "二十九": 29, "三十": 30, "三十一": 31})
35
+
36
+ _WD = {"一": 0, "二": 1, "三": 2, "四": 3, "五": 4, "六": 5, "日": 6, "天": 6}
37
+
38
+ _FIXED = (("大前天", -3), ("大后天", 3), ("前天", -2), ("后天", 2),
39
+ ("昨天", -1), ("昨日", -1), ("今天", 0), ("今日", 0),
40
+ ("明天", 1), ("明日", 1))
41
+
42
+ # 【issue #875】必须带**左边界**并放宽到 3 位:早先 `\d{1,2}` 无边界,
43
+ # 「120天前」会跳过首位匹配成「20天前」,把 20 交给换算器 ⇒ **交付确定但错误的日期**。
44
+ # 左边界同时挡住中文数字(「一百二十天前」不该被当成「二十天前」)。
45
+ _NDAY = re.compile(r"(?<![\d一二两三四五六七八九十百零])"
46
+ r"(\d{1,3}|[一二两三四五六七八九十]{1,3})\s*天\s*([前后])")
47
+ # 左边界挡「以上周四」这类非时间用法(与 _NDAY 同思路)。
48
+ _WEEKX = re.compile(r"(?<![以每本这])(上|这|本|下)\s*(?:个)?\s*周\s*([一二三四五六日天])")
49
+ # 左边界挡「以下月份」、右边界挡「月**份**」——那都不是相对月份,标了就是编造。
50
+ _MONTH = re.compile(r"(?<![以每半])(上|下)\s*个?\s*月(?![份])")
51
+ _ANNOTATED = re.compile(r"^\s*[((]\d{4}-\d{2}-\d{2}[))]")
52
+
53
+
54
+ def _num(s):
55
+ """中文/阿拉伯数字 → int;不能解析返回 None。"""
56
+ s = (s or "").strip()
57
+ if not s:
58
+ return None
59
+ if s.isdigit():
60
+ return int(s)
61
+ return _CN_NUM.get(s)
62
+
63
+
64
+ def anchor_date(ts):
65
+ """陈述时刻 → date;不可解析返回 None(**不猜今天**)。"""
66
+ if ts is None:
67
+ return None
68
+ try:
69
+ return _dt.datetime.fromtimestamp(float(ts)).date()
70
+ except (TypeError, ValueError, OSError, OverflowError):
71
+ return None
72
+
73
+
74
+ def _resolve(expr, base):
75
+ """单个相对表达式 → (起始 date, 结束 date);区间表达式起止不同,点日期相同。"""
76
+ for word, delta in _FIXED:
77
+ if expr == word:
78
+ d = base + _dt.timedelta(days=delta)
79
+ return (d, d)
80
+ m = _NDAY.fullmatch(expr)
81
+ if m:
82
+ n = _num(m.group(1))
83
+ # 【issue #875】范围闸:只支持 1..3660 天(10 年)。超范围/不可解析 ⇒ 不标注,
84
+ # 宁缺不错——本模块的价值在「确定性」,给出错日期比不标注更坏。
85
+ if not n or n < 1 or n > 3660:
86
+ return None
87
+ d = base + _dt.timedelta(days=(-n if m.group(2) == "前" else n))
88
+ return (d, d)
89
+ m = _WEEKX.fullmatch(expr)
90
+ if m:
91
+ rel = {"上": -1, "这": 0, "本": 0, "下": 1}[m.group(1)]
92
+ monday = base - _dt.timedelta(days=base.weekday())
93
+ d = monday + _dt.timedelta(days=7 * rel + _WD[m.group(2)])
94
+ return (d, d)
95
+ m = _MONTH.fullmatch(expr)
96
+ if m:
97
+ y, mo = base.year, base.month + (-1 if m.group(1) == "上" else 1)
98
+ y, mo = (y + (mo - 1) // 12, (mo - 1) % 12 + 1)
99
+ first = _dt.date(y, mo, 1)
100
+ nxt = _dt.date(y + (mo // 12), mo % 12 + 1, 1)
101
+ return (first, nxt - _dt.timedelta(days=1))
102
+ return None
103
+
104
+
105
+ def _fmt(span):
106
+ a, b = span
107
+ if a == b:
108
+ return a.isoformat()
109
+ return "%s~%s" % (a.isoformat(), b.isoformat())
110
+
111
+
112
+ def annotate(text, ts):
113
+ """在相对日期后**内联**补(YYYY-MM-DD)——幂等;锚点不可解析则原样返回。"""
114
+ body = str(text or "")
115
+ base = anchor_date(ts)
116
+ if not body or base is None:
117
+ return body
118
+ hit = []
119
+ for word, _delta in _FIXED:
120
+ for m in re.finditer(re.escape(word), body):
121
+ hit.append((m.start(), m.end(), word))
122
+ for rx in (_NDAY, _WEEKX, _MONTH):
123
+ for m in rx.finditer(body):
124
+ hit.append((m.start(), m.end(), m.group(0)))
125
+ if not hit:
126
+ return body
127
+ hit.sort(key=lambda x: (x[0], -(x[1] - x[0])))
128
+ picked, last_end = [], -1
129
+ for st, en, expr in hit:
130
+ if st < last_end:
131
+ continue
132
+ picked.append((st, en, expr))
133
+ last_end = en
134
+ out, cursor = [], 0
135
+ for st, en, expr in picked:
136
+ out.append(body[cursor:en])
137
+ span = _resolve(expr, base)
138
+ if span is not None and not _ANNOTATED.match(body[en:en + 16]):
139
+ out.append("(%s)" % _fmt(span))
140
+ cursor = en
141
+ out.append(body[cursor:])
142
+ return "".join(out)
@@ -0,0 +1,139 @@
1
+ # -*- coding: utf-8 -*-
2
+ """自述轮次召回(零模型、与题目无关)——外测实证 12.8% → 35.9% 的那条规则。
3
+
4
+ 判据(外测 2026-11-12 实验,无泄题、无 LLM):
5
+ > 用户消息匹配「我叫 / 我今年 / 我大学 / 我最早 / 我在…做 / 我住 / 我妈我爸 / 学徒 / 退休…」
6
+ > → 这些轮次直接并入 pack(不经过档案、不经过 LLM)。
7
+
8
+ 结果:值覆盖 5/39 → 14/39(12.8% → 35.9%),题级全命中 1/19 → 6/19;
9
+ 成本:每库仅 5–15 轮额外注入。
10
+
11
+ 调用口径(**两种写法都认**,见 _root_of):
12
+ from md_cg import selfstmt as ss
13
+ ss.load(g) / ss.load(g.root) # 读登记数
14
+ ss.record(g, nid) # 单条登记(写时钩子已在 add() 里自动调)
15
+ ss.rebuild(g) # 存量库全量补登(建图之后、recall 之前)
16
+
17
+ 不适用条件:
18
+ · 主语是「她/他」的亲属陈述(如「她61了,从社区超市理货员退下来」若词表未收录)不命中——需事件/关系抽取;
19
+ · 事件型转述(转行、兼职经历)不保证命中;
20
+ · 规则漏检就是漏,不做二次推断。
21
+ """
22
+ from __future__ import annotations
23
+
24
+ import json
25
+ import os
26
+ import re
27
+
28
+ #: 自述句式(**与题目无关**;宁可少收,不加宽到泛化「我」)
29
+ SELF_RX = re.compile(
30
+ r"(?:我叫|我的名字|我今年|我\d{1,2}岁|我大学|我念|我读|我最早|后来(?:才|就)?(?:转|去|做)|"
31
+ r"我在[^,。]{0,12}(?:做|当|上班)|我住|我(?:妈|爸|母亲|父亲)|"
32
+ # 【外测 2026-11-12】「我有 + 身体状况」也是自述属性(原句:我有近视,看书时要戴眼镜…)。
33
+ # 负向约束:排除「我有个朋友/同事/他/她」这类第三人陈述,避免误命中。
34
+ r"我有[^,。朋友同事他她]{0,6}(?:近视|散光|鼻炎|胃病|胃疼|失眠|过敏|腰伤|颈椎|高血压|糖尿病)|"
35
+ r"我(?:近视|散光|鼻炎|失眠|过敏|腰伤)|"
36
+ r"学徒|退休|理货员|钳工|调酒|结构设计|兼职|写(?:悬疑|小说))"
37
+ )
38
+
39
+ _FILE = "_selfstmt.json"
40
+
41
+
42
+ # 生效条件:参数可以是库根路径,也可以是 cg 实例;返回库根路径
43
+ def _root_of(x):
44
+ """★API 容错:既收库根路径,也收 cg 实例。
45
+
46
+ 踩过的坑(外测 2026-11-12):load(g) 把实例当路径拼,文件不存在 ⇒ 静默返回 [],
47
+ 被误读成「写时登记没生效」。
48
+ """
49
+ if hasattr(x, "root"):
50
+ return str(getattr(x, "root") or "")
51
+ return str(x or "")
52
+
53
+
54
+ #: 信息密度权重(用于注入排序:先给最可能是「答案句」的轮次,而不是最新的)
55
+ DENSITY_PATTERNS = (
56
+ (3, ("我叫", "我的名字", "我大学", "我最早", "我今年")),
57
+ (2, ("我住", "我妈", "我爸", "母亲", "父亲", "岁", "我有", "近视", "失眠", "过敏")),
58
+ (1, ("学徒", "退休", "理货员", "钳工", "调酒", "结构设计", "兼职",
59
+ "念", "读", "做")),
60
+ )
61
+
62
+
63
+ # 生效条件:text 为节点正文;返回信息密度分(越高越像「答案句」)
64
+ def density(text):
65
+ """自述轮次的信息密度分(确定性;用于注入排序)。"""
66
+ body = str(text or "")
67
+ score = 0
68
+ for w, pats in DENSITY_PATTERNS:
69
+ for p in pats:
70
+ if p in body:
71
+ score += w
72
+ break
73
+ return score
74
+
75
+
76
+ # 生效条件:text 为节点正文;命中自述句式返回 True
77
+ def matches(text):
78
+ """是否自述轮次(确定性正则,与查询/题目无关)。"""
79
+ return bool(SELF_RX.search(str(text or "")))
80
+
81
+
82
+ # 生效条件:root 为库根目录或 cg 实例;返回登记文件路径
83
+ def _path(root):
84
+ return os.path.join(_root_of(root), _FILE)
85
+
86
+
87
+ # 生效条件:root 为库根或 cg;返回已登记的节点 id 列表(读失败一律当空,不抛)
88
+ def load(root):
89
+ """读登记表。文件不存在/损坏 ⇒ 返回 [](不让召回因它挂掉)。"""
90
+ try:
91
+ with open(_path(root), "r", encoding="utf-8") as f:
92
+ data = json.load(f)
93
+ return [str(x) for x in (data.get("ids") or [])]
94
+ except (OSError, ValueError):
95
+ return []
96
+
97
+
98
+ # 生效条件:root 为库根或 cg、nid 为节点 id;命中则登记(幂等)
99
+ def record(root, nid):
100
+ """写时登记:把自述轮次的 id 记入小索引(幂等、去重)。"""
101
+ base = _root_of(root)
102
+ if not base:
103
+ return False
104
+ p = os.path.join(base, _FILE)
105
+ ids = load(base)
106
+ if str(nid) in ids:
107
+ return False
108
+ ids.append(str(nid))
109
+ tmp = p + ".tmp"
110
+ try:
111
+ os.makedirs(os.path.dirname(p), exist_ok=True)
112
+ with open(tmp, "w", encoding="utf-8") as f:
113
+ json.dump({"ids": ids[-5000:]}, f, ensure_ascii=False)
114
+ os.replace(tmp, p)
115
+ except OSError:
116
+ return False
117
+ return True
118
+
119
+
120
+ # 生效条件:cg 提供 index/get;返回 {scanned, recorded, ids}
121
+ def rebuild(cg, dry_run=False, limit=100000):
122
+ """全量重建登记表(存量库补登用;不改任何节点)。"""
123
+ base = _root_of(cg)
124
+ ids = []
125
+ scanned = 0
126
+ for nid in list((cg.index.get("nodes") or {})):
127
+ scanned += 1
128
+ if scanned > limit:
129
+ break
130
+ node = cg.get(nid) or {}
131
+ if matches(node.get("content") or ""):
132
+ ids.append(str(nid))
133
+ if not dry_run and base:
134
+ try:
135
+ with open(os.path.join(base, _FILE), "w", encoding="utf-8") as f:
136
+ json.dump({"ids": ids[-5000:]}, f, ensure_ascii=False)
137
+ except OSError:
138
+ pass
139
+ return {"scanned": scanned, "recorded": len(ids), "dry_run": bool(dry_run)}
@@ -136,12 +136,14 @@ def _replay(subject, slot, recs, *, history=True) -> dict:
136
136
  # 全程无有值事件(孤立撤回):起端无可溯源 ⇒ None(不编造)。
137
137
  t_from, seq_from = None, None
138
138
  tier = TIER_UNSPECIFIED
139
+ kind, ttl = None, None
139
140
  else:
140
141
  lv = recs[last_valued]
141
142
  t_from, seq_from = lv.get("t"), lv.get("seq")
142
143
  tier = lv.get("tier")
143
144
  if tier is None:
144
145
  tier = TIER_UNSPECIFIED
146
+ kind, ttl = lv.get("kind"), lv.get("ttl")
145
147
  # 覆盖者:retired 态=撤回事件(最后一条,闭合点=值作废时刻);否则=有值事件的
146
148
  # **下一条**事件(存在则闭合,不存在=None=未闭合);两者共用同一取舍。
147
149
  nxt = (len(recs) - 1) if retired else (
@@ -155,6 +157,8 @@ def _replay(subject, slot, recs, *, history=True) -> dict:
155
157
  "t_from": t_from, "t_to": t_to,
156
158
  "seq_from": seq_from, "seq_to": seq_to,
157
159
  "tier": tier,
160
+ "kind": kind,
161
+ "ttl": ttl,
158
162
  # alternatives 本批已落地(判据见模块头);blindspots 仍后置、恒空。
159
163
  "alternatives": _alternatives_of(recs, value),
160
164
  "blindspots": [],