codebee 0.1.103 → 0.1.104

package/app/core/paihang.py

@@ -1,145 +1,145 @@
-# -*- coding: utf-8 -*-
-"""扫榜选材：抓取公开排行榜页，产出选题分析素材。
-
-数据源（四源聚合，任一失败不影响其余源；2026-09-24 实测全 200）：
-- 七猫：www.qimao.com/paihang/（106KB）
-- 番茄 Web 版：fanqienovel.com/rank（题材分类+书名在中文 a 标签里；
-  App 端接口有 SecuritySign/X-Argus 签名——那才是难路，Web 版榜单页
-  不需要签名，别走弯路）
-- 起点移动版：m.qidian.com/rank（106KB，直接出书名；主站 www.qidian.com
-  被 WAF 拦 202/209B，移动页不需要签名）
-- 纵横：www.zongheng.com/rank（65KB，书名+统计标签混排，靠噪音词过滤）
-
-下载走 curl 子进程（与 covergen 同款），解析用宽松正则——页面结构变了
-宁可返回空（调用方回落普通直连提示词），不做脆弱的强解析。
-"""
-from __future__ import annotations
-
-import logging
-import re
-
-log = logging.getLogger(__name__)
-
-QIMAO_RANK_URL = "https://www.qimao.com/paihang/"
-FANQIE_RANK_URL = "https://fanqienovel.com/rank"
-QIDIAN_M_RANK_URL = "https://m.qidian.com/rank/"
-ZONGHENG_RANK_URL = "https://www.zongheng.com/rank/"
-_UA = ("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 "
-       "(KHTML, like Gecko) Chrome/126 Safari/537.36")
-
-# 页面 UI 噪音词（非书目/分类）：页面 chrome、导航、tab 名、登录/搜索、
-# 榜单 tab 与统计标签（起点移动版 tab 名、纵横月票/人气/点击等）
-_NOISE = {"加入书架", "立即阅读", "开始阅读", "免费阅读", "全部", "分类", "排行",
-          "排行榜", "完本", "连载中", "阅读", "书城", "男生", "女生",
-          "帮助中心", "作家助手", "客服", "登录", "注册", "立即登录",
-          "搜索", "热门作品排行", "大热榜", "新书榜", "完结榜", "收藏榜",
-          "更新榜", "日榜", "月榜", "蝉联", "榜首", "热度", "免费", "畅销",
-          "下载", "客户端", "首页", "我的", "设置", "更多", "返回", "关于",
-          "月票榜", "阅读榜", "书友榜", "推荐榜", "签约榜", "新人榜",
-          "畅销榜", "大家都在搜", "男生小说排行榜", "女生小说排行榜",
-          "男频阅读榜", "女频阅读榜", "男频新书榜", "番茄小说",
-          "登录后获得更多特色功能", "安装起点读书客户端", "看更多正版好书",
-          "月票", "人气", "点击", "万字", "推荐", "收藏", "鲜花", "打赏", "推荐票"}
-
-_CJK_RE = re.compile(r">([\u4e00-\u9fa5]{2,12})<")
-
-
-def _curl_text(url):
-    """curl 子进程抓页面文本；失败返回空串。"""
-    from . import runner
-    try:
-        r = runner.run_process(
-            argv=["curl", "-sS", "--max-time", "20", "-A", _UA, url],
-            timeout=30)
-    except Exception:
-        return ""
-    if not r.get("ok"):
-        return ""
-    return r.get("stdout") or ""
-
-
-def _extract_cjk(html, limit):
-    """从 HTML 提取中文元素材（去 UI 噪音、保序去重）。"""
-    items, seen = [], set()
-    for t in _CJK_RE.findall(html or ""):
-        if t in _NOISE or t in seen:
-            continue
-        seen.add(t)
-        items.append(t)
-        if len(items) >= limit:
-            break
-    return items
-
-
-def fetch_qimao_rank(limit=30):
-    """七猫排行榜：返回元素列表，抓取失败返回 []。"""
-    return _extract_cjk(_curl_text(QIMAO_RANK_URL), limit)
-
-
-def fetch_fanqie_rank(limit=30):
-    """番茄 Web 版榜单：返回元素列表，抓取失败返回 []。"""
-    return _extract_cjk(_curl_text(FANQIE_RANK_URL), limit)
-
-
-def fetch_qidian_rank(limit=30):
-    """起点移动版榜单：返回元素列表，抓取失败返回 []。"""
-    return _extract_cjk(_curl_text(QIDIAN_M_RANK_URL), limit)
-
-
-def fetch_zongheng_rank(limit=30):
-    """纵横排行榜：返回元素列表，抓取失败返回 []。"""
-    return _extract_cjk(_curl_text(ZONGHENG_RANK_URL), limit)
-
-
-# 源清单：顺序即素材拼接顺序（七猫/番茄为元老源保持在前）。
-# 存函数名、调用期 globals() 解析——mock.patch 换模块属性才能生效
-# （存函数引用会把定义期原函数钉死，测试会穿透打真网络）。
-_SOURCES = (
-    ("七猫排行榜素材", "fetch_qimao_rank"),
-    ("番茄排行榜素材", "fetch_fanqie_rank"),
-    ("起点排行榜素材", "fetch_qidian_rank"),
-    ("纵横排行榜素材", "fetch_zongheng_rank"),
-)
-
-
-def fetch_rank_items(limit=40):
-    """四源聚合：各抓一份（跨源去重合并，按源清单顺序）。
-
-    全部失败才返回 []——单源挂了其余源仍可用，扫榜永不因单点挡任务。"""
-    merged, seen = [], set()
-    for _label, fname in _SOURCES:
-        for t in globals()[fname](limit):
-            if t not in seen:
-                seen.add(t)
-                merged.append(t)
-    return merged
-
-
-def rank_scan_prompt(goal):
-    """组装扫榜选材分析提示词。四源全空返回 None（调用方回落直连提示词）。
-
-    报告契约含逐条 A-E 跨平台证据分级（借鉴 career-ops 的分级报告交付形态）：
-    分级只认素材实际出现情况——抑制单源孤证被模型放大成「大热题材」。"""
-    blocks, seen = [], set()
-    for label, fname in _SOURCES:
-        items = [t for t in globals()[fname](30) if t not in seen]
-        seen.update(items)
-        if items:
-            blocks.append("### %s\n%s" % (label, "、".join(items)))
-    if not blocks:
-        return None
-    material = "\n\n".join(blocks)
-    return (
-        "你是网文选题分析师。以下是刚刚抓取的各平台排行榜页面的书目与分类素材：\n\n"
-        "## 榜单元素材\n%s\n\n"
-        "## 用户想写的方向\n%s\n\n"
-        "## 你的产出（Markdown 报告）\n"
-        "报告第一行给图例（一行）：「证据分级：A=三平台及以上重合，B=两平台重合，"
-        "C=单平台多次出现，D=单平台仅一次，E=素材无直接证据、系推断」。\n"
-        "1. **热门题材 Top3**：各自的共同特征与上榜代表书目（跨平台重合的题材单独点出——多平台都热说明是真风口）\n"
-        "2. **高频人设/套路总结**：3-5 条，点名反复出现的元素\n"
-        "3. **差异化切入建议**：2-3 个，结合用户方向给出「题材+人设」组合与一句话理由\n"
-        "以上每一项结论末尾标注【证据X】（X 为 A-E 之一）。分级只看素材里真实出现的"
-        "情况：组合条目按其组成元素的较低档取值，拿不准就降一档、不升级。\n"
-        "直接输出分析报告，不要复述素材清单，不要输出与报告无关的内容。"
-        % (material, goal or "（用户未指定方向，按大盘热门分析）"))
+# -*- coding: utf-8 -*-
+"""扫榜选材：抓取公开排行榜页，产出选题分析素材。
+
+数据源（四源聚合，任一失败不影响其余源；2026-09-24 实测全 200）：
+- 七猫：www.qimao.com/paihang/（106KB）
+- 番茄 Web 版：fanqienovel.com/rank（题材分类+书名在中文 a 标签里；
+  App 端接口有 SecuritySign/X-Argus 签名——那才是难路，Web 版榜单页
+  不需要签名，别走弯路）
+- 起点移动版：m.qidian.com/rank（106KB，直接出书名；主站 www.qidian.com
+  被 WAF 拦 202/209B，移动页不需要签名）
+- 纵横：www.zongheng.com/rank（65KB，书名+统计标签混排，靠噪音词过滤）
+
+下载走 curl 子进程（与 covergen 同款），解析用宽松正则——页面结构变了
+宁可返回空（调用方回落普通直连提示词），不做脆弱的强解析。
+"""
+from __future__ import annotations
+
+import logging
+import re
+
+log = logging.getLogger(__name__)
+
+QIMAO_RANK_URL = "https://www.qimao.com/paihang/"
+FANQIE_RANK_URL = "https://fanqienovel.com/rank"
+QIDIAN_M_RANK_URL = "https://m.qidian.com/rank/"
+ZONGHENG_RANK_URL = "https://www.zongheng.com/rank/"
+_UA = ("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 "
+       "(KHTML, like Gecko) Chrome/126 Safari/537.36")
+
+# 页面 UI 噪音词（非书目/分类）：页面 chrome、导航、tab 名、登录/搜索、
+# 榜单 tab 与统计标签（起点移动版 tab 名、纵横月票/人气/点击等）
+_NOISE = {"加入书架", "立即阅读", "开始阅读", "免费阅读", "全部", "分类", "排行",
+          "排行榜", "完本", "连载中", "阅读", "书城", "男生", "女生",
+          "帮助中心", "作家助手", "客服", "登录", "注册", "立即登录",
+          "搜索", "热门作品排行", "大热榜", "新书榜", "完结榜", "收藏榜",
+          "更新榜", "日榜", "月榜", "蝉联", "榜首", "热度", "免费", "畅销",
+          "下载", "客户端", "首页", "我的", "设置", "更多", "返回", "关于",
+          "月票榜", "阅读榜", "书友榜", "推荐榜", "签约榜", "新人榜",
+          "畅销榜", "大家都在搜", "男生小说排行榜", "女生小说排行榜",
+          "男频阅读榜", "女频阅读榜", "男频新书榜", "番茄小说",
+          "登录后获得更多特色功能", "安装起点读书客户端", "看更多正版好书",
+          "月票", "人气", "点击", "万字", "推荐", "收藏", "鲜花", "打赏", "推荐票"}
+
+_CJK_RE = re.compile(r">([\u4e00-\u9fa5]{2,12})<")
+
+
+def _curl_text(url):
+    """curl 子进程抓页面文本；失败返回空串。"""
+    from . import runner
+    try:
+        r = runner.run_process(
+            argv=["curl", "-sS", "--max-time", "20", "-A", _UA, url],
+            timeout=30)
+    except Exception:
+        return ""
+    if not r.get("ok"):
+        return ""
+    return r.get("stdout") or ""
+
+
+def _extract_cjk(html, limit):
+    """从 HTML 提取中文元素材（去 UI 噪音、保序去重）。"""
+    items, seen = [], set()
+    for t in _CJK_RE.findall(html or ""):
+        if t in _NOISE or t in seen:
+            continue
+        seen.add(t)
+        items.append(t)
+        if len(items) >= limit:
+            break
+    return items
+
+
+def fetch_qimao_rank(limit=30):
+    """七猫排行榜：返回元素列表，抓取失败返回 []。"""
+    return _extract_cjk(_curl_text(QIMAO_RANK_URL), limit)
+
+
+def fetch_fanqie_rank(limit=30):
+    """番茄 Web 版榜单：返回元素列表，抓取失败返回 []。"""
+    return _extract_cjk(_curl_text(FANQIE_RANK_URL), limit)
+
+
+def fetch_qidian_rank(limit=30):
+    """起点移动版榜单：返回元素列表，抓取失败返回 []。"""
+    return _extract_cjk(_curl_text(QIDIAN_M_RANK_URL), limit)
+
+
+def fetch_zongheng_rank(limit=30):
+    """纵横排行榜：返回元素列表，抓取失败返回 []。"""
+    return _extract_cjk(_curl_text(ZONGHENG_RANK_URL), limit)
+
+
+# 源清单：顺序即素材拼接顺序（七猫/番茄为元老源保持在前）。
+# 存函数名、调用期 globals() 解析——mock.patch 换模块属性才能生效
+# （存函数引用会把定义期原函数钉死，测试会穿透打真网络）。
+_SOURCES = (
+    ("七猫排行榜素材", "fetch_qimao_rank"),
+    ("番茄排行榜素材", "fetch_fanqie_rank"),
+    ("起点排行榜素材", "fetch_qidian_rank"),
+    ("纵横排行榜素材", "fetch_zongheng_rank"),
+)
+
+
+def fetch_rank_items(limit=40):
+    """四源聚合：各抓一份（跨源去重合并，按源清单顺序）。
+
+    全部失败才返回 []——单源挂了其余源仍可用，扫榜永不因单点挡任务。"""
+    merged, seen = [], set()
+    for _label, fname in _SOURCES:
+        for t in globals()[fname](limit):
+            if t not in seen:
+                seen.add(t)
+                merged.append(t)
+    return merged
+
+
+def rank_scan_prompt(goal):
+    """组装扫榜选材分析提示词。四源全空返回 None（调用方回落直连提示词）。
+
+    报告契约含逐条 A-E 跨平台证据分级（借鉴 career-ops 的分级报告交付形态）：
+    分级只认素材实际出现情况——抑制单源孤证被模型放大成「大热题材」。"""
+    blocks, seen = [], set()
+    for label, fname in _SOURCES:
+        items = [t for t in globals()[fname](30) if t not in seen]
+        seen.update(items)
+        if items:
+            blocks.append("### %s\n%s" % (label, "、".join(items)))
+    if not blocks:
+        return None
+    material = "\n\n".join(blocks)
+    return (
+        "你是网文选题分析师。以下是刚刚抓取的各平台排行榜页面的书目与分类素材：\n\n"
+        "## 榜单元素材\n%s\n\n"
+        "## 用户想写的方向\n%s\n\n"
+        "## 你的产出（Markdown 报告）\n"
+        "报告第一行给图例（一行）：「证据分级：A=三平台及以上重合，B=两平台重合，"
+        "C=单平台多次出现，D=单平台仅一次，E=素材无直接证据、系推断」。\n"
+        "1. **热门题材 Top3**：各自的共同特征与上榜代表书目（跨平台重合的题材单独点出——多平台都热说明是真风口）\n"
+        "2. **高频人设/套路总结**：3-5 条，点名反复出现的元素\n"
+        "3. **差异化切入建议**：2-3 个，结合用户方向给出「题材+人设」组合与一句话理由\n"
+        "以上每一项结论末尾标注【证据X】（X 为 A-E 之一）。分级只看素材里真实出现的"
+        "情况：组合条目按其组成元素的较低档取值，拿不准就降一档、不升级。\n"
+        "直接输出分析报告，不要复述素材清单，不要输出与报告无关的内容。"
+        % (material, goal or "（用户未指定方向，按大盘热门分析）"))

package/app/core/pipeline.py

@@ -2919,6 +2919,7 @@ __VOLUME__
 __LOCKED_CH__
 __STALE_NOTE__
 __REDO_ISSUES__
+__REUSE_GUARD__
 - 正文约 __WORDS__ 字，中文，直接开写正文（可含本章标题行）。
 
 ## 前情提要（此前各章结尾摘录，衔接用）
@@ -3085,6 +3086,33 @@ def _wc(text):
     return len(re.sub(r"\s", "", text or ""))
 
 
+def _reuse_guard_samples(workdir, upto, window=4, min_words=200):
+    """收集此前各章的开笔/收束摘录（起草负样例，防跨章句式同款——105-112 批
+    「落笔入册」收束 8 章用 4 次被判 major 的根治手段之一：评审事后抓 → 起草
+    事前给反面样例）。只看近 window 章（更早的句式影响衰减）；过短/读不到的
+    章静默跳过。"""
+    samples = []
+    for j in range(max(1, int(upto) - int(window)), int(upto)):
+        t = _read_chapter(workdir, j)
+        if not t or _wc(t) < int(min_words):
+            continue
+        body = re.sub(r"\s+", " ", t.strip())
+        samples.append({"chapter": j, "head": body[:80], "tail": body[-100:]})
+    return samples
+
+
+def _dup_reject_note(notes):
+    """查重打回后的重写指令块：把上一稿被拦截的重复证据逐条下发。"""
+    lines = novel_quality.format_duplicate_notes(notes)
+    if not lines:
+        return ""
+    return ("\n\n## 确定性查重拦截（必读）\n"
+            "上一稿因整段/整句逐字重复未通过落盘验收，已被打回重写。重写时必须"
+            "消除以下重复——删并重复内容、保留信息量最高的一处；若为有意的复诵"
+            "或复沓，必须有动作/归属铺垫并改写措辞，不得逐字再现：\n- "
+            + "\n- ".join(lines) + "\n")
+
+
 _ANCHOR_EDGE_PUNCT = "。！？，、；：…—·,.!?;:\"'“”‘’()（）[]【】《》<>*#-"
 
 
@@ -3901,6 +3929,11 @@ def _run_serial_review(run, task, agents, ev, stats, mode, critics, impl, route,
                 redo_lines += _major_lines(book_lvl)
             redo_note = ("## 上一轮评审未达标原因（必读）\n" + "\n".join(redo_lines) + "\n"
                          ) if redo_lines else ""
+            # 跨章复用红线负样例：此前各章实际的开笔/收束摘录随起草下发，把
+            # 「评审事后抓句式同款」前移成「起草事前看反面样例」（105-112 批
+            # 章末收束句式 4 连用被判 major 的根治；首批第 1 章无样例为空块）
+            reuse_guard = novel_quality.reuse_guard_block(
+                _reuse_guard_samples(workdir, i))
             # stable_order：同一任务 8 个章节的技能块必须字节级一致（§07 T1.2' 前缀缓存）
             # 三块分开留底：起草重试的分层降级（_serial_shrunk_block）要按
             # 「经验库/圣经」各自的身份收缩，折成一整块就只剩 4K 硬截一层了
@@ -3940,6 +3973,7 @@ def _run_serial_review(run, task, agents, ev, stats, mode, critics, impl, route,
                         .replace("__LOCKED_CH__", serial_locked_chapter_block(workdir, i))
                         .replace("__STALE_NOTE__", stale_note)
                         .replace("__REDO_ISSUES__", redo_note)
+                        .replace("__REUSE_GUARD__", reuse_guard)
                         .replace("__REVIEW_RUBRIC__", rubric_block)
                         .replace("__HIGHLIGHT__", ch.get("highlight") or "按剧情要点自然铺设一处小冲突/小反转")
                         .replace("__STYLE__", style_tpl)
@@ -3956,9 +3990,14 @@ def _run_serial_review(run, task, agents, ev, stats, mode, critics, impl, route,
                 # ——2026-09-17 七猫连载实测：多 run 并行推进时后位章节必撞限流，
                 # 一章失败即整 run 作废，太贵。
                 def _chapter_state():
-                    """草稿验收：成品是章稿文件本身，不是退出码——文件够长才算好。"""
+                    """草稿验收：成品是章稿文件本身，不是退出码——文件够长且无
+                    逐字重复才算好。整段/整句/完整对白逐字重复是成稿事故（113/
+                    118 章实案两处整段连排、对白复现，评审 major 一票否决+白烧
+                    一轮评审），落盘时确定性拦截打回，省下评审再抓的往返。"""
                     txt = _read_chapter(workdir, i)
-                    return (bool(txt) and _wc(txt) >= int(wpc * 0.6)), (txt or "")
+                    if not txt or _wc(txt) < int(wpc * 0.6):
+                        return False, (txt or "")
+                    return not novel_quality.duplicate_notes(txt), txt
 
                 res = None
                 good = False
@@ -3971,6 +4010,7 @@ def _run_serial_review(run, task, agents, ev, stats, mode, critics, impl, route,
                 prev_prompt = None      # 上一次实际下发的提示词
                 prev_timed_out = False  # 上一次是否「超时/停滞」收场
                 shrink_note = ""        # 本次重试的分层降级说明（进 step note 供对账）
+                dup_fix_note = ""       # 查重打回后的消重指令（重试/换将随提示词下发）
                 for draft_attempt in range(3):
                     if draft_attempt:
                         # 30s / 60s 退避；ev.wait 睡等可被取消即刻唤醒
@@ -3986,7 +4026,11 @@ def _run_serial_review(run, task, agents, ev, stats, mode, critics, impl, route,
                         # 30KB 对讯飞必挂）
                         shrunk_block, shrink_note = _serial_shrunk_block(
                             sk_lessons, bible, kb_block)
-                        use_prompt = prompt.replace(sk_block, shrunk_block)
+                        use_prompt = prompt.replace(sk_block, shrunk_block) + dup_fix_note
+                    elif draft_attempt and dup_fix_note:
+                        # 同作者重试带上一稿的重复证据（消重指令）——同提示重跑
+                        # 只会长出同族事故，新变量才值得烧（同 2026-09-22 超时教训）
+                        use_prompt = prompt + dup_fix_note
                     # 超时重试必须有新变量才值得做（2026-09-22）：提示词与上次逐字节
                     # 相同、上次又是超时/停滞收场时，重试只是把同一个超时再烧一遍
                     # （2400s × N）。此时直接跳出交替换将——换 CLI/模型才是新机会。
@@ -4014,6 +4058,10 @@ def _run_serial_review(run, task, agents, ev, stats, mode, critics, impl, route,
                     good, txt = _chapter_state()
                     if good:
                         break
+                    if txt:
+                        _dups = novel_quality.duplicate_notes(txt)
+                        if _dups:
+                            dup_fix_note = _dup_reject_note(_dups)
                     if res["ok"] and _wc(res.get("text") or "") >= int(wpc * 0.6):
                         # 回复正文就是完整章稿（kimi 35B 实测：正文当消息回而不
                         # 落盘）→ 代为落盘救回成品
@@ -4024,6 +4072,10 @@ def _run_serial_review(run, task, agents, ev, stats, mode, critics, impl, route,
                             pass
                         if good:
                             break
+                        if txt:
+                            _dups = novel_quality.duplicate_notes(txt)
+                            if _dups:
+                                dup_fix_note = _dup_reject_note(_dups)
                     if ev is not None and ev.is_set():
                         break
                 # 同作者重试穷尽 → 起草换将：按路由分序逐个试备选（最多 2 个，

package/app/core/planner.py

@@ -266,6 +266,10 @@ __SKILLS__
   不强制每章都打脸、反转或以悬念断章；
 - 章末可自然收束或留白；大纲中的 highlight 描述主要戏剧/情绪变化或回报，无显著爆点时写清叙事功能，不要强造爆点。
 - 大纲中的情感转折必须给出触发事件和人物选择，不能只写“误会加深/感情升温”；
+- 开笔方式与收束形态批内轮换：相邻章不得用同型句子开笔（如连续多章以「第X日/
+  清晨」时间戳起笔），收束形态（落笔定格、悬置问句、场景切换、对话收拍、动作
+  停顿等）同一形态全批至多两次，第二次必须换载体或升级信息量——章尾节奏趋同
+  是批量生成最易露馅的指纹；
 - style_anchor 是全书唯一的文风锚，每章起草/修订/评审都会注入：必须写明视角人称与句长基调等可执行约束，不要空话；
 - highlight 是本章主要情绪/戏剧变化或读者回报，可为爽、暖、痛、惊、趣味、亲密、发现、安定等；
   平静或过渡章节可承担必要功能，不为填字段伪造高潮；
@@ -293,6 +297,9 @@ __SKILLS__
 - 在关键章节写清人物选择、阻碍与后果；不要求每章都有完整冲突闭环或悬念钩子，避免无功能重复；
 - 复杂情感必须落到触发事件、动作/生理反应和潜台词，不能用一句概括代替；
 - 延续既定叙述视角和语言锚点（见下方既定文风锚），删掉重复复述，避免节奏变慢；
+- 开笔方式与收束形态批内轮换：相邻章不得用同型句子开笔（如连续多章以「第X日/
+  清晨」时间戳起笔），收束形态同一形态全批至多两次，第二次必须换载体或升级
+  信息量——章尾节奏趋同是批量生成最易露馅的指纹；
 - 题材健康，无违规内容，符合平台签约调性。
 __VOLUMES__