sycommon-python-lib 0.2.10a5__tar.gz → 0.2.10a9__tar.gz

sycommon_python_lib-0.2.10a9/MANIFEST.in

@@ -0,0 +1,8 @@
+prune docs
+prune test
+prune tests
+prune src/sycommon/tests
+exclude src/sycommon/synacos/example.py
+exclude Makefile
+exclude publish-win.ps1
+global-exclude __pycache__ *.py[cod]

{sycommon_python_lib-0.2.10a5 → sycommon_python_lib-0.2.10a9}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: sycommon-python-lib
-Version: 0.2.10a5
+Version: 0.2.10a9
 Summary: Add your description here
 Requires-Python: >=3.11
 Description-Content-Type: text/markdown

{sycommon_python_lib-0.2.10a5 → sycommon_python_lib-0.2.10a9}/pyproject.toml

@@ -1,6 +1,6 @@
 [project]
 name = "sycommon-python-lib"
-version = "0.2.10a5"
+version = "0.2.10a9"
 description = "Add your description here"
 readme = "README.md"
 requires-python = ">=3.11"
@@ -50,7 +50,7 @@ dependencies = [
 ]
 
 [tool.setuptools]
-packages = {find = {where = ["src"], exclude = ["*.__pycache__", "*.__pycache__.*"]}}
+packages = {find = {where = ["src"], exclude = ["*.__pycache__", "*.__pycache__.*", "*.tests", "*.tests.*"]}}
 package-data = {command = ["templates/**/*", "templates/**/.*"], sycommon = ["llm/tiktoken_cache/*"]}
 
 [build-system]

{sycommon_python_lib-0.2.10a5 → sycommon_python_lib-0.2.10a9}/src/nexus/__init__.py

@@ -6,8 +6,6 @@ import argparse
 
 
 NEXUS_URL = "http://192.168.2.174:8081"
-USERNAME = "Osulcode.xiao"
-PASSWORD = "Osulcode.xiao@123"
 REPOSITORY = "shengye"
 
 
@@ -32,8 +30,16 @@ def main():
         sys.exit(1)
 
     repo_url = f"{args.url}/repository/{args.repository}/"
-    cmd = ["twine", "upload", "--repository-url", repo_url, file_path, "-u", USERNAME, "-p", PASSWORD]
-    sys.exit(subprocess.call(cmd))
+    username = os.environ.get("NEXUS_USERNAME") or os.environ.get("TWINE_USERNAME")
+    password = os.environ.get("NEXUS_PASSWORD") or os.environ.get("TWINE_PASSWORD")
+    if not username or not password:
+        parser.error("请设置 NEXUS_USERNAME/NEXUS_PASSWORD 或 TWINE_USERNAME/TWINE_PASSWORD")
+    upload_env = os.environ.copy()
+    upload_env["TWINE_USERNAME"] = username
+    upload_env["TWINE_PASSWORD"] = password
+    cmd = [sys.executable, "-m", "twine", "upload", "--non-interactive",
+           "--repository-url", repo_url, file_path]
+    sys.exit(subprocess.call(cmd, env=upload_env))
 
 
 if __name__ == "__main__":

{sycommon_python_lib-0.2.10a5 → sycommon_python_lib-0.2.10a9}/src/sycommon/agent/deep_agent.py

@@ -133,6 +133,52 @@ def _match_summary_prefix_overlap(text: str, summary: str,
     return 0
 
 
+# 🔑 复读尾部熔断（9/9 田甜事故最后一环）：贪心解码锁死后输出退化成
+# 「短单元无脑重复」（实测指令句连抄 1780 次直到 max_tokens）。只查
+# 尾部 —— 重复段在中间而结尾正常是正常文本（引用/排比），交给回显剥离。
+def _detect_repetition_tail(text: str, *, unit_min: int = 6) -> bool:
+    """检测文本尾部是否陷入单元级复读。
+
+    取尾部 window 字符，对长度 >= unit_min 的所有候选单元，若该单元
+    连续重复出现在尾部且重复次数 >= repeat_min 即判定锁死。
+    unit_min=6 让 markdown 表格分隔线（|---|）、常见短语相邻复现不误伤；
+    超短单元（单字/两字词）复读用更小下限单独判定。
+    """
+    if not text or len(text) < 40:
+        return False
+    window = text[-600:]
+    repeat_min = 4
+    # 1) 常规单元：长度 unit_min..64,从长到短,命中即报
+    for size in range(64, unit_min - 1, -1):
+        unit = window[-size:]
+        if unit.count("\n") > size // 2:
+            continue  # 大半是换行的"单元"不可信
+        n = 0
+        i = len(window)
+        while i >= size and window[i - size:i] == unit:
+            n += 1
+            i -= size
+        if n >= repeat_min:
+            return True
+    # 2) 超短单元（2-5 字符）复读：需要更高重复次数（10+）才报,
+    #    避免「的地得」、缩进、表格线等正常高频短串误伤。
+    #    下限取 unit_min（调用方传 unit_min=2 即启用 2 字符判定）。
+    for size in range(5, unit_min - 1, -1):
+        if size < 2:
+            break
+        unit = window[-size:]
+        if unit.strip() == "":
+            continue
+        n = 0
+        i = len(window)
+        while i >= size and window[i - size:i] == unit:
+            n += 1
+            i -= size
+        if n >= 10:
+            return True
+    return False
+
+
 @tool
 def get_current_date() -> str:
     """获取当前日期时间（北京时间）"""
@@ -364,6 +410,9 @@ class DeepAgent:
         # 兜底：累积流式 chunk 中的 usage_metadata（middleware 在流式场景可能拿不到）
         total_input_tokens = 0
         total_output_tokens = 0
+        # 🔑 复读尾部熔断状态：上次判定时的文本长度（100 字符节流）+ 熔断标记
+        _last_repetition_check = 0
+        _repetition_detected = False
 
         # ── 设置 chat turn 级 trace_id ──
         # 如果上层（HTTP 中间件等）已设置 trace_id 则沿用，否则生成新的。
@@ -847,6 +896,21 @@ class DeepAgent:
                             await on_event(event)
                         yield event
 
+                        # 🔑 复读尾部熔断：累积文本尾部陷入单元级复读即中断流,
+                        # 不再继续消费（后面全是复读垃圾,还会烧满 max_tokens）。
+                        # 判定按 100 字符节流,避免每 token 全量比对。
+                        if len(ai_text_content) - _last_repetition_check >= 100:
+                            _last_repetition_check = len(ai_text_content)
+                            if _detect_repetition_tail(ai_text_content):
+                                SYLogger.warning(
+                                    f"[DeepAgent] 复读熔断: 检测到尾部单元级复读,中断本轮流 "
+                                    f"(ai_text_len={len(ai_text_content)}, stream_step={stream_step})")
+                                _repetition_detected = True
+                                break
+                    elif _detect_repetition_tail(ai_text_content) and not _repetition_detected:
+                        # content 为空但此前已判定复读（如续流 chunk）,同样熔断
+                        pass
+
                 elif msg_type == "ToolMessage":
                     if ai_chunk_buffer:
                         SYLogger.debug(
@@ -927,6 +991,37 @@ class DeepAgent:
                 f"stream_step={stream_step} | ai_text_len={len(ai_text_content)} | "
                 f"tool_calls={len(current_tool_calls)}")
 
+            # 🔑 复读熔断收尾：熔断发生时尾部截掉复读垃圾（保留正常前文）,
+            # 追加一个 error 事件提示上层（与空响应同通道,可触发上层降级/重试）。
+            if _repetition_detected:
+                # 熔断发生时尾部截掉复读垃圾:去掉末尾最后一份完整复读单元
+                # (从尾部窗口反推最大重复单元),保留正常前文
+                cleaned_tail = ai_text_content
+                window = ai_text_content[-600:]
+                for size in range(64, 1, -1):
+                    unit = window[-size:]
+                    if size >= 6:
+                        n, i = 0, len(window)
+                        while i >= size and window[i - size:i] == unit:
+                            n += 1
+                            i -= size
+                        if n >= 4:
+                            cleaned_tail = ai_text_content[:-len(unit) * 1].rstrip()
+                            break
+                    elif unit.strip() and window[-(size * 10):] == unit * 10:
+                        cleaned_tail = ai_text_content[:-size].rstrip()
+                        break
+                ai_text_content = cleaned_tail
+                SYLogger.warning(
+                    f"[DeepAgent] 复读熔断生效: 本轮流提前结束,截断前长度 {len(ai_text_content)}")
+                event = ChatEventBuilder.error(
+                    "模型输出陷入重复循环，已自动中断（repetition loop detected）",
+                    code="repetition_loop",
+                )
+                if on_event:
+                    await on_event(event)
+                yield event
+
             # 空响应检测：模型被调用但没有产出任何文本。
             # 🔑 治本修复：纯空响应（无文本且无工具调用，常见于用户派生 key 被网关拒、
             # 网关返回空壳 AIMessage 而非异常）不再静默只打 warning —— 把它翻译成

{sycommon_python_lib-0.2.10a5 → sycommon_python_lib-0.2.10a9}/src/sycommon/agent/middleware/model_request_prep.py

@@ -34,10 +34,55 @@ from langchain.agents.middleware.types import (
     ModelResponse,
     ResponseT,
 )
-from langchain_core.messages import BaseMessage, HumanMessage
+from langchain_core.messages import AIMessage, BaseMessage, HumanMessage
 
 from sycommon.logging.kafka_log import SYLogger
 
+# 🔑 回显剥离（9/9 田甜复读事故）：模型把注入的备忘块整块回显进输出，回显随
+# ModelResponse 写入 checkpointer → 下轮上下文里旧回显+新注入并存 → 回显越滚
+# 越多 → 贪心解码锁死成句级复读（实测单条 1780 次）。三层标签成对闭合整块删；
+# 未闭合（复读到 max_tokens 等不到闭合）从开标签截断到结尾 —— 复读垃圾只会
+# 出现在开标签之后，前文正常内容保留。
+_ECHO_TAG_PATTERNS = tuple(re.compile(p, re.DOTALL) for p in (
+    r'<internal_context_data>.*?</internal_context_data>',
+    r'<compressed_history>.*?</compressed_history>',
+    r'<system_context>.*?</system_context>',
+    r'<internal_context_data>(?!.*</internal_context_data>).*',
+    r'<compressed_history>(?!.*</compressed_history>).*',
+    r'<system_context>(?!.*</system_context>).*',
+))
+
+
+def _strip_echo_text(text: str) -> str:
+    """剥掉一段文本里的备忘回显块，返回清洗后文本。"""
+    for pat in _ECHO_TAG_PATTERNS:
+        if pat.search(text):
+            text = pat.sub('', text)
+    return text.strip()
+
+
+def dedupe_memo_lines(summary_text: str) -> str:
+    """备忘条目逐行去重（保持首现顺序与空行）。
+
+    多轮压缩时新备忘把旧备忘 + 历史回显一起总结，重复条目（实测「文件:
+    …」相邻出现两次、「事实: 需求大小分布…」逐轮翻倍）被原样折叠进备忘，
+    备忘自身开始自我复制——注入前去重断掉这一层。
+    """
+    if not summary_text:
+        return summary_text
+    seen: set[str] = set()
+    out: list[str] = []
+    for line in summary_text.splitlines():
+        key = line.strip()
+        if not key:
+            out.append(line)
+            continue
+        if key in seen:
+            continue
+        seen.add(key)
+        out.append(line)
+    return "\n".join(out)
+
 
 class ModelRequestPrepMiddleware(AgentMiddleware):
     """模型请求预处理：摘要重定位 + 动态压 max_tokens。
@@ -59,6 +104,30 @@ class ModelRequestPrepMiddleware(AgentMiddleware):
     def name(self) -> str:
         return "ModelRequestPrepMiddleware"
 
+    def _strip_summary_echo(self, response) -> "ModelResponse[Any]":
+        """响应侧剥回显（断环点）：ModelResponse.result 里每条 AIMessage 的
+        content 先剥回显块再随 checkpoint 持久化 —— 历史里不再躺回显，
+        正反馈环在写入侧断掉。无命中返回原对象（零开销）；多模态 list
+        content 不动（无稳定文本形态，误伤风险大于收益）。
+        """
+        result = getattr(response, "result", None)
+        if not result:
+            return response
+        for msg in result:
+            content = getattr(msg, "content", None)
+            if not isinstance(msg, AIMessage) or not isinstance(content, str):
+                continue
+            cleaned = _strip_echo_text(content)
+            if cleaned != content:
+                try:
+                    msg.content = cleaned
+                    SYLogger.warning(
+                        "[ModelRequestPrep] 已剥除模型输出中的备忘回显 "
+                        f"(len {len(content)} → {len(cleaned)})")
+                except Exception:
+                    pass
+        return response
+
     def _relocate_summaries(
         self, request: ModelRequest[ContextT]
     ) -> ModelRequest[ContextT]:
@@ -84,6 +153,9 @@ class ModelRequestPrepMiddleware(AgentMiddleware):
         if not _summary_text:
             return request
 
+        # 🔑 注入前去重：多轮压缩的叠加重复条目不进 system（见 dedupe_memo_lines）
+        _summary_text = dedupe_memo_lines(_summary_text)
+
         from deepagents.middleware._utils import append_to_system_message
         # 🔑 注入形态 = 备忘在前、行为契约在后（recency：靠近对话末端的指令
         # 遵循度最高），且用正向指令替代"不要复述"禁令 —— 负向禁令对
@@ -148,7 +220,13 @@ class ModelRequestPrepMiddleware(AgentMiddleware):
         request: ModelRequest[ContextT],
         handler: Callable[[ModelRequest[ContextT]], Awaitable[ModelResponse[ResponseT]]],
     ) -> ModelResponse[ResponseT]:
-        """拦截模型调用：先做摘要重定位与 max_tokens 动态压，再交给 handler。"""
+        """拦截模型调用：摘要重定位（注入前去重）→ max_tokens 动态压 →
+        响应剥回显（断环），再返回 handler 结果。"""
         request = self._relocate_summaries(request)
         self._clamp_max_tokens(request)
-        return await handler(request)
+        response = await handler(request)
+        try:
+            return self._strip_summary_echo(response)
+        except Exception as e:
+            SYLogger.warning(f"[ModelRequestPrep] strip echo failed(放行): {e}")
+            return response

{sycommon_python_lib-0.2.10a5 → sycommon_python_lib-0.2.10a9}/src/sycommon/agent/sandbox/minio_sync.py

@@ -892,12 +892,13 @@ class MinioSyncService(metaclass=SingletonMeta):
         替代旧 resp.read() 整文件进内存：大附件场景一批 5 路并发 × 全量驻留
         = 数百 MB~GB 级 RSS 峰值（打爆内存的根因）。流式写盘后内存峰值 ≈ 单块，
         与文件大小无关；与 _sync_one 的 adownload_to_file 落盘模式对称。
+        块大小 1MB（5 路并发 × 1MB = 常驻 ~5MB 级）。
         """
         resp = self._client.get_object(self._bucket, key)
         try:
             total = 0
             with open(dest, "wb") as f:
-                for chunk in resp.stream(5 * 1024 * 1024):
+                for chunk in resp.stream(1 * 1024 * 1024):
                     f.write(chunk)
                     total += len(chunk)
             return total

{sycommon_python_lib-0.2.10a5 → sycommon_python_lib-0.2.10a9}/src/sycommon/agent/skills_retry_patch.py

@@ -1,93 +1,93 @@
-# -*- coding: utf-8 -*-
-"""deepagents SkillsMiddleware 的重试补丁。
-
-修复「会话首轮沙箱 ls 失败 → skills_metadata=[] 被当已加载缓存进
-checkpoint → 整个会话从此看不到技能」的问题。
-
-背景(2026-09-01 线上案例):
-- deepagents SkillsMiddleware.abefore_agent 每会话只加载一次技能:
-  `if "skills_metadata" in state: return None` —— 空列表也算"已加载"。
-- 会话首条消息若撞上沙箱 /v1/sandbox/ls 500(发版恢复期/沙箱故障转移),
-  middleware 写入 skills_metadata=[] + skills_load_errors,并随 checkpoint
-  持久化。后续每一轮命中"in state"直接跳过,永不重试。
-- 用户视角:该会话从此没有技能,直到新建会话。
-
-修复语义:skills_metadata 为空**且**存在加载错误(或本应有 system 技能源)
-→ 视为未加载成功,清除旧值后重新加载。真正的零技能(所有源都正常列空)
-不重试,避免每轮白打一次 ls。
-
-打补丁方式:替换 deepagents.graph 模块里的 SkillsMiddleware 符号(graph
-在 create_deep_agent 内部 `SkillsMiddleware(backend=..., sources=...)`
-引用的是模块全局名),子类化原类、只重载 abefore_agent,其余行为不动。
-在 sycommon.agent.deep_agent 导入本模块即生效(幂等,可重复导入)。
-"""
-import logging
-
-from deepagents.middleware import skills as _skills_module
-
-logger = logging.getLogger("sycommon")
-
-_ORIG_MIDDLEWARE = _skills_module.SkillsMiddleware
-_PATCHED = getattr(_ORIG_MIDDLEWARE, "_sycommon_retry_patch", False)
-
-
-class RetrySkillsMiddleware(_ORIG_MIDDLEWARE):
-    """加载失败(空列表+错误)不缓存的 SkillsMiddleware。
-
-    上游缓存条件 `if "skills_metadata" in state: return None` 的漏洞:
-    空列表也是合法 dict key 存在,首轮 ls 失败写进去后永不再加载。
-    这里放宽为「空列表且带加载错误 → 重试」,其余行为与上游一致。
-    """
-
-    async def abefore_agent(self, state, runtime, config):
-        # 未加载过 → 走上游逻辑(会 fall through 到正常加载)
-        if "skills_metadata" not in state:
-            return await super().abefore_agent(state, runtime, config)
-
-        cached = state.get("skills_metadata") or []
-        cached_errors = state.get("skills_load_errors") or []
-
-        if cached:
-            # 已有技能列表(哪怕部分源失败) → 尊重上游缓存语义,不重试
-            return None
-
-        # 空列表:两种可能——
-        # a) 曾加载失败(ls 500 等)带 errors → 需要重试
-        # b) 所有源正常但确实零技能(无 errors) → 不重试
-        if not cached_errors:
-            return None
-
-        logger.warning(
-            "[SkillsRetry] 检测到缓存为空的技能列表(加载曾失败),"
-            "本会话轮次重新加载 skills: %s", self.sources)
-        # 清掉旧值让上游 super() 不再命中 "skills_metadata" in state
-        # (dict 可变,删 key 即可;state 是 langgraph 传入的 dict 视图)
-        try:
-            state.pop("skills_metadata", None)
-            state.pop("skills_load_errors", None)
-        except Exception:
-            # state 不可变视图等极端情况:构造副本调 super 不可行,
-            # 退化为直接调用内部加载逻辑(与上游 for-source 循环等价)
-            pass
-        return await super().abefore_agent(state, runtime, config)
-
-
-def _apply() -> None:
-    """把 deepagents.graph 引用的 SkillsMiddleware 换成重试版(幂等)。"""
-    if _PATCHED:
-        return
-    import deepagents.graph as _graph
-
-    if getattr(_graph.SkillsMiddleware, "_sycommon_retry_patch", False):
-        # 已打过(例如热重载场景)——只补标记
-        _graph.SkillsMiddleware = RetrySkillsMiddleware
-        return
-
-    RetrySkillsMiddleware._sycommon_retry_patch = True
-    _graph.SkillsMiddleware = RetrySkillsMiddleware
-    logger.info(
-        "[SkillsRetry] SkillsMiddleware 已启用空列表重试补丁"
-        "(加载失败不再永久缓存空技能列表)")
-
-
-_apply()
+# -*- coding: utf-8 -*-
+"""deepagents SkillsMiddleware 的重试补丁。
+
+修复「会话首轮沙箱 ls 失败 → skills_metadata=[] 被当已加载缓存进
+checkpoint → 整个会话从此看不到技能」的问题。
+
+背景(2026-09-01 线上案例):
+- deepagents SkillsMiddleware.abefore_agent 每会话只加载一次技能:
+  `if "skills_metadata" in state: return None` —— 空列表也算"已加载"。
+- 会话首条消息若撞上沙箱 /v1/sandbox/ls 500(发版恢复期/沙箱故障转移),
+  middleware 写入 skills_metadata=[] + skills_load_errors,并随 checkpoint
+  持久化。后续每一轮命中"in state"直接跳过,永不重试。
+- 用户视角:该会话从此没有技能,直到新建会话。
+
+修复语义:skills_metadata 为空**且**存在加载错误(或本应有 system 技能源)
+→ 视为未加载成功,清除旧值后重新加载。真正的零技能(所有源都正常列空)
+不重试,避免每轮白打一次 ls。
+
+打补丁方式:替换 deepagents.graph 模块里的 SkillsMiddleware 符号(graph
+在 create_deep_agent 内部 `SkillsMiddleware(backend=..., sources=...)`
+引用的是模块全局名),子类化原类、只重载 abefore_agent,其余行为不动。
+在 sycommon.agent.deep_agent 导入本模块即生效(幂等,可重复导入)。
+"""
+import logging
+
+from deepagents.middleware import skills as _skills_module
+
+logger = logging.getLogger("sycommon")
+
+_ORIG_MIDDLEWARE = _skills_module.SkillsMiddleware
+_PATCHED = getattr(_ORIG_MIDDLEWARE, "_sycommon_retry_patch", False)
+
+
+class RetrySkillsMiddleware(_ORIG_MIDDLEWARE):
+    """加载失败(空列表+错误)不缓存的 SkillsMiddleware。
+
+    上游缓存条件 `if "skills_metadata" in state: return None` 的漏洞:
+    空列表也是合法 dict key 存在,首轮 ls 失败写进去后永不再加载。
+    这里放宽为「空列表且带加载错误 → 重试」,其余行为与上游一致。
+    """
+
+    async def abefore_agent(self, state, runtime, config):
+        # 未加载过 → 走上游逻辑(会 fall through 到正常加载)
+        if "skills_metadata" not in state:
+            return await super().abefore_agent(state, runtime, config)
+
+        cached = state.get("skills_metadata") or []
+        cached_errors = state.get("skills_load_errors") or []
+
+        if cached:
+            # 已有技能列表(哪怕部分源失败) → 尊重上游缓存语义,不重试
+            return None
+
+        # 空列表:两种可能——
+        # a) 曾加载失败(ls 500 等)带 errors → 需要重试
+        # b) 所有源正常但确实零技能(无 errors) → 不重试
+        if not cached_errors:
+            return None
+
+        logger.warning(
+            "[SkillsRetry] 检测到缓存为空的技能列表(加载曾失败),"
+            "本会话轮次重新加载 skills: %s", self.sources)
+        # 清掉旧值让上游 super() 不再命中 "skills_metadata" in state
+        # (dict 可变,删 key 即可;state 是 langgraph 传入的 dict 视图)
+        try:
+            state.pop("skills_metadata", None)
+            state.pop("skills_load_errors", None)
+        except Exception:
+            # state 不可变视图等极端情况:构造副本调 super 不可行,
+            # 退化为直接调用内部加载逻辑(与上游 for-source 循环等价)
+            pass
+        return await super().abefore_agent(state, runtime, config)
+
+
+def _apply() -> None:
+    """把 deepagents.graph 引用的 SkillsMiddleware 换成重试版(幂等)。"""
+    if _PATCHED:
+        return
+    import deepagents.graph as _graph
+
+    if getattr(_graph.SkillsMiddleware, "_sycommon_retry_patch", False):
+        # 已打过(例如热重载场景)——只补标记
+        _graph.SkillsMiddleware = RetrySkillsMiddleware
+        return
+
+    RetrySkillsMiddleware._sycommon_retry_patch = True
+    _graph.SkillsMiddleware = RetrySkillsMiddleware
+    logger.info(
+        "[SkillsRetry] SkillsMiddleware 已启用空列表重试补丁"
+        "(加载失败不再永久缓存空技能列表)")
+
+
+_apply()