sycommon-python-lib 0.2.7a37__tar.gz → 0.2.7a38__tar.gz

{sycommon_python_lib-0.2.7a37 → sycommon_python_lib-0.2.7a38}/PKG-INFO

@@ -1,13 +1,13 @@
 Metadata-Version: 2.4
 Name: sycommon-python-lib
-Version: 0.2.7a37
+Version: 0.2.7a38
 Summary: Add your description here
 Requires-Python: >=3.11
 Description-Content-Type: text/markdown
 Requires-Dist: aio-pika==10.0.1
 Requires-Dist: aiohttp==3.14.1
 Requires-Dist: aiomysql==0.3.2
-Requires-Dist: anyio==4.14.1
+Requires-Dist: anyio==4.14.2
 Requires-Dist: decorator==5.3.1
 Requires-Dist: deepagents==0.6.12
 Requires-Dist: elasticsearch==9.4.1

{sycommon_python_lib-0.2.7a37 → sycommon_python_lib-0.2.7a38}/pyproject.toml

@@ -1,6 +1,6 @@
 [project]
 name = "sycommon-python-lib"
-version = "0.2.7a37"
+version = "0.2.7a38"
 description = "Add your description here"
 readme = "README.md"
 requires-python = ">=3.11"
@@ -8,7 +8,7 @@ dependencies = [
     "aio-pika==10.0.1",
     "aiohttp==3.14.1",
     "aiomysql==0.3.2",
-    "anyio==4.14.1",
+    "anyio==4.14.2",
     "decorator==5.3.1",
     "deepagents==0.6.12",
     "elasticsearch==9.4.1",

{sycommon_python_lib-0.2.7a37 → sycommon_python_lib-0.2.7a38}/src/sycommon/logging/kafka_log.py

@@ -616,6 +616,16 @@ class SYLogger:
                 and not global_on and level != "ERROR":
             return
 
+        # 整条丢弃（按正文子串）：命中 dropLinePatterns 的日志直接不发，不入 Kafka。
+        # 用于清掉纯噪音 / 超大正文（如 SYLogger.info("  human: ...")）——这类是字符串日志，
+        # drop（删 dict 键）管不到，故在正文层面整条丢弃。ERROR 不参与丢弃，避免漏关键错误。
+        if level != "ERROR" and _log_masker.should_drop_line(msg):
+            return
+
+        # 整条掩码（按正文子串）：命中 maskLinePatterns 时保留条目，仅 message 值替换掩码。
+        # dropLinePatterns 先判，二者同时命中时整条丢弃优先。ERROR 不掩码，避免隐去关键错误。
+        _mask_line = level != "ERROR" and _log_masker.should_mask_line(msg)
+
         # 序列化消息：dict/list 先脱敏（按字段名/子串/长度/总量裁剪），再转 JSON
         if isinstance(msg, (dict, list)):
             msg = _log_masker.sanitize(msg)
@@ -623,6 +633,10 @@ class SYLogger:
         else:
             msg_str = str(msg)
 
+        # 命中整条掩码：正文替换为掩码占位（保留体量信息便于排查），跳过下面的截断
+        if _mask_line:
+            msg_str = _log_masker.mask_placeholder(msg_str)
+
         # 单条日志整体过大时头尾截断，避免 Kafka 单条超限
         msg_str = _log_masker.mask_string(msg_str)
 

{sycommon_python_lib-0.2.7a37 → sycommon_python_lib-0.2.7a38}/src/sycommon/logging/log_masker.py

@@ -15,7 +15,14 @@
 合并规则：
     - 标量 (enabled / maxLength / maxSize / maxListItems / headTailKeep / dropIfBig)
       取最后一个出现的来源（项目覆盖 common 覆盖默认）。
-    - 列表 (fields / patterns / drop) 做并集去重（小写化后比较）。
+    - 列表 (fields / patterns / drop / dropLinePatterns / maskLinePatterns) 做并集去重（小写化后比较）。
+    - fields / patterns / drop：作用于「业务传进来的 dict/list」的键名（mask/drop 值）。
+    - dropLinePatterns：作用于「整条日志的正文」，子串命中即整条丢弃，不入 Kafka。
+      兼容字符串日志（如 SYLogger.info("  human: ...")）——drop 只能删 dict 的键，
+      管不到字符串正文，故提供这一条按内容整条丢弃的逃生口。
+    - maskLinePatterns：同上按正文子串匹配，但「保留条目」——trace_id/level/时间仍在，
+      仅把 message 值替换为掩码占位。与 dropLinePatterns 互补：drop 完全不留痕，
+      mask 留痕但隐去内容。两者命中同一条时 drop 优先。
 
 接入点：
     - sycommon.logging.kafka_log.SYLogger._log         -> 入库前对 msg sanitize
@@ -38,6 +45,8 @@ _DEFAULTS = {
     "fields": [],          # 精确字段名（小写）-> 掩码
     "patterns": [],        # 字段名子串（小写）-> 掩码
     "drop": [],            # 字段名（小写）-> 整字段删除
+    "dropLinePatterns": [],  # 日志正文子串（小写）-> 命中则整条丢弃（不入 Kafka）
+    "maskLinePatterns": [],  # 日志正文子串（小写）-> 命中则保留条目，message 值替换为掩码
     "maxLength": 1000,     # 单个标量值的字符上限，超过则头尾截断
     "maxSize": 50000,      # 单条日志序列化后的字符上限，超过则整体头尾截断
     "maxListItems": 50,    # list 元素上限，超过则只保留前 N 个 + 摘要
@@ -60,7 +69,7 @@ def _merge(*configs: dict) -> dict:
     """合并多层配置：标量后者覆盖前者，列表并集去重（小写化）。"""
     merged = {k: v for k, v in _DEFAULTS.items()}
 
-    list_keys = ("fields", "patterns", "drop")
+    list_keys = ("fields", "patterns", "drop", "dropLinePatterns", "maskLinePatterns")
     scalar_keys = (
         "enabled", "maxLength", "maxSize",
         "maxListItems", "headTailKeep", "dropIfBig",
@@ -268,6 +277,47 @@ class LogMasker(metaclass=SingletonMeta):
         )
 
     # ------------------------------------------------------------------ public util
+    def should_drop_line(self, value: Any) -> bool:
+        """整条丢弃判定：日志正文命中 dropLinePatterns 任一子串则返回 True。
+
+        与 drop（删 dict 键名）互补——drop 管不到字符串正文，这里按「内容子串」
+        整条丢弃。匹配大小写不敏感（正文与规则都小写化）。未启用 / 无规则 -> False。
+
+        供 SYLogger._log 在入 Kafka 前调用：命中即直接 return，不发本条。
+        """
+        patterns = self._config.get("dropLinePatterns", [])
+        if not patterns:
+            return False
+        try:
+            text = value if isinstance(value, str) else str(value)
+        except Exception:
+            return False
+        low = text.lower()
+        for p in patterns:
+            if isinstance(p, str) and p and p.lower() in low:
+                return True
+        return False
+
+    def should_mask_line(self, value: Any) -> bool:
+        """整条掩码判定：正文命中 maskLinePatterns 任一子串则返回 True。
+
+        与 dropLinePatterns（整条丢弃）互补——这里保留日志条目（trace_id/level/时间
+        仍在），仅把 message 值替换为掩码占位，排查时仍能定位到这次调用。未启用 / 无规则
+        -> False。匹配大小写不敏感。
+        """
+        patterns = self._config.get("maskLinePatterns", [])
+        if not patterns:
+            return False
+        try:
+            text = value if isinstance(value, str) else str(value)
+        except Exception:
+            return False
+        low = text.lower()
+        for p in patterns:
+            if isinstance(p, str) and p and p.lower() in low:
+                return True
+        return False
+
     def serialize_params(self, params: Any) -> Any:
         """SQL 参数序列化入口：脱敏 + Decimal/datetime 规整，单次遍历。
 
@@ -275,6 +325,14 @@ class LogMasker(metaclass=SingletonMeta):
         """
         return self.sanitize(params)
 
+    def mask_placeholder(self, value: Any) -> str:
+        """整条掩码占位：命中 maskLinePatterns 时，把 message 正文替换为此占位。
+
+        占位带体量信息（如 ``***MASKED:3.4kb***``），便于排查时知道原文有多大，
+        而不泄露内容本身。供 SYLogger._log 在 maskLine 命中时调用。
+        """
+        return self._mask_placeholder(value)
+
     # ------------------------------------------------------------------ internals
     def _max_depth(self) -> int:
         # 固定上限，防止恶意 / 异常嵌套导致爆栈

{sycommon_python_lib-0.2.7a37 → sycommon_python_lib-0.2.7a38}/src/sycommon/middleware/sandbox.py

@@ -552,11 +552,17 @@ def _translate_virtual_prefixes(command: str) -> str:
     字符串中间出现的，避免误伤（如命令里恰好有形如片段的普通字符串）。
 
     仅替换这些已知虚拟前缀；其余路径（用户工作目录下的相对路径、真绝对路径）不动。
-    对已是 $SANDBOX_ROOT/... 形式的不重复处理（无 /skills/ token）。
+    对已是 $SANDBOX_ROOT/... 形式的不重复处理——靠正则的 token 边界自然规避：
+    `$SANDBOX_ROOT/skills/` 里 /skills/ 的前导字符是 T（ROOT 的尾字母），不命中
+    「前导须为空白/引号/重定向/=」的边界，故不会被二次替换。
+
+    注意：不能再用「命令里出现 $SANDBOX_ROOT 就整条早返回」。SkillApiWhitelist
+    中间件为做 URL 网控，会往命令前缀里注入 `export PYTHONPATH="$SANDBOX_ROOT/.wl:
+    ..."`，使命令里也出现 $SANDBOX_ROOT 字面量。早返回会连累 agent 裸写的
+    /skills/system/... 也跟着跳过翻译 → shell 执行报 No such file or directory。
+    改为逐 token 正则替换，既翻译裸虚拟前缀，又不误伤已带前缀的路径。
     """
-    if not command or "$SANDBOX_ROOT" in command:
-        # 用户已显式用 $SANDBOX_ROOT 时，尊重其写法，不再二次翻译
-        # （避免把命令里独立出现的 /skills/ 等误改，多数情况一次替换就够）
+    if not command:
         return command
 
     import re

{sycommon_python_lib-0.2.7a37 → sycommon_python_lib-0.2.7a38}/src/sycommon/synacos/nacos_service.py

@@ -69,6 +69,11 @@ class NacosService(metaclass=SingletonMeta):
             self.share_configs = self.config_manager.read_configs(
                 self.nacos_config.get('sharedConfigs', []))
             Config().set_attr(self.share_configs)
+            # 冷启动同样要按 Nacos 配置生效日志脱敏，否则 masker 单例停留在
+            # import 时的默认状态（enabled=False），drop/maxLength/maxSize
+            # 要等首次配置热更新才补上（与 _sync_to_global_config 的 reload 对齐）。
+            from sycommon.logging.log_masker import masker
+            masker.reload()
 
             # 仅在需要注册时启动心跳
             if self.enable_register_nacos:

{sycommon_python_lib-0.2.7a37 → sycommon_python_lib-0.2.7a38}/src/sycommon_python_lib.egg-info/PKG-INFO

@@ -1,13 +1,13 @@
 Metadata-Version: 2.4
 Name: sycommon-python-lib
-Version: 0.2.7a37
+Version: 0.2.7a38
 Summary: Add your description here
 Requires-Python: >=3.11
 Description-Content-Type: text/markdown
 Requires-Dist: aio-pika==10.0.1
 Requires-Dist: aiohttp==3.14.1
 Requires-Dist: aiomysql==0.3.2
-Requires-Dist: anyio==4.14.1
+Requires-Dist: anyio==4.14.2
 Requires-Dist: decorator==5.3.1
 Requires-Dist: deepagents==0.6.12
 Requires-Dist: elasticsearch==9.4.1

{sycommon_python_lib-0.2.7a37 → sycommon_python_lib-0.2.7a38}/src/sycommon_python_lib.egg-info/requires.txt

@@ -1,7 +1,7 @@
 aio-pika==10.0.1
 aiohttp==3.14.1
 aiomysql==0.3.2
-anyio==4.14.1
+anyio==4.14.2
 decorator==5.3.1
 deepagents==0.6.12
 elasticsearch==9.4.1