sycommon-python-lib 0.2.8b13__tar.gz → 0.2.9__tar.gz

{sycommon_python_lib-0.2.8b13 → sycommon_python_lib-0.2.9}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: sycommon-python-lib
-Version: 0.2.8b13
+Version: 0.2.9
 Summary: Add your description here
 Requires-Python: >=3.11
 Description-Content-Type: text/markdown

{sycommon_python_lib-0.2.8b13 → sycommon_python_lib-0.2.9}/pyproject.toml

@@ -1,6 +1,6 @@
 [project]
 name = "sycommon-python-lib"
-version = "0.2.8b13"
+version = "0.2.9"
 description = "Add your description here"
 readme = "README.md"
 requires-python = ">=3.11"

{sycommon_python_lib-0.2.8b13 → sycommon_python_lib-0.2.9}/src/sycommon/logging/log_masker.py

@@ -178,6 +178,33 @@ class LogMasker(metaclass=SingletonMeta):
 
         return None
 
+    def sanitize_deep_str(self, value: Any, key: Any = None) -> Any:
+        """深 JSON 字符串脱敏：把整体序列化的大 JSON 逐层展开后按字段裁剪。
+
+        背景：traceid 等中间件把 response_body / request_body 传成「整体 JSON
+        字符串」——按标量路径只有 maxLength(1000) 一刀切，超限即头尾截断成
+        ``...[N chars truncated]...``，排障时无法 json.loads 还原，中段字段
+        （业务最关心的 data 部分）全部丢失。
+
+        做法：字符串先尝试 json.loads 还原为结构；dict/list 逐层递归（每个
+        叶子标量独立适用 maxLength），无法还原 / 解析失败则回退原字符串走
+        标量截断。递归产物是结构化 dict/list，最终由调用方决定序列化方式——
+        这样即使某个叶子被截断，其余字段仍完整可读。
+
+        仅本地裁剪，不脱字段名（mask/drop 语义不变——命中字段名的值照常
+        掩码/删除）。
+        """
+        if not isinstance(value, str):
+            return self.sanitize(value, key)
+        try:
+            parsed = json.loads(value)
+        except (json.JSONDecodeError, ValueError):
+            return self._truncate_str(value)
+        if not isinstance(parsed, (dict, list)):
+            # "123" / "true" 这类 JSON 标量字符串：还原后反而丢引号语义，按原串截断
+            return self._truncate_str(value)
+        return self._sanitize_value(parsed, key, depth=0)
+
     def _truncate_str(self, s: str) -> str:
         n = self._config.get("maxLength", 1000)
         if len(s) <= n:

{sycommon_python_lib-0.2.8b13 → sycommon_python_lib-0.2.9}/src/sycommon/middleware/traceid.py

@@ -4,6 +4,7 @@ import re
 from typing import Dict, Any
 from fastapi import Request, Response
 from sycommon.logging.kafka_log import SYLogger
+from sycommon.logging.log_masker import masker as _log_masker
 from sycommon.tools.merge_headers import merge_headers
 from sycommon.tools.snowflake import Snowflake
 
@@ -316,15 +317,26 @@ def setup_trace_id_handler(app):
                             response.headers[k] = v
 
             # 构建响应日志
-            response_log_body = response_body.decode('utf-8', errors='ignore')
-            # 检测是否包含 base64 二进制内容（如 PDF、图片等），如有则省略
-            try:
-                resp_json = json.loads(response_log_body)
-                if isinstance(resp_json, dict) and resp_json.get("content") and len(str(resp_json["content"])) > 1000:
-                    resp_json["content"] = f"... (base64/binary content omitted, {len(str(resp_json['content']))} chars)"
-                    response_log_body = json.dumps(resp_json, ensure_ascii=False)
-            except (json.JSONDecodeError, ValueError):
-                pass
+            # response_body 是「整体 JSON 字符串」——按标量路径只受 maxLength(1000)
+            # 一刀切截断,中段字段丢失且无法解码还原。这里走深 JSON 脱敏:逐层展开后
+            # 每个叶子字段独立适用 maxLength,结构完整、json.loads 可还原,排障时
+            # 能直接读 data 内任意字段。解析失败(非 JSON)自动回退标量截断。
+            response_log_body = _log_masker.sanitize_deep_str(
+                response_body.decode('utf-8', errors='ignore'))
+            # 检测是否包含 base64 二进制内容（如 PDF、图片等），如有则省略。
+            # sanitize_deep_str 已把 JSON 字符串还原成结构化 dict——直接在结构上
+            # 改(不要再 json.loads 一个 dict,会 TypeError);仅字符串回退路径走解析。
+            if isinstance(response_log_body, dict):
+                if response_log_body.get("content") and len(str(response_log_body["content"])) > 1000:
+                    response_log_body["content"] = f"... (base64/binary content omitted, {len(str(response_log_body['content']))} chars)"
+            else:
+                try:
+                    resp_json = json.loads(response_log_body)
+                    if isinstance(resp_json, dict) and resp_json.get("content") and len(str(resp_json["content"])) > 1000:
+                        resp_json["content"] = f"... (base64/binary content omitted, {len(str(resp_json['content']))} chars)"
+                        response_log_body = json.dumps(resp_json, ensure_ascii=False)
+                except (json.JSONDecodeError, ValueError):
+                    pass
             response_message = {
                 "traceId": trace_id,
                 "status_code": response.status_code,

{sycommon_python_lib-0.2.8b13 → sycommon_python_lib-0.2.9}/src/sycommon/rabbitmq/rabbitmq_client.py

@@ -153,6 +153,27 @@ class RabbitMQClient:
             logger.debug(f"探测队列 '{self.queue_name}' 消费者数失败: {e}")
             return None
 
+    def _live_aiormq_consumer_tags(self):
+        """取 aiormq 层（broker 真实状态）活跃 consumer tag 集合。
+
+        与 local_consumer_alive 同款内省路径。返回 None 表示无法内省
+        （调用方退化为不过滤，保持旧行为）；空集/非空集均可用于过滤
+        aio-pika RobustQueue._consumers 里的腰斩残留死 tag。"""
+        channel = self._channel
+        if channel is None:
+            return None
+        try:
+            underlay = channel._channel
+            if underlay is None:
+                return None
+            target = getattr(underlay, "channel", None) or underlay
+            consumers = getattr(target, "consumers", None)
+            if isinstance(consumers, dict):
+                return set(consumers.keys())
+            return None
+        except Exception:
+            return None
+
     def local_consumer_alive(self) -> bool:
         """本实例视角的消费者活性（本地注册表快速判定）。
 
@@ -600,18 +621,39 @@ class RabbitMQClient:
         #     则仍按显式 tag 真正 consume,交给服务端校验。
         existing = getattr(self._queue, "_consumers", None)
         if isinstance(existing, dict):
-            if existing and consumer_tag is None:
-                self._consumer_tag = next(iter(existing))
+            # 🔒 死 tag 不复用（2026-08-26 实证修复）：aio-pika 的
+            # RobustQueue.cancel 被 cancel 腰斩（如监控看门狗超时传播）时，
+            # super().cancel() 未返回 → _consumers 永不 pop → 死 tag 残留。
+            # 复用层只看 aio-pika 注册表会"假恢复"（本地以为在消费，broker
+            # 侧没有）。复用前以 aiormq 注册表（broker 真实状态）过滤：
+            # 只复用两边都在的 tag；被过滤掉视为残留，走真 consume 重建。
+            aiormq_tags = self._live_aiormq_consumer_tags()
+            live_existing = {t: v for t, v in existing.items()
+                             if t in aiormq_tags} if aiormq_tags is not None else existing
+            if live_existing and consumer_tag is None:
+                self._consumer_tag = next(iter(live_existing))
                 logger.warning(
-                    f"队列 '{getattr(self._queue, 'name', '?')}' 已有 {len(existing)} 个消费者，"
+                    f"队列 '{getattr(self._queue, 'name', '?')}' 已有 {len(live_existing)} 个消费者，"
                     f"跳过重复注册(复用现有 tag: {self._consumer_tag})")
                 return self._consumer_tag
-            if consumer_tag is not None and consumer_tag in existing:
+            if consumer_tag is not None and consumer_tag in live_existing:
                 self._consumer_tag = consumer_tag
                 logger.info(
                     f"队列 '{getattr(self._queue, 'name', '?')}' 的 tag {consumer_tag} "
                     f"已在消费,跳过重复注册(幂等)")
                 return self._consumer_tag
+            if existing and not live_existing:
+                logger.warning(
+                    f"队列 '{getattr(self._queue, 'name', '?')}' 的 {len(existing)} 个"
+                    f"注册 tag 均不在 aiormq 活跃注册表(疑似腰斩残留)，"
+                    f"不复用，强制重新注册消费")
+                # 🔒 显式传入的 tag 若已被判死（不在 aiormq 活跃集），
+                # 不能再传给 consume：aiormq 本地注册表虽无此 tag，但若
+                # broker 侧仍存活（本地注册表 lag 的误判场景），重复
+                # basic_consume 同 tag 会触发 DuplicateConsumerTag 异常。
+                # 置 None 让 broker 分配全新 tag。
+                if consumer_tag is not None:
+                    consumer_tag = None
 
         self._consumer_tag = await self._queue.consume(
             self._process_message_callback, consumer_tag=consumer_tag)

{sycommon_python_lib-0.2.8b13 → sycommon_python_lib-0.2.9}/src/sycommon_python_lib.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: sycommon-python-lib
-Version: 0.2.8b13
+Version: 0.2.9
 Summary: Add your description here
 Requires-Python: >=3.11
 Description-Content-Type: text/markdown