sycommon-python-lib 0.2.10a10__tar.gz → 0.2.10a12__tar.gz

{sycommon_python_lib-0.2.10a10 → sycommon_python_lib-0.2.10a12}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: sycommon-python-lib
-Version: 0.2.10a10
+Version: 0.2.10a12
 Summary: Add your description here
 Requires-Python: >=3.11
 Description-Content-Type: text/markdown

{sycommon_python_lib-0.2.10a10 → sycommon_python_lib-0.2.10a12}/pyproject.toml

@@ -1,6 +1,6 @@
 [project]
 name = "sycommon-python-lib"
-version = "0.2.10a10"
+version = "0.2.10a12"
 description = "Add your description here"
 readme = "README.md"
 requires-python = ">=3.11"

{sycommon_python_lib-0.2.10a10 → sycommon_python_lib-0.2.10a12}/src/sycommon/health/readiness.py

@@ -7,9 +7,10 @@ from starlette.concurrency import run_in_threadpool
 
 from sycommon.logging.kafka_log import SYLogger
 
-# DB/Redis 拨测超时（秒）；MQ 通道往返探活略宽
+# DB/Redis 拨测超时（秒）；MQ 通道往返与 LLM 真实补全略宽
 PROBE_TIMEOUT_SECONDS = 3.0
 MQ_PROBE_TIMEOUT_SECONDS = 5.0
+LLM_PROBE_TIMEOUT_SECONDS = 8.0
 
 # 拨测结果 TTL 缓存（秒）：K8s/Nacos/LB 多源轮询直接命中缓存，
 # 避免故障期间探针流量放大成对依赖的额外负载
@@ -17,10 +18,13 @@ PROBE_CACHE_TTL_SECONDS = 2.0
 
 # 等拨测锁超时（秒）：底层库吞取消语义的兜底，防端点整体 wedged。
 # 预算必须覆盖最慢合法路径再加余量：MQ 撞换池窗口的兜底重探最坏
-# 2×MQ_PROBE_TIMEOUT —— 写小了会把正常慢探测误判成 wedged 答 stale
-# （对齐 Go lib fca8ee1 锁预算修复：TTL + 2×MQ + 余量）。
+# 2×MQ_PROBE_TIMEOUT，LLM 网关慢响应最坏 1×LLM_PROBE_TIMEOUT —— 取两者
+# 较大者再配余量（写小了会把正常慢探测误判成 wedged 答 stale，
+# 对齐 Go lib fca8ee1 锁预算修复思路：TTL + 最慢组件 + 余量）。
 LOCK_WAIT_TIMEOUT_SECONDS = (
-    PROBE_CACHE_TTL_SECONDS + 2 * MQ_PROBE_TIMEOUT_SECONDS + 5.0)
+    PROBE_CACHE_TTL_SECONDS
+    + max(2 * MQ_PROBE_TIMEOUT_SECONDS, LLM_PROBE_TIMEOUT_SECONDS)
+    + 5.0)
 
 
 def _skipped(reason: str) -> dict:
@@ -61,10 +65,11 @@ async def _probe_async_engine(engine) -> None:
         await connection.execute(text("SELECT 1"))
 
 
-async def _timed_probe(coro, timeout: float, probe_name: str) -> dict:
+async def _timed_probe(coro, timeout: float, probe_name: str, **extra) -> dict:
     """单组件拨测统一包裹：计时 + 超时 + 异常→DOWN，互不影响其他组件。
 
     error 只含异常类型名（详见 _err_type_only）；完整异常进 WARNING 日志。
+    extra 透传进 UP/DOWN 的 details（如 LLM 拨测的 model 名）。
     """
     start = time.monotonic()
     try:
@@ -76,6 +81,7 @@ async def _timed_probe(coro, timeout: float, probe_name: str) -> dict:
                 "probe": probe_name,
                 "error": "probe timeout",
                 "latency_ms": round((time.monotonic() - start) * 1000, 1),
+                **extra,
             },
         }
     except Exception as e:
@@ -90,6 +96,7 @@ async def _timed_probe(coro, timeout: float, probe_name: str) -> dict:
                 "probe": probe_name,
                 "error": _err_type_only(e),
                 "latency_ms": round((time.monotonic() - start) * 1000, 1),
+                **extra,
             },
         }
     return {
@@ -97,6 +104,7 @@ async def _timed_probe(coro, timeout: float, probe_name: str) -> dict:
         "details": {
             "probe": probe_name,
             "latency_ms": round((time.monotonic() - start) * 1000, 1),
+            **extra,
         },
     }
 
@@ -283,13 +291,92 @@ async def _probe_mq_pool_alive(pool) -> None:
         raise RuntimeError("mq connection not alive")
 
 
+async def _check_llm() -> dict:
+    """LLM 拨测：配置里没有任何 LLMConfig → SKIPPED（纯中间件服务不掺和）；
+    有配置则取 default 模型发一条 "1+1=" 真实补全，收到非空回复即 UP。
+
+    「能正常返回数据」的判定：通道通但 content 为空（网关 200 空补全）
+    同样算 DOWN —— 空回复对消费方等于不可用。错误只回显类型名/HTTP
+    状态码（同 _err_type_only 脱敏标准，网关错误文案可能内嵌上游信息）。
+    max_tokens 固定 16：拨测只要一个数字，防推理模型把输出预算烧满。
+    timeout 固定拨测预算（覆盖客户端默认 180s —— readiness 要求秒级）。
+    """
+    from sycommon.config.Config import Config
+
+    try:
+        cfg = Config()
+        default_cfg = cfg.get_default_llm_config()
+        model = default_cfg.get("model")
+        has_configs = bool(cfg.llm_configs)
+    except Exception:
+        has_configs = False
+        model = None
+
+    if not has_configs or not model:
+        if _declared("llm"):
+            return {
+                "status": "DOWN",
+                "details": {"reason": "llm declared but no LLMConfig loaded"},
+            }
+        return _skipped("no LLMConfig loaded")
+
+    async def _probe_llm_chat() -> None:
+        from langchain_core.messages import HumanMessage
+
+        from sycommon.llm.get_llm import get_llm
+
+        # thinking=False（指令模式）：get_llm 注入
+        # chat_template_kwargs.enable_thinking=False —— 推理模型（默认条目
+        # Qwen3.8-Flash-Next 实测）开着思考时 16 token 全烧在 reasoning、
+        # content 为 None → 撞 length 上限被空回复哨兵误判 DOWN；关思考后
+        # 同一预算直接吐 "1 + 1 = 2"。max_tokens=16 同理：拨测只要一个数字，
+        # 防推理模型把输出预算烧满；timeout 固定拨测预算（覆盖客户端默认
+        # 180s —— readiness 要求秒级）。
+        llm = get_llm(
+            model,
+            wrap_structured=False,
+            thinking=False,
+            max_retries=1,
+            timeout=LLM_PROBE_TIMEOUT_SECONDS,
+            max_tokens=16,
+            temperature=0,
+        )
+        # 拨测无请求上下文，强制走 nacos 全局 apiKey
+        #（current_llm_api_key 为空时 resolve_api_key 自会回退配置值）。
+        resp = await llm.ainvoke([HumanMessage(content="1+1=")])
+        content = resp.content if hasattr(resp, "content") else ""
+        if isinstance(content, list):  # 多模态 content 分片 → 拼纯文本
+            content = "".join(
+                part.get("text", "") for part in content
+                if isinstance(part, dict))
+        if not str(content).strip():
+            raise _EmptyCompletionError()
+
+    try:
+        return await _timed_probe(
+            _probe_llm_chat(), LLM_PROBE_TIMEOUT_SECONDS,
+            "chat completions", model=model)
+    except Exception as e:
+        SYLogger.warning(
+            f"[READINESS] llm check failed: {type(e).__name__}")
+        return {
+            "status": "DOWN",
+            "details": {"error": _err_type_only(e)},
+        }
+
+
+class _EmptyCompletionError(Exception):
+    """空回复哨兵：类型名即脱敏文案（通道通但没吐字）。"""
+
+
 def setup_readiness_handler(app: FastAPI):
-    """挂载 GET /actuator/health/readiness：按需拨测 DB/Redis/MQ。
+    """挂载 GET /actuator/health/readiness：按需拨测 DB/Redis/MQ/LLM。
 
     组件是否「在用」由各服务单例运行时状态判定（零配置）：
     - database: DatabaseService/AsyncDatabaseService engine 存在
     - redis:    RedisService.is_initialized()
     - mq:       RabbitMQService.is_configured()（mq.yml 已加载）
+    - llm:      Config 里存在 LLMConfig 条目（默认模型真实补全往返）
 
     在用组件任一 DOWN → HTTP 503；SKIPPED 不影响。
     结果带 PROBE_CACHE_TTL_SECONDS 缓存：多探针源（K8s/Nacos/LB）轮询
@@ -328,9 +415,9 @@ def setup_readiness_handler(app: FastAPI):
         # 单组件异常/导入失败不得炸掉整个 gather（否则取消兄弟任务）；
         # gather return_exceptions + 逐个兜底
         results = await asyncio.gather(
-            _check_database(), _check_redis(), _check_mq(),
+            _check_database(), _check_redis(), _check_mq(), _check_llm(),
             return_exceptions=True)
-        names = ("database", "redis", "mq")
+        names = ("database", "redis", "mq", "llm")
         components = {}
         for name, res in zip(names, results):
             if isinstance(res, BaseException):

{sycommon_python_lib-0.2.10a10 → sycommon_python_lib-0.2.10a12}/src/sycommon/logging/kafka_log.py

@@ -220,6 +220,20 @@ class KafkaSink:
         bootstrap_timeout_ms=10000：
             api_version 默认为 None，__init__ 会 eager bootstrap 拉取版本信息，
             broker 不可达时默认 30s 才超时。重建/惰性补建路径下 30s 太长，收到 10s。
+        enable_idempotence=False 的理由（2026-10-14 netsearch 生产事故复盘）：
+            kafka-python 3.x 把 enable_idempotence 默认从 False 静默改为 True，
+            日志 producer 被动卷进 PID/序列号/muted 整套幂等机制，触发两个库缺陷：
+            1. retention 型 UnknownProducerIdError 活锁：broker 因 retention 清掉
+               producer state 后持续回 UPIE，客户端 KAFKA-5793 分支每次都重置序列号
+               重试（该分支在 _can_retry 之前、不受 retries 约束），且
+               reset_sequence_for_partition 把 last_acked 一并弹掉（此后永远 -1），
+               导致每次都判成 retention-based → 无限重试（现场转了 2 分钟）。
+            2. muted.remove KeyError：幂等下 guarantee_message_order=True，批次被
+               双重完成（本地 delivery timeout 一次 + broker 迟到响应一次）时
+               _dispatch_error 尾部裸 muted.remove(tp) 第二次抛 KeyError，直接炸
+               出 "Uncaught error in kafka producer I/O thread"。
+            日志管道不需要 exactly-once（可容忍重复/丢失），关掉幂等后 UPIE 走
+            非重试分支直接 fail 进 errback（自愈信号），muted 集合彻底不用。
         """
         return KafkaProducer(
             bootstrap_servers=self._bootstrap_servers,
@@ -229,6 +243,7 @@ class KafkaSink:
             max_block_ms=5000,
             retries=5,
             request_timeout_ms=30000,
+            enable_idempotence=False,
             # delivery_timeout 由默认 120s 收紧到 45s：断网时批次最多积压 45s 就过期并触发
             # errback（自愈信号），而不是静默积压 2 分钟后才批量报错。约束：必须大于
             # linger_ms + request_timeout_ms（5 + 30000），45s 满足。
@@ -430,6 +445,11 @@ class KafkaSink:
                 "sySpanId": "",
                 "syBizId": "",
                 "ptxId": "",
+                # 2026-10-14 补齐(Java starter-log 字段表 30 项全集对照):
+                # pSpanId/pAgentId 在 Java 侧从 MDC PspanId / pinpoint.agentId
+                # 读,常态空但键存在 — 缺键会让 ES mapping/平台列两侧不齐
+                "pSpanId": "",
+                "pAgentId": "",
                 "time": record["time"].strftime("%Y-%m-%d %H:%M:%S,%f")[:-3],
                 "day": datetime.now().strftime("%Y.%m.%d"),
                 "msg": _msg_str,
@@ -570,11 +590,16 @@ class KafkaSink:
         引用，故全程用 _rebuild_lock 保护，并置 _rebuild_in_progress 让 write()
         在此期间跳过惰性建 producer，避免重复构造。
 
-        关键：close() 内部会 join sender 线程（sender.join(timeout)），而本方法
+        关键一：close() 内部会 join sender 线程（sender.join(timeout)），而本方法
         正是从 sender 线程的 errback 链调进来的——若在锁内直接 close 旧 producer
-        会触发“在自己线程里 join 自己”的死锁。所以 flush/close 必须放在锁外，
-        且把 _rebuild_in_progress 始终维持到新 producer 就位，避免 join 期间又有
-        write() 介入。绝不在锁内做 close 这种长阻塞。"""
+        会触发"在自己线程里 join 自己"的死锁。所以 flush/close 必须放在锁外。
+
+        关键二（2026-10-14 生产事故复盘）：只放锁外还不够——errback 同步执行
+        flush(5s)+close(10s) 会让 kafka 的 IO 线程卡 15s（现场 14.9s，selector
+        慢任务看门狗连报 blocking the event loop），期间网络收发全部停摆。因此
+        整个 关旧/建新 挪到独立 daemon 线程执行，errback 立即返回。_rebuild_
+        in_progress 维持到新 producer 就位，期间 write() 跳过（日志丢弃语义与
+        原重建窗口一致）。"""
         with self._rebuild_lock:
             if self._rebuild_in_progress:
                 return  # 已有重建在进行，不重入
@@ -583,7 +608,17 @@ class KafkaSink:
             # 摘引用：write() 见到 _producer is None 且 _rebuild_in_progress 会跳过
             self._producer = None
             self._producer_obj = None
-        # flush/close 放锁外：close() 会 join sender 线程，绝不能在 sender 线程里持锁做
+        # 关旧/建新全在独立线程：绝不阻塞 kafka IO 线程（errback 调用方）与 loguru 线程
+        threading.Thread(
+            target=self._rebuild_worker, args=(old,),
+            name="kafka-sink-rebuild", daemon=True).start()
+
+    def _rebuild_worker(self, old):
+        """重建工作体（独立 daemon 线程内执行）。
+
+        close() 会 join sender 线程，绝不能在 sender 线程里做；bootstrap 不可达
+        会抛，吞掉，下次失败计数还会再触发。"""
+        # flush/close 放锁外且放本线程：join sender 线程最长 ~15s，别拖任何人
         if old is not None:
             try:
                 old.flush(timeout=5)
@@ -730,6 +765,13 @@ class KafkaLogger(metaclass=SingletonMeta):
         intercept_handler = _InterceptHandler()
         logging.root.handlers = [intercept_handler]
         logging.root.setLevel(logging.WARNING)
+        # kafka-python 内部日志降噪兜底（正常由 services.setup_logger_levels()
+        # 在插件链更早处设置；此处幂等重申）：故障期间库的 WARNING 风暴
+        # （UnknownProducerIdError 重试/selector 慢任务/批次过期）经 root 桥接
+        # 回灌 loguru 后又要发往同一故障 topic，形成放大回路（2026-10-14 复盘）。
+        for _name in ("kafka", "kafka.net", "kafka.net.selector",
+                      "kafka.net.connection", "kafka.producer"):
+            logging.getLogger(_name).setLevel(logging.ERROR)
 
         sys.excepthook = KafkaLogger._handle_exception
         # sys.excepthook 只管主线程；工作线程的未捕获异常走 threading.excepthook

{sycommon_python_lib-0.2.10a10 → sycommon_python_lib-0.2.10a12}/src/sycommon/logging/logger_levels.py

@@ -6,9 +6,15 @@ def setup_logger_levels():
     # Nacos 客户端：仅输出WARNING及以上（屏蔽INFO级的心跳/注册日志）
     logging.getLogger("nacos.client").setLevel(logging.WARNING)
 
-    # Kafka Python客户端：屏蔽INFO级的连接/版本检测日志
-    logging.getLogger("kafka.net.connection").setLevel(logging.WARNING)
-    logging.getLogger("kafka.producer").setLevel(logging.WARNING)
+    # Kafka Python客户端：屏蔽INFO级的连接/版本检测日志。
+    # kafka.* 整族压到 ERROR（2026-10-14 生产事故复盘）：故障期间库自身持续打
+    # WARNING——retention 型 UnknownProducerIdError 风暴（每秒多条）、selector
+    # 慢任务看门狗（kafka.net.selector）、批次过期——经 stdlib root 桥接回灌
+    # loguru 后又要发往同一个正在故障的 topic，形成放大回路。这些 WARNING 的
+    # 价值在 ERR 都有（sender 线程崩溃/批次最终失败），全部静音。
+    for _name in ("kafka", "kafka.net", "kafka.net.selector",
+                  "kafka.net.connection", "kafka.producer"):
+        logging.getLogger(_name).setLevel(logging.ERROR)
 
     # Uvicorn/FastAPI：屏蔽启动/应用初始化的INFO日志（保留ERROR/WARNING）
     # logging.getLogger("uvicorn").setLevel(logging.WARNING)

{sycommon_python_lib-0.2.10a10 → sycommon_python_lib-0.2.10a12}/src/sycommon_python_lib.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: sycommon-python-lib
-Version: 0.2.10a10
+Version: 0.2.10a12
 Summary: Add your description here
 Requires-Python: >=3.11
 Description-Content-Type: text/markdown

{sycommon_python_lib-0.2.10a10 → sycommon_python_lib-0.2.10a12}/src/sycommon_python_lib.egg-info/SOURCES.txt

@@ -352,6 +352,7 @@ tests/test_acp_tool.py
 tests/test_asyncio_logging.py
 tests/test_config_change_notifier.py
 tests/test_hotreload_snapshot.py
+tests/test_kafka_upie_fix.py
 tests/test_llm_apikey_contextvar.py
 tests/test_log_masker.py
 tests/test_resilient_pg_saver.py