sycommon-python-lib 0.2.7a49__tar.gz → 0.2.7a50__tar.gz

{sycommon_python_lib-0.2.7a49 → sycommon_python_lib-0.2.7a50}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: sycommon-python-lib
-Version: 0.2.7a49
+Version: 0.2.7a50
 Summary: Add your description here
 Requires-Python: >=3.11
 Description-Content-Type: text/markdown

{sycommon_python_lib-0.2.7a49 → sycommon_python_lib-0.2.7a50}/pyproject.toml

@@ -1,6 +1,6 @@
 [project]
 name = "sycommon-python-lib"
-version = "0.2.7a49"
+version = "0.2.7a50"
 description = "Add your description here"
 readme = "README.md"
 requires-python = ">=3.11"

sycommon_python_lib-0.2.7a50/src/sycommon/config/LLMConfig.py

@@ -0,0 +1,27 @@
+from typing import Optional
+from pydantic import BaseModel
+
+
+class LLMConfig(BaseModel):
+    model: str
+    provider: str
+    baseUrl: str
+    maxTokens: int
+    vision: bool
+    callFunction: bool
+    default: Optional[bool] = False
+    apiKey: Optional[str] = None
+    maxOutputTokens: Optional[int] = None
+    # 是否支持 get_llm 注入的采样参数（temperature/top_p/presence_penalty/extra_body）。
+    # 默认 True：常规模型（Qwen 等）由 get_llm 按 thinking 模式注入采样默认值。
+    # 网关映射的推理模型若上游锁死采样参数（如 new-api 的 kimi-k3：temperature 只能 1、
+    # top_p 只能 0.95、presence_penalty 只能 0，传其它值直接 400；且 enable_thinking 被限制
+    # 为 True），在此标 False，get_llm 便不注入任何采样默认值，仅保留流式所需的
+    # stream_options，让模型走上游默认行为。
+    supportSampling: Optional[bool] = True
+
+    @classmethod
+    def from_config(cls, model_name: str):
+        from sycommon.config.Config import Config
+        llm_config = Config().get_llm_config(model_name)
+        return cls(**llm_config)

{sycommon_python_lib-0.2.7a49 → sycommon_python_lib-0.2.7a50}/src/sycommon/llm/get_llm.py

@@ -115,63 +115,69 @@ def get_llm(
     if model is None or model in ("Qwen2.5-72B", "Qwen3.5-122B-A10B"):
         model = Config().get_default_llm_model_name()
 
-    # 根据 thinking 模式设置默认参数
-    if thinking:
-        # 思考模式
-        default_temperature = 0.6
-        default_top_p = 0.95
-        default_extra_body = {
-            "top_k": 20,
-            "min_p": 0.0,
-            "repetition_penalty": 1.0,
-            "chat_template_kwargs": {"enable_thinking": True}
-        }
-        default_presence_penalty = 0.0
-    else:
-        # 指令模式
-        default_temperature = 0.7
-        default_top_p = 0.8
-        default_extra_body = {
-            "top_k": 20,
-            "min_p": 0.0,
-            "repetition_penalty": 1.0,
-            "chat_template_kwargs": {"enable_thinking": False}
-        }
-        default_presence_penalty = 1.5
-
-    # 应用默认参数（用户未指定时才使用默认值）
-    if temperature is None:
-        temperature = default_temperature
-    if "top_p" not in kwargs:
-        kwargs["top_p"] = default_top_p
-    if "presence_penalty" not in kwargs:
-        kwargs["presence_penalty"] = default_presence_penalty
-
-    # 合并 extra_body
-    if "extra_body" not in kwargs:
-        kwargs["extra_body"] = default_extra_body
-    else:
-        # 用户提供了 extra_body，合并默认值
-        merged_extra_body = {**default_extra_body, **kwargs["extra_body"]}
-        kwargs["extra_body"] = merged_extra_body
+    llmConfig = LLMConfig.from_config(model)
+    if not llmConfig:
+        raise Exception(f"无效的模型配置：{model}")
+
+    # 🔑 能力位 supportSampling（默认 True）：
+    # 常规模型由 get_llm 按 thinking 模式注入采样默认值（temperature/top_p/
+    # presence_penalty/extra_body）。
+    # 网关映射的推理模型若上游锁死采样参数（如 new-api 的 kimi-k3：temperature
+    # 只能 1、top_p 只能 0.95、presence_penalty 只能 0，且 enable_thinking 限制为
+    # True，传其它值一律 400），标 False 后 get_llm 不注入任何采样默认值，仅保留
+    # 流式所需 stream_options，让模型走上游默认行为。
+    support_sampling = llmConfig.supportSampling is not False
+
+    # 根据 thinking 模式设置默认参数（仅采样模型注入）
+    if support_sampling:
+        if thinking:
+            # 思考模式
+            default_temperature = 0.6
+            default_top_p = 0.95
+            default_extra_body = {
+                "top_k": 20,
+                "min_p": 0.0,
+                "repetition_penalty": 1.0,
+                "chat_template_kwargs": {"enable_thinking": True}
+            }
+            default_presence_penalty = 0.0
+        else:
+            # 指令模式
+            default_temperature = 0.7
+            default_top_p = 0.8
+            default_extra_body = {
+                "top_k": 20,
+                "min_p": 0.0,
+                "repetition_penalty": 1.0,
+                "chat_template_kwargs": {"enable_thinking": False}
+            }
+            default_presence_penalty = 1.5
+
+        # 应用默认参数（用户未指定时才使用默认值）
+        if temperature is None:
+            temperature = default_temperature
+        if "top_p" not in kwargs:
+            kwargs["top_p"] = default_top_p
+        if "presence_penalty" not in kwargs:
+            kwargs["presence_penalty"] = default_presence_penalty
+
+        # 合并 extra_body
+        if "extra_body" not in kwargs:
+            kwargs["extra_body"] = default_extra_body
+        else:
+            # 用户提供了 extra_body，合并默认值
+            merged_extra_body = {**default_extra_body, **kwargs["extra_body"]}
+            kwargs["extra_body"] = merged_extra_body
+    # supportSampling=False：temperature/top_p/presence_penalty/extra_body 均不注入；
+    # 用户显式传入的 extra_body 仍透传（见下方 streaming 块及 init_params.update）。
 
     # 流式模式下，要求 API 在最后一个 chunk 返回 usage 数据
     if streaming:
+        if "extra_body" not in kwargs:
+            kwargs["extra_body"] = {}
         if "stream_options" not in kwargs.get("extra_body", {}):
             kwargs["extra_body"]["stream_options"] = {"include_usage": True}
 
-    llmConfig = LLMConfig.from_config(model)
-    if not llmConfig:
-        raise Exception(f"无效的模型配置：{model}")
-
-    # 🔑 能力位 supportThinking=False（如网关映射的 kimi-k3：上游把
-    # chat_template_kwargs.enable_thinking 锁死为 True，传 False 直接 400）。
-    # 这类模型不支持思考参数，从实际发送的 extra_body 中剔除 chat_template_kwargs，
-    # 避免被网关拒绝。其余 Qwen 采样参数（top_k/min_p/repetition_penalty）保留。
-    # 注意：必须作用于 kwargs["extra_body"]（已合并用户透传值），而非 default_extra_body。
-    if llmConfig.supportThinking is False:
-        kwargs.get("extra_body", {}).pop("chat_template_kwargs", None)
-
     # 初始化 Langfuse
     langfuse_callbacks, langfuse = LangfuseInitializer.get()
     callbacks = [LLMLogger()] + langfuse_callbacks
@@ -187,13 +193,16 @@ def get_llm(
         "base_url": llmConfig.baseUrl,
         "api_key": resolve_api_key(llmConfig.apiKey),
         "callbacks": callbacks,
-        "temperature": temperature,
         "streaming": streaming,
         "timeout": timeout,
         "max_retries": max_retries,
         "stream_chunk_timeout": 180,
     }
 
+    # 仅在用户/默认值提供了 temperature 时注入；supportSampling=False 时 temperature 保持 None 不注入。
+    if temperature is not None:
+        init_params["temperature"] = temperature
+
     # 传入 maxOutputTokens（max_completion_tokens）确保模型有足够的输出 token 空间
     if llmConfig.maxOutputTokens:
         init_params["max_tokens"] = llmConfig.maxOutputTokens

{sycommon_python_lib-0.2.7a49 → sycommon_python_lib-0.2.7a50}/src/sycommon_python_lib.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: sycommon-python-lib
-Version: 0.2.7a49
+Version: 0.2.7a50
 Summary: Add your description here
 Requires-Python: >=3.11
 Description-Content-Type: text/markdown

sycommon_python_lib-0.2.7a49/src/sycommon/config/LLMConfig.py

@@ -1,26 +0,0 @@
-from typing import Optional
-from pydantic import BaseModel
-
-
-class LLMConfig(BaseModel):
-    model: str
-    provider: str
-    baseUrl: str
-    maxTokens: int
-    vision: bool
-    callFunction: bool
-    default: Optional[bool] = False
-    apiKey: Optional[str] = None
-    maxOutputTokens: Optional[int] = None
-    # 是否支持思考参数（chat_template_kwargs.enable_thinking）。
-    # 默认 True：Qwen 系列通过该参数切换思考/指令模式。
-    # 网关映射的第三方模型若上游把 enable_thinking 锁死（如 new-api 的 kimi-k3
-    # 渠道只允许 True，传 False 直接 400），在此标 False，get_llm 便不会注入
-    # chat_template_kwargs，避免被网关拒绝。
-    supportThinking: Optional[bool] = True
-
-    @classmethod
-    def from_config(cls, model_name: str):
-        from sycommon.config.Config import Config
-        llm_config = Config().get_llm_config(model_name)
-        return cls(**llm_config)