@raolin2025/claude-code-node 2.8.15 → 2.8.17

package/README.md

@@ -69,6 +69,7 @@ cc-node --resume session-1747000000000-abc123
 | `--no-stream` | | 禁用流式响应 | `false` |
 | `--max-messages` | | 消息条数上限，超过则折叠早期历史为摘要（解决本地小模型"条数过多变傻"） | `0`（关闭） |
 | `--small-model` | | 小模型适配模式（强制工具调用 + 敷衍重试 + 意图引导 + 工具精简） | `false` |
+| `--max-output-tokens` | | 覆盖单次响应输出上限（默认根据上下文窗口动态计算） | 窗口×1/16 |
 | `--stdio` | | **JSON-RPC 服务器模式**（供桥接层/外部客户端接入，见下） | |
 | `--help` | `-h` | 显示帮助 | |
 
@@ -177,6 +178,24 @@ cc-node 会自动感知当前所用模型的**上下文窗口长度**，并在
 
 > 切换模型（`/model`）后会自动重新探测窗口。`/budget` 也会显示当前窗口与 80% 触发阈值。
 
+### 📤 单次输出上限（max_tokens）动态计算
+
+cc-node 的**单次响应输出上限**（`max_tokens`）不再写死 4096，而是**根据上下文窗口大小动态计算**：
+
+```
+max_tokens = max(4096, 窗口大小 × 1/16)，且不超过窗口的一半
+```
+
+| 窗口 | 动态输出上限 |
+|------|-------------|
+| 65536 (64K) | 4096 |
+| 131072 (128K) | **8192** |
+| 200000 | 12500 |
+
+这样窗口越大，单次输出空间越大，避免小模型 Write 大文件时被截断；同时输出**绝不超过窗口一半**，保证输入有足够空间、永不超窗。
+
+> 可用 `--max-output-tokens N` 或 `config.maxOutputTokens` 覆盖（作为输出下限）。
+
 ### 🤖 小模型适配模式（--small-model）
 
 > 专为 **本地小模型**（如 27B Q3 量化）设计，让编程工具在弱模型下也能可靠工作。

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@raolin2025/claude-code-node",
-  "version": "2.8.15",
+  "version": "2.8.17",
   "description": "Node.js AI Code Agent CLI - Zero dependencies, pure JavaScript, security hardened, multi-channel notifications, Telegram & QQ Bot remote programming, rich media upload, multi-account management",
   "type": "module",
   "main": "src/core/index.js",

package/src/__tests__/small-model.test.js

@@ -189,3 +189,66 @@ test('多步计划：普通任务走简单意图引导', () => {
   assert.ok(g, '应生成引导')
   assert.ok(g.includes('任务引导'), '应走简单意图引导')
 })
+
+// ---- 动态 max_tokens 计算 ----
+test('max_tokens：根据窗口大小动态计算', async () => {
+  const { QueryEngine } = await import('../core/query-engine.js')
+  const { TokenBudget } = await import('../core/token-budget.js')
+  // 131072 窗口 → 8192（窗口的 1/16）
+  const qe1 = new QueryEngine({ tokenBudget: new TokenBudget({ maxTokens: 131072 }) })
+  assert.equal(qe1._computeMaxOutputTokens(), 8192)
+  // 65536 → 4096
+  const qe2 = new QueryEngine({ tokenBudget: new TokenBudget({ maxTokens: 65536 }) })
+  assert.equal(qe2._computeMaxOutputTokens(), 4096)
+  // 无窗口 → 兜底 4096
+  const qe3 = new QueryEngine({})
+  assert.equal(qe3._computeMaxOutputTokens(), 4096)
+})
+
+test('max_tokens：可配置输出比例与下限覆盖', async () => {
+  const { QueryEngine } = await import('../core/query-engine.js')
+  const { TokenBudget } = await import('../core/token-budget.js')
+  // outputRatio=0.1 → 131072*0.1=13107
+  const qe1 = new QueryEngine({ tokenBudget: new TokenBudget({ maxTokens: 131072 }), outputRatio: 0.1 })
+  assert.equal(qe1._computeMaxOutputTokens(), 13107)
+  // maxOutputTokens=8192 作为下限
+  const qe2 = new QueryEngine({ tokenBudget: new TokenBudget({ maxTokens: 131072 }), maxOutputTokens: 8192 })
+  assert.equal(qe2._computeMaxOutputTokens(), 8192)
+})
+
+test('max_tokens：绝不超过窗口一半（防超窗）', async () => {
+  const { QueryEngine } = await import('../core/query-engine.js')
+  const { TokenBudget } = await import('../core/token-budget.js')
+  // 小窗口 8192：窗口一半 = 4096，1/16 = 512，取 max(4096,512)=4096 ≤ 4096
+  const qe1 = new QueryEngine({ tokenBudget: new TokenBudget({ maxTokens: 8192 }) })
+  assert.ok(qe1._computeMaxOutputTokens() <= 4096, `max_tokens=${qe1._computeMaxOutputTokens()} 不应超过窗口一半 4096`)
+  // 极端 outputRatio=1.0 也不应超过窗口一半
+  const qe2 = new QueryEngine({ tokenBudget: new TokenBudget({ maxTokens: 10000 }), outputRatio: 1.0 })
+  assert.ok(qe2._computeMaxOutputTokens() <= 5000, `max_tokens=${qe2._computeMaxOutputTokens()} 不应超过窗口一半 5000`)
+})
+
+// ---- _buildRequest 把 system 统一前置（防 llama.cpp 500）----
+test('_buildRequest：把中间 system 统一前置到开头', async () => {
+  const { QueryEngine } = await import('../core/query-engine.js')
+  const qe = new QueryEngine({ systemPrompt: 'SYS-ROOT', tools: [] })
+  // 模拟 state.messages 里 system 摘要被插到中间（折叠/恢复导致）
+  const messages = [
+    { role: 'user', content: 'u1' },
+    { role: 'assistant', content: 'a1' },
+    { role: 'system', content: '[Context Summary] 中间摘要' },
+    { role: 'user', content: 'u2' },
+  ]
+  const req = qe._buildRequest(messages)
+  // 验证：所有 system 在开头，中间无 system
+  let seenBody = false, badSystem = false
+  for (const m of req) {
+    if (m.role !== 'system') seenBody = true
+    else if (seenBody) badSystem = true
+  }
+  assert.equal(badSystem, false, '中间不应出现 system（否则 llama.cpp 报 500）')
+  // 第一条是 system
+  assert.equal(req[0].role, 'system')
+  // 原始顺序（非 system 部分）应保持
+  const nonSys = req.filter(m => m.role !== 'system').map(m => m.role)
+  assert.deepEqual(nonSys, ['user', 'assistant', 'user'])
+})

package/src/core/cli.js

@@ -332,6 +332,7 @@ function parseArgs(argv) {
     noStream: false,
     maxMessages: 0,
     smallModel: false,
+    maxOutputTokens: 0,
   }
 
   let i = 2
@@ -349,6 +350,7 @@ function parseArgs(argv) {
       case '--no-stream': args.noStream = true; break
       case '--max-messages': args.maxMessages = parseInt(argv[++i], 10); break
       case '--small-model': args.smallModel = true; break
+      case '--max-output-tokens': args.maxOutputTokens = parseInt(argv[++i], 10); break
       case '--stdio': args.stdio = true; break
       case '--with-notify': args.withNotify = true; break
       case '--version':
@@ -371,6 +373,7 @@ Options:
   --no-stream               Disable streaming
   --max-messages N          Fold history when message count exceeds N (default: 0 = off)
   --small-model             Enable small-model adaptation (tool-call enforcement, filler retry, intent guidance)
+  --max-output-tokens N     Override max single-response output tokens (default: computed from window size)
   --with-notify             Start built-in channel listener (Telegram)
                             (replaces cc-notify daemon — no external script needed)
   -h, --help                Show this help
@@ -535,6 +538,8 @@ const systemPrompt = cliArgs.systemPrompt || DEFAULT_SYSTEM_PROMPT
     maxMessages: cliArgs.maxMessages || config.get('maxMessages') || 0,
     // 小模型适配模式（强制工具调用 + 敷衍重试 + 意图引导 + 工具精简）
     smallModel: cliArgs.smallModel || config.get('smallModel') || false,
+    // 单次输出上限覆盖（默认根据窗口动态计算）
+    maxOutputTokens: cliArgs.maxOutputTokens || config.get('maxOutputTokens') || 0,
   })
   const engine = new QueryEngine(engineConfig)
 

package/src/core/query-engine.js

@@ -53,6 +53,11 @@ export class QueryEngineConfig {
     //   - 工具数量精简 + 意图引导
     // 默认关闭，通过 config.smallModel=true 或 --small-model 开启
     this.smallModel = options.smallModel || false
+    // 单次输出上限动态计算：
+    //   outputRatio — 输出占窗口比例（默认 1/16），窗口越大输出越大
+    //   maxOutputTokens — 输出下限（默认 4096），也可作为硬性覆盖
+    this.outputRatio = options.outputRatio != null ? options.outputRatio : 1 / 16
+    this.maxOutputTokens = options.maxOutputTokens || 0
     this.permissionMode = options.permissionMode || 'ask'
     this.verbose = options.verbose || false
     // API 配置 — 通用 OpenAI 兼容协议
@@ -312,6 +317,32 @@ export class QueryEngine {
     }
   }
 
+  /**
+   * 动态计算单次输出上限 max_tokens
+   *
+   * 不再写死 4096，而是根据当前上下文窗口（/window 设置、tokenBudget.maxTokens）
+   * 按比例动态得出——窗口越大，允许的单次输出越大，避免小模型写大文件时被截断。
+   *
+   * 公式：max_tokens = max(基础下限, 窗口 × 输出比例)
+   *   - 输出比例默认 1/16（6.25%）：131072 窗口 → 8192；65536 → 4096
+   *   - 下限 4096：窗口很小时也有足够输出空间
+   *   - 上限不超过窗口的一半（留足输入空间，绝不超窗）
+   *
+   * @returns {number}
+   */
+  _computeMaxOutputTokens() {
+    const windowSize = this.tokenBudget?.maxTokens
+    // 可配置：默认输出比例 1/16，下限 4096
+    const ratio = this.config.outputRatio != null ? this.config.outputRatio : 1 / 16
+    const min = this.config.maxOutputTokens || 4096
+    if (!windowSize || !Number.isFinite(windowSize) || windowSize <= 0) return min
+    const byWindow = Math.floor(windowSize * ratio)
+    // 上限 = 窗口一半，保证输入有足够空间，绝不超窗
+    const cap = Math.floor(windowSize / 2)
+    const maxOut = Math.min(cap, Math.max(min, byWindow))
+    return maxOut
+  }
+
   /**
    * 构建 LLM 请求消息列表 — 统一 OpenAI 兼容格式
    */
@@ -327,10 +358,25 @@ export class QueryEngine {
     }
 
     // 历史消息 — 转换为 OpenAI 兼容格式
+    // 关键：把所有 system 消息【收集到一起放到最前面】，而不是原样透传。
+    // 原因：llama.cpp/Jinja 严格要求 system 消息必须在对话开头，中间出现 system
+    // 会报 "System message must be at the beginning" (500)。
+    // 折叠/压缩/引导注入可能在 state.messages 中间留下 system 摘要消息，
+    // 这里统一前置，彻底规避该错误。
+    const systemMsgs = []
+    const bodyMsgs = []
     for (const msg of messages) {
       if (msg.role === 'system') {
-        request.push({ role: 'system', content: msg.content })
-      } else if (msg.role === 'user') {
+        systemMsgs.push(msg)
+      } else {
+        bodyMsgs.push(msg)
+      }
+    }
+    for (const msg of systemMsgs) {
+      request.push({ role: 'system', content: msg.content })
+    }
+    for (const msg of bodyMsgs) {
+      if (msg.role === 'user') {
         request.push({ role: 'user', content: this._buildUserContent(msg) })
       } else if (msg.role === 'assistant') {
         // 构建 assistant 消息基础
@@ -475,7 +521,8 @@ export class QueryEngine {
     const body = {
       model: this.config.model,
       messages,
-      max_tokens: 4096,
+      // 根据当前上下文窗口动态计算输出上限（不再写死 4096）
+      max_tokens: this._computeMaxOutputTokens(),
       ...(tools.length && { tools }),
       ...(useStream && { stream: true }),
     }