llm-simple-router 0.9.25 → 0.9.27

package/dist/admin/upgrade.js

@@ -11,6 +11,8 @@ const GITHUB_CONFIG_BASE = 'https://raw.githubusercontent.com/zhushanwen321/llm-
 const GITEE_CONFIG_BASE = 'https://gitee.com/zzzzswszzzz/llm-simple-router/raw/main/router/config';
 const CHECK_INTERVAL_MS = 60 * 60 * 1000; // eslint-disable-line no-magic-numbers
 const JSON_INDENT = 2;
+const RESTART_FORCE_EXIT_MS = 3_000;
+const RESTART_RESPONSE_FLUSH_MS = 300;
 // 模块级单例：checker、configDir 和定时器
 let checker = null;
 let configDir = '';
@@ -87,13 +89,12 @@ export const adminUpgradeRoutes = (app, options, done) => {
         // 先回复客户端，再执行重启（否则客户端收不到响应）
         reply.send({ ok: true, method });
         // 给响应发送窗口
-        await new Promise((resolve) => setTimeout(resolve, 300)); // eslint-disable-line no-magic-numbers
+        await new Promise((resolve) => setTimeout(resolve, RESTART_RESPONSE_FLUSH_MS));
         try {
             req.log.info({ method, managed }, 'Restarting server...');
-            // 优雅关闭（释放端口、等待活跃请求完成）
-            await options.closeFn();
             if (!managed) {
-                // 无进程管理器（npx / 手动 node）：自 spawn 新进程
+                // 无进程管理器（npx / 手动 node）：先 spawn 新进程，再关闭旧进程。
+                // 必须在 closeFn 之前 spawn，否则 closeFn 可能因活跃 SSE 连接卡住导致新进程永远不启动。
                 const binPath = resolveRestartBinPath();
                 const args = process.argv.slice(2); // eslint-disable-line no-magic-numbers
                 req.log.info({ binPath, args }, 'Spawning new process before exit');
@@ -102,15 +103,28 @@ export const adminUpgradeRoutes = (app, options, done) => {
                     stdio: 'ignore',
                     env: { ...process.env },
                 });
+                child.on('error', (err) => {
+                    req.log.error({ err, binPath }, 'Failed to spawn new process');
+                });
                 child.unref();
             }
+            // 强制退出兜底：即使 closeFn 卡住（如活跃代理 SSE 流），也能确保进程退出。
+            const forceExitTimer = setTimeout(() => {
+                req.log.warn('Graceful shutdown timed out during restart, forcing exit');
+                process.exit(0);
+            }, RESTART_FORCE_EXIT_MS);
+            forceExitTimer.unref();
+            // 尝试优雅关闭（closeFn 内部有 2s 优雅等待 + closeAllConnections 兜底）
+            await options.closeFn();
+            clearTimeout(forceExitTimer);
             req.log.info('Exiting current process');
             process.exit(0);
         }
         catch (err) {
-            // 重启失败时记录错误，保持服务运行
+            // 优雅关闭失败时也必须退出：新进程已经 spawn，旧进程必须让出端口
             const msg = err instanceof Error ? err.message : String(err);
             req.log.error({ err }, `Restart failed: ${msg}`);
+            process.exit(1);
         }
     });
     app.post('/admin/api/upgrade/sync-config', async (req, reply) => {

package/dist/index.js

@@ -294,7 +294,18 @@ export async function buildApp(options) {
         proxyAgentFactory.invalidateAll();
         const sessionTracker = container.resolve(SERVICE_KEYS.sessionTracker);
         sessionTracker.stop();
+        // 等待活跃代理请求自然完成，超时后强制关闭所有连接。
+        // 先调用 app.close() 停止接受新连接并等待现有连接结束，
+        // 如果 2 秒内未完成则调用 closeAllConnections() 强制断开，防止 SSE 长连接导致无限等待。
+        const CLOSE_GRACE_PERIOD_MS = 2_000;
+        const forceClose = typeof app.server.closeAllConnections === 'function'
+            ? setTimeout(() => app.server.closeAllConnections(), CLOSE_GRACE_PERIOD_MS)
+            : null;
+        if (forceClose)
+            forceClose.unref();
         await app.close();
+        if (forceClose)
+            clearTimeout(forceClose);
         db.close();
     };
     // 文件压缩和清理任务（仅非 :memory: 模式）

package/dist/proxy/transport/stream.js

@@ -4,6 +4,7 @@ import { buildUpstreamUrl } from "../proxy-core.js";
 import { _transportInternals, buildRequestOptions, } from "./http.js";
 const UPSTREAM_BAD_GATEWAY = 502;
 const BUFFER_SIZE_LIMIT = 4096;
+const END_REPLY_TIMEOUT_MS = 1000;
 class StreamProxy {
     statusCode;
     sentUpstreamHeaders;
@@ -278,18 +279,34 @@ class StreamProxy {
         // 这保证了 inject() 返回时日志已经写入 DB。
         const metrics = this.collectMetrics(true);
         this.terminal("stream_success", { metrics }, true);
-        // 延迟结束管道和响应，属于 reply 层面操作，不属于 StreamProxy 状态管理
+        // 延迟结束管道和响应，属于 reply 层面操作，不属于 StreamProxy 状态管理。
+        //
+        // 当 formatTransform 存在时（如 OpenAI→Anthropic 转换），Transform 链的 flush
+        // 通过 process.nextTick 异步传播。pipeEntry.end() 后不能同步调用 reply.raw.end()，
+        // 否则 formatTransform._flush() 中的 ensureTerminated()（发送 message_stop）
+        // 尚未执行，连接就被关闭，导致客户端收到 "stream ended before message_stop"。
         setImmediate(() => {
-            this.pipeEntry.end();
-            if (this.headersSent) {
-                try {
-                    this.reply.raw.end();
-                }
-                catch { // eslint-disable-line taste/no-silent-catch
-                    // reply 可能已 destroyed，安全忽略
+            const endReply = () => {
+                if (this.headersSent) {
+                    try {
+                        this.reply.raw.end();
+                    }
+                    catch { // eslint-disable-line taste/no-silent-catch
+                        // reply 可能已 destroyed，安全忽略
+                    }
                 }
+                this.cleanup();
+            };
+            this.pipeEntry.end();
+            if (this.formatTransform) {
+                // 等 passThrough end 事件触发（整个 transform 链 flush 完成后），再关闭 reply
+                this.passThrough.once("end", endReply);
+                // 安全超时兜底，防止 end 事件未触发导致连接挂起
+                setTimeout(endReply, END_REPLY_TIMEOUT_MS).unref();
+            }
+            else {
+                endReply();
             }
-            this.cleanup();
         });
     }
     onUpstreamError(err) {

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "llm-simple-router",
-  "version": "0.9.25",
+  "version": "0.9.27",
   "description": "LLM API proxy router with OpenAI/Anthropic support, model mapping, retry strategies, and admin dashboard",
   "license": "MIT",
   "author": "ZZzzswszzZZ",