@wwkit/llmproxy 1.0.1

package/bin/index.js

@@ -0,0 +1,119 @@
+#!/usr/bin/env node
+// bin/index.js — llmproxy CLI 入口
+import { start, stop, restart, status, login, parseProviderArg, setProviderToTarget, removeProviderFromTarget, showProviderConfig, clearProvider, debug } from '../src/ctl.js'
+
+const args = process.argv.slice(2)
+const cmd = args[0] ?? 'help'
+
+function parseTargetArg(argv) {
+  for (let i = 0; i < argv.length - 1; i++) {
+    if (argv[i] === '--to' || argv[i] === '-t') return argv[i + 1]
+  }
+  return null
+}
+
+function parseDryRun(argv) {
+  return argv.includes('--dry-run') || argv.includes('-n')
+}
+
+function printHelp() {
+  console.log(`llmproxy — 通用 OpenAI 兼容代理
+
+用法:
+  llmproxy start                        启动代理
+  llmproxy stop                         停止代理
+  llmproxy restart                      重启代理
+  llmproxy status                       查看状态
+  llmproxy provider [-p <id>]           查看 provider 配置
+  llmproxy login -p <id>                登录指定 provider
+  llmproxy set -p <id> -t <target>      设置 provider 到目标平台
+  llmproxy unset -p <id> -t <target>    从目标平台删除 provider
+  llmproxy clear [-p <id>]              清除 provider 登录信息
+  llmproxy debug [-p <id>]              测试 provider 各模型可用性
+
+Options:
+  --provider, -p <id>         指定 provider（省略则全部）
+  --to, -t <target>           目标平台（opencode）
+  --dry-run, -n               只打印，不写入
+  --help, -h                  显示帮助
+
+示例:
+  llmproxy debug -p codearts/176       测试 codearts/176 所有模型
+  llmproxy debug                       测试所有 provider 的所有模型`)
+}
+
+try {
+  switch (cmd) {
+    case 'start':
+      await start()
+      break
+    case 'stop':
+      await stop()
+      break
+    case 'restart':
+      await restart()
+      break
+    case 'status':
+      await status()
+      break
+    case 'provider': {
+      const provider = parseProviderArg(args.slice(1))
+      showProviderConfig(provider)
+      break
+    }
+    case 'login': {
+      const provider = parseProviderArg(args.slice(1))
+      await login({ provider })
+      break
+    }
+    case 'set': {
+      const provider = parseProviderArg(args.slice(1))
+      const target = parseTargetArg(args.slice(1))
+      const dryRun = parseDryRun(args.slice(1))
+      if (!target) {
+        console.error('用法: llmproxy set -t <target> [-p <provider>] [-n]')
+        process.exit(1)
+      }
+      await setProviderToTarget(provider, target, { dryRun })
+      break
+    }
+    case 'unset': {
+      const provider = parseProviderArg(args.slice(1))
+      const target = parseTargetArg(args.slice(1))
+      const dryRun = parseDryRun(args.slice(1))
+      if (!target) {
+        console.error('用法: llmproxy unset -t <target> [-p <provider>] [-n]')
+        process.exit(1)
+      }
+      await removeProviderFromTarget(provider, target, { dryRun })
+      break
+    }
+    case 'clear': {
+      const provider = parseProviderArg(args.slice(1))
+      await clearProvider(provider)
+      break
+    }
+    case 'debug': {
+      const provider = parseProviderArg(args.slice(1))
+      if (args.includes('--help') || args.includes('-h')) {
+        printHelp()
+      } else {
+        await debug(provider)
+      }
+      break
+    }
+    case 'help':
+    case '--help':
+    case '-h':
+    case undefined:
+      printHelp()
+      break
+    default:
+      console.error(`未知命令: ${cmd}`)
+      printHelp()
+      process.exit(1)
+  }
+} catch (e) {
+  console.error(`错误: ${e.message}`)
+  process.exit(1)
+}

package/package.json

@@ -0,0 +1,43 @@
+{
+  "name": "@wwkit/llmproxy",
+  "version": "1.0.1",
+  "author": "bluesliu <langcai163@163.com>",
+  "description": "Generic OpenAI-compatible proxy for multiple LLM providers (codearts, ...). Pluggable via config.json5.",
+  "type": "module",
+  "main": "src/index.js",
+  "bin": {
+    "llmproxy": "./bin/index.js"
+  },
+  "files": [
+    "bin",
+    "src",
+    "scripts",
+    "README.md",
+    "LICENSE"
+  ],
+  "engines": {
+    "node": ">=18"
+  },
+  "dependencies": {
+    "json5": "^2.2.3",
+    "undici": "^8.10.1",
+    "@wwkit/cft": "1.0.2",
+    "@wwkit/shared": "1.0.2"
+  },
+  "publishConfig": {
+    "registry": "https://registry.npmjs.org/",
+    "access": "public"
+  },
+  "license": "MIT",
+  "scripts": {
+    "postinstall": "node scripts/postinstall.js",
+    "start": "node bin/index.js start",
+    "stop": "node bin/index.js stop",
+    "restart": "node bin/index.js restart",
+    "status": "node bin/index.js status",
+    "login": "node bin/index.js login",
+    "dev": "node src/server.js",
+    "test": "node --test",
+    "release": "pnpm version patch && pnpm publish"
+  }
+}

package/scripts/postinstall.js

@@ -0,0 +1,25 @@
+#!/usr/bin/env node
+
+import { spawnSync } from 'node:child_process'
+import path from 'node:path'
+import { fileURLToPath } from 'node:url'
+import { createConfigLoader, getXdgConfigDir } from '@wwkit/shared'
+
+const __dirname = path.dirname(fileURLToPath(import.meta.url))
+const src = path.join(__dirname, '..', 'src', 'config.json5')
+const bin = path.join(__dirname, '..', 'bin', 'index.js')
+
+const loader = createConfigLoader({
+  builtinConfigPath: src,
+  userConfigDir: getXdgConfigDir('llmproxy'),
+  envDirVar: 'LLMPROXY_CONFIG_DIR',
+})
+
+if (loader.copyBuiltinConfig()) {
+  console.log(`llmproxy: wrote default config to ${loader.userConfigPath}`)
+}
+
+const start = spawnSync('node', [bin, 'start'], { stdio: 'inherit' })
+if (start.status !== 0) {
+  console.error('llmproxy: postinstall (start) failed')
+}

package/src/config.js

@@ -0,0 +1,51 @@
+// src/config.js — 配置加载（三层合并：内置 → 用户目录 → 环境变量）
+import path from 'node:path'
+import { fileURLToPath } from 'node:url'
+import { createConfigLoader, getXdgConfigDir } from '@wwkit/shared'
+
+const __dirname = path.dirname(fileURLToPath(import.meta.url))
+
+const _loader = createConfigLoader({
+  builtinConfigPath: path.join(__dirname, 'config.json5'),
+  userConfigDir: getXdgConfigDir('llmproxy'),
+  envContentVar: 'LLMPROXY_CONFIG_CONTENT',
+  envDirVar: 'LLMPROXY_CONFIG_DIR',
+})
+
+// 导出 config 对象（兼容原接口）
+let _config = null
+
+export function getConfig() {
+  if (!_config) _config = _loader.getConfig()
+  return _config
+}
+
+// 兼容原 config 对象的导出方式
+export const config = new Proxy({}, {
+  get(_, prop) {
+    return getConfig()[prop]
+  },
+})
+
+export function getProviderIds() {
+  return Object.keys(getConfig().providers || {})
+}
+
+export function getProviderConfig(id) {
+  return getConfig().providers?.[id] || null
+}
+
+// 重新加载配置（用于 login 等场景）
+export function reloadConfig() {
+  _config = null
+  return getConfig()
+}
+
+// 获取用户配置目录（用于凭证、日志等）
+export function getUserConfigDir() {
+  return _loader.userConfigDir
+}
+
+export function getUserConfigPath() {
+  return _loader.userConfigPath
+}

package/src/config.json5

@@ -0,0 +1,51 @@
+// config.json5 — llmproxy 内置默认配置
+{
+  // 监听端口
+  port: 1082,
+
+  // 客户端访问本代理时的 API Key
+  proxyApiKey: "noapikey",
+
+  // 全局重试 + 冷却参数（所有 provider 共享）
+  retry: {
+    sessionLimitMaxWaitMs: 600000,  // TM.00001041 等并发超限：最多等 10 分钟
+    baseMs: 1000,                   // 退避起点
+    maxWaitMs: 15000,               // 单次退避封顶
+    otherErrorMaxRetries: 4,        // 其它错误重试 4 次后立即返错
+    cooldownMs: 30000,              // 失败后全局冷却 30 秒
+  },
+
+  // Provider 注册表
+  // sign/errors/benefitModels 配置已内置在 providers/<type>/ 模块中，无需用户配置
+  // 命名约定：type/account（account 可选），如 codearts/acc1
+  providers: {
+    "codearts/176": {
+      auth: {
+        type: "oauth",
+        account: "",
+        password: "",
+      },
+      models: [
+        "GLM-5.2",
+        "GLM-4.7-SFT-Harmony",
+        "glm-5.3-flash",
+        "deepseek-v4-flash-0731",
+        "deepseek-v4-pro-0813",
+      ],
+    },
+    "codearts/130": {
+      auth: {
+        type: "oauth",
+        account: "",
+        password: "",
+      },
+      models: [
+        "GLM-5.2",
+        "GLM-4.7-SFT-Harmony",
+        "glm-5.3-flash",
+        "deepseek-v4-flash-0731",
+        "deepseek-v4-pro-0813",
+      ],
+    },
+  },
+}

package/src/core/auth.js

@@ -0,0 +1,35 @@
+// core/auth.js — AuthProvider 抽象基类
+//
+// 各 IDE/Cloud provider 实现自己的鉴权（OAuth / API Key / IAM 等）。
+// 本类只定义接口契约：getCredentials() 返回带 security headers 的凭证。
+
+export class AuthProvider {
+  /**
+   * @param {object} opts
+   * @param {string} opts.id          provider id
+   * @param {object} opts.config      该 provider 在 config.json5 里的 auth 段
+   */
+  constructor(opts) {
+    this.id = opts.id;
+    this.config = opts.config || {};
+    this._cred = null;
+  }
+
+  /**
+   * 拿到有效凭证（含续期/刷新），返回对象至少包含：
+   *   { headers: {Authorization, X-Security-Token, ...}, expiresAt: number }
+   * @returns {Promise<object>}
+   */
+  async getCredentials() {
+    throw new Error(`[${this.id}] AuthProvider.getCredentials() not implemented`);
+  }
+
+  /**
+   * 触发重新登录（如浏览器 OAuth / 用户输入 API Key）
+   * 默认抛错——有些 provider 不需要重新登录
+   * @param {object} [opts]
+   */
+  async login(opts = {}) {
+    throw new Error(`[${this.id}] AuthProvider.login() not implemented`);
+  }
+}

package/src/core/error.js

@@ -0,0 +1,39 @@
+// core/error.js — ErrorPatterns 抽象基类
+//
+// 不同 provider 的"会话超限"错误码不同：
+//   - snap-access: TM.00001041 in body
+//   - OpenAI:      429 status with error.type=rate_limit_error
+//   - Anthropic:   529 status
+
+export class ErrorPatterns {
+  /**
+   * @param {object} opts
+   * @param {string} opts.id      provider id
+   * @param {object} opts.config  provider 的 errors 段（如 { sessionLimit: "TM.00001041" }）
+   */
+  constructor(opts) {
+    this.id = opts.id;
+    this.config = opts.config || {};
+  }
+
+  /**
+   * 上游响应是否表示"并发会话超限"
+   * @param {number} status
+   * @param {string} bodyText
+   * @returns {boolean}
+   */
+  isSessionLimit(status, bodyText) {
+    throw new Error(`[${this.id}] ErrorPatterns.isSessionLimit() not implemented`);
+  }
+}
+
+/**
+ * 通用默认实现：在 bodyText 中查找子串
+ * 适用于华为云、阿里云、火山引擎等返回 JSON 错误码的 provider
+ */
+export class BodyStringErrorPatterns extends ErrorPatterns {
+  isSessionLimit(_status, bodyText) {
+    const marker = this.config.sessionLimit;
+    return marker && bodyText && bodyText.includes(marker);
+  }
+}

package/src/core/factory.js

@@ -0,0 +1,102 @@
+// src/core/factory.js — Provider 实例化工厂（动态加载）
+//
+// 按约定路径 providers/<id>/auth.js 等动态 import，无需额外配置。
+// 新增 provider 只需在 providers/<id>/ 下放对应模块文件，factory 自动发现。
+//
+// 模块文件必须 export default class（继承对应抽象基类）。
+// 可选导出常量：SIGN_CONFIG, ERROR_CONFIG, BENEFIT_MODELS（固定实现细节，无需用户配置）。
+
+import path from "node:path"
+import { fileURLToPath, pathToFileURL } from "node:url"
+import { NoopSigner } from "./sign.js"
+import { BodyStringErrorPatterns } from "./error.js"
+
+const __dirname = path.dirname(fileURLToPath(import.meta.url))
+const SRC_ROOT = path.resolve(__dirname, "..")
+
+// 模块缓存：路径 → { default: Class, SIGN_CONFIG?, ERROR_CONFIG? }
+const moduleCache = new Map()
+
+async function loadModule(modulePath) {
+  if (moduleCache.has(modulePath)) return moduleCache.get(modulePath)
+  const resolved = pathToFileURL(path.resolve(SRC_ROOT, modulePath)).href
+  const mod = await import(resolved)
+  moduleCache.set(modulePath, mod)
+  return mod
+}
+
+async function loadClass(modulePath) {
+  const mod = await loadModule(modulePath)
+  const cls = mod.default || Object.values(mod).find(v => typeof v === 'function')
+  if (typeof cls !== 'function') {
+    throw new Error(`module ${modulePath} does not export a class`)
+  }
+  return cls
+}
+
+function providerModule(providerId, file) {
+  // 支持 codearts/acc1 格式，取 / 前的部分作为代码目录
+  const type = providerId.includes('/') ? providerId.split('/')[0] : providerId
+  return `providers/${type}/${file}`
+}
+
+export async function buildAuthProvider(providerId, authConfig) {
+  const Cls = await loadClass(providerModule(providerId, 'auth.js'))
+  return new Cls({ id: providerId, config: authConfig })
+}
+
+export async function buildSignProvider(providerId, signConfig) {
+  if (signConfig?.type === 'none') {
+    return new NoopSigner({ id: providerId, config: signConfig })
+  }
+  const mod = await loadModule(providerModule(providerId, 'sign.js'))
+  const Cls = mod.default || Object.values(mod).find(v => typeof v === 'function')
+  // 优先用模块导出的 SIGN_CONFIG，否则用配置传入的
+  const config = mod.SIGN_CONFIG || signConfig || {}
+  return new Cls({ id: providerId, config })
+}
+
+export async function buildErrorPatterns(providerId, errorConfig) {
+  // 尝试加载 provider 专用 error 模块
+  try {
+    const mod = await loadModule(providerModule(providerId, 'error.js'))
+    const Cls = mod.default || Object.values(mod).find(v => typeof v === 'function')
+    if (Cls) {
+      const config = mod.ERROR_CONFIG || errorConfig || {}
+      return new Cls({ id: providerId, config })
+    }
+  } catch (e) {
+    // 模块不存在，fallback
+  }
+  // fallback: BodyStringErrorPatterns
+  return new BodyStringErrorPatterns({ id: providerId, config: errorConfig || {} })
+}
+
+export async function buildClient(providerId, providerConfig, deps) {
+  const mod = await loadModule(providerModule(providerId, 'client.js'))
+  const Cls = mod.default || Object.values(mod).find(v => typeof v === 'function')
+  // 从 sign 模块获取 SIGN_CONFIG（host, basePath）
+  const signMod = await loadModule(providerModule(providerId, 'sign.js'))
+  const signConfig = signMod.SIGN_CONFIG || providerConfig.sign || {}
+  return new Cls({
+    id: providerId,
+    signProvider: deps.signProvider,
+    authProvider: deps.authProvider,
+    host: signConfig.host,
+    basePath: signConfig.basePath,
+  })
+}
+
+/**
+ * 获取 provider 的 benefit 模型列表（从 config.js 模块读取）
+ * @param {string} providerId
+ * @returns {Promise<string[]>}
+ */
+export async function getBenefitModels(providerId) {
+  try {
+    const mod = await loadModule(providerModule(providerId, 'config.js'))
+    return mod.BENEFIT_MODELS || []
+  } catch {
+    return []
+  }
+}

package/src/core/retry.js

@@ -0,0 +1,114 @@
+// core/retry.js — 通用重试循环
+//
+// 区分两种错误处理：
+//   - sessionLimit（上游并发槽超限）：长重试（最多 sessionLimitMaxWaitMs 毫秒）
+//     客户端断开立即退出；退避 baseMs * attempt，封顶 maxWaitMs
+//   - 其它错误：短重试 otherErrorMaxRetries 次后立即返错
+//
+// 每次失败同步触发全局冷却 cooldownMs（给上游回收已结束 session 时间）。
+// 通用：所有 provider 共用，sessionLimit 检测由 ErrorPatterns 决定。
+
+import { log, sleep } from "../util.js";
+
+/**
+ * 重试循环参数
+ * @typedef {object} RetryConfig
+ * @property {number} sessionLimitMaxWaitMs   会话超限总等待上限（默认 10 分钟）
+ * @property {number} baseMs                 退避基础（默认 1000）
+ * @property {number} maxWaitMs              单次退避封顶（默认 15000）
+ * @property {number} otherErrorMaxRetries   其它错误重试次数（默认 4）
+ * @property {number} cooldownMs             全局冷却（默认 30000）
+ */
+
+/**
+ * @typedef {object} ErrorPatterns
+ * @property {(status: number, bodyText: string) => boolean} isSessionLimit
+ */
+
+/**
+ * @typedef {object} RetryState
+ * @property {number} cooldownUntil  全局冷却截止时间戳（跨请求共享）
+ */
+
+/**
+ * 执行带重试的请求循环
+ * @param {object} opts
+ * @param {() => Promise<Response>} opts.attemptFn  每次尝试发起请求；返回 fetch Response
+ * @param {ErrorPatterns} opts.errorPatterns        错误模式识别
+ * @param {RetryConfig} opts.config                 重试参数
+ * @param {RetryState} opts.state                   跨请求共享状态（cooldownUntil）
+ * @param {AbortSignal} opts.clientGone             客户端断开信号
+ * @param {number} opts.chatId                      日志前缀
+ * @returns {Promise<{ok: true, response: Response} | {ok: false, status: number, text: string}>}
+ */
+export async function retryLoop({ attemptFn, errorPatterns, config, state, clientGone, chatId }) {
+  const tStart = Date.now();
+  let attempt = 0;
+
+  for (;;) {
+    if (clientGone.signal.aborted) {
+      return { ok: false, status: 0, text: "[client gone]" };
+    }
+
+    let upstream;
+    try {
+      upstream = await attemptFn();
+    } catch (e) {
+      if (e.name === "AbortError") {
+        return { ok: false, status: 0, text: "[aborted]" };
+      }
+      throw e;
+    }
+
+    if (upstream.ok) {
+      return { ok: true, response: upstream };
+    }
+
+    const text = await upstream.text();
+    const status = upstream.status;
+    const isSessionLimit = errorPatterns.isSessionLimit(status, text);
+    attempt++;
+
+    // 触发全局冷却
+    const newCooldown = Date.now() + config.cooldownMs;
+    if (newCooldown > state.cooldownUntil) {
+      state.cooldownUntil = newCooldown;
+    }
+
+    // 其它错误：短重试
+    if (!isSessionLimit) {
+      if (attempt >= config.otherErrorMaxRetries) {
+        log(`[chat#${chatId}] 上游错误 ${status}: ${text.slice(0, 200)}`);
+        return { ok: false, status, text };
+      }
+      const wait = config.baseMs * attempt;
+      log(`[chat#${chatId}] 上游错误 ${status}，${wait}ms 后重试 (${attempt}/${config.otherErrorMaxRetries})`);
+      await sleep(wait);
+      continue;
+    }
+
+    // 会话超限：长重试直到 sessionLimitMaxWaitMs
+    const elapsed = Date.now() - tStart;
+    if (elapsed >= config.sessionLimitMaxWaitMs) {
+      log(`[chat#${chatId}] 会话超限持续 ${Math.round(elapsed / 1000)}s 仍未恢复，放弃`);
+      return { ok: false, status, text };
+    }
+    const wait = Math.min(config.baseMs * attempt, config.maxWaitMs);
+    const remain = Math.round((config.sessionLimitMaxWaitMs - elapsed) / 1000);
+    log(`[chat#${chatId}] 会话超限，${wait}ms 后重试 (已等 ${Math.round(elapsed / 1000)}s/${remain}s 内继续)`);
+    await sleep(wait);
+  }
+}
+
+/**
+ * 入口信号：acquireUpstream 等待全局冷却结束
+ * @param {RetryState} state
+ * @returns {Promise<void>}
+ */
+export async function waitForCooldown(state) {
+  while (Date.now() < state.cooldownUntil) {
+    const remain = state.cooldownUntil - Date.now();
+    log(`[upstream] 冷却中, ${Math.ceil(remain / 1000)}s 后放行`);
+    await sleep(Math.min(remain, 5000));
+  }
+}

package/src/core/route.js

@@ -0,0 +1,59 @@
+// core/route.js — URL 路径 → provider id 解析
+//
+// 路径规则：
+//   /health                                          → 全局
+//   /<provider>/v1/models                            → 单 provider 模型
+//   /<provider>/v1/chat/completions                  → chat
+//
+// provider id 支持 codearts/acc1 格式（type/account，account 可选）
+import { openaiError } from "../util.js";
+
+/**
+ * 解析 URL 路径为路由描述
+ * @param {string} pathname  URL.pathname
+ * @returns {null | {kind: "global" | "provider_models" | "chat", provider?: string}}
+ */
+export function parseRoute(pathname) {
+  // 去掉尾部斜杠
+  const p = pathname.replace(/\/+$/, "") || "/";
+
+  if (p === "/health") return { kind: "global" };
+
+  // /<provider>/v1/models（provider 可含 /，如 codearts/acc1）
+  let m = p.match(/^\/(.+?)\/v1\/models$/);
+  if (m) {
+    return { kind: "provider_models", provider: m[1] };
+  }
+
+  // /<provider>/v1/chat/completions
+  m = p.match(/^\/(.+?)\/v1\/chat\/completions$/);
+  if (m) {
+    return { kind: "chat", provider: m[1] };
+  }
+
+  return null;
+}
+
+/**
+ * 解析 chat 路由：返回 provider id
+ * @param {object} route parseRoute 返回值
+ * @returns {string|null} provider id 或 null（路由不合法）
+ */
+export function resolveChatProvider(route) {
+  if (route.kind !== "chat") return null;
+  return route.provider || null;
+}
+
+/**
+ * 写 404 错误
+ */
+export function notFound(res, method, pathname) {
+  openaiError(res, `Not Found: ${method} ${pathname}`, 404, "invalid_request_error");
+}
+
+/**
+ * 写 405 错误
+ */
+export function methodNotAllowed(res, method) {
+  openaiError(res, `Method Not Allowed: ${method}`, 405, "invalid_request_error");
+}

package/src/core/sign.js

@@ -0,0 +1,32 @@
+// core/sign.js — SignProvider 抽象基类
+//
+// 有些 provider 需要对每个请求做签名（华为云 SDK-HMAC-SHA256、AWS SigV4）。
+// 有些不需要（Bearer token 即可）。不签名的 provider 可用 NoopSigner。
+
+export class SignProvider {
+  /**
+   * @param {object} opts
+   * @param {string} opts.id          provider id
+   * @param {object} opts.config      该 provider 在 config.json5 里的 sign 段
+   */
+  constructor(opts) {
+    this.id = opts.id;
+    this.config = opts.config || {};
+  }
+
+  /**
+   * 对请求做签名，返回需要注入的 headers（不包含 Authorization 等鉴权头）
+   * 由 auth.getCredentials() 返回的 headers 合并
+   * @param {object} req  { method, url, headers, bodyStr }
+   * @returns {object}    额外 headers，如 { Authorization, X-Sdk-Date }
+   */
+  sign(req) {
+    throw new Error(`[${this.id}] SignProvider.sign() not implemented`);
+  }
+}
+
+export class NoopSigner extends SignProvider {
+  sign() {
+    return {};
+  }
+}