museav-cli 2.5.0 → 2.8.0

package/src/index.ts

@@ -28,6 +28,9 @@ import { jobs } from './commands/jobs.js'
 import { whoami } from './commands/whoami.js'
 import { products } from './commands/products.js'
 import { assets } from './commands/assets.js'
+import { stickers, createSticker } from './commands/stickers.js'
+import { posterTemplates, createPosterTemplate } from './commands/poster-templates.js'
+import { speak, transcribeCmd } from './commands/speak.js'
 
 const pkg = JSON.parse(readFileSync(new URL('../package.json', import.meta.url), 'utf-8')) as { name: string; version: string }
 // 每 12 小时最多查一次 npm registry，过期才提示，不拖慢日常调用
@@ -184,9 +187,9 @@ program
 
 program
   .command('remove-bg <file>')
-  .description('本地抠图去背景（ISNet/U2Net + onnxruntime，免登录）：输出带 alpha 的 PNG。首次使用自动下载模型（~170MB，缓存 ~/.museav-models）')
+  .description('本地抠图去背景（BiRefNet/ISNet/U2Net + onnxruntime，免登录）：输出带 alpha 的 PNG。首次使用自动下载模型（缓存 ~/.museav-models）')
   .option('--out <path>', '输出路径（默认 <名>-nobg.png）')
-  .option('--model <name>', 'isnet（默认，质量优先）/ u2net')
+  .option('--model <name>', 'birefnet（默认，细节最好，~214MB）/ isnet / u2net')
   .option('--overwrite', '允许覆盖已存在的输出文件')
   .action(asyncRun((input: string, opts: any) => removeBgCmd(input, opts)))
 
@@ -263,7 +266,25 @@ program
 program
   .command('upload <file>')
   .description('上传素材（图片/音频/视频，按字节内容判类型；图片 8MB / 音频 20MB / 视频 50MB），stdout 输出公网直链')
-  .action(withClient((client: StudioClient, file: string) => upload(client, file)))
+  .option('--to-works', '同时收进「我的作品」（在外面做好的成品视频/图片用这个；参考图不用）')
+  .option('--workspace <id>', '归档到指定项目')
+  .action(withClient((client: StudioClient, file: string, opts: { toWorks?: boolean; workspace?: string }) =>
+    upload(client, file, { toWorks: opts.toWorks, workspace: opts.workspace })))
+
+program
+  .command('speak <text>')
+  .description('文本转语音（小米 MiMo，直连上游需 MIMO_API_KEY，不走中台身份）：stdout 输出 wav 路径')
+  .option('--out <path>', '输出路径（默认 speech-<时间戳>.wav）')
+  .option('--voice <name>', '预置音色，默认 Chloe')
+  .option('--design <desc>', '一句话描述音色，当场造一个（如「低沉沙哑的中年男声」）')
+  .option('--clone <file>', '拿这段音频当样本，克隆它的音色')
+  .option('--instruction <text>', '语气/风格指令（三种模式都可用）')
+  .action(asyncRun((text: string, opts: any) => speak(text, opts)))
+
+program
+  .command('transcribe <audio>')
+  .description('语音转文本（小米 MiMo，需 MIMO_API_KEY）：stdout 输出识别结果。同音字可能有误，重要场景请核对')
+  .action(asyncRun((audio: string) => transcribeCmd(audio)))
 
 program
   .command('models')
@@ -326,6 +347,29 @@ templatesCmd
   .option('--type <type>', '模板类型：image（图片，默认） / article（文字）')
   .action(withClient((client: StudioClient, opts: any) => createTemplate(client, opts)))
 
+const stickersCmd = program
+  .command('stickers')
+  .description('查贴图素材库（租户级资产：PNG 装饰图，叠加在海报/封面上）')
+  .action(withClient((client: StudioClient) => stickers(client)))
+
+stickersCmd
+  .command('add <file>')
+  .description('上传贴图素材（PNG 透明装饰图，不压缩保留透明通道）')
+  .requiredOption('--name <名称>', '贴图名称')
+  .action(withClient((client: StudioClient, file: string, opts: any) => createSticker(client, file, opts)))
+
+const posterTemplatesCmd = program
+  .command('poster-templates')
+  .description('查版式模板库（租户级资产：封面底图 + 固定描述，选版式把城市/明星名填进底图）')
+  .action(withClient((client: StudioClient) => posterTemplates(client)))
+
+posterTemplatesCmd
+  .command('add <file>')
+  .description('保存版式模板（封面底图 + 描述，描述里用 {城市} {明星} 占位）')
+  .requiredOption('--name <名称>', '版式名称')
+  .requiredOption('--prompt <描述>', '版式固定描述，{城市} {明星} 会自动替换')
+  .action(withClient((client: StudioClient, file: string, opts: any) => createPosterTemplate(client, file, opts)))
+
 program
   .command('products')
   .description('查所属租户自己的产品目录（数据在租户自己的后台，不在 Studio 中台；只支持已开通该接口的租户，仅租户 apiKey 身份可用）')

package/src/local-bg.ts

@@ -1,6 +1,6 @@
 /**
  * 本地抠图（去背景）—— remove-bg 的核心实现。
- * 模型走 ONNX（ISNet / U2Net，均 Apache-2.0），推理走 onnxruntime-node（MIT），
+ * 模型走 ONNX（ISNet / U2Net / BiRefNet-Lite，均 Apache-2.0），推理走 onnxruntime-node（MIT），
  * 前后处理走 sharp —— 整条链路许可证干净（imgly 那个 npm 包是 AGPL，不进依赖），
  * 且三个依赖在 macOS / Windows / Linux 都有预编译，无平台特化代码。
  * 模型文件首次使用时下载到 ~/.museav-models/ 缓存（一次性 ~170MB）。
@@ -9,24 +9,48 @@ import { mkdir, writeFile, stat } from 'node:fs/promises'
 import { join } from 'node:path'
 import { homedir } from 'node:os'
 
+/**
+ * 每个模型的输入尺寸与归一化参数**都不一样**，必须随模型带着走。
+ * 取值对齐 rembg 的 session 定义（sessions/dis_general_use.py、sessions/u2net.py）：
+ *   isnet-general-use → resize 1024，mean (0.5,0.5,0.5)  std (1,1,1)
+ *   u2net             → resize  320，mean ImageNet        std ImageNet
+ * 用错任何一项都不会报错，只会安静地输出一张糊掉的 mask —— 这是最难查的那种 bug。
+ */
 export const BG_MODELS = {
   isnet: {
     file: 'isnet-general-use.onnx',
     // rembg 官方 release 托管的同一份模型（Apache-2.0，源自 xuebinqin/DIS）
     url: 'https://github.com/danielgatis/rembg/releases/download/v0.0.0/isnet-general-use.onnx',
     label: 'ISNet（通用，质量优先）',
+    edge: 1024,
+    mean: [0.5, 0.5, 0.5] as const,
+    std: [1.0, 1.0, 1.0] as const,
   },
   u2net: {
     file: 'u2net.onnx',
     url: 'https://github.com/danielgatis/rembg/releases/download/v0.0.0/u2net.onnx',
     label: 'U2Net（经典通用）',
+    edge: 320,
+    mean: [0.485, 0.456, 0.406] as const,
+    std: [0.229, 0.224, 0.225] as const,
+  },
+  birefnet: {
+    file: 'birefnet-general-lite.onnx',
+    url: 'https://github.com/danielgatis/rembg/releases/download/v0.0.0/BiRefNet-general-bb_swin_v1_tiny-epoch_232.onnx',
+    label: 'BiRefNet-Lite（细节最好，毛发/低对比度主体优先用它）',
+    edge: 1024,
+    mean: [0.485, 0.456, 0.406] as const,
+    std: [0.229, 0.224, 0.225] as const,
+    // BiRefNet 输出的是 logits，要先过 sigmoid 才是概率；ISNet/U2Net 的输出已经是 0-1 区间。
+    // 漏掉这步不会报错，只会得到一张几乎全是半透明的 mask。
+    sigmoid: true,
+    size: 214, // MB，下载提示用
   },
 } as const
 
 export type BgModelKey = keyof typeof BG_MODELS
 
 const MODEL_DIR = join(homedir(), '.museav-models')
-const INPUT_EDGE = 1024
 
 function modelPath(key: BgModelKey): string {
   return join(MODEL_DIR, BG_MODELS[key].file)
@@ -43,7 +67,8 @@ export async function ensureBgModel(key: BgModelKey): Promise<string> {
   }
   await mkdir(MODEL_DIR, { recursive: true })
   const def = BG_MODELS[key]
-  process.stderr.write(`↓ 首次使用，下载 ${def.label}（~170MB，一次性，缓存到 ${MODEL_DIR}）...\n`)
+  const mb = 'size' in def ? `~${def.size}MB` : '~170MB'
+  process.stderr.write(`↓ 首次使用，下载 ${def.label}（${mb}，一次性，缓存到 ${MODEL_DIR}）...\n`)
   const resp = await fetch(def.url)
   if (!resp.ok || !resp.body) throw new Error(`模型下载失败 HTTP ${resp.status}：${def.url}`)
   const total = Number(resp.headers.get('content-length') || 0)
@@ -81,40 +106,63 @@ export async function removeBackgroundLocal(inputPath: string, modelKey: BgModel
   const { data: rgb, info } = await sharp(inputPath).rotate().removeAlpha().raw().toBuffer({ resolveWithObject: true })
   if (info.channels !== 3) throw new Error(`预处理得到 ${info.channels} 通道（预期 3）`)
 
-  // ── 模型输入：拉伸到 1024×1024，(x/255 - 0.5)/0.5 归一化，HWC → CHW ──
+  // ── 模型输入：按该模型的 edge 拉伸，(x/max - mean)/std 归一化，HWC → CHW ──
+  const def = BG_MODELS[modelKey]
+  const edge = def.edge
   const small = await sharp(rgb, { raw: { width: info.width, height: info.height, channels: 3 } })
-    .resize(INPUT_EDGE, INPUT_EDGE, { fit: 'fill' })
+    .resize(edge, edge, { fit: 'fill', kernel: 'lanczos3' })
     .raw()
     .toBuffer()
-  const f32 = new Float32Array(3 * INPUT_EDGE * INPUT_EDGE)
-  const N = INPUT_EDGE * INPUT_EDGE
+  // 分母是「这张图的最大像素值」而不是固定 255 —— 对齐 rembg 的 im_ary / max(im_ary)。
+  // 整体偏暗的图用 255 归一化会让输入分布整体偏小，mask 跟着糊。
+  let peak = 0
+  for (let i = 0; i < small.length; i++) if (small[i] > peak) peak = small[i]
+  const scale = Math.max(peak, 1e-6)
+  const N = edge * edge
+  const f32 = new Float32Array(3 * N)
   for (let i = 0; i < N; i++) {
-    f32[i] = (small[i * 3] / 255 - 0.5) / 0.5
-    f32[N + i] = (small[i * 3 + 1] / 255 - 0.5) / 0.5
-    f32[2 * N + i] = (small[i * 3 + 2] / 255 - 0.5) / 0.5
+    f32[i] = (small[i * 3] / scale - def.mean[0]) / def.std[0]
+    f32[N + i] = (small[i * 3 + 1] / scale - def.mean[1]) / def.std[1]
+    f32[2 * N + i] = (small[i * 3 + 2] / scale - def.mean[2]) / def.std[2]
   }
   const feeds: Record<string, import('onnxruntime-node').Tensor> = {}
-  feeds[session.inputNames[0]] = new ort.Tensor('float32', f32, [1, 3, INPUT_EDGE, INPUT_EDGE])
+  feeds[session.inputNames[0]] = new ort.Tensor('float32', f32, [1, 3, edge, edge])
   const results = await session.run(feeds)
   const out = results[session.outputNames[0]]
   const maskFlat = out.data as Float32Array
   if (maskFlat.length < N) throw new Error(`模型输出尺寸异常（${maskFlat.length}）`)
 
-  // ── 后处理：min-max 归一化到 0-255，再缩回原图尺寸 ──
+  // ── 后处理：（按模型）sigmoid → min-max 归一化到 0-255 → 缩回原图尺寸 ──
+  const needSigmoid = 'sigmoid' in def && def.sigmoid
+  const prob = new Float32Array(N)
+  for (let i = 0; i < N; i++) {
+    prob[i] = needSigmoid ? 1 / (1 + Math.exp(-maskFlat[i])) : maskFlat[i]
+  }
   let lo = Infinity
   let hi = -Infinity
   for (let i = 0; i < N; i++) {
-    const v = maskFlat[i]
+    const v = prob[i]
     if (v < lo) lo = v
     if (v > hi) hi = v
   }
   const range = hi - lo || 1
   const mask8 = Buffer.alloc(N)
-  for (let i = 0; i < N; i++) mask8[i] = Math.round(((maskFlat[i] - lo) / range) * 255)
-  const maskFull = await sharp(mask8, { raw: { width: INPUT_EDGE, height: INPUT_EDGE, channels: 1 } })
-    .resize(info.width, info.height, { fit: 'fill' })
+  for (let i = 0; i < N; i++) {
+    const v = (prob[i] - lo) / range
+    mask8[i] = Math.round(Math.min(1, Math.max(0, v)) * 255) // clip(0,1) 对齐 rembg
+  }
+  // ⚠️ sharp 对单通道 raw 做 resize 后会吐出 3 通道（灰度被展开成 RGB）。
+  // 按单通道去索引 maskFull[i] 就会以 1/3 的步长错位采样，输出一张隔行残影的图 ——
+  // 不报错、不崩，只是抠出来的东西是条纹状的。所以这里既强制灰度色彩空间，
+  // 又用实际返回的 channels 来索引，两道保险。
+  const { data: maskFull, info: maskInfo } = await sharp(mask8, {
+    raw: { width: edge, height: edge, channels: 1 },
+  })
+    .resize(info.width, info.height, { fit: 'fill', kernel: 'lanczos3' })
+    .toColourspace('b-w')
     .raw()
-    .toBuffer()
+    .toBuffer({ resolveWithObject: true })
+  const maskStride = maskInfo.channels || 1
 
   // ── alpha 合成：直接构造 RGBA（alpha = mask），不依赖 composite 的混合语义 ──
   const w = info.width
@@ -124,7 +172,7 @@ export async function removeBackgroundLocal(inputPath: string, modelKey: BgModel
     rgba[i * 4] = rgb[i * 3]
     rgba[i * 4 + 1] = rgb[i * 3 + 1]
     rgba[i * 4 + 2] = rgb[i * 3 + 2]
-    rgba[i * 4 + 3] = maskFull[i]
+    rgba[i * 4 + 3] = maskFull[i * maskStride]
   }
   return sharp(rgba, { raw: { width: w, height: h, channels: 4 } }).png().toBuffer()
 }

package/src/mimo-speech.ts

@@ -0,0 +1,139 @@
+/**
+ * 小米 MiMo 语音能力（合成 / 音色设计 / 音色克隆 / 识别）—— 直连上游，不经中台。
+ *
+ * 为什么直连：中台的出音链路还没接完（media_type=audio 的路由与落盘在做），而这批能力
+ * 目前只给内部用、不开放给租户。CLI 直连能立刻用上，也天然不会漏给租户——租户手里
+ * 没有这把 key。等中台接完再决定要不要把 CLI 切过去。
+ *
+ * ⚠️ 协议层的真源是 museav-manager 的 `shared/mimo-audio.js`（那边有 11 个单测钉着）。
+ * 这里是 TS 副本，**改协议要同步两边**。复制而不是共享的原因：CLI 是独立发布的 npm 包，
+ * 跨仓 import 会把中台仓变成它的构建依赖。
+ *
+ * ## 四个反直觉的点（实测踩出来的，写错不会报错，只是拿不到音频）
+ *
+ * 1. 合成**不走 /v1/audio/speech**。OpenAI 那套音频端点这边一个都没有（试了七个全 404），
+ *    四种能力共用 `/v1/chat/completions`，靠 model 区分。
+ * 2. **待合成文本放 assistant 角色**，user 放音色指令。反过来写会得到一段「回答」而不是朗读。
+ * 3. 音频是 **base64** 回在 `message.audio.data`，不是二进制流。
+ * 4. 识别的输入音频在 user 的 content **数组**里（`type: 'input_audio'`），且要裸 base64。
+ *
+ * key 走 MIMO_API_KEY 环境变量（跟 OLLAMA_HOST / MUSEAV_LOCAL_VLM 一个路子），不进
+ * ~/.museav.json —— 那个文件存的是中台身份，跟这个上游是两回事。
+ */
+import { readFile } from 'node:fs/promises'
+
+/** 专属 Base URL。换端点用 MIMO_BASE_URL，不用改代码 */
+const BASE = (process.env.MIMO_BASE_URL || 'https://token-plan-cn.xiaomimimo.com/v1').replace(/\/+$/, '')
+
+const MODELS = {
+  tts: 'mimo-v2.5-tts',
+  design: 'mimo-v2.5-tts-voicedesign',
+  clone: 'mimo-v2.5-tts-voiceclone',
+  asr: 'mimo-v2.5-asr',
+} as const
+
+/** 默认预置音色。上游没有「列出音色」的接口，这个是文档给出且实测可用的 */
+export const DEFAULT_VOICE = 'Chloe'
+
+export function mimoKey(): string {
+  const key = process.env.MIMO_API_KEY || ''
+  if (!key) {
+    throw new Error(
+      '缺少 MIMO_API_KEY。语音能力直连小米 MiMo，不走中台身份：\n'
+      + '  export MIMO_API_KEY=...        或\n'
+      + '  cs kyvault run --env MIMO_API_KEY=secret://mimo/api-key -- museav speak ...',
+    )
+  }
+  return key
+}
+
+async function call(body: unknown): Promise<any> {
+  const res = await fetch(`${BASE}/chat/completions`, {
+    method: 'POST',
+    headers: { Authorization: `Bearer ${mimoKey()}`, 'Content-Type': 'application/json' },
+    body: JSON.stringify(body),
+  })
+  const text = await res.text()
+  if (!res.ok) throw new Error(`上游 HTTP ${res.status}：${text.slice(0, 200)}`)
+  let data: any
+  try { data = JSON.parse(text) } catch { throw new Error(`上游返回不是 JSON：${text.slice(0, 200)}`) }
+  if (data?.error) throw new Error(data.error.message || String(data.error))
+  if (!Array.isArray(data?.choices) || !data.choices.length) throw new Error('上游返回里没有 choices')
+  return data
+}
+
+export interface SpeakOptions {
+  /** 预置音色名（默认 Chloe）。与 design / clonePath 互斥 */
+  voice?: string
+  /** 一句话描述音色 → 走音色设计 */
+  design?: string
+  /** 音色样本音频路径 → 走音色克隆 */
+  clonePath?: string
+  /** 风格/语气指令。三种模式都能用 */
+  instruction?: string
+}
+
+/** 合成的三种模式。asr 不在里面——它是识别，不由 speechMode 决定 */
+export type SpeechMode = 'tts' | 'design' | 'clone'
+
+/** 用哪种模式，取决于给了什么参数——克隆 > 设计 > 预置音色 */
+export function speechMode(opts: SpeakOptions): SpeechMode {
+  if (opts.clonePath) return 'clone'
+  if (opts.design) return 'design'
+  return 'tts'
+}
+
+/**
+ * 合成语音，返回 WAV 数据。
+ * @param text 要读出来的文本
+ */
+export async function synthesize(text: string, opts: SpeakOptions = {}): Promise<Buffer> {
+  const content = String(text || '').trim()
+  if (!content) throw new Error('要合成的文本是空的')
+
+  const mode = speechMode(opts)
+  const messages: Array<{ role: string; content: string }> = []
+  // user 放指令：设计模式靠它定义音色，其余模式靠它调语气
+  const instruction = mode === 'design' ? opts.design : opts.instruction
+  if (instruction) messages.push({ role: 'user', content: instruction })
+  // 待合成文本必须是 assistant，见文件头第 2 条
+  messages.push({ role: 'assistant', content })
+
+  const audio: Record<string, string> = { format: 'wav' }
+  if (mode === 'clone') {
+    const buf = await readFile(opts.clonePath as string)
+    audio.voice = `data:audio/wav;base64,${buf.toString('base64')}`
+  } else if (mode === 'tts') {
+    audio.voice = opts.voice || DEFAULT_VOICE
+  }
+
+  const data = await call({ model: MODELS[mode], messages, audio })
+  const b64 = data.choices[0]?.message?.audio?.data
+  if (!b64) throw new Error('上游没有返回音频（audio.data 为空）')
+  return Buffer.from(b64, 'base64')
+}
+
+/**
+ * 识别音频里的文字。
+ *
+ * ⚠️ 质量有波动：同一段合成音频两次实测，一次「声影成诗，一念成相」（同音字级别），
+ * 一次「上庸城失，一面呈象」（整句都错）。别把结果直接当可信文本用在计费或入库口径上。
+ */
+export async function transcribe(audioPath: string): Promise<string> {
+  const buf = await readFile(audioPath)
+  const format = /\.(wav|mp3|m4a|flac|ogg|pcm)$/i.exec(audioPath)?.[1]?.toLowerCase() || 'wav'
+  const data = await call({
+    model: MODELS.asr,
+    messages: [{ role: 'user', content: [{ type: 'input_audio', input_audio: { data: buf.toString('base64'), format } }] }],
+  })
+  const text = data.choices[0]?.message?.content
+  if (typeof text !== 'string' || !text.trim()) throw new Error('上游没有返回识别文本')
+  return text.trim()
+}
+
+/** WAV 时长（秒），用于给用户一个「出了多长」的反馈。头部损坏时返回 null 而不是抛错 */
+export function wavSeconds(buf: Buffer): number | null {
+  if (buf.length < 44 || buf.subarray(0, 4).toString() !== 'RIFF') return null
+  const byteRate = buf.readUInt32LE(28)
+  return byteRate > 0 ? (buf.length - 44) / byteRate : null
+}