museav-cli 2.2.0 → 2.3.0

package/src/index.ts

@@ -15,6 +15,8 @@ import { bindFeishu } from './commands/bind-feishu.js'
 import { printWelcome } from './commands/welcome.js'
 import { gen } from './commands/gen.js'
 import { reverse } from './commands/reverse.js'
+import { compressCmd, removeBgCmd } from './commands/img-tools.js'
+import { projects, createProject, listAssets, addAsset, removeAsset, resolveWorkspace } from './commands/projects.js'
 import { imageToTemplate } from './commands/image-to-template.js'
 import { upload } from './commands/upload.js'
 import { models } from './commands/models.js'
@@ -109,6 +111,18 @@ function withLazyClient(fn: (getClient: () => StudioClient, ...args: any[]) => P
   }
 }
 
+// 本地命令（compress / remove-bg 等）：不碰中台、不需要任何凭证，只包一层统一的错误出口
+function asyncRun(fn: (...args: any[]) => Promise<any>) {
+  return async (...args: any[]) => {
+    try {
+      await fn(...args)
+    } catch (e) {
+      process.stderr.write(`❌ ${(e as Error).message}\n`)
+      process.exit(1)
+    }
+  }
+}
+
 // products / assets 查的是租户自己后台的数据，不是 Studio 中台的，走独立的 TenantClient
 // （见 tenant-client.ts 顶部注释），只支持租户 apiKey 身份，不支持个人 login token。
 function withTenantClient<T extends (...args: any[]) => Promise<any>>(fn: T) {
@@ -155,8 +169,61 @@ program
   .option('--video', '生成视频（走 /api/videos 链路；模型档次如 artsdance-2-0-pro-260801，不传 --model 走 auto 路由）')
   .option('--duration <sec>', '视频时长（秒，仅 --video；由模型与上游支持范围决定）', (v) => Number(v))
   .option('--image <file>', '图生视频首帧图（仅 --video，自动上传）')
+  .option('--project <id|名>', '归档进该工作区（museav projects 查；账户身份才生效）')
   .action(withClient((client: StudioClient, opts: any) => gen(client, opts)))
 
+program
+  .command('compress <file>')
+  .description('本地压缩图片（sharp，免登录）：默认同目录 <名>-min.<格式>，不覆写原文件')
+  .option('--out <path>', '输出路径（默认 <名>-min.<格式>）')
+  .option('--max-edge <px>', '最长边缩到该像素（等比，inside）')
+  .option('--quality <1-100>', 'jpg/webp 质量，默认 82')
+  .option('--format <fmt>', '输出格式 jpg / png / webp（默认跟随原格式）')
+  .option('--overwrite', '允许覆盖已存在的输出文件')
+  .action(asyncRun((input: string, opts: any) => compressCmd(input, opts)))
+
+program
+  .command('remove-bg <file>')
+  .description('本地抠图去背景（ISNet/U2Net + onnxruntime，免登录）：输出带 alpha 的 PNG。首次使用自动下载模型（~170MB，缓存 ~/.museav-models）')
+  .option('--out <path>', '输出路径（默认 <名>-nobg.png）')
+  .option('--model <name>', 'isnet（默认，质量优先）/ u2net')
+  .option('--overwrite', '允许覆盖已存在的输出文件')
+  .action(asyncRun((input: string, opts: any) => removeBgCmd(input, opts)))
+
+// 工作区（项目）与项目素材库：平台 → 账户 → 工作区三层归属，素材挂工作区
+const projectsCmd = program
+  .command('projects')
+  .description('工作区（项目）管理：一个账户多个工作区，每个工作区有自己的素材库（人像库/产品库各管各的业务）')
+  .action(withClient((client: StudioClient) => projects(client)))
+
+projectsCmd
+  .command('create')
+  .description('新建工作区（每账户最多 5 个）')
+  .requiredOption('--name <name>', '工作区名称（最多 20 字）')
+  .action(withClient((client: StudioClient, opts: any) => createProject(client, opts)))
+
+const assetsCmd = projectsCmd
+  .command('assets')
+  .description('项目素材库：列出 / 上传 / 删除该工作区的素材（垫图母版，不压缩）')
+
+assetsCmd
+  .description('列工作区素材库')
+  .option('--project <id|名>', '工作区 id 或名称（必填，不传会明确报错）')
+  .action(withClient((client: StudioClient, opts: any) => listAssets(client, opts)))
+
+assetsCmd
+  .command('add <file>')
+  .description('上传素材进工作区素材库（图片/音频/视频，按字节判型；母版不压缩）')
+  .requiredOption('--project <id|名>', '工作区 id 或名称')
+  .option('--name <name>', '素材名，如「白T正面」')
+  .option('--tag <tag>', '标签，可重复（产品 / 人像 / 场景…）', (v: string, acc: string[]) => [...acc, v], [] as string[])
+  .action(withClient((client: StudioClient, file: string, opts: any) => addAsset(client, file, opts)))
+
+assetsCmd
+  .command('rm <id>')
+  .description('删除素材（硬删：R2 对象 + 记录）')
+  .action(withClient((client: StudioClient, id: string) => removeAsset(client, { id })))
+
 program
   .command('reverse <input>')
   .description('读图：反推 SCULPT prompt，stdout 输出英文 prompt。主路本地 Ollama（qwen3-vl，快，无需登录）；本地不可用回落中台 API（会提示较慢）。只读图；要做成模板用 image-to-template')
@@ -255,9 +322,10 @@ program
 
 program
   .command('jobs')
-  .description('查自己名下的出图工作流（个人 login 看自己的；租户 apiKey 看业务下全部）——服务端固定返回最近 50 条，limit/status 是本地过滤')
+  .description('查自己名下的出图工作流（个人 login 看自己的；租户 apiKey 看业务下全部）——服务端固定返回最近 50 条，limit/status/project 是本地过滤')
   .option('--limit <n>', '最多显示几条（在最近 50 条以内截取），默认 20', '20')
   .option('--status <status>', '按状态过滤: pending / processing / done / failed（本地过滤，不是服务端查询）')
+  .option('--project <id|名>', '只看归档进该工作区的任务（本地过滤）')
   .action(withClient((client: StudioClient, opts: any) => jobs(client, opts)))
 
 program

package/src/local-bg.ts

@@ -0,0 +1,142 @@
+/**
+ * 本地抠图（去背景）—— remove-bg 的核心实现。
+ * 模型走 ONNX（ISNet / U2Net，均 Apache-2.0），推理走 onnxruntime-node（MIT），
+ * 前后处理走 sharp —— 整条链路许可证干净（imgly 那个 npm 包是 AGPL，不进依赖），
+ * 且三个依赖在 macOS / Windows / Linux 都有预编译，无平台特化代码。
+ * 模型文件首次使用时下载到 ~/.museav-models/ 缓存（一次性 ~170MB）。
+ */
+import { mkdir, writeFile, stat } from 'node:fs/promises'
+import { join } from 'node:path'
+import { homedir } from 'node:os'
+
+export const BG_MODELS = {
+  isnet: {
+    file: 'isnet-general-use.onnx',
+    // rembg 官方 release 托管的同一份模型（Apache-2.0，源自 xuebinqin/DIS）
+    url: 'https://github.com/danielgatis/rembg/releases/download/v0.0.0/isnet-general-use.onnx',
+    label: 'ISNet（通用，质量优先）',
+  },
+  u2net: {
+    file: 'u2net.onnx',
+    url: 'https://github.com/danielgatis/rembg/releases/download/v0.0.0/u2net.onnx',
+    label: 'U2Net（经典通用）',
+  },
+} as const
+
+export type BgModelKey = keyof typeof BG_MODELS
+
+const MODEL_DIR = join(homedir(), '.museav-models')
+const INPUT_EDGE = 1024
+
+function modelPath(key: BgModelKey): string {
+  return join(MODEL_DIR, BG_MODELS[key].file)
+}
+
+/** 模型在位返回路径；不在则下载（流式，进度打 stderr）。下载失败抛 Error */
+export async function ensureBgModel(key: BgModelKey): Promise<string> {
+  const dest = modelPath(key)
+  try {
+    const s = await stat(dest)
+    if (s.size > 10_000_000) return dest // 正常模型都是百 MB 级；太小的文件视为残缺重下
+  } catch {
+    // 不存在，走下载
+  }
+  await mkdir(MODEL_DIR, { recursive: true })
+  const def = BG_MODELS[key]
+  process.stderr.write(`↓ 首次使用，下载 ${def.label}（~170MB，一次性，缓存到 ${MODEL_DIR}）...\n`)
+  const resp = await fetch(def.url)
+  if (!resp.ok || !resp.body) throw new Error(`模型下载失败 HTTP ${resp.status}：${def.url}`)
+  const total = Number(resp.headers.get('content-length') || 0)
+  const chunks: Buffer[] = []
+  let got = 0
+  const reader = resp.body.getReader()
+  for (;;) {
+    const { done, value } = await reader.read()
+    if (done) break
+    chunks.push(Buffer.from(value))
+    got += value.length
+    if (total) process.stderr.write(`  ${((got / total) * 100).toFixed(0)}%\r`)
+  }
+  process.stderr.write('\n')
+  const buf = Buffer.concat(chunks)
+  if (buf.length < 10_000_000) throw new Error('模型下载不完整，请重试')
+  await writeFile(dest, buf)
+  return dest
+}
+
+/** 抠图主流程：输入图片路径 → 输出带 alpha 的 PNG Buffer */
+export async function removeBackgroundLocal(inputPath: string, modelKey: BgModelKey): Promise<Buffer> {
+  // 动态加载：onnxruntime-node 是 optionalDependency，缺失时给安装指引而不是崩
+  let ort: typeof import('onnxruntime-node')
+  try {
+    ort = await import('onnxruntime-node')
+  } catch {
+    throw new Error('onnxruntime-node 不可用。重装 CLI 即可补上：npm install -g museav-cli')
+  }
+  const sharp = await loadSharpOrThrow()
+  const modelFile = await ensureBgModel(modelKey)
+  const session = await ort.InferenceSession.create(modelFile)
+
+  // ── 预处理：EXIF 转正、去 alpha、RGB raw ──
+  const { data: rgb, info } = await sharp(inputPath).rotate().removeAlpha().raw().toBuffer({ resolveWithObject: true })
+  if (info.channels !== 3) throw new Error(`预处理得到 ${info.channels} 通道（预期 3）`)
+
+  // ── 模型输入：拉伸到 1024×1024，(x/255 - 0.5)/0.5 归一化，HWC → CHW ──
+  const small = await sharp(rgb, { raw: { width: info.width, height: info.height, channels: 3 } })
+    .resize(INPUT_EDGE, INPUT_EDGE, { fit: 'fill' })
+    .raw()
+    .toBuffer()
+  const f32 = new Float32Array(3 * INPUT_EDGE * INPUT_EDGE)
+  const N = INPUT_EDGE * INPUT_EDGE
+  for (let i = 0; i < N; i++) {
+    f32[i] = (small[i * 3] / 255 - 0.5) / 0.5
+    f32[N + i] = (small[i * 3 + 1] / 255 - 0.5) / 0.5
+    f32[2 * N + i] = (small[i * 3 + 2] / 255 - 0.5) / 0.5
+  }
+  const feeds: Record<string, import('onnxruntime-node').Tensor> = {}
+  feeds[session.inputNames[0]] = new ort.Tensor('float32', f32, [1, 3, INPUT_EDGE, INPUT_EDGE])
+  const results = await session.run(feeds)
+  const out = results[session.outputNames[0]]
+  const maskFlat = out.data as Float32Array
+  if (maskFlat.length < N) throw new Error(`模型输出尺寸异常（${maskFlat.length}）`)
+
+  // ── 后处理：min-max 归一化到 0-255，再缩回原图尺寸 ──
+  let lo = Infinity
+  let hi = -Infinity
+  for (let i = 0; i < N; i++) {
+    const v = maskFlat[i]
+    if (v < lo) lo = v
+    if (v > hi) hi = v
+  }
+  const range = hi - lo || 1
+  const mask8 = Buffer.alloc(N)
+  for (let i = 0; i < N; i++) mask8[i] = Math.round(((maskFlat[i] - lo) / range) * 255)
+  const maskFull = await sharp(mask8, { raw: { width: INPUT_EDGE, height: INPUT_EDGE, channels: 1 } })
+    .resize(info.width, info.height, { fit: 'fill' })
+    .raw()
+    .toBuffer()
+
+  // ── alpha 合成：直接构造 RGBA（alpha = mask），不依赖 composite 的混合语义 ──
+  const w = info.width
+  const h = info.height
+  const rgba = Buffer.alloc(w * h * 4)
+  for (let i = 0; i < w * h; i++) {
+    rgba[i * 4] = rgb[i * 3]
+    rgba[i * 4 + 1] = rgb[i * 3 + 1]
+    rgba[i * 4 + 2] = rgb[i * 3 + 2]
+    rgba[i * 4 + 3] = maskFull[i]
+  }
+  return sharp(rgba, { raw: { width: w, height: h, channels: 4 } }).png().toBuffer()
+}
+
+async function loadSharpOrThrow(): Promise<any> {
+  try {
+    const m = await import('sharp')
+    const sharp = (m as any).default ?? m
+    // 造 1px 图跑通全链路：native binding 坏了在第一次真用时才炸，这里提前暴露
+    await sharp({ create: { width: 1, height: 1, channels: 3, background: '#000' } }).raw().toBuffer()
+    return sharp
+  } catch {
+    throw new Error('sharp 不可用。重装 CLI 即可补上：npm install -g museav-cli')
+  }
+}

package/src/local-vision.ts

@@ -28,6 +28,13 @@ export interface LocalVlmStatus {
   reason?: string
 }
 
+// 各系统启动 Ollama 的正确姿势不同，提示语跟着平台走（Windows 没有 brew）
+function ollamaStartHint(): string {
+  if (process.platform === 'win32') return '启动 Ollama 应用（开始菜单 / Ollama.exe），或命令行运行 ollama serve'
+  if (process.platform === 'darwin') return 'brew services start ollama，或 ollama serve'
+  return 'systemctl --user start ollama，或 ollama serve'
+}
+
 /** 探活 + 模型在位检查。3 秒探不通就是没起服务，不等推理超时才发现 */
 export async function checkLocalVlm(): Promise<LocalVlmStatus> {
   const host = ollamaHost()
@@ -43,7 +50,7 @@ export async function checkLocalVlm(): Promise<LocalVlmStatus> {
     }
     return { running: true, modelPresent: true, host }
   } catch {
-    return { running: false, modelPresent: false, host, reason: `Ollama 未运行（${host}），启动: ollama serve 或 brew services start ollama` }
+    return { running: false, modelPresent: false, host, reason: `Ollama 未运行（${host}），${ollamaStartHint()}` }
   }
 }