@pls-compile-owo/fisheye 0.3.0 → 0.4.2

package/lib/stages.mjs

@@ -5,11 +5,13 @@ import path from 'node:path'
 import crypto from 'node:crypto'
 import { execFileSync, spawnSync } from 'node:child_process'
 import { spamReason, filterDanmaku } from '../danmaku-filter.mjs'
-import { PKG_DIR, WS, CACHE, OUT, CFG_FILE, LOCAL_CFG, onPath, resolveTool, FFMPEG, PYTHON, CRED } from './env.mjs'
+import { PKG_DIR, WS, CACHE, OUT, CFG_FILE, LOCAL_CFG, onPath, resolveTool, FFMPEG, PYTHON, PYTHON_RES, CRED } from './env.mjs'
 import { fmt, fsec, jpegSize, fail, num, gridStr, parseTime, pageNum } from './util.mjs'
 import { UA, cred, H, getView, MIXIN_TAB, keyOf, clean, getOfficialSubs, looksLikeMp4, ensureMp4, getDanmaku } from './bili.mjs'
 import { detectScenes, subtractAds, pickTimes, snapSubsTimes, detectBand, grabFrame, runCapture } from './frame.mjs'
+import { audioCaps } from './audio.mjs'
 import { AD_SEGMENT_SIGNAL, detectAdSegments, summarizeDanmaku } from './danmaku.mjs'
+import { estimateTokens, tokensPerUnit, modelFactor, COST } from './budget.mjs'
 
 export async function stageGrid(bvid, chunkSec, grid, pre = {}) {
   const pageNo = pre.page ?? 1
@@ -276,7 +278,11 @@ export async function stageSubs(bvid, count, bandArg, pre = {}) {
 // 平衡原则：先保「看懂所需的最低帧密度」，再在剩余预算里加张数；
 // 预算不够时诚实降级并报告，而不是悄悄变稀。
 
-export const COST = { grid: 1200, subs: 1000, fine: 1300 } // 单张成本估算（token）
+// 单张成本不再写死：统一走 lib/budget.mjs 的 estimateTokens(kind, count)。
+// 默认基准仍是 grid 1200 / subs 1000 / fine 1300（与旧版完全一致），
+// 但支持 FISHEYE_TOKENS_PER_* 覆盖与 FISHEYE_TOKEN_MODEL 模型系数。
+// COST 保留导出只为兼容旧的外部引用，内部不再直接乘它（它看不到环境变量）。
+export { COST }
 
 export const MAX_GRIDS = 12                                  // 拼图张数硬上限，防长视频失控
 
@@ -312,7 +318,7 @@ export async function stageSelftest(opts = {}) {
   else {
     const r = runCapture(PYTHON, ['--version'], 10000)
     if (r.ok) rec('OK', 'python', r.out.trim())
-    else rec('!!', 'python', `无法执行（来源 ${PYTHON_RES?.from ?? '?'}）：${r.err.slice(0, 50)}`)
+    else rec('--', 'python', `无法执行（${PYTHON_RES?.from ?? '?'}，可能是 Windows 商店占位符）——字幕带功能降级`)
   }
 
   // 4) analyze_subs.py
@@ -356,6 +362,10 @@ export async function stageSelftest(opts = {}) {
       const subs = await getOfficialSubs(testBv, cid, null)
       rec(subs ? 'OK' : '--', '官方字幕 API', subs ? `${subs.quality} / ${subs.lines} 行 / ${subs.chars} 字` : '这条视频无字幕轨（不影响，会用字幕带或画面）')
     } catch (e) { rec('!!', '官方字幕 API', String(e.message).slice(0, 50)) }
+  try {
+    const audio = audioCaps()
+    rec(audio.available ? 'OK' : '--', '音频转写', audio.summary)
+  } catch (e) { rec('!!', '音频转写', String(e.message).slice(0, 50)) }
   } else {
     rec('--', '弹幕/字幕 API', '视频 API 不可用，跳过')
   }
@@ -452,16 +462,21 @@ export async function stageAuto(bvid, budget, opts = {}) {
   if (range) console.log(`[区间] 只处理 ${fmt(range.from)}-${fmt(range.to)}（${duration.toFixed(0)}s / 全片 ${fullDuration}s）`)
   if (pageCount > 1 && pageNo === 1) console.log(`[提示] 多P 视频，本次只处理 P1；要处理别的分P 用 --p N`)
 
-  // 拼图 token 按实际画面比例修正：COST.grid 以 1920x1080 拼图为基准，
+  // 拼图 token 按实际画面比例修正：estimateTokens('grid', 1) 以 16:9（约 1920x1080）拼图为基准，
   // 方形/竖屏视频的拼图面积大得多（1920x1920 贵 78%，竖屏贵 3 倍+），不算清楚会误导预算决策
   const dim = view.dimension ?? {}
   const vw = Number(dim.width) || 1280
   const vh = Number(dim.height) || 720
   const cellH = Math.round((640 * vh) / Math.max(vw, 1))
   const sheetPx = 640 * 3 * (cellH * 3)
-  const gridCost = Math.max(300, Math.round((COST.grid * sheetPx) / (1920 * 1080)))
+  const gridBase = estimateTokens('grid', 1)
+  const gridCost = Math.max(300, Math.round((gridBase * sheetPx) / (1920 * 1080)))
+  const factor = modelFactor()
+  if (factor !== 1) {
+    console.log(`[预算] 模型系数 ×${factor}（FISHEYE_TOKEN_MODEL，按该 tokenizer 的图像成本修正）`)
+  }
   if (Math.abs(sheetPx / (1920 * 1080) - 1) > 0.25) {
-    console.log(`[比例] 画面 ${vw}x${vh} → 拼图 ${640 * 3}x${cellH * 3}，单张约 ${gridCost} token（基准 1200 已按面积修正）`)
+    console.log(`[比例] 画面 ${vw}x${vh} → 拼图 ${640 * 3}x${cellH * 3}，单张约 ${gridCost} token（基准 ${gridBase} 已按面积修正）`)
   }
 
   // 1. 内容变化率：只统计所处理区间内的显著变化（score≥0.3）
@@ -488,6 +503,11 @@ export async function stageAuto(bvid, budget, opts = {}) {
     if (officialRaw) {
       console.log(`[字幕] 官方字幕质量差（平均有效 ${officialRaw.avgEff} 字/行、去重率 ${officialRaw.uniqueRatio}）——疑为音乐/音效噪声，不采用`)
     }
+    try {
+      const audio = audioCaps()
+      if (audio.available) console.log('[音频] whisper 可用：如需台词文本，可先转写（详见 README 环境变量）')
+      else console.log('[音频] 转写不可用：' + audio.hint)
+    } catch {}
     // 传 fullDuration 而不是区间长度：字幕位置是视频级属性，采样必须跨全片
     bandResult = detectBand(mp4, fullDuration)
     // 置信度门槛：抖音式动态字幕（位置漂移 / 不是每帧都有）检测出来的「带」其实是画面内容，
@@ -551,10 +571,11 @@ export async function stageAuto(bvid, budget, opts = {}) {
   const framesNeeded = Math.ceil(duration / maxGap)
   const minGrids = Math.max(1, Math.ceil(framesNeeded / 9))
 
-  const subsCost = official ? Math.round(official.chars) : hasSubs ? COST.subs : 0
+  const subsCost = official ? Math.round(official.chars) : hasSubs ? estimateTokens('subs', 1) : 0
   const subsRows = duration <= 180 ? 14 : duration <= 600 ? 20 : 24
   const minFine = (official || hasSubs) ? 2 : 3   // 字幕已在手，精读需求自然变少
-  const fixedCost = subsCost + minFine * COST.fine
+  const fineReserve = estimateTokens('fine', minFine)
+  const fixedCost = subsCost + fineReserve
   const maxGridsByBudget = Math.max(1, Math.floor((budget - fixedCost) / gridCost))
 
   let gridCount = minGrids
@@ -573,10 +594,10 @@ export async function stageAuto(bvid, budget, opts = {}) {
   const actualGap = duration / (gridCount * 9)
 
   // 5. 报告
-  const estTotal = subsCost + gridCount * gridCost + minFine * COST.fine
+  const estTotal = subsCost + gridCount * gridCost + fineReserve
   console.log(`[张数] 密度需要 ${minGrids} 张，预算允许 ${maxGridsByBudget} 张 → 采用 ${gridCount} 张`)
   console.log(`[参数] chunk=${chunk.toFixed(1)}s（每张覆盖），实际平均 ${actualGap.toFixed(1)}s/帧`)
-  console.log(`[预算] ${budget} token ≈ 字幕带 ${subsCost} + 拼图 ${gridCount * gridCost} + 精读预留 ${minFine * COST.fine} = ${estTotal}`)
+  console.log(`[预算] ${budget} token ≈ 字幕带 ${subsCost} + 拼图 ${gridCount * gridCost} + 精读预留 ${fineReserve} = ${estTotal}`)
   if (estTotal > budget) {
     console.log(`[警告] 最低配置已要 ${estTotal} token，超出预算 ${budget}（字幕带和精读预留不可再砍），将超支运行`)
   }
@@ -775,12 +796,12 @@ export async function stageRefine(bvid, opts) {
   console.log(`\n[精读] 选中 ${picks.length} 个时间点：`)
   for (const p of picks) console.log(`  ${p.ts}  ${p.source}  —— ${p.reason}`)
   if (picks.length > 8) {
-    console.warn(`[警告] ${picks.length} 帧 ≈ ${picks.length * COST.fine} token，建议先只留真正看不清的几帧再跑`)
+    console.warn(`[警告] ${picks.length} 帧 ≈ ${estimateTokens('fine', picks.length)} token，建议先只留真正看不清的几帧再跑`)
   }
   console.log('')
   const grabbed = await stageGrab(bvid, picks.map((p) => p.t).join(','), { page: manifest.page ?? 1 })
-  const est = picks.length * COST.fine
-  console.log(`\n精读成本 ≈ ${est} token（${picks.length} 帧 × ${COST.fine}）`)
+  const est = estimateTokens('fine', picks.length)
+  console.log(`\n精读成本 ≈ ${est} token（${picks.length} 帧 × ${tokensPerUnit('fine')}）`)
   return { picks, grabbed }
 }
 

package/lib/util.mjs

@@ -1,5 +1,6 @@
 // 通用工具：时间格式化、参数解析、文件头探测
 import fs from 'node:fs'
+import { t } from './i18n.mjs'
 
 // 时长格式化：超过 1 小时显示 01:05:30，否则 MM:SS
 
@@ -37,21 +38,21 @@ export function jpegSize(file) {
 // 参数校验（在 CLI 分发处用；Number('')===0、Infinity、NaN 都要挡掉）
 
 export const fail = (msg) => {
-  console.error(`参数错误：${msg}`)
+  console.error(`${t('err.argPrefix')}${msg}`)
   process.exit(2)
 }
 
 export const num = (v, name, { min, max } = {}) => {
   const n = Number(v)
-  if (v === '' || !Number.isFinite(n)) fail(`--${name} 需要数字，收到：${JSON.stringify(v)}`)
-  if (min !== undefined && n < min) fail(`--${name} 不能小于 ${min}（收到 ${n}）`)
-  if (max !== undefined && n > max) fail(`--${name} 不能大于 ${max}（收到 ${n}）`)
+  if (v === '' || !Number.isFinite(n)) fail(t('err.num.notNumber', { name, value: JSON.stringify(v) }))
+  if (min !== undefined && n < min) fail(t('err.num.min', { name, min, n }))
+  if (max !== undefined && n > max) fail(t('err.num.max', { name, max, n }))
   return n
 }
 
 export const gridStr = (v) => {
   const s = String(v ?? '3x3').toLowerCase()
-  if (!/^[1-9]x[1-9]$/.test(s)) fail(`--grid 格式应为 NxM（如 3x3，行列 1~9），收到：${JSON.stringify(v)}`)
+  if (!/^[1-9]x[1-9]$/.test(s)) fail(t('err.grid.format', { value: JSON.stringify(v) }))
   return s
 }
 // 时间参数：支持 330（秒）/ 5:30 / 1:05:30
@@ -61,16 +62,16 @@ export const parseTime = (v, name) => {
   const s = String(v).trim()
   if (/^\d+(\.\d+)?$/.test(s)) return Number(s)
   const parts = s.split(':')
-  if (parts.length < 2 || parts.length > 3) fail(`--${name} 时间格式应为 330 / 5:30 / 1:05:30，收到：${JSON.stringify(v)}`)
+  if (parts.length < 2 || parts.length > 3) fail(t('err.time.format', { name, value: JSON.stringify(v) }))
   const nums = parts.map(Number)
-  if (nums.some((n) => !Number.isFinite(n) || n < 0)) fail(`--${name} 时间格式非法：${JSON.stringify(v)}`)
+  if (nums.some((n) => !Number.isFinite(n) || n < 0)) fail(t('err.time.invalid', { name, value: JSON.stringify(v) }))
   return parts.length === 2 ? nums[0] * 60 + nums[1] : nums[0] * 3600 + nums[1] * 60 + nums[2]
 }
 
 export const pageNum = (v) => {
   if (v === null || v === undefined || v === '') return 1
   const n = Number(v)
-  if (!Number.isInteger(n) || n < 1 || n > 200) fail(`--p 分P序号应为 1~200 的整数，收到：${JSON.stringify(v)}`)
+  if (!Number.isInteger(n) || n < 1 || n > 200) fail(t('err.page.range', { value: JSON.stringify(v) }))
   return n
 }
 

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@pls-compile-owo/fisheye",
-  "version": "0.3.0",
+  "version": "0.4.2",
   "description": "Token-budget-aware video understanding for AI agents: official subtitles -> burned-in subtitle band -> danmaku highlights -> adaptive keyframe grids -> targeted refine.",
   "type": "module",
   "bin": {