video-pipeline 1.2.8 → 1.2.9

package/.env.example

@@ -78,10 +78,10 @@ COL_CONTENT=content              # 输出列：识别文本写入此列
 COL_KEYWORDS=keywords           # 输出列：AI 分析结果（关键词归纳）写入此列
 #
 # 【平台视频 ID 列】至少配置一个，列值会替换 URL 模板中的占位符
-COL_TENCENTVID=extra.tencent
-COL_BILIBILIBVID=extra.bilibili
-COL_YOUTUBEID=extra.youtube
-COL_YOUKUID=extra.youku
+COL_TENCENTVID=extra.tencentVid
+COL_BILIBILIBVID=extra.bilibiliBvid
+COL_YOUTUBEID=extra.youtubeId
+COL_YOUKUID=extra.youkuId
 
 # ── 处理的 Sheet ────────────────────────────────────────────────────────────
 # 【自由】逗号分隔的 sheet 名称列表，可增删、调序；不指定则处理所有 sheet
@@ -132,7 +132,8 @@ YOUKU_URL_TPL=https://v.youku.com/v_show/id_{youku}.html
 BILIBILI_COOKIES_FROM_BROWSER=firefox    # 【自由】firefox / chrome / edge
 # 方案 B（备用）: 从文件读取 cookie
 # BILIBILI_COOKIE_FILE=cookies/bilibili.txt   # 【自由】cookie 文件路径（方案 A 启用时此行无效）
-BILIBILI_USER_AGENT=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/149.0.0.0 Safari/537.36  # 【自由】
+# 【自由】自定义 User-Agent (含特殊字符需用双引号包裹)
+BILIBILI_USER_AGENT="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/149.0.0.0 Safari/537.36"
 BILIBILI_REFERER=https://www.bilibili.com/     # 【自由】
 BILIBILI_CONCURRENT_FRAGMENTS=4               # 【自由】并发分片数
 BILIBILI_FORMAT=bestvideo[height<=720]+bestaudio/bestvideo+bestaudio/best  # 【自由】
@@ -146,7 +147,8 @@ YOUTUBE_COOKIES_FROM_BROWSER=firefox           # 【自由】firefox / chrome /
 #   ⚠️ Windows Chromium 系浏览器 DPAPI 解密已知失败，不建议用 --cookies-from-browser chrome
 YOUTUBE_PROXY=http://127.0.0.1:7897           # 【自由】代理地址 (Clash Verge 默认 7897, v2rayN 默认 10809)
 #   ⚠️ 脚本会自动给 yt-dlp 及其 node/ejs 子进程注入 HTTPS_PROXY 环境变量
-YOUTUBE_USER_AGENT=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/149.0.0.0 Safari/537.36  # 【自由】
+# 【自由】自定义 User-Agent (含特殊字符需用双引号包裹)
+YOUTUBE_USER_AGENT="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/149.0.0.0 Safari/537.36"
 YOUTUBE_JS_RUNTIMES=node                      # 【自由】解 n-sig 的 JS 运行时
 YOUTUBE_REMOTE_COMPONENTS=ejs:github          # 【自由】YouTube n-sig 需要的远程组件
 YOUTUBE_FORMAT=bestvideo[height<=720]+bestaudio/bestvideo+bestaudio/best  # 【自由】
@@ -160,7 +162,6 @@ TENCENT_USER_AGENT=                            # 【自由】
 YOUKU_COOKIE_FILE=                             # 【自由】
 YOUKU_USER_AGENT=                              # 【自由】
 
-
 # ── AI 分析/关键词归纳 ─────────────────────────────────────────────────────
 # 【自由】是否启用 AI 分析环节（true/false），在 transcribe 之后执行
 AI_ENABLED=true

package/CHANGELOG.md

@@ -1,5 +1,18 @@
 # Changelog
 
+## [1.2.9] - 2026-06-11
+
+### Bug Fixes
+
+- yt-dlp download progress parsing and encoding (`e32acc9`)
+- yt-dlp download progress not showing — listen stdout not stderr (`8cb99b0`)
+- quote USER_AGENT values with double quotes to prevent semicolon parsing issues (`419dff2`)
+
+### Documentation
+
+- update (`f761ad4`)
+
+
 ## [1.2.8] - 2026-06-11
 
 ### Features

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "video-pipeline",
-  "version": "1.2.8",
+  "version": "1.2.9",
   "description": "视频下载、转码、文本识别、AI 关键词分析一体化流程 CLI 工具",
   "keywords": [
     "video",

package/process_videos.js

@@ -664,15 +664,13 @@ function spawnWithTimeout(cmd, args, timeout, options = {}) {
       reject(Object.assign(new Error(`Timeout after ${timeout}s`), { name: 'TimeoutError', code: 'ETIMEDOUT' }));
     }, timeout * 1000);
 
-    if (onProgress && child.stderr) {
-      const rl = readline.createInterface({ input: child.stderr, crlfDelay: Infinity });
-      rl.on('line', line => {
-        stderr += line + '\n';
-        try { onProgress(line); } catch {}
-      });
-      child.stderr.on('end', () => rl.close());
-      // 同时消费 stdout，防止缓冲区填满阻塞子进程
-      child.stdout.on('data', d => { stdout += d.toString(); });
+    if (onProgress) {
+      // 同时监听 stdout 和 stderr — yt-dlp --newline 的 [download] 进度输出在 stdout
+      const onLine = (buf, line) => { try { onProgress(line); } catch {} };
+      const rlOut = readline.createInterface({ input: child.stdout, crlfDelay: Infinity });
+      rlOut.on('line', line => { stdout += line + '\n'; onLine('stdout', line); });
+      const rlErr = readline.createInterface({ input: child.stderr, crlfDelay: Infinity });
+      rlErr.on('line', line => { stderr += line + '\n'; onLine('stderr', line); });
     } else {
       child.stdout.on('data', d => { stdout += d.toString(); });
       child.stderr.on('data', d => { stderr += d.toString(); });
@@ -680,9 +678,6 @@ function spawnWithTimeout(cmd, args, timeout, options = {}) {
 
     child.on('close', code => {
       clearTimeout(timer);
-      if (!onProgress) {
-        // Without onProgress, stderr was captured by the 'data' handler
-      }
       if (code === 0) resolve({ stdout, stderr });
       else reject(Object.assign(new Error(`Exit code ${code}`), { code, stderr }));
     });
@@ -788,13 +783,16 @@ function cleanupPartials(dlDir, stem) {
 
 // ============================== 下载 ==============================
 function parseYtdlpProgress(line) {
-  // Parse yt-dlp progress line like "[download]  12.3% of ~50.00MiB at  2.5MiB/s ETA 00:15"
-  const m = line.match(/\[download\]\s+([\d.]+%)\s+of\s+~?([\d.]+[KMG]iB)\s+at\s+([\d.]+[KMG]iB\/s)\s+ETA\s+([\d:]+)/);
-  if (m) return `DL ${m[1]} of ${m[2]} @ ${m[3]} ETA ${m[4]}`;
-  // Also try: "[download] 100% of 50.00MiB"
-  const m2 = line.match(/\[download\]\s+([\d.]+%)\s+of\s+([\d.]+[KMG]iB)/);
-  if (m2) return `DL ${m2[1]} of ${m2[2]}`;
-  return null;
+  // Parse yt-dlp progress lines like:
+  //   "[download]  12.3% of ~50.00MiB at  2.5MiB/s ETA 00:15"
+  //   "[download]   0.0% of   61.66MiB at  Unknown B/s ETA Unknown"
+  const m = line.match(/\[download\]\s+([\d.]+%)\s+of\s+~?\s*([\d.]+[KMG]iB)/);
+  if (!m) return null;
+  const pct  = m[1];                // e.g. "12.3%"
+  const size = m[2];                // e.g. "50.00MiB"
+  const spd  = (line.match(/at\s+([\d.]+ ?[KMG]?i?B\/s)/) || [])[1] || '?';
+  const eta  = (line.match(/ETA\s+([\d:]+)/) || [])[1] || '?';
+  return `DL ${pct} of ${size} @ ${spd} ETA ${eta}`;
 }
 
 async function stepDownload(row, sheetName, maxRetries, retryDelay, force, timeout = 600) {
@@ -830,6 +828,10 @@ async function stepDownload(row, sheetName, maxRetries, retryDelay, force, timeo
     '-f', cfg.format || 'bestvideo+bestaudio/best',
   ];
 
+  if (force) {
+    args.push('--force-overwrites');
+  }
+
   if (cfg.concurrent_fragments) {
     args.push('--concurrent-fragments', String(cfg.concurrent_fragments));
   }
@@ -2339,8 +2341,8 @@ if (process.argv[1] === __filename || process.argv[1]?.endsWith('process_videos.
     .description('视频下载、转码、文本识别、AI分析一体化流程')
     .option('--sheet <name>', '指定 sheet 名称')
     .option('--id <id>', '指定 extra.id 或 title（单条测试）')
-    .option('--offset <n>', '跳过前 N 条任务（从 0 开始），默认 0', parseInt, 0)
-    .option('--limit <n>', '最多处理 N 条任务，默认无限制', parseInt, 0)
+    .option('--offset <n>', '跳过前 N 条任务（从 0 开始），默认 0', v => parseInt(v, 10), 0)
+    .option('--limit <n>', '最多处理 N 条任务，默认无限制', v => parseInt(v, 10), 0)
     .option('--step <step>', '指定执行步骤（可多次指定），如 --step transcode --step transcribe', (val, prev) => {
       const allowed = ['download', 'transcode', 'transcribe', 'analyze'];
       if (!allowed.includes(val)) {
@@ -2350,13 +2352,13 @@ if (process.argv[1] === __filename || process.argv[1]?.endsWith('process_videos.
       return [...(prev || []), val];
     })
     .option('--force', '强制重做下载+转码（忽略已有文件）')
-    .option('--concurrency <n>', '并发数，默认 1', parseInt, 1)
-    .option('--retry <n>', '每步失败最大重试次数，默认 0', parseInt, 0)
-    .option('--retry-delay <n>', '重试间隔基数（秒），默认 5', parseFloat, 5.0)
-    .option('--download-timeout <n>', '下载超时（秒），默认 600', parseInt, 600)
-    .option('--transcode-timeout <n>', '转码超时（秒），默认 600', parseInt, 600)
-    .option('--transcribe-timeout <n>', '识别超时（秒），默认 600', parseInt, 600)
-    .option('--analyze-timeout <n>', 'AI 分析超时（秒），默认 300', parseInt, 300)
+    .option('--concurrency <n>', '并发数，默认 1', v => parseInt(v, 10), 1)
+    .option('--retry <n>', '每步失败最大重试次数，默认 0', v => parseInt(v, 10), 0)
+    .option('--retry-delay <n>', '重试间隔基数（秒），默认 5', v => parseFloat(v), 5.0)
+    .option('--download-timeout <n>', '下载超时（秒），默认 600', v => parseInt(v, 10), 600)
+    .option('--transcode-timeout <n>', '转码超时（秒），默认 600', v => parseInt(v, 10), 600)
+    .option('--transcribe-timeout <n>', '识别超时（秒），默认 600', v => parseInt(v, 10), 600)
+    .option('--analyze-timeout <n>', 'AI 分析超时（秒），默认 300', v => parseInt(v, 10), 300)
     .option('--dry-run', '干跑模式，只列任务不执行')
     .option('--retry-failed <path>', '从报告 JSON 重跑失败项（output/reports/{sheet}/report_xxx.json）')
     .option('--init', '复制 .env.example 到当前目录并重命名为 .env')