cortico-world-mosey 2.2.0 → 2.3.0

package/CHANGELOG.md

@@ -1,5 +1,25 @@
 # 更新日志
 
+## 2.3.0
+
+**B站也能抽帧了——用播放器进度条的预览图，不用登录、不开播放页、不抢你的浏览器。**
+
+以前设置里的「看视频抽几帧」只对抖音有效：抖音没有字幕，只能靠截图看画面；B站是纯接口读取（字幕/弹幕/评论），从头到尾没打开过播放页，所以那个数字对 B站一直是空的。
+
+### 怎么做的
+
+- 走 B站 自己的进度条预览图接口（`player/videoshot`）：一次请求返回一张 10×10 的精灵图 + 每一帧的时间，按时间挑最近的一格裁出来。
+- 裁剪没有引入图片库，用的是已经依赖的无头浏览器：把精灵图铺上去，截视口那么大一块。浏览器懒启动、闲置 3 分钟自己关，不常驻。
+- 不用登录态，也不影响「B站不登录也能用」这个定位。
+
+### 要知道的局限
+
+- 分辨率只有 **160×90**：看得出「在室内 / 在做饭 / 画面很暗」，**看不清字和细节**。
+- 每一帧的间隔约 6 秒，做不到精确到秒。
+- 有些视频/番剧不提供预览图，这时会如实返回「没拿到预览图」，不会硬凑一张。
+
+顺手把「找 playwright-core」的逻辑抽成了共享模块 `src/browser.js`，抖音和 B站 用的是同一份，不再各写一遍。
+
 ## 2.2.0
 
 **B站视频不再「只看了开头」——字幕改成按时间分段抽样，还能定点读某一段。**

package/describe.json

@@ -87,7 +87,7 @@
             "type": "integer",
             "minimum": 0,
             "maximum": 3,
-            "description": "抖音抽几帧；默认 0，最省 token。"
+            "description": "open 用：抽几帧画面。B站用进度条缩略图（160×90，不用登录），抖音用播放页截图。默认 0，最省 token。"
           },
           "at": {
             "type": [

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "cortico-world-mosey",
-  "version": "2.2.0",
+  "version": "2.3.0",
   "type": "module",
   "description": "摸鱼（Mosey）：让 Coopanion 的桌宠自己去抖音和 B站逛一圈。评论和私信都能收能回；能一起看视频（B站带字幕弹幕，抖音可自动连刷）；关注流、周报、本地书库；按额度点赞、评论、关注、发动态。默认人审，三把工具、少 token。\n\nQQ 交流群：745879632",
   "license": "MIT",

package/src/bilibili.js

@@ -15,6 +15,7 @@ import {
   truncate,
   uuid,
 } from './util.js';
+import { launchHeadless } from './browser.js';
 
 const UA =
   'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36';
@@ -725,6 +726,119 @@ export class Bilibili {
     return out2;
   }
 
+  /**
+   * B站抽帧：走播放器的「进度条预览图」接口（videoshot）。
+   * 不用登录、不用开播放页：一次接口给一张 10×10 的精灵图 + 每格的秒数，
+   * 按时间挑最近的一格裁出来。分辨率只有 160×90，够看「画面大概在干嘛」，
+   * 看不清字和细节——要更清楚只能开播放页截图，那样要登录态还慢，先不做。
+   */
+  async framesOf(idOrUrl, n = 1) {
+    const v = await this.view(idOrUrl);
+    if (!v.cid) throw new BiliError('NO_CID', '这条视频拿不到 cid，取不了画面');
+    const sheet = await this.storyboard(v.aid, v.cid);
+    if (!sheet) throw new BiliError('NO_FRAME', '这条视频没有进度条预览图');
+    const count = Math.min(3, Math.max(1, Math.round(Number(n) || 1)));
+    const out = [];
+    for (let i = 0; i < count; i += 1) {
+      // 均匀取：1 帧取中间，2 帧取 1/3、2/3，3 帧取 1/4、2/4、3/4
+      const ratio = (i + 1) / (count + 1);
+      const slot = Math.min(sheet.index.length - 1, Math.round(ratio * (sheet.index.length - 1)));
+      const cell = sheet.cellAt(sheet.index[slot] ?? 0);
+      const bytes = await this.cropSprite(cell).catch(() => null);
+      if (bytes) out.push({ at: cell.at, bytes });
+    }
+    return out;
+  }
+
+  /** 预览图索引（按 cid 缓存 10 分钟）。index 里的值就是每一帧的时间（秒）。 */
+  async storyboard(aid, cid) {
+    const key = `sb:${cid}`;
+    const hit = this.mediaCache.get(key);
+    if (hit?.sheet && Date.now() - hit.at < 10 * 60 * 1000) return hit.sheet;
+    const data = await this.request('/x/player/videoshot', { aid, cid, index: 1 }, { cacheMs: 0 }).catch(() => null);
+    const images = (data?.image ?? []).map((u) => (String(u).startsWith('//') ? `https:${String(u)}` : String(u)));
+    const index = (data?.index ?? []).map((x) => Number(x) || 0);
+    if (!images.length || !index.length) return null;
+    const cols = Math.max(1, Number(data.img_x_len) || 10);
+    const w = Math.max(1, Number(data.img_x_size) || 160);
+    const h = Math.max(1, Number(data.img_y_size) || 90);
+    const per = cols * Math.max(1, Number(data.img_y_len) || 10);
+    const sheet = {
+      images,
+      cols,
+      w,
+      h,
+      index,
+      /** 第 sec 秒那一帧：落在第几张图、哪一格。长视频会有多张图，index 是跨图连着的。 */
+      cellAt: (sec) => {
+        let best = 0;
+        for (let i = 1; i < index.length; i += 1) {
+          if (Math.abs(index[i] - sec) < Math.abs(index[best] - sec)) best = i;
+        }
+        const page = Math.floor(best / per);
+        const local = best % per;
+        return {
+          at: index[best] ?? sec,
+          url: images[page] ?? images[0],
+          x: (local % cols) * w,
+          y: Math.floor(local / cols) * h,
+          w,
+          h,
+        };
+      },
+    };
+    this.mediaCache.set(key, { at: Date.now(), sheet });
+    return sheet;
+  }
+
+  /**
+   * 裁一格。没有图片库，就借无头浏览器：把精灵图铺上去，截视口那么大一块。
+   * 浏览器懒启动、闲置 3 分钟自己关，不常驻。
+   */
+  async cropSprite(cell) {
+    const page = await this.spritePage();
+    const raw = await this.fetchRaw(cell.url, { binary: true });
+    if (!raw?.length) return null;
+    const b64 = Buffer.from(raw).toString('base64');
+    await page.setViewportSize({ width: cell.w, height: cell.h });
+    await page.setContent(
+      `<style>html,body{margin:0;padding:0;background:#000;overflow:hidden}` +
+        `img{position:absolute;left:${-cell.x}px;top:${-cell.y}px}</style>` +
+        `<img src="data:image/jpeg;base64,${b64}">`,
+      { waitUntil: 'load' },
+    );
+    return await page.screenshot({ type: 'jpeg', quality: 62, clip: { x: 0, y: 0, width: cell.w, height: cell.h } });
+  }
+
+  async spritePage() {
+    if (this._spritePage && !this._spritePage.isClosed()) {
+      clearTimeout(this._spriteIdle);
+      this._spriteIdle = this.spriteIdleTimer();
+      return this._spritePage;
+    }
+    const browser = await launchHeadless(this.dataDir);
+    const page = await browser.newPage({ viewport: { width: 160, height: 90 }, locale: 'zh-CN' });
+    this._spriteBrowser = browser;
+    this._spritePage = page;
+    this._spriteIdle = this.spriteIdleTimer();
+    return page;
+  }
+
+  spriteIdleTimer() {
+    const timer = setTimeout(() => this.closeSprite(), 3 * 60 * 1000);
+    timer.unref?.();
+    return timer;
+  }
+
+  async closeSprite() {
+    clearTimeout(this._spriteIdle);
+    this._spriteIdle = null;
+    const browser = this._spriteBrowser;
+    this._spriteBrowser = null;
+    this._spritePage = null;
+    await browser?.close().catch(() => {});
+  }
+
   /** 弹幕：comment.bilibili.com/{cid}.xml 是 raw-deflate 的 XML，解压后按 <d p="..."> 读。 */
   async danmakuOf(cid) {
     const buf = await this.fetchRaw(`https://comment.bilibili.com/${cid}.xml`, { binary: true });

package/src/browser.js

@@ -0,0 +1,54 @@
+import fs from 'node:fs';
+import path from 'node:path';
+import { createRequire } from 'node:module';
+
+/**
+ * 找 playwright-core：先看环境变量（离线回归用），再直接 import，最后翻宿主的 extensions 目录。
+ * 抖音和 B站抽帧都要用，所以才从 douyin.js 里抽出来——两边各写一份迟早会走偏。
+ */
+export async function loadPlaywright(dataDir) {
+  if (process.env.STROLL_PLAYWRIGHT) return import(process.env.STROLL_PLAYWRIGHT);
+  try {
+    return await import('playwright-core');
+  } catch {
+    // 继续找宿主目录
+  }
+  const require = createRequire(import.meta.url);
+  const extensions = path.join(dataDir, '..', '..', '..', 'extensions');
+  const candidates = [extensions, process.cwd()];
+  // pnpm 的依赖在 .pnpm 里，不一定 hoist 到 node_modules 根
+  try {
+    const pnpm = path.join(extensions, 'node_modules', '.pnpm');
+    for (const name of fs.readdirSync(pnpm)) {
+      if (name.startsWith('playwright-core@')) candidates.push(path.join(pnpm, name, 'node_modules'));
+    }
+  } catch {
+    // 没有 .pnpm 就只试普通目录
+  }
+  for (const dir of candidates) {
+    try {
+      return require(require.resolve('playwright-core', { paths: [dir] }));
+    } catch {
+      // 换下一个
+    }
+  }
+  throw new Error('找不到 playwright-core：在插件目录执行 corepack pnpm install，或在扩展目录重装依赖。');
+}
+
+/**
+ * 后台无头浏览器。playwright-core 不自带内核，所以按 chrome → edge 的顺序借本机装好的，
+ * 都没有才退回 Playwright 自带的。
+ */
+export async function launchHeadless(dataDir) {
+  const mod = await loadPlaywright(dataDir);
+  const chromium = mod.chromium ?? mod.default?.chromium;
+  const options = { headless: true, args: ['--disable-blink-features=AutomationControlled'] };
+  for (const channel of ['chrome', 'msedge']) {
+    try {
+      return await chromium.launch({ ...options, channel });
+    } catch {
+      // 试下一个渠道
+    }
+  }
+  return await chromium.launch(options);
+}

package/src/config.js

@@ -562,7 +562,9 @@ const VIEWING = {
       [P + 'framesPerOpen']: {
         type: 'integer',
         title: '看视频抽几帧',
-        description: '0 最省；1 帧约 500 token。',
+        description:
+          'B站用进度条缩略图（160×90，不用登录、不开播放页，只看得出画面大概在干嘛）；' +
+          '抖音用播放页截图。0 最省；1 帧约 500 token。',
         minimum: 0,
         maximum: 3,
         'x-suffix': ' 帧',

package/src/douyin.js

@@ -1,7 +1,7 @@
 import fs from 'node:fs';
 import path from 'node:path';
-import { createRequire } from 'node:module';
 import { cutChars, formatDuration, humanPause, imageMimeOf, parseDouyinId, parseKeywords, stripAtName, stripAtPlaceholder, truncate } from './util.js';
+import { loadPlaywright } from './browser.js';
 
 const ORIGIN = 'https://www.douyin.com';
 
@@ -690,36 +690,16 @@ export class DouyinBrowser {
    * 依次尝试：环境变量 → 插件自己的依赖 → Coopanion 扩展目录里已有的 playwright-core。
    * link: 安装时依赖不一定被 hoist 到插件目录，这个兜底能少一堆“浏览器没起来”。
    */
+  /** 复用 src/browser.js 的共享实现（B站抽帧也要用），错误码仍按抖音这边抛。 */
   async loadPlaywright() {
-    if (process.env.STROLL_PLAYWRIGHT) return import(process.env.STROLL_PLAYWRIGHT);
     try {
-      return await import('playwright-core');
+      return await loadPlaywright(this.dataDir);
     } catch {
-      // 继续找宿主目录
-    }
-    const require = createRequire(import.meta.url);
-    const extensions = path.join(this.dataDir, '..', '..', '..', 'extensions');
-    const candidates = [extensions, process.cwd()];
-    // pnpm 的依赖在 .pnpm 里，不一定 hoist 到 node_modules 根
-    try {
-      const pnpm = path.join(extensions, 'node_modules', '.pnpm');
-      for (const name of fs.readdirSync(pnpm)) {
-        if (name.startsWith('playwright-core@')) candidates.push(path.join(pnpm, name, 'node_modules'));
-      }
-    } catch {
-      // 没有 .pnpm 就只试普通目录
-    }
-    for (const dir of candidates) {
-      try {
-        return require(require.resolve('playwright-core', { paths: [dir] }));
-      } catch {
-        // 换下一个
-      }
+      throw new DouyinError(
+        'BROWSER_DEP',
+        '找不到 playwright-core：在插件目录执行 corepack pnpm install，或在扩展目录重装依赖。',
+      );
     }
-    throw new DouyinError(
-      'BROWSER_DEP',
-      '找不到 playwright-core：在插件目录执行 corepack pnpm install，或在扩展目录重装依赖。',
-    );
   }
 
   /**

package/src/tools.js

@@ -25,7 +25,13 @@ export const TOOL_DECLS = [
         chars: { type: 'integer', minimum: 200, maximum: 2000, description: 'read 一次读多少字，默认 900。' },
         text: { type: 'string', description: 'note 用：要记下来的那句摘抄。' },
         tag: { type: 'string', description: 'stickers 用：只看带这个标签的表情包。' },
-        frames: { type: 'integer', minimum: 0, maximum: 3, description: '抖音抽几帧；默认 0，最省 token。' },
+        frames: {
+          type: 'integer',
+          minimum: 0,
+          maximum: 3,
+          description:
+            'open 用：抽几帧画面。B站用进度条缩略图（160×90，不用登录），抖音用播放页截图。默认 0，最省 token。',
+        },
         at: {
           type: ['string', 'integer'],
           description:

package/src/world.js

@@ -3426,7 +3426,9 @@ export class StrollWorld {
           })
           .catch(() => null);
       }
-      return JSON.stringify({
+      // 抽帧：B站用进度条预览图，不用登录、不开播放页；没有就如实说，不硬凑
+      const shots = bvid && frames > 0 ? await this.bili.framesOf(bvid, frames).catch(() => []) : [];
+      const body = JSON.stringify({
         notice: CONTENT_NOTICE,
         ok: true,
         ...detail,
@@ -3439,9 +3441,27 @@ export class StrollWorld {
               mediaNote: this.mediaNoteOf(media, at),
             }
           : {}),
+        ...(frames > 0
+          ? {
+              framesNote: shots.length
+                ? `附了 ${shots.length} 张画面（约 ${shots.map((s) => clockText(s.at)).join(' / ')}），` +
+                  '是 B站进度条的缩略图（160×90），只看得出画面大概在干嘛，看不清字。'
+                : '这条没拿到预览图（有些视频/番剧不提供），所以看不到画面。',
+            }
+          : {}),
         ...(this.cfg.openTalk === true ? { followUp: '看完用一两句跟主人说说你的反应，别只复述简介。' } : {}),
         window: '后台看的，没有开网页。要一起看就在面板点「一起看」。',
       });
+      if (!shots.length) return body;
+      return {
+        text: body,
+        blobs: shots.map((s, i) => ({
+          bytes: s.bytes,
+          mime: 'image/jpeg',
+          name: `bili-${detail.id}-${Math.round(s.at)}s.jpg`,
+          fallbackText: `B站画面 约 ${clockText(s.at)}（第 ${i + 1} 张，缩略图）`,
+        })),
+      };
     }
 
     if (platform === 'douyin') {