offscreen-android 0.0.0-stage → 0.1.1
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/LICENSE +21 -0
- package/README.md +195 -2
- package/assets/injector/Injector.smali +1179 -0
- package/assets/injector/README.md +101 -0
- package/assets/injector/inject.dex +0 -0
- package/assets/overlay/ai-overlay.apk +0 -0
- package/assets/scrcpy-server.jar +0 -0
- package/bin/aim.mjs +220 -0
- package/bin/asr.mjs +81 -0
- package/bin/audcap.mjs +128 -0
- package/bin/mcp-server.mjs +410 -0
- package/bin/vdisplay.mjs +305 -0
- package/bin/vdisplayd.mjs +398 -0
- package/bin/vidcap.mjs +82 -0
- package/bin/vidgrab.mjs +172 -0
- package/package.json +55 -4
- package/src/framesrv.js +348 -0
- package/src/human.js +302 -0
- package/src/index.js +161 -0
- package/src/inject.js +415 -0
- package/src/lease.js +314 -0
- package/src/occupancy.js +214 -0
- package/src/ocr.js +209 -0
- package/src/ocr_helper.py +125 -0
- package/src/pool.js +195 -0
- package/src/sampling.js +163 -0
- package/src/stream.js +571 -0
- package/src/target.js +29 -0
- package/src/timeline.js +324 -0
- package/src/tool-spec.js +873 -0
- package/src/tools.js +2034 -0
- package/src/vd.js +2354 -0
- package/src/video.js +751 -0
- package/src/vision.js +193 -0
- package/src/vision_helper.py +334 -0
package/src/timeline.js
ADDED
|
@@ -0,0 +1,324 @@
|
|
|
1
|
+
/**
|
|
2
|
+
* timeline.js — 连续抓 N 帧,拼成一张网格图返回。
|
|
3
|
+
*
|
|
4
|
+
* 为什么需要这个:`vdisplay_shot` 只给单帧,AI 无法判断"往哪飞""在变快还是变慢"
|
|
5
|
+
* "刚才发生了什么"。要判断运动,至少需要 2 帧;要判断轨迹,需要 6-9 帧。
|
|
6
|
+
*
|
|
7
|
+
* 为什么自己拼而不是发 N 张图:每张图有最低计费(544×544 ≈ 169 token),
|
|
8
|
+
* 9 张分开送 = 1521 token,拼成一张 3×3 = 209 token,差 7 倍。
|
|
9
|
+
*
|
|
10
|
+
* 实测成本(720×1280 虚拟屏,3×3 九格):
|
|
11
|
+
* 抓帧 9 × 240ms ≈ 2.2s
|
|
12
|
+
* 拼图 ffmpeg ~150ms
|
|
13
|
+
* 出图 786×441 ≈ 209 token
|
|
14
|
+
*
|
|
15
|
+
* 重要局限(写在这里免得以后忘):
|
|
16
|
+
* 格子缩到 262×147 时,原图 26px 的字会变成 5.3px —— **读不出数字,只能看结构**。
|
|
17
|
+
* 实测盲测确认:HUD 数值在九格里是彩色糊块,硬读会编。
|
|
18
|
+
* 要读数值请用 vdisplay_shot(单帧)或单独裁剪。
|
|
19
|
+
*/
|
|
20
|
+
|
|
21
|
+
import { spawn } from 'node:child_process';
|
|
22
|
+
import { mkdir, rm, readFile } from 'node:fs/promises';
|
|
23
|
+
import { join } from 'node:path';
|
|
24
|
+
import { adb, shell, focusedApp } from './vd.js';
|
|
25
|
+
import { adbTarget } from './target.js';
|
|
26
|
+
|
|
27
|
+
const ADB = process.env.ADB_BIN || 'adb';
|
|
28
|
+
|
|
29
|
+
function run(cmd, args, timeoutMs = 60000) {
|
|
30
|
+
return new Promise((resolve) => {
|
|
31
|
+
const p = spawn(cmd, args, { stdio: ['ignore', 'pipe', 'pipe'] });
|
|
32
|
+
const out = [];
|
|
33
|
+
const err = [];
|
|
34
|
+
let done = false;
|
|
35
|
+
const finish = (r) => { if (!done) { done = true; resolve(r); } };
|
|
36
|
+
p.stdout.on('data', (d) => out.push(d));
|
|
37
|
+
p.stderr.on('data', (d) => err.push(d));
|
|
38
|
+
p.on('error', (e) => finish({ ok: false, err: String(e?.message || e) }));
|
|
39
|
+
p.on('close', (code) => finish({
|
|
40
|
+
ok: code === 0,
|
|
41
|
+
code,
|
|
42
|
+
out: Buffer.concat(out),
|
|
43
|
+
err: Buffer.concat(err).toString().slice(-500),
|
|
44
|
+
}));
|
|
45
|
+
setTimeout(() => { try { p.kill('SIGKILL'); } catch {} finish({ ok: false, err: 'timeout' }); }, timeoutMs);
|
|
46
|
+
});
|
|
47
|
+
}
|
|
48
|
+
|
|
49
|
+
/** 抓一帧到本地文件,返回是否成功。exec-out 直接流回,不在手机上留文件。 */
|
|
50
|
+
async function grabOne(target, sfId, dest) {
|
|
51
|
+
const r = await new Promise((resolve) => {
|
|
52
|
+
const p = spawn(ADB, ['-s', target, 'exec-out', `screencap -p -d ${sfId}`], {
|
|
53
|
+
stdio: ['ignore', 'pipe', 'pipe'],
|
|
54
|
+
});
|
|
55
|
+
const out = [];
|
|
56
|
+
let done = false;
|
|
57
|
+
const finish = (v) => { if (!done) { done = true; resolve(v); } };
|
|
58
|
+
p.stdout.on('data', (d) => out.push(d));
|
|
59
|
+
p.stderr.on('data', () => {});
|
|
60
|
+
p.on('error', () => finish(null));
|
|
61
|
+
p.on('close', (code) => {
|
|
62
|
+
const buf = Buffer.concat(out);
|
|
63
|
+
finish(code === 0 && buf.length > 100 ? buf : null);
|
|
64
|
+
});
|
|
65
|
+
setTimeout(() => { try { p.kill('SIGKILL'); } catch {} finish(null); }, 20000);
|
|
66
|
+
});
|
|
67
|
+
if (!r) return false;
|
|
68
|
+
const { writeFile } = await import('node:fs/promises');
|
|
69
|
+
await writeFile(dest, r);
|
|
70
|
+
return true;
|
|
71
|
+
}
|
|
72
|
+
|
|
73
|
+
/**
|
|
74
|
+
* 问浏览器「页面内容真实占据多高」,用来裁掉浏览器外壳。
|
|
75
|
+
*
|
|
76
|
+
* 为什么需要:Edge/Chrome 在虚拟屏上都带地址栏和导航栏,实测 720x1592 的截图里
|
|
77
|
+
* 内容只有 1372 高(壳 220px = 13%)。这些像素照样按 token 计费,九格里也一样浪费。
|
|
78
|
+
*
|
|
79
|
+
* 为什么不用硬编码:壳的高度随浏览器版本、DPI、是否全屏变化。`Page.getLayoutMetrics`
|
|
80
|
+
* 返回的 `layoutViewport.clientHeight` 是权威值,浏览器自己算的。
|
|
81
|
+
*
|
|
82
|
+
* 拿不到(没开 CDP、不是浏览器、报错)就返回 null,调用方按原图处理 —— 不能因为
|
|
83
|
+
* 这个增强失败就把截图也搞坏。
|
|
84
|
+
*/
|
|
85
|
+
/**
|
|
86
|
+
* 问浏览器「页面内容真实占据多高」,用来裁掉浏览器外壳。
|
|
87
|
+
*
|
|
88
|
+
* **三条必须同时满足才返回结果,任何一条不满足就返回 null(不裁):**
|
|
89
|
+
*
|
|
90
|
+
* ① 虚拟屏前台必须真的是浏览器。**这是致命的一条** —— 不校验的话,用户在虚拟屏上
|
|
91
|
+
* 开着游戏/微信、而 Edge 只是把某个本机页面挂在后台,照样会按 220px 去裁,
|
|
92
|
+
* 把普通 App 的底部静默切掉。对抗审查给的两张 720x1372 产出图就是这个 bug,
|
|
93
|
+
* 源图是全黑的、根本没有浏览器。
|
|
94
|
+
*
|
|
95
|
+
* ② 用 `cssLayoutViewport` 而不是 `layoutViewport`。后者协议里标了 deprecated:
|
|
96
|
+
* "Can be in DP or in CSS pixels depending on the enable-use-zoom-for-dsf flag"。
|
|
97
|
+
* 这台机器上 layoutViewport=1372(设备像素)、cssLayoutViewport=686(CSS 像素)、
|
|
98
|
+
* dpr=2,今天恰好对;但那个 flag 一变,同一个值会从 1372 变成 686,
|
|
99
|
+
* cropPx 从 220 变成 906,直接切掉一半内容。
|
|
100
|
+
* 用 `css.clientHeight * fullW / css.clientWidth` 换算,跟 DPR、pinch、
|
|
101
|
+
* zoom-for-dsf 开关全部无关。
|
|
102
|
+
*
|
|
103
|
+
* ③ 挑当前可见的那个标签,不按 URL 白名单挑。按 `127.0.0.1:3xxx` 匹配的话,
|
|
104
|
+
* 虚拟屏上开真实网站时永远匹配不到,crop 会静默失效、还拿不到那 13%。
|
|
105
|
+
*
|
|
106
|
+
* @param {number} fullW 整屏截图的宽度(设备像素),用来把 CSS 高度换算成设备像素
|
|
107
|
+
* @returns {Promise<{height:number, url:string, browser:string}|null>}
|
|
108
|
+
*/
|
|
109
|
+
/*
|
|
110
|
+
* ⚠️ **这里有一个跨包的可选依赖:screen → web。**
|
|
111
|
+
*
|
|
112
|
+
* 用相对路径 `../../web/src/cdp.js` 去借 web 包的 CDP 能力,来判断浏览器页面
|
|
113
|
+
* 的真实内容高度(自动裁掉空白,省 token)。
|
|
114
|
+
*
|
|
115
|
+
* **这意味着:只有两个包在磁盘上保持兄弟目录关系时,这个功能才work。**
|
|
116
|
+
* 它们被正常打包/发布、或者单独安装到别处时,这个 import 会 reject。
|
|
117
|
+
*
|
|
118
|
+
* 设计上这是**可选的降级**:import 失败 → 返回 null → 调用方(本文件 240 行)
|
|
119
|
+
* 就当"没法自动判断内容高度",退回按整屏处理。**不会崩,只是少省一点 token。**
|
|
120
|
+
*
|
|
121
|
+
* 所以:打包发布时不用担心它会挂,但要知道这个省 token 的功能在那种装法下没有。
|
|
122
|
+
*/
|
|
123
|
+
export async function contentHeight(fullW = 0) {
|
|
124
|
+
try {
|
|
125
|
+
const cdp = await import('../../web/src/cdp.js');
|
|
126
|
+
const ens = await cdp.ensure();
|
|
127
|
+
if (!ens || ens.ok === false) return null;
|
|
128
|
+
|
|
129
|
+
const { send } = await cdp;
|
|
130
|
+
// 挑可见标签:visibilityState === 'visible' 且不是 devtools/扩展页
|
|
131
|
+
const tabs = await cdp.listAllTabs();
|
|
132
|
+
let target = null;
|
|
133
|
+
for (const t of tabs) {
|
|
134
|
+
if (!t.url || !/^https?:|^file:/.test(t.url)) continue;
|
|
135
|
+
try {
|
|
136
|
+
const v = await cdp.evaluate(t.targetId, "return document.visibilityState");
|
|
137
|
+
if (v === 'visible') { target = t; break; }
|
|
138
|
+
} catch { /* 这个标签取不到,试下一个 */ }
|
|
139
|
+
}
|
|
140
|
+
if (!target) return null;
|
|
141
|
+
|
|
142
|
+
const m = await send(target.targetId, 'Page.getLayoutMetrics', {});
|
|
143
|
+
const res = m?.result ?? m;
|
|
144
|
+
const css = res?.cssLayoutViewport;
|
|
145
|
+
if (!css || !(css.clientWidth > 0) || !(css.clientHeight > 0)) return null;
|
|
146
|
+
|
|
147
|
+
// 换算成设备像素:不管 css 用的是 DP 还是 CSS px,比例都是对的
|
|
148
|
+
const ratio = fullW > 0 ? fullW / css.clientWidth : 1;
|
|
149
|
+
const height = Math.round(css.clientHeight * ratio);
|
|
150
|
+
if (height < 200) return null;
|
|
151
|
+
|
|
152
|
+
return { height, url: target.url, browser: ens.browser || '' };
|
|
153
|
+
} catch {
|
|
154
|
+
return null;
|
|
155
|
+
}
|
|
156
|
+
}
|
|
157
|
+
|
|
158
|
+
/**
|
|
159
|
+
* 抓一组帧并拼成网格。
|
|
160
|
+
*
|
|
161
|
+
* @param {object} o
|
|
162
|
+
* @param {string} o.sfId SurfaceFlinger 的 64 位 display id
|
|
163
|
+
* @param {number} [o.frames=9] 抓几帧(会被规整成能拼成矩形格的数量)
|
|
164
|
+
* @param {number} [o.intervalMs=300] 两帧之间的间隔
|
|
165
|
+
* @param {number} [o.cellWidth=262] 每格宽度
|
|
166
|
+
* @param {string} [o.dir='/tmp'] 输出目录
|
|
167
|
+
* @returns {{ok:boolean, path?:string, cells?:number, cols?:number, rows?:number,
|
|
168
|
+
* cellW?:number, cellH?:number, captured?:number, elapsedMs?:number, hint?:string}}
|
|
169
|
+
*/
|
|
170
|
+
export async function capture({ sfId, frames = 9, intervalMs = 300, cellWidth = 262, dir = '/tmp', crop = 'none' } = {}) {
|
|
171
|
+
if (!sfId) return { ok: false, hint: '缺 SurfaceFlinger id,先 vdisplay_start 建屏。' };
|
|
172
|
+
|
|
173
|
+
// 规整成矩形:优先 1/2/4/6/9/12/16
|
|
174
|
+
const legal = [1, 2, 4, 6, 9, 12, 16];
|
|
175
|
+
const n = legal.reduce((a, b) => (Math.abs(b - frames) < Math.abs(a - frames) ? b : a), 9);
|
|
176
|
+
const cols = n <= 2 ? n : n <= 4 ? 2 : n <= 9 ? 3 : 4;
|
|
177
|
+
const rows = Math.ceil(n / cols);
|
|
178
|
+
const actual = cols * rows;
|
|
179
|
+
|
|
180
|
+
const stamp = Date.now();
|
|
181
|
+
const work = join(dir, `vd-timeline-${stamp}`);
|
|
182
|
+
try { await mkdir(work, { recursive: true }); } catch {
|
|
183
|
+
return { ok: false, hint: `建不了目录 ${work}` };
|
|
184
|
+
}
|
|
185
|
+
|
|
186
|
+
const target = await adbTarget();
|
|
187
|
+
const t0 = Date.now();
|
|
188
|
+
let captured = 0;
|
|
189
|
+
let distinctFrames = 0;
|
|
190
|
+
let sampledElapsedMs = 0;
|
|
191
|
+
const files = [];
|
|
192
|
+
|
|
193
|
+
/*
|
|
194
|
+
* **按变化采样,不是按固定间隔。**
|
|
195
|
+
*
|
|
196
|
+
* 老做法是每 intervalMs 抓一帧,跟内容速度无关:
|
|
197
|
+
* · 静止画面 → 抓 N 张一样的图,白花 2 秒 + 全部 token
|
|
198
|
+
* · 快动作 → 300ms 一格,中间十几帧的变化全丢
|
|
199
|
+
* dsh-video-storyboard 从 0.6.0 起就是按"累积画面变化量"补采样点,
|
|
200
|
+
* 我们这一项本来是落后的(对抗分析指出),这里补上。
|
|
201
|
+
*
|
|
202
|
+
* 做法:以 minGapMs 为最小间隔快抓,每帧先缩到 32x32 灰度跟上一帧比,
|
|
203
|
+
* 累积变化超过阈值才留下来当一格;够数就停,超时也停。
|
|
204
|
+
* 32x32 的比较成本约 40ms,换掉的是"白抓一张 720x1592 存盘再拼进图"。
|
|
205
|
+
*/
|
|
206
|
+
const { captureFramesAdaptive } = await import('./sampling.js');
|
|
207
|
+
const sampled = await captureFramesAdaptive({
|
|
208
|
+
grab: async (dest) => grabOne(target, sfId, dest),
|
|
209
|
+
dir: work,
|
|
210
|
+
need: actual,
|
|
211
|
+
minGapMs: 0, // 只留变化的帧,所以不用人为间隔,抓得越快越好(实测 gap=0 比 80ms 快 0.6 秒)
|
|
212
|
+
maxGapMs: intervalMs,
|
|
213
|
+
budgetMs: Math.min(6000, 500 + actual * (intervalMs + 260)),
|
|
214
|
+
});
|
|
215
|
+
// **captured 是补满后的长度(恒等于格数),distinct 才是真正不同的帧数。**
|
|
216
|
+
// 静止画面会补 8 个重复帧,如果只报 captured,调用方会以为'画面一直在变'。
|
|
217
|
+
captured = sampled.frames.length;
|
|
218
|
+
distinctFrames = sampled.distinct;
|
|
219
|
+
sampledElapsedMs = sampled.elapsedMs || 0;
|
|
220
|
+
files.push(...sampled.frames);
|
|
221
|
+
|
|
222
|
+
|
|
223
|
+
|
|
224
|
+
if (captured === 0) {
|
|
225
|
+
await rm(work, { recursive: true, force: true });
|
|
226
|
+
return { ok: false, hint: '一帧都没抓到。查 vdisplay_status 确认屏还在。' };
|
|
227
|
+
}
|
|
228
|
+
|
|
229
|
+
// 用第一帧的真实尺寸算格子高(横竖屏会变)。
|
|
230
|
+
// **crop=content 时必须先算出裁剪量再算格子高** —— 否则内容被裁了、格子还是按原高度算,
|
|
231
|
+
// 结果只是把内容缩小塞进原来的格子,token 一分不省(第一版就犯了这个错)。
|
|
232
|
+
let cellH = Math.round(cellWidth * 16 / 9);
|
|
233
|
+
let fullW = 0;
|
|
234
|
+
let fullH = 0;
|
|
235
|
+
try {
|
|
236
|
+
const b = await readFile(files[0]);
|
|
237
|
+
if (b.length > 24 && b.readUInt32BE(12) === 0x49484452) {
|
|
238
|
+
fullW = b.readUInt32BE(16);
|
|
239
|
+
fullH = b.readUInt32BE(20);
|
|
240
|
+
}
|
|
241
|
+
} catch { /* 用默认比例 */ }
|
|
242
|
+
|
|
243
|
+
let cropPx = 0;
|
|
244
|
+
let cropNote = '';
|
|
245
|
+
if (crop === 'content' && fullH > 200) {
|
|
246
|
+
// **必须验前台是不是浏览器**:不验的话虚拟屏上开着游戏/微信时,
|
|
247
|
+
// 会按浏览器壳的高度把 App 底部切掉(对抗审查给出的致命 bug)。
|
|
248
|
+
const BROWSE_RE = /emmx|chrome|browser|quark|ucmobile|sogou|baidu\.searchbox|firefox/i;
|
|
249
|
+
let focus = '';
|
|
250
|
+
try { focus = await focusedApp(); } catch { focus = ''; }
|
|
251
|
+
if (!BROWSE_RE.test(String(focus || ''))) {
|
|
252
|
+
cropNote = `前台是「${focus || '未知'}」,不是浏览器,未裁剪`;
|
|
253
|
+
} else {
|
|
254
|
+
const ch = await contentHeight(fullW);
|
|
255
|
+
if (ch && ch.height > 200 && ch.height < fullH - 20) {
|
|
256
|
+
// 偶数化:奇数高度会让某些编码器报 "height not divisible by 2"
|
|
257
|
+
const rawCrop = fullH - ch.height;
|
|
258
|
+
cropPx = rawCrop % 2 ? rawCrop + 1 : rawCrop;
|
|
259
|
+
}
|
|
260
|
+
}
|
|
261
|
+
}
|
|
262
|
+
|
|
263
|
+
const effH = fullH > 0 ? fullH - cropPx : 0;
|
|
264
|
+
if (fullW > 0 && effH > 0) {
|
|
265
|
+
cellH = Math.max(60, Math.round(cellWidth * effH / fullW));
|
|
266
|
+
}
|
|
267
|
+
|
|
268
|
+
const out = join(dir, `vd-timeline-${stamp}.png`);
|
|
269
|
+
|
|
270
|
+
// ffmpeg 拼图:用 filenames 序列 + tile
|
|
271
|
+
// 采样器产出的是 s001..sNNN,而且可能含重复帧(静止画面用重复帧填满网格),
|
|
272
|
+
// 所以不能靠 ffmpeg 的通配符读,先按顺序复制成 f01..fNN 再拼。
|
|
273
|
+
const { copyFile } = await import('node:fs/promises');
|
|
274
|
+
const seqFiles = [];
|
|
275
|
+
for (let k = 0; k < files.length; k += 1) {
|
|
276
|
+
const dst = join(work, `f${String(k + 1).padStart(2, '0')}.png`);
|
|
277
|
+
try { await copyFile(files[k], dst); seqFiles.push(dst); } catch { /* 跳过 */ }
|
|
278
|
+
}
|
|
279
|
+
if (seqFiles.length < cols * rows) {
|
|
280
|
+
await rm(work, { recursive: true, force: true });
|
|
281
|
+
return { ok: false, hint: `只凑到 ${seqFiles.length} 帧(需要 ${cols * rows})。` };
|
|
282
|
+
}
|
|
283
|
+
|
|
284
|
+
const pattern = join(work, 'f%02d.png');
|
|
285
|
+
const pre = cropPx > 0 ? `crop=iw:ih-${cropPx}:0:0,` : '';
|
|
286
|
+
const vf = `${pre}scale=${cellWidth}:${cellH}:force_original_aspect_ratio=decrease,`
|
|
287
|
+
+ `pad=${cellWidth}:${cellH}:(ow-iw)/2:(oh-ih)/2:color=0x121214,tile=${cols}x${rows}`;
|
|
288
|
+
const r = await run('ffmpeg', [
|
|
289
|
+
'-y', '-loglevel', 'error',
|
|
290
|
+
'-framerate', '1', '-start_number', '1',
|
|
291
|
+
'-i', pattern,
|
|
292
|
+
'-vf', vf,
|
|
293
|
+
'-frames:v', '1',
|
|
294
|
+
out,
|
|
295
|
+
], 60000);
|
|
296
|
+
|
|
297
|
+
await rm(work, { recursive: true, force: true });
|
|
298
|
+
// **只清手机侧的临时图,别把输出也删了**:如果调用方把 dir 指到 /sdcard,
|
|
299
|
+
// 输出文件就叫 vd-timeline-*.png,通配符会把刚生成的图一起删掉,调用方拿到不存在的路径。
|
|
300
|
+
if (!String(dir).startsWith('/sdcard')) {
|
|
301
|
+
await shell('rm -f /sdcard/vd-timeline-*.png').catch(() => {});
|
|
302
|
+
}
|
|
303
|
+
|
|
304
|
+
if (!r.ok) return { ok: false, hint: `拼图失败:${r.err || r.code}` };
|
|
305
|
+
|
|
306
|
+
return {
|
|
307
|
+
ok: true,
|
|
308
|
+
path: out,
|
|
309
|
+
cells: actual,
|
|
310
|
+
captured,
|
|
311
|
+
cols,
|
|
312
|
+
rows,
|
|
313
|
+
cellW: cellWidth,
|
|
314
|
+
cellH,
|
|
315
|
+
canvasW: cellWidth * cols,
|
|
316
|
+
canvasH: cellH * rows,
|
|
317
|
+
elapsedMs: Date.now() - t0,
|
|
318
|
+
intervalMs,
|
|
319
|
+
croppedPx: cropPx,
|
|
320
|
+
distinct: distinctFrames,
|
|
321
|
+
sampledElapsedMs,
|
|
322
|
+
cropNote,
|
|
323
|
+
};
|
|
324
|
+
}
|