offscreen-android 0.0.0-stage → 0.1.0
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/LICENSE +21 -0
- package/README.md +195 -2
- package/assets/injector/Injector.smali +1179 -0
- package/assets/injector/README.md +101 -0
- package/assets/injector/inject.dex +0 -0
- package/assets/overlay/ai-overlay.apk +0 -0
- package/assets/scrcpy-server.jar +0 -0
- package/bin/aim.mjs +220 -0
- package/bin/asr.mjs +81 -0
- package/bin/audcap.mjs +128 -0
- package/bin/mcp-server.mjs +410 -0
- package/bin/vdisplay.mjs +305 -0
- package/bin/vdisplayd.mjs +398 -0
- package/bin/vidcap.mjs +82 -0
- package/bin/vidgrab.mjs +172 -0
- package/package.json +55 -4
- package/src/framesrv.js +348 -0
- package/src/human.js +302 -0
- package/src/index.js +161 -0
- package/src/inject.js +415 -0
- package/src/lease.js +314 -0
- package/src/occupancy.js +214 -0
- package/src/ocr.js +209 -0
- package/src/ocr_helper.py +125 -0
- package/src/pool.js +195 -0
- package/src/sampling.js +163 -0
- package/src/stream.js +571 -0
- package/src/target.js +29 -0
- package/src/timeline.js +324 -0
- package/src/tool-spec.js +873 -0
- package/src/tools.js +2034 -0
- package/src/vd.js +2354 -0
- package/src/video.js +751 -0
- package/src/vision.js +193 -0
- package/src/vision_helper.py +334 -0
package/src/stream.js
ADDED
|
@@ -0,0 +1,571 @@
|
|
|
1
|
+
/**
|
|
2
|
+
* stream.js — 把虚拟屏的画面以 JPEG 帧的形式,通过本机回环 HTTP 交给原生插件。
|
|
3
|
+
*
|
|
4
|
+
* 为什么不用文件、也不用桥接协议搬帧:
|
|
5
|
+
* - 文件:用户明确说截图占空间。
|
|
6
|
+
* - 桥接协议:只收 JSON 文本帧、每次 ≤32 KiB、限 4 Hz,MJPEG 流塞不进去。
|
|
7
|
+
* 所以走 127.0.0.1 回环:插件取帧(内存)→ 原生侧 fetch → base64 → 面板 image。
|
|
8
|
+
*
|
|
9
|
+
* 实测成本(同一颗 SoC,360x640@2fps):screencap 133 ms/帧 + ffmpeg 转码 14 ms/帧 ≈ 0.30 核。
|
|
10
|
+
* 帧率才是成本主轴,分辨率不是——screencap 的固定开销约 60 ms(binder/内核拷贝)。
|
|
11
|
+
*/
|
|
12
|
+
import { createServer, request } from 'node:http';
|
|
13
|
+
import { spawn } from 'node:child_process';
|
|
14
|
+
import { mkdir, writeFile, rm, readFile } from 'node:fs/promises';
|
|
15
|
+
import { homedir } from 'node:os';
|
|
16
|
+
import { join } from 'node:path';
|
|
17
|
+
import { adbTarget } from './target.js';
|
|
18
|
+
|
|
19
|
+
const ADB = process.env.ADB_BIN || 'adb';
|
|
20
|
+
const STATE_DIR = join(process.env.DSH_HOME || join(homedir(), '.dsh'), 'plugin-screen');
|
|
21
|
+
const STATE_FILE = join(STATE_DIR, 'stream.json');
|
|
22
|
+
|
|
23
|
+
const st = {
|
|
24
|
+
server: null,
|
|
25
|
+
port: 0,
|
|
26
|
+
timer: null,
|
|
27
|
+
latest: null,
|
|
28
|
+
busy: false,
|
|
29
|
+
running: false,
|
|
30
|
+
startedAt: 0,
|
|
31
|
+
fps: 2,
|
|
32
|
+
width: 360,
|
|
33
|
+
sfId: null,
|
|
34
|
+
// **看门狗相关**
|
|
35
|
+
lastFrameFetchAt: 0, // 上一次有人来取帧(/frame.jpg)
|
|
36
|
+
lastActivityAt: 0, // 上一次有工具调用(外部调 touch())
|
|
37
|
+
state: 'idle', // idle | thinking | looking | acting | done | error
|
|
38
|
+
aspect: 0, // 真实画面比例 W/H,从 PNG 头读
|
|
39
|
+
doneAt: 0, // 进入 done 的时刻,用来做「done 后保留 N 秒」
|
|
40
|
+
// **点击标记**:在推流帧上画出「AI 点在哪」,用户能直接看到操作位置
|
|
41
|
+
marks: [], // [{ nx, ny, at, kind }],最多留 3 个
|
|
42
|
+
viewers: new Set(), // MJPEG 长连接的响应对象
|
|
43
|
+
// **外部后端(framesrv / ImageReader)**。
|
|
44
|
+
// 快路径在跑时,stream.json 要报它的端口,不能用 screencap 这条的。
|
|
45
|
+
// 之前两个写入者抢同一个文件:每次工具调用 setState → writeState,
|
|
46
|
+
// 就把快路径信息覆盖成慢路径的端口,胶囊因此读到错的那条。
|
|
47
|
+
extPort: 0,
|
|
48
|
+
extBackend: '',
|
|
49
|
+
displayId: null,
|
|
50
|
+
focusedApp: '',
|
|
51
|
+
frames: 0,
|
|
52
|
+
errors: 0,
|
|
53
|
+
quality: 7,
|
|
54
|
+
};
|
|
55
|
+
|
|
56
|
+
function runCollect(cmd, args) {
|
|
57
|
+
return new Promise((resolve) => {
|
|
58
|
+
const p = spawn(cmd, args);
|
|
59
|
+
const out = [];
|
|
60
|
+
const err = [];
|
|
61
|
+
p.stdout.on('data', (d) => out.push(d));
|
|
62
|
+
p.stderr.on('data', (d) => err.push(d));
|
|
63
|
+
p.on('close', (code) => resolve({ code, out: Buffer.concat(out), err: Buffer.concat(err).toString() }));
|
|
64
|
+
p.on('error', (e) => resolve({ code: -1, out: Buffer.alloc(0), err: String(e.message) }));
|
|
65
|
+
});
|
|
66
|
+
}
|
|
67
|
+
|
|
68
|
+
/**
|
|
69
|
+
* 用 ffmpeg 把 PNG 转成缩放后的 JPEG(走管道,不落盘)。
|
|
70
|
+
*
|
|
71
|
+
* q 越小质量越好、体积越大。实测 360 宽 q7 在彩色桌面上会到 27 KB,
|
|
72
|
+
* base64 后 36 KB —— **超过桥接每次 32 KiB 的硬限,连续 5 次会把插件降级**。
|
|
73
|
+
* 所以调用方要按体积自适应降 q 或缩宽度。
|
|
74
|
+
*/
|
|
75
|
+
function pngToJpeg(png, width, q = 7) {
|
|
76
|
+
// **点击标记画在缩放之后**,这样坐标直接是输出空间的,不用反算原图尺寸。
|
|
77
|
+
const marks = marksToFilters(width); // **传本次宽度**,缩窄回退时才不会画错位置
|
|
78
|
+
const vf = marks
|
|
79
|
+
? `scale=${width}:-1:flags=bilinear,${marks}`
|
|
80
|
+
: `scale=${width}:-1:flags=bilinear`;
|
|
81
|
+
return new Promise((resolve) => {
|
|
82
|
+
const p = spawn('ffmpeg', [
|
|
83
|
+
'-hide_banner', '-loglevel', 'error',
|
|
84
|
+
'-f', 'png_pipe', '-i', 'pipe:0',
|
|
85
|
+
'-vf', vf,
|
|
86
|
+
'-f', 'mjpeg', '-q:v', String(q), 'pipe:1',
|
|
87
|
+
]);
|
|
88
|
+
const out = [];
|
|
89
|
+
p.stdout.on('data', (d) => out.push(d));
|
|
90
|
+
p.on('error', () => resolve(null));
|
|
91
|
+
p.on('close', (code) => resolve(code === 0 && out.length ? Buffer.concat(out) : null));
|
|
92
|
+
p.stdin.on('error', () => {});
|
|
93
|
+
p.stdin.end(png);
|
|
94
|
+
});
|
|
95
|
+
}
|
|
96
|
+
|
|
97
|
+
// base64 占 4/3,还要留 JSON 开销,所以 JPEG 必须 ≤ 22000 字节(与胶囊端 FRAME_MAX 保持一致,否则落在中间区间会出现 stream 认为合格、胶囊每帧丢弃的黑屏)
|
|
98
|
+
const JPEG_BUDGET = 22000;
|
|
99
|
+
|
|
100
|
+
/**
|
|
101
|
+
* 刷新 SurfaceFlinger id。
|
|
102
|
+
*
|
|
103
|
+
* **为什么必须做**:虚拟屏一旦被重建(App 强制横屏就会),SurfaceFlinger 会分配
|
|
104
|
+
* 一个**新的** sfId。还拿旧的去 `screencap -d`,每次都失败,画面冻在最后一帧 ——
|
|
105
|
+
* 用户看到的就是「胶囊一直不动」。
|
|
106
|
+
*
|
|
107
|
+
* 原来 start() 只在开头取一次 sfId,之后永不刷新。这是审代码时发现的真 bug。
|
|
108
|
+
*/
|
|
109
|
+
async function refreshSfId() {
|
|
110
|
+
try {
|
|
111
|
+
const target = await adbTarget();
|
|
112
|
+
const r = await runCollect(ADB, ['-s', target, 'shell', 'dumpsys SurfaceFlinger --display-id']);
|
|
113
|
+
const txt = String(r.out || '');
|
|
114
|
+
const ids = [...txt.matchAll(/Display\s+(\d{15,})\s*\(\s*Virtual display\)/g)].map(m => m[1]);
|
|
115
|
+
if (!ids.length) return false;
|
|
116
|
+
const next = ids[ids.length - 1];
|
|
117
|
+
if (next === st.sfId) return false;
|
|
118
|
+
st.sfId = next;
|
|
119
|
+
return true;
|
|
120
|
+
} catch { return false; }
|
|
121
|
+
}
|
|
122
|
+
|
|
123
|
+
/** 从 PNG 头读真实宽高(IHDR 在偏移 16/20)。用来算 aspect,不依赖 dumpsys。 */
|
|
124
|
+
function pngSize(buf) {
|
|
125
|
+
try {
|
|
126
|
+
if (buf.length < 24) return null;
|
|
127
|
+
// PNG 签名 8 字节 + 长度 4 + "IHDR" 4 = 16,之后是 width/height 各 4 字节
|
|
128
|
+
const w = buf.readUInt32BE(16);
|
|
129
|
+
const h = buf.readUInt32BE(20);
|
|
130
|
+
if (w > 0 && h > 0 && w < 10000 && h < 10000) return { w, h };
|
|
131
|
+
} catch { /* 读不出来就算了 */ }
|
|
132
|
+
return null;
|
|
133
|
+
}
|
|
134
|
+
|
|
135
|
+
async function captureAndConvert() {
|
|
136
|
+
// 目标地址现取:adb 插件的 adbd 端口会变,硬编码 5555 会静默抓不到帧。
|
|
137
|
+
const target = await adbTarget();
|
|
138
|
+
const grab = () => runCollect(ADB, ['-s', target, 'exec-out', 'screencap', '-p', '-d', st.sfId]);
|
|
139
|
+
let r = await grab();
|
|
140
|
+
// **失败先怀疑 sfId 失效**(横屏重建、屏被换),刷新后重试一次再报错。
|
|
141
|
+
if (r.code !== 0 || r.out.length === 0) {
|
|
142
|
+
if (await refreshSfId()) r = await grab();
|
|
143
|
+
}
|
|
144
|
+
if (r.code !== 0 || r.out.length === 0) { st.errors += 1; return null; }
|
|
145
|
+
// 读真实尺寸算比例(横竖屏自适应要用)
|
|
146
|
+
const sz = pngSize(r.out);
|
|
147
|
+
if (sz) {
|
|
148
|
+
const a = sz.w / sz.h;
|
|
149
|
+
if (Math.abs(a - st.aspect) > 0.01) { st.aspect = a; writeState(); }
|
|
150
|
+
}
|
|
151
|
+
|
|
152
|
+
// 自适应:ffmpeg 的 -q:v 是**数字越大质量越差、文件越小**(2 最好 31 最差)。
|
|
153
|
+
// 之前按 7→4→2 写反了,越调越大,帧反而超标 —— 这里往大的方向调。
|
|
154
|
+
// **从上次成功的 q 开始试,不要每帧都从 7 重跑。**
|
|
155
|
+
// 原来 st.quality 只写不读,导致每帧都从最好质量开始试,转码 14ms 变 30-50ms 还抖动。
|
|
156
|
+
const ladder = [7, 12, 18, 24];
|
|
157
|
+
const startIdx = Math.max(0, ladder.indexOf(st.quality));
|
|
158
|
+
const order = ladder.slice(startIdx).concat(ladder.slice(0, startIdx));
|
|
159
|
+
let last = null;
|
|
160
|
+
for (const q of order) {
|
|
161
|
+
const jpg = await pngToJpeg(r.out, st.width, q);
|
|
162
|
+
if (!jpg) continue;
|
|
163
|
+
last = jpg;
|
|
164
|
+
if (jpg.length <= JPEG_BUDGET) { st.quality = q; return jpg; }
|
|
165
|
+
}
|
|
166
|
+
// 降质量还不够就缩宽度
|
|
167
|
+
const narrower = Math.max(200, Math.round(st.width * 0.7));
|
|
168
|
+
const small = await pngToJpeg(r.out, narrower, 18);
|
|
169
|
+
if (small && (!last || small.length < last.length)) { st.quality = 18; return small; }
|
|
170
|
+
return last;
|
|
171
|
+
}
|
|
172
|
+
|
|
173
|
+
/**
|
|
174
|
+
* 看门狗参数。
|
|
175
|
+
*
|
|
176
|
+
* 之前 tick() 无条件每帧 screencap,不管有没有人看 —— 面板关掉后照样烧 0.3 核。
|
|
177
|
+
* 现在分三档:
|
|
178
|
+
* - 有人在看(30s 内取过帧)或有工具活动 → 正常抓
|
|
179
|
+
* - 都没了 → **暂停抓帧**(省 CPU),但保留服务,一有人看立刻恢复
|
|
180
|
+
* - 长时间(IDLE_SHUTDOWN_MS)彻底没动静 → 自动 shutdown,胶囊消失
|
|
181
|
+
*/
|
|
182
|
+
const WATCH_MS = 30_000; // 30s 内取过帧算「有人在看」
|
|
183
|
+
const IDLE_PAUSE_MS = 15_000; // 15s 无活动/无取帧 → 暂停抓帧
|
|
184
|
+
const IDLE_SHUTDOWN_MS = 120_000; // 120s 彻底没动静 → 自动关闭
|
|
185
|
+
const DONE_KEEP_MS = 30_000; // done 状态保留 30s 再关(用户要看「完成」)
|
|
186
|
+
|
|
187
|
+
/** 外部(工具层)在每次操作时调一下,告诉推流「还在干活」。 */
|
|
188
|
+
export function touch() {
|
|
189
|
+
st.lastActivityAt = Date.now();
|
|
190
|
+
if (st.state === 'idle' || st.state === 'done') { st.state = 'acting'; st.doneAt = 0; }
|
|
191
|
+
writeState();
|
|
192
|
+
}
|
|
193
|
+
|
|
194
|
+
/** 设置状态:thinking / looking / acting / done / error / idle */
|
|
195
|
+
/**
|
|
196
|
+
* 记一次点击位置,推流帧上会画出来。
|
|
197
|
+
*
|
|
198
|
+
* 用户提的需求:实时看到 AI 点在哪、有没有点偏。
|
|
199
|
+
* 成本很低 —— 只是往数组里塞一个归一化坐标,画图由 ffmpeg 的 drawbox 顺手做,
|
|
200
|
+
* 不额外解码、不额外传数据。
|
|
201
|
+
*/
|
|
202
|
+
export function markTap(nx, ny, kind = 'tap') {
|
|
203
|
+
const x = Number(nx), y = Number(ny);
|
|
204
|
+
if (!Number.isFinite(x) || !Number.isFinite(y)) return;
|
|
205
|
+
if (x < 0 || x > 1 || y < 0 || y > 1) return;
|
|
206
|
+
// **去重**:横向 6% 宽度、纵向按 aspect 折算(6% × aspect)。
|
|
207
|
+
// 原来是 x/y 都用 0.06:竖屏 aspect 0.45 时纵向判定区在像素上是横向的 2.2 倍,
|
|
208
|
+
// 上下相隔挺远的两次点击会被当成同一次,后一次把前一次覆盖掉。
|
|
209
|
+
const a = (st.aspect > 0.1 && st.aspect < 10) ? st.aspect : 0.5;
|
|
210
|
+
const dyMax = 0.06 * a;
|
|
211
|
+
const near = st.marks.findIndex(m =>
|
|
212
|
+
Math.abs(m.nx - x) < 0.06 && Math.abs(m.ny - y) < dyMax);
|
|
213
|
+
const rec = { nx: x, ny: y, at: Date.now(), kind: String(kind).slice(0, 8) };
|
|
214
|
+
if (near >= 0) st.marks.splice(near, 1);
|
|
215
|
+
st.marks.push(rec);
|
|
216
|
+
if (st.marks.length > 3) st.marks.shift();
|
|
217
|
+
st.lastActivityAt = Date.now();
|
|
218
|
+
}
|
|
219
|
+
|
|
220
|
+
/**
|
|
221
|
+
* 把 marks 变成 ffmpeg 滤镜串(画在缩放之后的坐标系里)。
|
|
222
|
+
*
|
|
223
|
+
* **必须传 width**:因为 pngToJpeg 在 JPEG 仍超标时会用 0.7 倍宽度再转一次
|
|
224
|
+
* (见下面的 narrower 回退),如果这里还按 st.width 算坐标,标记会横向偏 1.43 倍
|
|
225
|
+
* 直接被推出画面。子代理审代码时发现的。
|
|
226
|
+
*/
|
|
227
|
+
function marksToFilters(width) {
|
|
228
|
+
const now = Date.now();
|
|
229
|
+
// **最新的永远留着,旧的按时间淡出。**
|
|
230
|
+
// 原来一律 5 秒硬消失,一个每 20 秒瞄一眼的用户正好错过(变化盲视),
|
|
231
|
+
// 事后完全不知道刚才点过哪。现在:最新那个降到 0.35 常驻,state 变 done/idle 才撤。
|
|
232
|
+
const live = st.marks.filter(m => (now - m.at) < 60000);
|
|
233
|
+
if (!live.length) return '';
|
|
234
|
+
const W = width || st.width || 360;
|
|
235
|
+
const parts = [];
|
|
236
|
+
const newest = live[live.length - 1];
|
|
237
|
+
live.forEach((m, i) => {
|
|
238
|
+
const ageSec = (now - m.at) / 1000;
|
|
239
|
+
const isNewest = (m === newest);
|
|
240
|
+
// 透明度:最新 1.0 → 2s 后降到 0.35 常驻;旧的 ×0.5 更淡
|
|
241
|
+
let alpha;
|
|
242
|
+
// **常驻透明度从 0.35 提到 0.45**:0xFF2D2D@0.35 叠在深色底(#101216)上
|
|
243
|
+
// 大约只有 #631B1E,偏暗;DSH 自己就是深色界面,这是主场景。
|
|
244
|
+
if (isNewest) alpha = ageSec < 2 ? 1.0 : 0.45;
|
|
245
|
+
else alpha = 0.28;
|
|
246
|
+
// **新旧尺寸区分**:最新满血,旧的缩到 70%
|
|
247
|
+
const scale = isNewest ? 1.0 : 0.7;
|
|
248
|
+
const cx = Math.round(m.nx * W);
|
|
249
|
+
const a = (st.aspect > 0.1 && st.aspect < 10) ? st.aspect : 0.5;
|
|
250
|
+
const H = Math.round(W / a);
|
|
251
|
+
const cy = Math.round(m.ny * H);
|
|
252
|
+
// **线宽至少 3px**:原来 max(2, W*0.005)=2px,在 150dp 悬浮窗里只有 0.83dp,
|
|
253
|
+
// 低于 1dp 会被重采样吃掉一半亮度 —— 这是「看不清」的真正原因,不是分辨率问题。
|
|
254
|
+
const t = Math.max(3, Math.round(W * 0.008 * scale));
|
|
255
|
+
const arm = Math.max(9, Math.round(W * 0.028 * scale));
|
|
256
|
+
const box = Math.max(18, Math.round(W * 0.055 * scale));
|
|
257
|
+
// 外框:先垫一层黑边,深浅背景都看得清
|
|
258
|
+
// **描边改白色**:原来垫黑色,在深色背景上等于没有,还压低了边缘对比。
|
|
259
|
+
parts.push(`drawbox=x=${cx - box - 1}:y=${cy - box - 1}:w=${(box + 1) * 2}:h=${(box + 1) * 2}:color=white@${(alpha * 0.45).toFixed(2)}:t=1`);
|
|
260
|
+
// 十字
|
|
261
|
+
parts.push(`drawbox=x=${cx - arm}:y=${cy - t}:w=${arm * 2}:h=${t * 2}:color=0xFF2D2D@${alpha.toFixed(2)}:t=fill`);
|
|
262
|
+
parts.push(`drawbox=x=${cx - t}:y=${cy - arm}:w=${t * 2}:h=${arm * 2}:color=0xFF2D2D@${alpha.toFixed(2)}:t=fill`);
|
|
263
|
+
// 空心外框
|
|
264
|
+
parts.push(`drawbox=x=${cx - box}:y=${cy - box}:w=${box * 2}:h=${box * 2}:color=0xFF2D2D@${alpha.toFixed(2)}:t=${t}`);
|
|
265
|
+
});
|
|
266
|
+
return parts.join(',');
|
|
267
|
+
}
|
|
268
|
+
|
|
269
|
+
/** 登记外部后端(framesrv)的端口,让 stream.json 报对的端口。 */
|
|
270
|
+
export function setExternalBackend(port, backend = 'imagereader') {
|
|
271
|
+
st.extPort = Number(port) || 0;
|
|
272
|
+
st.extBackend = st.extPort ? String(backend) : '';
|
|
273
|
+
writeState();
|
|
274
|
+
}
|
|
275
|
+
|
|
276
|
+
/** 清掉外部后端(framesrv 停了)。 */
|
|
277
|
+
export function clearExternalBackend() {
|
|
278
|
+
st.extPort = 0;
|
|
279
|
+
st.extBackend = '';
|
|
280
|
+
writeState();
|
|
281
|
+
}
|
|
282
|
+
|
|
283
|
+
export function setState(state) {
|
|
284
|
+
const next = String(state || 'idle');
|
|
285
|
+
if (next === st.state) return;
|
|
286
|
+
st.state = next;
|
|
287
|
+
st.lastActivityAt = Date.now();
|
|
288
|
+
if (next === 'done') st.doneAt = Date.now();
|
|
289
|
+
else if (next !== 'idle') st.doneAt = 0;
|
|
290
|
+
// **done/idle 时清掉点击标记。**
|
|
291
|
+
// 原来注释说「state 变 done/idle 才撤」但代码里没实现:AI 停手后
|
|
292
|
+
// tick 会在 15 秒时暂停抓帧,最后一帧上的十字就永远冻在画面上,
|
|
293
|
+
// 用户看到的是「AI 一直点在那」。
|
|
294
|
+
if (next === 'done' || next === 'idle') {
|
|
295
|
+
st.marks = [];
|
|
296
|
+
// 立刻重画一帧(不带标记),让画面干净地停住
|
|
297
|
+
if (st.running && !st.busy) { try { tick(); } catch { /* ignore */ } }
|
|
298
|
+
}
|
|
299
|
+
writeState();
|
|
300
|
+
}
|
|
301
|
+
|
|
302
|
+
async function tick() {
|
|
303
|
+
if (!st.running || st.busy) return;
|
|
304
|
+
const now = Date.now();
|
|
305
|
+
const watching = (now - st.lastFrameFetchAt) < WATCH_MS;
|
|
306
|
+
const active = (now - st.lastActivityAt) < WATCH_MS;
|
|
307
|
+
|
|
308
|
+
// ① done 状态保留一段时间后自动关(用户提的「操作完了就不该一直显示」)
|
|
309
|
+
if (!st.extPort && st.state === 'done' && st.doneAt && (now - st.doneAt) > DONE_KEEP_MS) {
|
|
310
|
+
await shutdown();
|
|
311
|
+
return;
|
|
312
|
+
}
|
|
313
|
+
// ② 长时间彻底没动静 → 自动关(**但外部后端在跑时不关**)
|
|
314
|
+
// 用户要求:「屏没关就一直显示」。framesrv 有自己的空闲退出,这里不该抢着关。
|
|
315
|
+
if (!st.extPort && !watching && !active && (now - Math.max(st.lastFrameFetchAt, st.lastActivityAt, st.startedAt)) > IDLE_SHUTDOWN_MS) {
|
|
316
|
+
await shutdown();
|
|
317
|
+
return;
|
|
318
|
+
}
|
|
319
|
+
// ③ 暂时没人看 → 暂停抓帧,省 CPU
|
|
320
|
+
if (!watching && !active && (now - Math.max(st.lastFrameFetchAt, st.lastActivityAt, st.startedAt)) > IDLE_PAUSE_MS) {
|
|
321
|
+
return;
|
|
322
|
+
}
|
|
323
|
+
|
|
324
|
+
st.busy = true;
|
|
325
|
+
try {
|
|
326
|
+
const jpg = await captureAndConvert();
|
|
327
|
+
if (jpg) {
|
|
328
|
+
st.latest = jpg;
|
|
329
|
+
st.frames += 1;
|
|
330
|
+
// **有新帧立刻推给所有长连接** —— 这是消除拍频的关键
|
|
331
|
+
for (const v of st.viewers) writeMjpeg(v, jpg);
|
|
332
|
+
if (st.viewers.size > 0) st.lastFrameFetchAt = Date.now();
|
|
333
|
+
}
|
|
334
|
+
} finally { st.busy = false; }
|
|
335
|
+
}
|
|
336
|
+
|
|
337
|
+
export function setFocusedApp(app) {
|
|
338
|
+
st.focusedApp = String(app || '').slice(0, 200);
|
|
339
|
+
writeState();
|
|
340
|
+
}
|
|
341
|
+
|
|
342
|
+
/** 往一个 MJPEG 长连接写一帧。 */
|
|
343
|
+
function writeMjpeg(res, jpg) {
|
|
344
|
+
try {
|
|
345
|
+
res.write('--dshframe\r\n');
|
|
346
|
+
res.write('Content-Type: image/jpeg\r\n');
|
|
347
|
+
res.write('Content-Length: ' + jpg.length + '\r\n\r\n');
|
|
348
|
+
res.write(jpg);
|
|
349
|
+
res.write('\r\n');
|
|
350
|
+
} catch { /* 客户端断了就算了 */ }
|
|
351
|
+
}
|
|
352
|
+
|
|
353
|
+
async function writeState() {
|
|
354
|
+
try {
|
|
355
|
+
// **没有真实状态时不要覆盖已有的好文件。**
|
|
356
|
+
// 实机踩到:每个新 Node 进程的 stream.js 状态都是空的(port=0, running=false),
|
|
357
|
+
// 一次 setState() 就把 framesrv 写好的 stream.json 清成 port:0,
|
|
358
|
+
// 胶囊/标记全失联。所以「没端口也没在跑」时直接跳过写盘。
|
|
359
|
+
if (!st.extPort && !st.running && !st.port) return;
|
|
360
|
+
await mkdir(STATE_DIR, { recursive: true });
|
|
361
|
+
await writeFile(STATE_FILE, JSON.stringify({
|
|
362
|
+
// **有外部后端时报它的端口**,否则胶囊会去连死的 screencap 端口
|
|
363
|
+
port: st.extPort || st.port,
|
|
364
|
+
backend: st.extBackend || (st.running ? 'screencap' : ''),
|
|
365
|
+
running: st.extPort ? true : st.running,
|
|
366
|
+
startedAt: st.startedAt,
|
|
367
|
+
fps: st.fps, width: st.width, displayId: st.displayId,
|
|
368
|
+
focusedApp: st.focusedApp || '', // 胶囊靠这个显示"AI 在操作 XX",以前压根没写
|
|
369
|
+
state: st.state, // idle/thinking/looking/acting/done/error
|
|
370
|
+
aspect: st.aspect || 0, // 真实画面比例,横竖屏自适应用
|
|
371
|
+
}));
|
|
372
|
+
} catch { /* 写不进去不影响推帧 */ }
|
|
373
|
+
}
|
|
374
|
+
|
|
375
|
+
function startServer() {
|
|
376
|
+
return new Promise((resolve) => {
|
|
377
|
+
const srv = createServer((req, res) => {
|
|
378
|
+
const url = new URL(req.url, 'http://127.0.0.1');
|
|
379
|
+
if (url.pathname === '/status') {
|
|
380
|
+
res.writeHead(200, { 'content-type': 'application/json', 'cache-control': 'no-store' });
|
|
381
|
+
res.end(JSON.stringify({
|
|
382
|
+
running: st.running, displayId: st.displayId, fps: st.fps, width: st.width,
|
|
383
|
+
frames: st.frames, errors: st.errors, focusedApp: st.focusedApp,
|
|
384
|
+
// 新增:状态、真实比例、空闲秒数 —— 胶囊靠这些显示「AI 在干什么」
|
|
385
|
+
state: st.state, aspect: st.aspect || 0,
|
|
386
|
+
idleSec: Math.round((Date.now() - Math.max(st.lastFrameFetchAt, st.lastActivityAt, st.startedAt)) / 1000),
|
|
387
|
+
}));
|
|
388
|
+
return;
|
|
389
|
+
}
|
|
390
|
+
if (url.pathname === '/frame.jpg') {
|
|
391
|
+
st.lastFrameFetchAt = Date.now(); // 有人来看 = 有人在看,恢复抓帧
|
|
392
|
+
if (!st.latest) { res.writeHead(503); res.end('no frame yet'); return; }
|
|
393
|
+
res.writeHead(200, { 'content-type': 'image/jpeg', 'cache-control': 'no-store' });
|
|
394
|
+
res.end(st.latest);
|
|
395
|
+
return;
|
|
396
|
+
}
|
|
397
|
+
/**
|
|
398
|
+
* **MJPEG 长连接。**
|
|
399
|
+
*
|
|
400
|
+
* 为什么加:原来客户端每 400ms 轮询一次 /frame.jpg,而服务端 500ms 换帧,
|
|
401
|
+
* 两个周期不同步 → 每约 2 秒会出现一次 810ms 的长停顿(纯算术,可预测)。
|
|
402
|
+
* 用长连接推流就没有这个拍频 —— 一有新帧立刻推。
|
|
403
|
+
*/
|
|
404
|
+
if (url.pathname === '/stream.mjpg') {
|
|
405
|
+
st.lastFrameFetchAt = Date.now();
|
|
406
|
+
res.writeHead(200, {
|
|
407
|
+
'content-type': 'multipart/x-mixed-replace; boundary=--dshframe',
|
|
408
|
+
'cache-control': 'no-store',
|
|
409
|
+
'connection': 'keep-alive',
|
|
410
|
+
'pragma': 'no-cache',
|
|
411
|
+
});
|
|
412
|
+
st.viewers.add(res);
|
|
413
|
+
// 先推一帧已有的,别让客户端等
|
|
414
|
+
if (st.latest) writeMjpeg(res, st.latest);
|
|
415
|
+
const cleanup = () => { st.viewers.delete(res); };
|
|
416
|
+
req.on('close', cleanup);
|
|
417
|
+
req.on('error', cleanup);
|
|
418
|
+
res.on('close', cleanup);
|
|
419
|
+
res.on('error', cleanup);
|
|
420
|
+
return;
|
|
421
|
+
}
|
|
422
|
+
res.writeHead(404); res.end('not found');
|
|
423
|
+
});
|
|
424
|
+
// **先试固定端口。** listen(0) 每次重启端口都变,服务一重启悬浮窗就永久失联
|
|
425
|
+
// (它记着旧端口,连不上也不会自己找新的)。
|
|
426
|
+
const FIXED = Number(process.env.DSH_STREAM_PORT || 38801);
|
|
427
|
+
const onListening = () => {
|
|
428
|
+
st.port = srv.address().port;
|
|
429
|
+
st.server = srv;
|
|
430
|
+
resolve(st.port);
|
|
431
|
+
};
|
|
432
|
+
srv.once('error', () => {
|
|
433
|
+
// 固定端口被占 → 退回随机端口(至少能工作,下次启动可能又变)
|
|
434
|
+
try { srv.close(); } catch { /* ignore */ }
|
|
435
|
+
const s2 = createServer(srv.listeners('request')[0]);
|
|
436
|
+
s2.listen(0, '127.0.0.1', () => {
|
|
437
|
+
st.port = s2.address().port;
|
|
438
|
+
st.server = s2;
|
|
439
|
+
resolve(st.port);
|
|
440
|
+
});
|
|
441
|
+
});
|
|
442
|
+
srv.listen(FIXED, '127.0.0.1', onListening);
|
|
443
|
+
});
|
|
444
|
+
}
|
|
445
|
+
|
|
446
|
+
/**
|
|
447
|
+
* 开始推帧。sfId 是 SurfaceFlinger 的 64 位 id(不是 displayId)。
|
|
448
|
+
* fps 默认 2、宽度默认 360——实测这是"长时间看"的推荐档(约 0.30 核、29 KB/s)。
|
|
449
|
+
*/
|
|
450
|
+
export async function start({ sfId, displayId, fps = 2, width = 360, focusedApp = '' } = {}) {
|
|
451
|
+
if (!sfId) return { ok: false, hint: '缺 SurfaceFlinger id,先 vdisplay_start 建屏。' };
|
|
452
|
+
if (st.running && st.sfId === sfId) {
|
|
453
|
+
// 复用时要更新 App 名:以前直接 return,换 App 后胶囊永远显示推流开始时的那个
|
|
454
|
+
if (focusedApp && focusedApp !== st.focusedApp) { st.focusedApp = String(focusedApp).slice(0, 200); writeState(); }
|
|
455
|
+
return { ok: true, port: st.port, reused: true, focusedApp: st.focusedApp };
|
|
456
|
+
}
|
|
457
|
+
|
|
458
|
+
st.sfId = sfId;
|
|
459
|
+
st.displayId = displayId || null;
|
|
460
|
+
// **上限从 4 提到 15。** 原来的 4fps 是桥接协议的遗留限制(JSON 文本帧限 4Hz),
|
|
461
|
+
// 但现在帧走的是 HTTP 回环,那条限制根本不存在 —— 不解开它,所有提帧方案都白搭。
|
|
462
|
+
st.fps = Math.min(Math.max(Number(fps) || 2, 1), 15);
|
|
463
|
+
st.width = Math.min(Math.max(Number(width) || 360, 240), 720);
|
|
464
|
+
st.focusedApp = focusedApp;
|
|
465
|
+
st.latest = null;
|
|
466
|
+
st.frames = 0;
|
|
467
|
+
st.errors = 0;
|
|
468
|
+
st.lastFrameFetchAt = 0;
|
|
469
|
+
st.lastActivityAt = Date.now();
|
|
470
|
+
st.state = 'looking'; // 一开推流就算「在看屏幕」
|
|
471
|
+
st.aspect = 0;
|
|
472
|
+
st.doneAt = 0;
|
|
473
|
+
st.marks = [];
|
|
474
|
+
|
|
475
|
+
if (!st.server) await startServer();
|
|
476
|
+
st.running = true;
|
|
477
|
+
st.startedAt = Date.now();
|
|
478
|
+
|
|
479
|
+
const interval = Math.round(1000 / st.fps);
|
|
480
|
+
// 换 sfId 时必须先清掉旧定时器:否则两个 tick 叠在一起,抓帧频率翻倍、CPU 也翻倍。
|
|
481
|
+
if (st.timer) { clearInterval(st.timer); st.timer = null; }
|
|
482
|
+
st.timer = setInterval(tick, interval);
|
|
483
|
+
tick();
|
|
484
|
+
await writeState();
|
|
485
|
+
|
|
486
|
+
return { ok: true, port: st.port, fps: st.fps, width: st.width };
|
|
487
|
+
}
|
|
488
|
+
|
|
489
|
+
export async function stop() {
|
|
490
|
+
st.running = false;
|
|
491
|
+
if (st.timer) { clearInterval(st.timer); st.timer = null; }
|
|
492
|
+
// **必须把 MJPEG 长连接断掉。**
|
|
493
|
+
// 原来只清定时器、不关连接:/stream.mjpg 仍然返回 200 但永远不再出帧,
|
|
494
|
+
// 悬浮窗那边读到的是「连接正常但没帧」→ 永远发现不了 running:false,
|
|
495
|
+
// 窗口冻在最后一帧,只有 120 秒的 idle shutdown 才收场。
|
|
496
|
+
// 断掉之后悬浮窗会走进回退轮询,立刻看到 running:false 并自己退出。
|
|
497
|
+
try {
|
|
498
|
+
for (const v of st.viewers) {
|
|
499
|
+
try { v.end(); } catch { /* ignore */ }
|
|
500
|
+
}
|
|
501
|
+
st.viewers.clear();
|
|
502
|
+
} catch { /* ignore */ }
|
|
503
|
+
st.latest = null;
|
|
504
|
+
st.marks = []; // 顺手清掉点击标记,避免下一轮还挂着上一轮的十字
|
|
505
|
+
await writeState();
|
|
506
|
+
return { ok: true };
|
|
507
|
+
}
|
|
508
|
+
|
|
509
|
+
/** 收工:连 HTTP 服务一起关,并删掉状态文件(原生插件就看不到"在操作"了)。 */
|
|
510
|
+
export async function shutdown() {
|
|
511
|
+
await stop();
|
|
512
|
+
try { for (const v of st.viewers) { try { v.end(); } catch { } } st.viewers.clear(); } catch { }
|
|
513
|
+
if (st.server) { st.server.close(); st.server = null; }
|
|
514
|
+
st.port = 0;
|
|
515
|
+
try { await rm(STATE_FILE, { force: true }); } catch {}
|
|
516
|
+
return { ok: true };
|
|
517
|
+
}
|
|
518
|
+
|
|
519
|
+
export function info() {
|
|
520
|
+
return {
|
|
521
|
+
running: st.running, port: st.port, fps: st.fps, width: st.width,
|
|
522
|
+
displayId: st.displayId, frames: st.frames, errors: st.errors,
|
|
523
|
+
bytesPerFrame: st.latest?.length || 0,
|
|
524
|
+
};
|
|
525
|
+
}
|
|
526
|
+
|
|
527
|
+
/**
|
|
528
|
+
* reconcileState —— 修掉「状态文件说谎」
|
|
529
|
+
*
|
|
530
|
+
* ## 问题
|
|
531
|
+
*
|
|
532
|
+
* stream.json 记录 `running: true`,但推流是绑在**创建虚拟屏的那个进程**上的。
|
|
533
|
+
* 进程一退,屏没了、端口也没了,可状态文件还写着「在跑」。
|
|
534
|
+
*
|
|
535
|
+
* 结果:DSH Go 的「AI 画面」胶囊读这个文件,以为有画面,实际拿不到 ——
|
|
536
|
+
* 用户看到的就是「胶囊里没有画面」。
|
|
537
|
+
*
|
|
538
|
+
* ## 做法
|
|
539
|
+
*
|
|
540
|
+
* 模块加载时验证一次:文件说在跑,就去连一下端口。
|
|
541
|
+
* 连不上 = 那个进程已经死了,把状态改回 false,别让胶囊再被骗。
|
|
542
|
+
*
|
|
543
|
+
* 用例:
|
|
544
|
+
* await reconcileStreamState();
|
|
545
|
+
*/
|
|
546
|
+
export async function reconcileStreamState() {
|
|
547
|
+
try {
|
|
548
|
+
const raw = await readFile(STATE_FILE, 'utf8');
|
|
549
|
+
const st = JSON.parse(raw);
|
|
550
|
+
if (!st.running || !st.port) return { healed: false, reason: '不在运行' };
|
|
551
|
+
// 试着连一下
|
|
552
|
+
const ok = await new Promise((resolve) => {
|
|
553
|
+
const req = request({
|
|
554
|
+
host: '127.0.0.1', port: st.port, path: '/', method: 'GET', timeout: 800,
|
|
555
|
+
}, (res) => { res.resume(); resolve(true); });
|
|
556
|
+
req.on('error', () => resolve(false));
|
|
557
|
+
req.on('timeout', () => { req.destroy(); resolve(false); });
|
|
558
|
+
req.end();
|
|
559
|
+
});
|
|
560
|
+
if (ok) return { healed: false, reason: '端口还活着' };
|
|
561
|
+
// 死了 —— 改写状态
|
|
562
|
+
await writeFile(STATE_FILE, JSON.stringify({
|
|
563
|
+
port: 0, running: false, startedAt: 0,
|
|
564
|
+
fps: st.fps || 2, width: st.width || 360,
|
|
565
|
+
displayId: null, focusedApp: '',
|
|
566
|
+
}));
|
|
567
|
+
return { healed: true, reason: `端口 ${st.port} 已死,状态已重置` };
|
|
568
|
+
} catch {
|
|
569
|
+
return { healed: false, reason: '没有状态文件' };
|
|
570
|
+
}
|
|
571
|
+
}
|
package/src/target.js
ADDED
|
@@ -0,0 +1,29 @@
|
|
|
1
|
+
/**
|
|
2
|
+
* target.js — 统一解析 adb 目标地址(本插件自带一份,跨包不互相 import)。
|
|
3
|
+
*
|
|
4
|
+
* 为什么不再硬编码 127.0.0.1:5555:
|
|
5
|
+
* adb 插件(dsh-go-plugin-adb)在 5555 不通时会把 adbd 迁到 6555/7555/8555/9555,
|
|
6
|
+
* 并把当前可用端口记在 $DSH_HOME/plugin-adb/state.json。这里硬编码 5555 的话,
|
|
7
|
+
* 一旦 adb 插件完成迁移,本插件所有工具都会"连不上",而且报错看不出原因。
|
|
8
|
+
*
|
|
9
|
+
* 取值优先级:ADB_TARGET 环境变量 > adb 插件记的 state.port > 5555。
|
|
10
|
+
* 每次调用现读一次状态文件:文件很小(百来字节),走 page cache,成本可忽略;
|
|
11
|
+
* 换来的是 adb 插件换端口后本插件自动跟上,不需要重启引擎。
|
|
12
|
+
*/
|
|
13
|
+
import { readFile } from 'node:fs/promises';
|
|
14
|
+
import { homedir } from 'node:os';
|
|
15
|
+
import { join } from 'node:path';
|
|
16
|
+
|
|
17
|
+
export async function adbTarget() {
|
|
18
|
+
if (process.env.ADB_TARGET) return process.env.ADB_TARGET;
|
|
19
|
+
try {
|
|
20
|
+
const dir = process.env.DSH_ADB_STATE_DIR
|
|
21
|
+
|| join(process.env.DSH_HOME || join(homedir(), '.dsh'), 'plugin-adb');
|
|
22
|
+
const st = JSON.parse(await readFile(join(dir, 'state.json'), 'utf8'));
|
|
23
|
+
const port = Number(st?.port);
|
|
24
|
+
if (Number.isInteger(port) && port > 0 && port < 65536) return `127.0.0.1:${port}`;
|
|
25
|
+
} catch {
|
|
26
|
+
/* 没有状态文件或读不出来:用默认端口 */
|
|
27
|
+
}
|
|
28
|
+
return '127.0.0.1:5555';
|
|
29
|
+
}
|