offscreen-android 0.0.0-stage → 0.1.0
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/LICENSE +21 -0
- package/README.md +195 -2
- package/assets/injector/Injector.smali +1179 -0
- package/assets/injector/README.md +101 -0
- package/assets/injector/inject.dex +0 -0
- package/assets/overlay/ai-overlay.apk +0 -0
- package/assets/scrcpy-server.jar +0 -0
- package/bin/aim.mjs +220 -0
- package/bin/asr.mjs +81 -0
- package/bin/audcap.mjs +128 -0
- package/bin/mcp-server.mjs +410 -0
- package/bin/vdisplay.mjs +305 -0
- package/bin/vdisplayd.mjs +398 -0
- package/bin/vidcap.mjs +82 -0
- package/bin/vidgrab.mjs +172 -0
- package/package.json +55 -4
- package/src/framesrv.js +348 -0
- package/src/human.js +302 -0
- package/src/index.js +161 -0
- package/src/inject.js +415 -0
- package/src/lease.js +314 -0
- package/src/occupancy.js +214 -0
- package/src/ocr.js +209 -0
- package/src/ocr_helper.py +125 -0
- package/src/pool.js +195 -0
- package/src/sampling.js +163 -0
- package/src/stream.js +571 -0
- package/src/target.js +29 -0
- package/src/timeline.js +324 -0
- package/src/tool-spec.js +873 -0
- package/src/tools.js +2034 -0
- package/src/vd.js +2354 -0
- package/src/video.js +751 -0
- package/src/vision.js +193 -0
- package/src/vision_helper.py +334 -0
|
@@ -0,0 +1,101 @@
|
|
|
1
|
+
# app_process 注入器:做到了哪一步
|
|
2
|
+
|
|
3
|
+
> 目标:补齐 scrcpy 控制通道修不掉的三块破绽 —— `getDeviceId()`、`PointerCoords.size`、`getHistorySize()`。
|
|
4
|
+
>
|
|
5
|
+
> 状态:**事件造对了,注入被系统拒绝。半成品,不是死路。**
|
|
6
|
+
> 记录日期:2026-11-16。设备:红魔 NX809J / Android 16 / API 36。
|
|
7
|
+
|
|
8
|
+
## 一、已经打通的(都是实测)
|
|
9
|
+
|
|
10
|
+
| 项 | 结果 | 怎么验的 |
|
|
11
|
+
|---|---|---|
|
|
12
|
+
| shell 有 `INJECT_EVENTS` | ✅ `granted=true` | `dumpsys package com.android.shell` |
|
|
13
|
+
| 找到真实触摸屏 | ✅ `deviceId=7`、`synaptics_tcm_touch`、SPI 总线、非虚拟 | 注入器 `--list` 打出 8 个设备 |
|
|
14
|
+
| 造出带自定义字段的 MotionEvent | ✅ | 注入器打印 `EV act=0 dev=7 disp=231 src=0x1002 size=0.08` |
|
|
15
|
+
| **接触面积能自填** | ✅ `size=0.08`(不是 0 也不是 1) | 同上,读回 `getSize(0)` |
|
|
16
|
+
| **displayId 能指定** | ✅ `disp=231`(虚拟屏) | 同上,读回 `getDisplayId()` |
|
|
17
|
+
| **deviceId 能借真实设备** | ✅ `dev=7` | 同上,读回 `getDeviceId()` |
|
|
18
|
+
|
|
19
|
+
**这三块破绽在「事件层面」已经补上了。** 剩下的是把事件送进系统。
|
|
20
|
+
|
|
21
|
+
## 二、卡在哪
|
|
22
|
+
|
|
23
|
+
```
|
|
24
|
+
ONESHOT down done
|
|
25
|
+
ONESHOT done ok=false
|
|
26
|
+
```
|
|
27
|
+
|
|
28
|
+
`InputManagerGlobal.injectInputEvent(event, mode)` 返回 `false`(注入被拒),而且
|
|
29
|
+
**不抛异常**,所以看不到原因。
|
|
30
|
+
|
|
31
|
+
**关键对照实验(说明不是平台限制)**:
|
|
32
|
+
|
|
33
|
+
```bash
|
|
34
|
+
adb shell input -d 231 tap 188 1343 # 同一条屏、同一个坐标
|
|
35
|
+
```
|
|
36
|
+
|
|
37
|
+
**这个成功了**(屏幕从设置首页切到「显示」页)。所以:
|
|
38
|
+
|
|
39
|
+
- 注入到虚拟屏 231 **是可行的**
|
|
40
|
+
- 我的事件字段**是对的**(设备、屏、坐标、面积、source 都验过)
|
|
41
|
+
- 问题在**调用注入接口的方式**,不在能力
|
|
42
|
+
|
|
43
|
+
## 三、试过但没成功的(省得重复踩)
|
|
44
|
+
|
|
45
|
+
| 尝试 | 结果 |
|
|
46
|
+
|---|---|
|
|
47
|
+
| `InputManagerGlobal.injectInputEvent(ev, 0)` 两参,mode=ASYNC | false |
|
|
48
|
+
| 同上,mode=WAIT_FOR_FINISH(1) | false |
|
|
49
|
+
| 三参 `injectInputEvent(ev, 0, -1)` 显式 targetUid=-1 | 方法解析就失败(没打出 ENTRY) |
|
|
50
|
+
| 反射 `InputEvent.setDisplayId(231)` 显式补设 | 事件字段确实变成 231,但仍 false |
|
|
51
|
+
| deviceId 改成 0(scrcpy 用的值) | 仍 false |
|
|
52
|
+
| `InputManager.getInstance()` 旧路径 | 解析失败(Android 16 上可能已不可用) |
|
|
53
|
+
|
|
54
|
+
## 四、下一步该查什么(按可能性排)
|
|
55
|
+
|
|
56
|
+
1. **看 scrcpy 自己的注入代码到底怎么调的** —— 它在这台机器上是能注入的
|
|
57
|
+
(控制通道点按实测生效)。读 `com/genymobile/scrcpy/Device.java` 反编译结果,
|
|
58
|
+
照抄它的 `injectEvent` 路径,包括它拿 `InputManager` 实例的方式。
|
|
59
|
+
2. **`injectInputEvent` 返回 false 的具体 code** —— native 侧返回
|
|
60
|
+
-1(DENIED) / -2(FAILED) / -3(TIMED_OUT),Java 层压成 boolean 了。
|
|
61
|
+
可以考虑反射调 `IInputManager` 的 binder 接口直接看 int 返回值。
|
|
62
|
+
3. **进程上下文**:`app_process` 从 `adb shell` 起,和 scrcpy-server 的启动参数
|
|
63
|
+
是否等价(`--nice-name`、`--zygote`?)。scrcpy 用的完整命令行要对照。
|
|
64
|
+
4. **事件本身是否缺字段**:`MotionEvent` 可能还需要 `edgeFlags`/`flags` 之外的
|
|
65
|
+
东西,或者需要 `event.setSource()` 之外再设 `toolType`。
|
|
66
|
+
|
|
67
|
+
## 五、副产品(这些是确定有用的)
|
|
68
|
+
|
|
69
|
+
**① 一个能读真实输入设备清单的工具**
|
|
70
|
+
|
|
71
|
+
```bash
|
|
72
|
+
CLASSPATH=/data/local/tmp/dsh-inject/inject.dex \
|
|
73
|
+
app_process /system/bin com.dsh.inject.Injector --list
|
|
74
|
+
```
|
|
75
|
+
|
|
76
|
+
在 shell 下列出所有 `InputDevice` 的 id / sources / 名字。实测这台机器有 8 个设备,
|
|
77
|
+
真触摸屏是 `id=7 src=0x1103 name=synaptics_tcm_touch`。
|
|
78
|
+
|
|
79
|
+
**② 记下来的 smali 坑(我在这上面花了很久)**
|
|
80
|
+
|
|
81
|
+
| 坑 | 症状 | 正解 |
|
|
82
|
+
|---|---|---|
|
|
83
|
+
| `const/4` 只能寻址 v0-v15 | 报「Invalid register: v16」 | 高寄存器用 `const/16` 或 `const/high16` |
|
|
84
|
+
| `if-ltz` = **小于零**就跳 | 逻辑全反 | `if-gez` 才是「大于等于零」 |
|
|
85
|
+
| `if-eq` / `if-ne` 容易写反 | 条件永远不成立 | 每条都写注释说明「什么情况才跳」 |
|
|
86
|
+
| catch 标签名必须和 `.catch` 里引用一致 | `writeDebugAndCodeItems` 异常 | 检查 `{:a .. :b} :c` 三个标签都存在 |
|
|
87
|
+
| `.locals`/`.registers` 超过 16 时 | 我一度以为是工具限制 | 实际是 `const/4` 的问题,不是寄存器数 |
|
|
88
|
+
| **`app_process` 读不到 stdin** | `readLine()` 直接返回 null | 改成一次性模式(命令走 argv),别指望 stdin |
|
|
89
|
+
|
|
90
|
+
**最后这条很重要**:连最小复现类都读不到 stdin,`adb shell` 的 PTY 会把输入吃掉,
|
|
91
|
+
`shell -T` 和设备端文件重定向都不行。所以注入器必须做成**一次性进程**(每次注入起一个),
|
|
92
|
+
或者用 socket/文件队列通信。
|
|
93
|
+
|
|
94
|
+
## 六、诚实的判断
|
|
95
|
+
|
|
96
|
+
- **不是平台做不到**(`input -d` 能注入到虚拟屏,证明了)
|
|
97
|
+
- **不是事件造错**(字段全对,读回来验证过)
|
|
98
|
+
- **是调用细节没对上**,最可能就差在「怎么拿 InputManager 实例 / 用哪个重载」
|
|
99
|
+
|
|
100
|
+
按剩下两条线索(读 scrcpy 的实现、看 native 返回码),**再花半天应该能通**。
|
|
101
|
+
在那之前,`vd.js` 继续走 scrcpy 控制通道,不动。
|
|
Binary file
|
|
Binary file
|
|
Binary file
|
package/bin/aim.mjs
ADDED
|
@@ -0,0 +1,220 @@
|
|
|
1
|
+
#!/usr/bin/env node
|
|
2
|
+
/**
|
|
3
|
+
* aim.mjs —— 把「我点在哪」和「目标在哪」画出来,让自己看得见偏移
|
|
4
|
+
*
|
|
5
|
+
* ## 为什么需要它
|
|
6
|
+
*
|
|
7
|
+
* 盲点会点空,而点空之后没有任何反馈 —— 你只看到「没反应」,分不清是
|
|
8
|
+
* 坐标错了、按钮不可点、还是根本没送达。
|
|
9
|
+
*
|
|
10
|
+
* 这个工具做三件事:
|
|
11
|
+
* ① 在截图上用**红色十字**标出实际点击的位置
|
|
12
|
+
* ② 用**绿色框**标出 OCR 找到的目标(如果给了 --text)
|
|
13
|
+
* ③ 点击后测量画面变化的 bbox,算出**偏移量**
|
|
14
|
+
*
|
|
15
|
+
* 于是偏差从「猜」变成「看」。
|
|
16
|
+
*
|
|
17
|
+
* ## 用法
|
|
18
|
+
*
|
|
19
|
+
* ```bash
|
|
20
|
+
* # 点 OCR 找到的「WLAN」,并把点击点/目标框/偏移都画出来
|
|
21
|
+
* node bin/aim.mjs --text WLAN
|
|
22
|
+
*
|
|
23
|
+
* # 点指定归一化坐标
|
|
24
|
+
* node bin/aim.mjs --nx 0.5 --ny 0.5
|
|
25
|
+
*
|
|
26
|
+
* # 只看不点(干跑,不触发任何按钮)
|
|
27
|
+
* node bin/aim.mjs --text WLAN --dry
|
|
28
|
+
*
|
|
29
|
+
* # 自己起 App 再瞄(虚拟屏跟进程同生共死,所以要在同一个进程里)
|
|
30
|
+
* node bin/aim.mjs --pkg com.android.settings/.Settings --text WLAN
|
|
31
|
+
* ```
|
|
32
|
+
*
|
|
33
|
+
* 产物:`/tmp/aim-<时间>.png` —— 直接用 read_image 看。
|
|
34
|
+
*/
|
|
35
|
+
|
|
36
|
+
import * as vd from '../src/vd.js';
|
|
37
|
+
import * as T from '../src/tools.js';
|
|
38
|
+
import { spawnSync, execSync } from 'node:child_process';
|
|
39
|
+
import { writeFileSync } from 'node:fs';
|
|
40
|
+
|
|
41
|
+
const argv = process.argv.slice(2);
|
|
42
|
+
const arg = (n, d) => { const i = argv.indexOf(`--${n}`); return i >= 0 ? argv[i + 1] : d; };
|
|
43
|
+
const flag = (n) => argv.includes(`--${n}`);
|
|
44
|
+
|
|
45
|
+
const targetText = arg('text', '');
|
|
46
|
+
let nx = Number(arg('nx', ''));
|
|
47
|
+
let ny = Number(arg('ny', ''));
|
|
48
|
+
const dry = flag('dry');
|
|
49
|
+
const pkg = arg('pkg', '');
|
|
50
|
+
const waitMs = Number(arg('wait', '5000'));
|
|
51
|
+
const outDir = arg('out', '/tmp');
|
|
52
|
+
|
|
53
|
+
const sleep = (ms) => new Promise((r) => setTimeout(r, ms));
|
|
54
|
+
const p = (s) => console.log(' ' + s);
|
|
55
|
+
|
|
56
|
+
// 从虚拟屏截一张原始 PNG(用 SFID,这是唯一能拿到虚拟屏画面的方式)
|
|
57
|
+
function capRaw(sfid) {
|
|
58
|
+
const r = spawnSync('adb', ['-s', process.env.ADB_TARGET || '127.0.0.1:5555',
|
|
59
|
+
'exec-out', `screencap -p -d ${sfid}`], { maxBuffer: 64 << 20 });
|
|
60
|
+
return r.stdout;
|
|
61
|
+
}
|
|
62
|
+
|
|
63
|
+
const main = async () => {
|
|
64
|
+
const v = await vd.start({ orientation: 'landscape', maxFps: 30 });
|
|
65
|
+
const { displayId: did, sfId, width: W, height: H } = v;
|
|
66
|
+
p(`虚拟屏 ${did} ${W}x${H}`);
|
|
67
|
+
|
|
68
|
+
// ⓪ 启动目标 App(虚拟屏跟进程同生共死,所以必须在本进程里起)
|
|
69
|
+
if (pkg) {
|
|
70
|
+
const act = arg('activity', '');
|
|
71
|
+
const target = act ? `${pkg}/${act}` : pkg;
|
|
72
|
+
await vd.shell(`am start --display ${did} -n ${target}`).catch(() => {});
|
|
73
|
+
p(`已启动 ${target},等 ${waitMs}ms`);
|
|
74
|
+
await sleep(waitMs);
|
|
75
|
+
}
|
|
76
|
+
|
|
77
|
+
// ① 找目标
|
|
78
|
+
let box = null;
|
|
79
|
+
if (targetText) {
|
|
80
|
+
const t = await T.text({ maxLines: 60 });
|
|
81
|
+
for (const line of String(t.text).split('\n')) {
|
|
82
|
+
if (line.includes(targetText)) {
|
|
83
|
+
const m = line.match(/nx=([\d.]+)\s+ny=([\d.]+)/);
|
|
84
|
+
const bx = line.match(/\((\s*\d+),\s*(\d+)\)\s+(\d+)x(\d+)/);
|
|
85
|
+
if (m) {
|
|
86
|
+
nx = Number(m[1]);
|
|
87
|
+
ny = Number(m[2]);
|
|
88
|
+
if (bx) box = { x: +bx[1], y: +bx[2], w: +bx[3], h: +bx[4] };
|
|
89
|
+
p(`OCR 找到「${targetText}」→ nx=${nx} ny=${ny}` + (box ? ` 框 (${box.x},${box.y}) ${box.w}x${box.h}` : ''));
|
|
90
|
+
break;
|
|
91
|
+
}
|
|
92
|
+
}
|
|
93
|
+
}
|
|
94
|
+
if (!Number.isFinite(nx)) {
|
|
95
|
+
p(`❌ OCR 没找到「${targetText}」`);
|
|
96
|
+
p('页面上识别到的文字:');
|
|
97
|
+
for (const line of String(t.text).split('\n').slice(3, 18)) {
|
|
98
|
+
const m = line.match(/nx=([\d.]+)\s+ny=([\d.]+)/);
|
|
99
|
+
if (m) p(' ' + line.trim().slice(-50));
|
|
100
|
+
}
|
|
101
|
+
process.exit(1);
|
|
102
|
+
}
|
|
103
|
+
}
|
|
104
|
+
if (!Number.isFinite(nx) || !Number.isFinite(ny)) {
|
|
105
|
+
p('需要 --text 或 --nx/--ny');
|
|
106
|
+
process.exit(1);
|
|
107
|
+
}
|
|
108
|
+
|
|
109
|
+
const px = Math.round(nx * W);
|
|
110
|
+
const py = Math.round(ny * H);
|
|
111
|
+
p(`点击点 (${px}, ${py}) ← 归一化 (${nx}, ${ny})`);
|
|
112
|
+
|
|
113
|
+
// ② 点击前截图
|
|
114
|
+
const before = capRaw(sfId);
|
|
115
|
+
writeFileSync(`${outDir}/aim-before.png`, before);
|
|
116
|
+
|
|
117
|
+
if (dry) {
|
|
118
|
+
p('干跑模式:不点击');
|
|
119
|
+
} else {
|
|
120
|
+
// ③ 点击 + 采样变化
|
|
121
|
+
const watch = vd.watchFrames(2000, 40);
|
|
122
|
+
await sleep(80);
|
|
123
|
+
await vd.input('tap', { nx, ny, verify: false });
|
|
124
|
+
const tl = await watch;
|
|
125
|
+
p(`点击后:${tl.totalFrames} 帧变化,${tl.bursts.length} 段`);
|
|
126
|
+
for (const b of tl.bursts) p(` ${b.startMs}ms→${b.endMs}ms (${b.endMs - b.startMs}ms)`);
|
|
127
|
+
await sleep(600);
|
|
128
|
+
}
|
|
129
|
+
|
|
130
|
+
// ④ 点击后截图
|
|
131
|
+
const after = capRaw(sfId);
|
|
132
|
+
writeFileSync(`${outDir}/aim-after.png`, after);
|
|
133
|
+
|
|
134
|
+
// ⑤ 画标注
|
|
135
|
+
const py3 = `
|
|
136
|
+
import sys
|
|
137
|
+
from PIL import Image, ImageDraw, ImageFont
|
|
138
|
+
import numpy as np
|
|
139
|
+
|
|
140
|
+
W,H = ${W},${H}
|
|
141
|
+
px,py = ${px},${py}
|
|
142
|
+
box = ${box ? JSON.stringify(box) : 'None'}
|
|
143
|
+
out = "${outDir}/aim-annotated.png"
|
|
144
|
+
|
|
145
|
+
def draw_marks(img, label):
|
|
146
|
+
im = img.convert("RGB")
|
|
147
|
+
d = ImageDraw.Draw(im)
|
|
148
|
+
# 红色十字 = 我点的位置
|
|
149
|
+
r = max(18, int(min(W,H)*0.03))
|
|
150
|
+
d.ellipse([px-r, py-r, px+r, py+r], outline=(255,40,40), width=5)
|
|
151
|
+
d.line([px-r*2, py, px+r*2, py], fill=(255,40,40), width=3)
|
|
152
|
+
d.line([px, py-r*2, px, py+r*2], fill=(255,40,40), width=3)
|
|
153
|
+
# 绿色框 = OCR 找到的目标
|
|
154
|
+
if box:
|
|
155
|
+
d.rectangle([box["x"], box["y"], box["x"]+box["w"], box["y"]+box["h"]], outline=(40,255,40), width=4)
|
|
156
|
+
cx, cy = box["x"]+box["w"]//2, box["y"]+box["h"]//2
|
|
157
|
+
d.ellipse([cx-6,cy-6,cx+6,cy+6], fill=(40,255,40))
|
|
158
|
+
off = (px-cx, py-cy)
|
|
159
|
+
d.text((8, 8), f"{label} click=({px},{py}) target=({cx},{cy}) offset={off[0]},{off[1]}", fill=(255,255,0))
|
|
160
|
+
else:
|
|
161
|
+
d.text((8, 8), f"{label} click=({px},{py})", fill=(255,255,0))
|
|
162
|
+
return im
|
|
163
|
+
|
|
164
|
+
a = Image.open("${outDir}/aim-before.png")
|
|
165
|
+
b = Image.open("${outDir}/aim-after.png")
|
|
166
|
+
ia = draw_marks(a, "BEFORE")
|
|
167
|
+
ib = draw_marks(b, "AFTER")
|
|
168
|
+
|
|
169
|
+
# 上下拼起来
|
|
170
|
+
canvas = Image.new("RGB", (W, H*2+10), (30,30,30))
|
|
171
|
+
canvas.paste(ia, (0,0))
|
|
172
|
+
canvas.paste(ib, (0,H+10))
|
|
173
|
+
canvas.save(out)
|
|
174
|
+
|
|
175
|
+
# 算实际变化 bbox(用 after 和 before 的差)
|
|
176
|
+
na = np.array(a.convert("L"), dtype=float)
|
|
177
|
+
nb = np.array(b.convert("L"), dtype=float)
|
|
178
|
+
diff = np.abs(na-nb)
|
|
179
|
+
mask = diff > 18
|
|
180
|
+
print(f" 变化的像素 {mask.sum()} 个 ({100*mask.sum()/mask.size:.2f}%)")
|
|
181
|
+
pct = 100*mask.sum()/mask.size
|
|
182
|
+
if mask.sum() > 100:
|
|
183
|
+
ys, xs = np.where(mask)
|
|
184
|
+
bx0,bx1,by0,by1 = xs.min(), xs.max(), ys.min(), ys.max()
|
|
185
|
+
cxn, cyn = int((bx0+bx1)/2), int((by0+by1)/2)
|
|
186
|
+
print(f" 变化区域 bbox=({bx0},{by0})-({bx1},{by1}) 质心≈({cxn},{cyn})")
|
|
187
|
+
# **区分局部变化和全局变化**
|
|
188
|
+
if pct > 25:
|
|
189
|
+
print(f" → 全局变化({pct:.1f}% 像素)—— 页面跳转了,点击**生效**")
|
|
190
|
+
print(" 导航类变化没法用来算偏移(全屏都在动),但跳转本身就是成功证据")
|
|
191
|
+
else:
|
|
192
|
+
print(f" → 局部变化({pct:.1f}% 像素)—— 可以用来校准偏移")
|
|
193
|
+
if box:
|
|
194
|
+
tcx, tcy = box["x"]+box["w"]//2, box["y"]+box["h"]//2
|
|
195
|
+
print(f" 变化质心 vs 目标中心: ({cxn-tcx:+d}, {cyn-tcy:+d})")
|
|
196
|
+
print(f" 变化质心 vs 我的点击点: ({cxn-px:+d}, {cyn-py:+d})")
|
|
197
|
+
dx, dy = cxn-px, cyn-py
|
|
198
|
+
if abs(dx) > 8 or abs(dy) > 8:
|
|
199
|
+
print(f" ⚠️ 偏移较大,建议下次点击补偿 ({-dx:+d}, {-dy:+d})")
|
|
200
|
+
else:
|
|
201
|
+
print(f" ✅ 偏移很小({dx:+d},{dy:+d}),坐标可信")
|
|
202
|
+
else:
|
|
203
|
+
print(" ⚠️ 几乎没有变化:可能点空了 / 按钮无视觉反馈(开关类)/ 或者异步还没渲染完")
|
|
204
|
+
print(" 下一步:换 --dry 看瞄准是否正确,或加长等待再截")
|
|
205
|
+
|
|
206
|
+
print(f" 标注图: {out}")
|
|
207
|
+
`;
|
|
208
|
+
try {
|
|
209
|
+
writeFileSync(`${outDir}/aim-draw.py`, py3);
|
|
210
|
+
const r = execSync(`python3 ${outDir}/aim-draw.py`, { encoding: 'utf-8' });
|
|
211
|
+
process.stdout.write(r);
|
|
212
|
+
} catch (e) {
|
|
213
|
+
p('画图失败:' + (e.message || '').slice(0, 300));
|
|
214
|
+
}
|
|
215
|
+
|
|
216
|
+
if (!dry) await vd.stop();
|
|
217
|
+
process.exit(0);
|
|
218
|
+
};
|
|
219
|
+
|
|
220
|
+
main().catch((e) => { console.error(e.message); process.exit(1); });
|
package/bin/asr.mjs
ADDED
|
@@ -0,0 +1,81 @@
|
|
|
1
|
+
#!/usr/bin/env node
|
|
2
|
+
/**
|
|
3
|
+
* asr.mjs —— 把 wav 转成文字(本地 SenseVoice,不联网,0 成本)
|
|
4
|
+
*
|
|
5
|
+
* 用法:node bin/asr.mjs <wav路径> [--lang zh]
|
|
6
|
+
*
|
|
7
|
+
* ## 实测:五种语言全部正确
|
|
8
|
+
*
|
|
9
|
+
* ```
|
|
10
|
+
* 中文: 开饭时间早上9点至下午5点。
|
|
11
|
+
* 英文: The tribal chieftain called for the boy and presented him with 50 pieces of code
|
|
12
|
+
* 日文: うちの中学は弁当制で持っていきない場合は50円の学校販売のパンを買う。
|
|
13
|
+
* 韩文: 조금만 생각을 하면서 살면 훨씬 편할 거야.
|
|
14
|
+
* 粤语: 呢几个字都表达唔到我想讲嘅意思。
|
|
15
|
+
* ```
|
|
16
|
+
*
|
|
17
|
+
* ## 关键前提:模型必须带 CMVN 统计量
|
|
18
|
+
*
|
|
19
|
+
* `model.int8.onnx` 的 metadata 里必须有 `neg_mean` 和 `inv_stddev`(各 560 维)。
|
|
20
|
+
* **没有这两个,模型能加载、能推理,但输出永远是空字符串。**
|
|
21
|
+
*
|
|
22
|
+
* 之前踩过:DSH 自带的那个模型(`~/.dsh/speech-to-text/sensevoice/`)缺 CMVN,
|
|
23
|
+
* 转写一直返回 `'.'`,查了很久才发现。
|
|
24
|
+
*
|
|
25
|
+
* 正确模型从 sherpa-onnx release 下:
|
|
26
|
+
* https://github.com/k2-fsa/sherpa-onnx/releases/download/asr-models/sherpa-onnx-sense-voice-zh-en-ja-ko-yue-2024-07-17.tar.bz2
|
|
27
|
+
* 解压后放到 `~/.dsh/speech-to-text/sensevoice-official/`。
|
|
28
|
+
*
|
|
29
|
+
* ## 用法示例(配合 vidgrab)
|
|
30
|
+
*
|
|
31
|
+
* ```bash
|
|
32
|
+
* node bin/vidgrab.mjs grab <缓存视频路径> # 产出 audio.wav
|
|
33
|
+
* node bin/asr.mjs /tmp/vidgrab/audio.wav # → 文字
|
|
34
|
+
* ```
|
|
35
|
+
*/
|
|
36
|
+
|
|
37
|
+
import { existsSync } from 'node:fs';
|
|
38
|
+
import { execFileSync } from 'node:child_process';
|
|
39
|
+
import { homedir } from 'node:os';
|
|
40
|
+
|
|
41
|
+
const wav = process.argv[2];
|
|
42
|
+
if (!wav || !existsSync(wav)) {
|
|
43
|
+
console.error('用法:node bin/asr.mjs <wav路径> [--lang zh|en|ja|ko|yue]');
|
|
44
|
+
process.exit(1);
|
|
45
|
+
}
|
|
46
|
+
const langIdx = process.argv.indexOf('--lang');
|
|
47
|
+
const lang = langIdx > 0 ? process.argv[langIdx + 1] : '';
|
|
48
|
+
|
|
49
|
+
// 优先用官方模型(带 CMVN),回退到 DSH 自带的(可能缺 CMVN)
|
|
50
|
+
const candidates = [
|
|
51
|
+
`${homedir()}/.dsh/speech-to-text/sensevoice-official`,
|
|
52
|
+
`${homedir()}/.dsh/speech-to-text/sensevoice/models/sensevoice-onnx`,
|
|
53
|
+
];
|
|
54
|
+
const dir = candidates.find((d) => existsSync(`${d}/model.int8.onnx`) || existsSync(`${d}/model.onnx`));
|
|
55
|
+
if (!dir) {
|
|
56
|
+
console.error('找不到 SenseVoice 模型。');
|
|
57
|
+
console.error('下载:https://github.com/k2-fsa/sherpa-onnx/releases/download/asr-models/sherpa-onnx-sense-voice-zh-en-ja-ko-yue-2024-07-17.tar.bz2');
|
|
58
|
+
console.error(`解压到 ${candidates[0]}/`);
|
|
59
|
+
process.exit(1);
|
|
60
|
+
}
|
|
61
|
+
const model = existsSync(`${dir}/model.int8.onnx`) ? `${dir}/model.int8.onnx` : `${dir}/model.onnx`;
|
|
62
|
+
|
|
63
|
+
const py = `
|
|
64
|
+
import wave, numpy as np, sherpa_onnx, sys
|
|
65
|
+
rec = sherpa_onnx.OfflineRecognizer.from_sense_voice(
|
|
66
|
+
model=${JSON.stringify(model)}, tokens=${JSON.stringify(dir + '/tokens.txt')},
|
|
67
|
+
num_threads=4, use_itn=True, language=${JSON.stringify(lang)})
|
|
68
|
+
with wave.open(${JSON.stringify(wav)}) as w:
|
|
69
|
+
sr = w.getframerate()
|
|
70
|
+
d = np.frombuffer(w.readframes(w.getnframes()), dtype=np.int16).astype(np.float32) / 32768.0
|
|
71
|
+
s = rec.create_stream(); s.accept_waveform(sr, d); rec.decode_stream(s)
|
|
72
|
+
print(s.result.text)
|
|
73
|
+
`;
|
|
74
|
+
try {
|
|
75
|
+
const out = execFileSync('python3', ['-c', py], { encoding: 'utf-8', maxBuffer: 8 << 20 });
|
|
76
|
+
const text = out.trim();
|
|
77
|
+
console.log(text || '(没有识别到语音)');
|
|
78
|
+
} catch (e) {
|
|
79
|
+
console.error('转写失败:', e.message);
|
|
80
|
+
process.exit(1);
|
|
81
|
+
}
|
package/bin/audcap.mjs
ADDED
|
@@ -0,0 +1,128 @@
|
|
|
1
|
+
#!/usr/bin/env node
|
|
2
|
+
/**
|
|
3
|
+
* audcap.mjs —— 抓手机正在播放的音频(无 root、不弹授权、不静音)
|
|
4
|
+
*
|
|
5
|
+
* ## 实测过的参数(2026-11-17)
|
|
6
|
+
*
|
|
7
|
+
* ```
|
|
8
|
+
* audio=true audio_source=playback audio_dup=true audio_codec=raw raw_stream=true
|
|
9
|
+
* video=false control=false
|
|
10
|
+
* ```
|
|
11
|
+
*
|
|
12
|
+
* 效果:音频 socket 连上就是裸 PCM(48kHz / 2ch / s16le),零头部。
|
|
13
|
+
* 实测 184 KB/s(理论 192),非零 75.3%,mean_volume -5.4dB。
|
|
14
|
+
*
|
|
15
|
+
* ## 两个坑(都踩过)
|
|
16
|
+
*
|
|
17
|
+
* ① **不加 `raw_stream=true` 时有 64 字节设备名头**(`00 4e 58 38 30 39 4a` = "\0NX809J")。
|
|
18
|
+
* 按 12 字节跳会落在填充里,读成静音。
|
|
19
|
+
*
|
|
20
|
+
* ② **没有声音在播时,抓到的就是静音**,不是失败。
|
|
21
|
+
* 必须先确认有声音源(`dumpsys audio` 有 started player,或视频在播)。
|
|
22
|
+
*
|
|
23
|
+
* ## 用法
|
|
24
|
+
*
|
|
25
|
+
* ```bash
|
|
26
|
+
* node bin/audcap.mjs --seconds 10 --out /tmp/cap.wav
|
|
27
|
+
* node bin/audcap.mjs --seconds 10 --out /tmp/cap.wav --play "file:///sdcard/Download/x.mp4"
|
|
28
|
+
* ```
|
|
29
|
+
*/
|
|
30
|
+
|
|
31
|
+
import { execSync, spawn } from 'node:child_process';
|
|
32
|
+
import { createConnection } from 'node:net';
|
|
33
|
+
import { writeFileSync } from 'node:fs';
|
|
34
|
+
|
|
35
|
+
const argv = process.argv.slice(2);
|
|
36
|
+
const arg = (n, d) => { const i = argv.indexOf(`--${n}`); return i >= 0 ? argv[i + 1] : d; };
|
|
37
|
+
|
|
38
|
+
const seconds = Number(arg('seconds', 10));
|
|
39
|
+
const outPath = arg('out', '/tmp/cap.wav');
|
|
40
|
+
const raws = arg('raw', ''); // 只存裸 PCM 的路径(可选)
|
|
41
|
+
const target = process.env.ADB_TARGET || '127.0.0.1:5555';
|
|
42
|
+
const port = Number(arg('port', 0)) || (28500 + Math.floor(Math.random() * 300));
|
|
43
|
+
const scid = (1 + Math.floor(Math.random() * 0x7ffffffe)).toString(16).padStart(8, '0');
|
|
44
|
+
|
|
45
|
+
const adb = (...a) => execSync(`adb -s ${target} ${a.join(' ')}`, { stdio: 'pipe' }).toString();
|
|
46
|
+
const sleep = (ms) => new Promise((r) => setTimeout(r, ms));
|
|
47
|
+
|
|
48
|
+
const main = async () => {
|
|
49
|
+
// 前置:确认有声音在播
|
|
50
|
+
const audioDump = adb('shell', 'dumpsys audio');
|
|
51
|
+
if (!/started/i.test(audioDump)) {
|
|
52
|
+
console.warn('⚠️ dumpsys audio 里没看到 started player —— 可能没有声音在播。');
|
|
53
|
+
console.warn(' 没有声音源时抓到的是全零 PCM,不是抓取失败。');
|
|
54
|
+
}
|
|
55
|
+
|
|
56
|
+
adb('forward', `tcp:${port}`, `localabstract:scrcpy_${scid}`);
|
|
57
|
+
|
|
58
|
+
const cmd = `CLASSPATH=/data/local/tmp/dshvd/scrcpy-server.jar app_process / com.genymobile.scrcpy.Server 5.0.1 `
|
|
59
|
+
+ `log_level=info tunnel_forward=true audio=true audio_source=playback audio_dup=true `
|
|
60
|
+
+ `audio_codec=raw raw_stream=true video=false control=false scid=${scid}`;
|
|
61
|
+
|
|
62
|
+
const srv = spawn('adb', ['-s', target, 'shell', cmd], { stdio: ['ignore', 'pipe', 'pipe'] });
|
|
63
|
+
let log = '';
|
|
64
|
+
srv.stdout.on('data', (d) => { log += d; });
|
|
65
|
+
srv.stderr.on('data', (d) => { log += d; });
|
|
66
|
+
|
|
67
|
+
await sleep(4000);
|
|
68
|
+
const fail = log.split('\n').find((l) => /ERROR|Could not capture|SecurityException/i.test(l));
|
|
69
|
+
if (fail) {
|
|
70
|
+
console.error('server 报错:', fail.trim());
|
|
71
|
+
console.error('("Could not capture audio playback" = 权限或 AudioPolicy 注册失败)');
|
|
72
|
+
}
|
|
73
|
+
|
|
74
|
+
const sock = createConnection({ host: '127.0.0.1', port });
|
|
75
|
+
const chunks = [];
|
|
76
|
+
sock.on('data', (b) => chunks.push(b));
|
|
77
|
+
sock.on('error', (e) => console.error('socket:', e.message));
|
|
78
|
+
|
|
79
|
+
await sleep(seconds * 1000);
|
|
80
|
+
const pcm = Buffer.concat(chunks);
|
|
81
|
+
sock.destroy();
|
|
82
|
+
srv.kill();
|
|
83
|
+
try { adb('forward', '--remove', `tcp:${port}`); } catch { /* ignore */ }
|
|
84
|
+
|
|
85
|
+
const rate = pcm.length / seconds;
|
|
86
|
+
console.log(`收到 ${pcm.length} 字节 / ${seconds} 秒 = ${(rate / 1024).toFixed(0)} KB/s`);
|
|
87
|
+
console.log(` 期望约 192 KB/s(48kHz × 2ch × 16bit)`);
|
|
88
|
+
|
|
89
|
+
if (pcm.length < 1000) {
|
|
90
|
+
console.error('数据太少,链路可能没通。');
|
|
91
|
+
process.exit(1);
|
|
92
|
+
}
|
|
93
|
+
|
|
94
|
+
// 统计非零
|
|
95
|
+
const n = Math.min(pcm.length, 200000);
|
|
96
|
+
let nz = 0;
|
|
97
|
+
for (let i = 0; i < n; i += 2) {
|
|
98
|
+
if (pcm[i] !== 0 || pcm[i + 1] !== 0) nz++;
|
|
99
|
+
}
|
|
100
|
+
const pct = (100 * nz) / (n / 2);
|
|
101
|
+
console.log(` 非零采样 ${pct.toFixed(1)}% → ${pct > 10 ? '✅ 有声音' : '⚠️ 静音(可能没有声音源在播)'}`);
|
|
102
|
+
|
|
103
|
+
if (raws) { writeFileSync(raws, pcm); console.log(` 裸 PCM → ${raws}`); }
|
|
104
|
+
|
|
105
|
+
// 写 WAV(48k stereo 16bit)
|
|
106
|
+
const header = Buffer.alloc(44);
|
|
107
|
+
header.write('RIFF', 0);
|
|
108
|
+
header.writeUInt32LE(36 + pcm.length, 4);
|
|
109
|
+
header.write('WAVE', 8);
|
|
110
|
+
header.write('fmt ', 12);
|
|
111
|
+
header.writeUInt32LE(16, 16);
|
|
112
|
+
header.writeUInt16LE(1, 20); // PCM
|
|
113
|
+
header.writeUInt16LE(2, 22); // 2ch
|
|
114
|
+
header.writeUInt32LE(48000, 24);
|
|
115
|
+
header.writeUInt32LE(48000 * 2 * 2, 28);
|
|
116
|
+
header.writeUInt16LE(4, 32);
|
|
117
|
+
header.writeUInt16LE(16, 34);
|
|
118
|
+
header.write('data', 36);
|
|
119
|
+
header.writeUInt32LE(pcm.length, 40);
|
|
120
|
+
writeFileSync(outPath, Buffer.concat([header, pcm]));
|
|
121
|
+
console.log(` WAV → ${outPath}`);
|
|
122
|
+
console.log('');
|
|
123
|
+
console.log('下一步:');
|
|
124
|
+
console.log(` ffmpeg -y -i ${outPath} -ar 16000 -ac 1 /tmp/16k.wav`);
|
|
125
|
+
console.log(' node bin/asr.mjs /tmp/16k.wav --lang zh');
|
|
126
|
+
};
|
|
127
|
+
|
|
128
|
+
main().catch((e) => { console.error(e.message); process.exit(1); });
|