@jackwener/opencli 1.5.8 → 1.5.9

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (194) hide show
  1. package/CHANGELOG.md +21 -0
  2. package/README.md +17 -1
  3. package/README.zh-CN.md +17 -1
  4. package/dist/browser/base-page.d.ts +48 -0
  5. package/dist/browser/base-page.js +160 -0
  6. package/dist/browser/cdp.js +4 -106
  7. package/dist/browser/daemon-client.d.ts +1 -7
  8. package/dist/browser/daemon-client.js +2 -9
  9. package/dist/browser/discover.d.ts +1 -4
  10. package/dist/browser/discover.js +1 -4
  11. package/dist/browser/errors.d.ts +4 -0
  12. package/dist/browser/errors.js +20 -0
  13. package/dist/browser/index.d.ts +1 -1
  14. package/dist/browser/index.js +1 -1
  15. package/dist/browser/page.d.ts +6 -35
  16. package/dist/browser/page.js +10 -189
  17. package/dist/browser/tabs.js +5 -5
  18. package/dist/browser.test.js +15 -15
  19. package/dist/cli-manifest.json +294 -22
  20. package/dist/clis/amazon/bestsellers.d.ts +21 -0
  21. package/dist/clis/amazon/bestsellers.js +130 -0
  22. package/dist/clis/amazon/bestsellers.test.js +20 -0
  23. package/dist/clis/amazon/discussion.d.ts +20 -0
  24. package/dist/clis/amazon/discussion.js +91 -0
  25. package/dist/clis/amazon/discussion.test.js +36 -0
  26. package/dist/clis/amazon/offer.d.ts +23 -0
  27. package/dist/clis/amazon/offer.js +140 -0
  28. package/dist/clis/amazon/offer.test.d.ts +1 -0
  29. package/dist/clis/amazon/offer.test.js +29 -0
  30. package/dist/clis/amazon/product.d.ts +18 -0
  31. package/dist/clis/amazon/product.js +92 -0
  32. package/dist/clis/amazon/product.test.d.ts +1 -0
  33. package/dist/clis/amazon/product.test.js +24 -0
  34. package/dist/clis/amazon/search.d.ts +18 -0
  35. package/dist/clis/amazon/search.js +87 -0
  36. package/dist/clis/amazon/search.test.d.ts +1 -0
  37. package/dist/clis/amazon/search.test.js +22 -0
  38. package/dist/clis/amazon/shared.d.ts +64 -0
  39. package/dist/clis/amazon/shared.js +255 -0
  40. package/dist/clis/amazon/shared.test.d.ts +1 -0
  41. package/dist/clis/amazon/shared.test.js +33 -0
  42. package/dist/clis/gemini/ask.d.ts +1 -0
  43. package/dist/clis/gemini/ask.js +40 -0
  44. package/dist/clis/gemini/image.d.ts +1 -0
  45. package/dist/clis/gemini/image.js +105 -0
  46. package/dist/clis/gemini/new.d.ts +1 -0
  47. package/dist/clis/gemini/new.js +20 -0
  48. package/dist/clis/gemini/utils.d.ts +34 -0
  49. package/dist/clis/gemini/utils.js +463 -0
  50. package/dist/clis/gemini/utils.test.d.ts +1 -0
  51. package/dist/clis/gemini/utils.test.js +31 -0
  52. package/dist/clis/notebooklm/compat.test.d.ts +1 -1
  53. package/dist/clis/notebooklm/compat.test.js +3 -3
  54. package/dist/clis/notebooklm/current.js +2 -3
  55. package/dist/clis/notebooklm/get.js +2 -3
  56. package/dist/clis/notebooklm/history.js +2 -3
  57. package/dist/clis/notebooklm/note-list.js +2 -3
  58. package/dist/clis/notebooklm/notes-get.js +2 -3
  59. package/dist/clis/notebooklm/open.d.ts +1 -0
  60. package/dist/clis/notebooklm/open.js +41 -0
  61. package/dist/clis/notebooklm/open.test.d.ts +1 -0
  62. package/dist/clis/notebooklm/open.test.js +63 -0
  63. package/dist/clis/notebooklm/source-fulltext.js +2 -3
  64. package/dist/clis/notebooklm/source-get.js +2 -3
  65. package/dist/clis/notebooklm/source-guide.js +2 -3
  66. package/dist/clis/notebooklm/source-list.js +2 -3
  67. package/dist/clis/notebooklm/status.js +1 -2
  68. package/dist/clis/notebooklm/summary.js +2 -3
  69. package/dist/clis/notebooklm/utils.d.ts +2 -1
  70. package/dist/clis/notebooklm/utils.js +20 -21
  71. package/dist/clis/xiaohongshu/creator-note-detail.test.js +11 -11
  72. package/dist/clis/xiaohongshu/creator-notes-summary.test.js +6 -6
  73. package/dist/clis/xiaohongshu/creator-notes.test.js +22 -22
  74. package/dist/commanderAdapter.js +6 -3
  75. package/dist/commanderAdapter.test.js +33 -0
  76. package/dist/commands/daemon.js +1 -1
  77. package/dist/commands/daemon.test.js +1 -1
  78. package/dist/doctor.d.ts +1 -2
  79. package/dist/doctor.js +7 -8
  80. package/dist/explore.js +1 -1
  81. package/dist/output.js +28 -0
  82. package/dist/output.test.js +15 -0
  83. package/dist/pipeline/executor.js +2 -7
  84. package/dist/pipeline/steps/browser.js +1 -1
  85. package/dist/pipeline/template.js +25 -3
  86. package/dist/record.d.ts +50 -0
  87. package/dist/record.js +298 -57
  88. package/dist/record.test.d.ts +1 -0
  89. package/dist/record.test.js +293 -0
  90. package/dist/registry.d.ts +2 -0
  91. package/dist/registry.js +1 -0
  92. package/dist/registry.test.js +10 -0
  93. package/dist/runtime.js +3 -3
  94. package/dist/snapshotFormatter.d.ts +1 -1
  95. package/dist/snapshotFormatter.js +4 -4
  96. package/dist/snapshotFormatter.test.d.ts +1 -1
  97. package/dist/snapshotFormatter.test.js +2 -2
  98. package/dist/types.d.ts +3 -1
  99. package/dist/types.js +1 -1
  100. package/docs/.vitepress/config.mts +2 -0
  101. package/docs/adapters/browser/amazon.md +53 -0
  102. package/docs/adapters/browser/gemini.md +72 -0
  103. package/docs/adapters/browser/notebooklm.md +5 -5
  104. package/docs/adapters/index.md +3 -1
  105. package/extension/dist/background.js +5 -143
  106. package/extension/src/background.test.ts +7 -163
  107. package/extension/src/background.ts +7 -157
  108. package/extension/src/protocol.ts +1 -5
  109. package/package.json +1 -1
  110. package/skills/opencli-explorer/SKILL.md +847 -0
  111. package/skills/opencli-oneshot/SKILL.md +216 -0
  112. package/skills/opencli-usage/SKILL.md +71 -0
  113. package/skills/opencli-usage/browser.md +429 -0
  114. package/skills/opencli-usage/desktop.md +118 -0
  115. package/skills/opencli-usage/plugins.md +82 -0
  116. package/skills/opencli-usage/public-api.md +149 -0
  117. package/src/browser/base-page.ts +197 -0
  118. package/src/browser/cdp.ts +7 -131
  119. package/src/browser/daemon-client.ts +3 -14
  120. package/src/browser/discover.ts +1 -4
  121. package/src/browser/errors.ts +22 -0
  122. package/src/browser/index.ts +1 -1
  123. package/src/browser/page.ts +13 -212
  124. package/src/browser/tabs.ts +5 -5
  125. package/src/browser.test.ts +15 -15
  126. package/src/clis/amazon/bestsellers.test.ts +22 -0
  127. package/src/clis/amazon/bestsellers.ts +180 -0
  128. package/src/clis/amazon/discussion.test.ts +38 -0
  129. package/src/clis/amazon/discussion.ts +131 -0
  130. package/src/clis/amazon/offer.test.ts +35 -0
  131. package/src/clis/amazon/offer.ts +185 -0
  132. package/src/clis/amazon/product.test.ts +26 -0
  133. package/src/clis/amazon/product.ts +131 -0
  134. package/src/clis/amazon/search.test.ts +24 -0
  135. package/src/clis/amazon/search.ts +128 -0
  136. package/src/clis/amazon/shared.test.ts +37 -0
  137. package/src/clis/amazon/shared.ts +316 -0
  138. package/src/clis/gemini/ask.ts +46 -0
  139. package/src/clis/gemini/image.ts +115 -0
  140. package/src/clis/gemini/new.ts +22 -0
  141. package/src/clis/gemini/utils.test.ts +36 -0
  142. package/src/clis/gemini/utils.ts +523 -0
  143. package/src/clis/notebooklm/compat.test.ts +3 -3
  144. package/src/clis/notebooklm/current.ts +2 -3
  145. package/src/clis/notebooklm/get.ts +1 -3
  146. package/src/clis/notebooklm/history.ts +1 -3
  147. package/src/clis/notebooklm/note-list.ts +1 -3
  148. package/src/clis/notebooklm/notes-get.ts +1 -3
  149. package/src/clis/notebooklm/open.test.ts +78 -0
  150. package/src/clis/notebooklm/open.ts +61 -0
  151. package/src/clis/notebooklm/source-fulltext.ts +1 -3
  152. package/src/clis/notebooklm/source-get.ts +1 -3
  153. package/src/clis/notebooklm/source-guide.ts +1 -3
  154. package/src/clis/notebooklm/source-list.ts +1 -3
  155. package/src/clis/notebooklm/status.ts +1 -2
  156. package/src/clis/notebooklm/summary.ts +1 -3
  157. package/src/clis/notebooklm/utils.ts +29 -20
  158. package/src/clis/xiaohongshu/creator-note-detail.test.ts +11 -11
  159. package/src/clis/xiaohongshu/creator-notes-summary.test.ts +6 -6
  160. package/src/clis/xiaohongshu/creator-notes.test.ts +22 -22
  161. package/src/commanderAdapter.test.ts +47 -0
  162. package/src/commanderAdapter.ts +7 -3
  163. package/src/commands/daemon.test.ts +1 -1
  164. package/src/commands/daemon.ts +1 -1
  165. package/src/doctor.ts +7 -8
  166. package/src/explore.ts +1 -1
  167. package/src/output.test.ts +17 -0
  168. package/src/output.ts +27 -0
  169. package/src/pipeline/executor.ts +2 -7
  170. package/src/pipeline/steps/browser.ts +1 -1
  171. package/src/pipeline/template.ts +27 -4
  172. package/src/record.test.ts +362 -0
  173. package/src/record.ts +341 -62
  174. package/src/registry.test.ts +12 -0
  175. package/src/registry.ts +3 -0
  176. package/src/runtime.ts +3 -3
  177. package/src/snapshotFormatter.test.ts +2 -2
  178. package/src/snapshotFormatter.ts +4 -4
  179. package/src/types.ts +3 -1
  180. package/.agents/skills/cross-project-adapter-migration/SKILL.md +0 -249
  181. package/.agents/workflows/cross-project-adapter-migration.md +0 -54
  182. package/SKILL.md +0 -879
  183. package/dist/clis/notebooklm/bind-current.js +0 -29
  184. package/dist/clis/notebooklm/bind-current.test.d.ts +0 -1
  185. package/dist/clis/notebooklm/bind-current.test.js +0 -35
  186. package/dist/clis/notebooklm/binding.test.js +0 -44
  187. package/src/clis/notebooklm/bind-current.test.ts +0 -43
  188. package/src/clis/notebooklm/bind-current.ts +0 -36
  189. package/src/clis/notebooklm/binding.test.ts +0 -53
  190. /package/dist/browser/{mcp.d.ts → bridge.d.ts} +0 -0
  191. /package/dist/browser/{mcp.js → bridge.js} +0 -0
  192. /package/dist/clis/{notebooklm/bind-current.d.ts → amazon/bestsellers.test.d.ts} +0 -0
  193. /package/dist/clis/{notebooklm/binding.test.d.ts → amazon/discussion.test.d.ts} +0 -0
  194. /package/src/browser/{mcp.ts → bridge.ts} +0 -0
@@ -0,0 +1,847 @@
1
+ # CLI-EXPLORER — 适配器探索式开发完全指南
2
+
3
+ > 本文档教你(或 AI Agent)如何为 OpenCLI 添加一个新网站的命令。
4
+ > 从零到发布,覆盖 API 发现、方案选择、适配器编写、测试验证全流程。
5
+
6
+ > [!TIP]
7
+ > **只想为一个具体页面快速生成一个命令?** 看 [CLI-ONESHOT.md](./CLI-ONESHOT.md)(~150 行,4 步搞定)。
8
+ > 本文档适合从零探索一个新站点的完整流程。
9
+
10
+ ---
11
+
12
+ ## AI Agent 开发者必读:用浏览器探索
13
+
14
+ > [!CAUTION]
15
+ > **你(AI Agent)必须通过浏览器打开目标网站去探索!**
16
+ > 不要只靠 `opencli explore` 命令或静态分析来发现 API。
17
+ > 你拥有浏览器工具,必须主动用它们浏览网页、观察网络请求、模拟用户交互。
18
+
19
+ ### 为什么?
20
+
21
+ 很多 API 是**懒加载**的(用户必须点击某个按钮/标签才会触发网络请求)。字幕、评论、关注列表等深层数据不会在页面首次加载时出现在 Network 面板中。**如果你不主动去浏览和交互页面,你永远发现不了这些 API。**
22
+
23
+ ### AI Agent 探索工作流(必须遵循)
24
+
25
+ | 步骤 | 工具 | 做什么 |
26
+ |------|------|--------|
27
+ | 0. 打开浏览器 | `browser_navigate` | 导航到目标页面 |
28
+ | 1. 观察页面 | `browser_snapshot` | 观察可交互元素(按钮/标签/链接) |
29
+ | 2. 首次抓包 | `browser_network_requests` | 筛选 JSON API 端点,记录 URL pattern |
30
+ | 3. 模拟交互 | `browser_click` + `browser_wait_for` | 点击"字幕""评论""关注"等按钮 |
31
+ | 4. 二次抓包 | `browser_network_requests` | 对比步骤 2,找出新触发的 API |
32
+ | 5. 验证 API | `browser_evaluate` | `fetch(url, {credentials:'include'})` 测试返回结构 |
33
+ | 6. 写代码 | — | 基于确认的 API 写适配器 |
34
+
35
+ ### 常犯错误
36
+
37
+ | ❌ 错误做法 | ✅ 正确做法 |
38
+ |------------|------------|
39
+ | 只用 `opencli explore` 命令,等结果自动出来 | 用浏览器工具打开页面,主动浏览 |
40
+ | 直接在代码里 `fetch(url)`,不看浏览器实际请求 | 先在浏览器中确认 API 可用,再写代码 |
41
+ | 页面打开后直接抓包,期望所有 API 都出现 | 模拟点击交互(展开评论/切换标签/加载更多) |
42
+ | 遇到 HTTP 200 但空数据就放弃 | 检查是否需要 Wbi 签名或 Cookie 鉴权 |
43
+ | 完全依赖 `__INITIAL_STATE__` 拿所有数据 | `__INITIAL_STATE__` 只有首屏数据,深层数据要调 API |
44
+
45
+ ### 实战成功案例:5 分钟实现「关注列表」适配器
46
+
47
+ 以下是用上述工作流实际发现 Bilibili 关注列表 API 的完整过程:
48
+
49
+ ```
50
+ 1. browser_navigate → https://space.bilibili.com/{uid}/fans/follow
51
+ 2. browser_network_requests → 发现:
52
+ GET /x/relation/followings?vmid={uid}&pn=1&ps=24 → [200]
53
+ GET /x/relation/stat?vmid={uid} → [200]
54
+ 3. browser_evaluate → 验证 API:
55
+ fetch('/x/relation/followings?vmid=137702077&pn=1&ps=5', {credentials:'include'})
56
+ → { code: 0, data: { total: 1342, list: [{mid, uname, sign, ...}] } }
57
+ 4. 结论:标准 Cookie API,无需 Wbi 签名
58
+ 5. 写 following.ts → 一次构建通过
59
+ ```
60
+
61
+ **关键决策点**:
62
+ - 直接访问 `fans/follow` 页面(不是首页),页面加载就会触发 following API
63
+ - 看到 URL 里没有 `/wbi/` → 不需要签名 → 直接用 `fetchJson` 而非 `apiGet`
64
+ - API 返回 `code: 0` + 非空 `list` → Tier 2 Cookie 策略确认
65
+
66
+ ---
67
+
68
+ ## 核心流程
69
+
70
+ ```
71
+ ┌─────────────┐ ┌─────────────┐ ┌──────────────┐ ┌────────┐
72
+ │ 1. 发现 API │ ──▶ │ 2. 选择策略 │ ──▶ │ 3. 写适配器 │ ──▶ │ 4. 测试 │
73
+ └─────────────┘ └─────────────┘ └──────────────┘ └────────┘
74
+ explore cascade YAML / TS run + verify
75
+ ```
76
+
77
+ ---
78
+
79
+ ## Step 1: 发现 API
80
+
81
+ ### 1a. 自动化发现(推荐)
82
+
83
+ OpenCLI 内置 Deep Explore,自动分析网站网络请求:
84
+
85
+ ```bash
86
+ opencli explore https://www.example.com --site mysite
87
+ ```
88
+
89
+ 输出到 `.opencli/explore/mysite/`:
90
+
91
+ | 文件 | 内容 |
92
+ |------|------|
93
+ | `manifest.json` | 站点元数据、框架检测(Vue2/3、React、Next.js、Pinia、Vuex) |
94
+ | `endpoints.json` | 已发现的 API 端点,按评分排序,含 URL pattern、方法、响应类型 |
95
+ | `capabilities.json` | 推理出的功能(`hot`、`search`、`feed`…),含置信度和推荐参数 |
96
+ | `auth.json` | 认证方式检测(Cookie/Header/无认证),策略候选列表 |
97
+
98
+ ### 1b. 手动抓包验证
99
+
100
+ Explore 的自动分析可能不完美,用 verbose 模式手动确认:
101
+
102
+ ```bash
103
+ # 在浏览器中打开目标页面,观察网络请求
104
+ opencli explore https://www.example.com --site mysite -v
105
+
106
+ # 或直接用 evaluate 测试 API
107
+ opencli bilibili hot -v # 查看已有命令的 pipeline 每步数据流
108
+ ```
109
+
110
+ 关注抓包结果中的关键信息:
111
+ - **URL pattern**: `/api/v2/hot?limit=20` → 这就是你要调用的端点
112
+ - **Method**: `GET` / `POST`
113
+ - **Request Headers**: Cookie? Bearer? 自定义签名头(X-s、X-t)?
114
+ - **Response Body**: JSON 结构,特别是数据在哪个路径(`data.items`、`data.list`)
115
+
116
+ ### 1c. 高阶 API 发现捷径法则 (Heuristics)
117
+
118
+ 在开始死磕复杂的抓包拦截之前,按照以下优先级进行尝试:
119
+
120
+ 1. **后缀爆破法 (`.json`)**: 像 Reddit 这样复杂的网站,只要在其 URL 后加上 `.json`(例如 `/r/all.json`),就能在带 Cookie 的情况下直接利用 `fetch` 拿到极其干净的 REST 数据(Tier 2 Cookie 策略极速秒杀)。另外如功能完备的**雪球 (xueqiu)** 也可以走这种纯 API 的方式极简获取,成为你构建简单 YAML 的黄金标杆。
121
+ 2. **全局状态查找法 (`__INITIAL_STATE__`)**: 许多服务端渲染 (SSR) 的网站(如小红书、Bilibili)会将首页或详情页的完整数据挂载到全局 window 对象上。与其去拦截网络请求,不如直接 `page.evaluate('() => window.__INITIAL_STATE__')` 获取整个数据树。
122
+ 3. **主动交互触发法 (Active Interaction)**: 很多深层 API(如视频字幕、评论下的回复)是懒加载的。在静态抓包找不到数据时,尝试在 `evaluate` 步骤或手动打断点时,主动去**点击(Click)页面上的对应按钮**(如"CC"、"展开全部"),从而诱发隐藏的 Network Fetch。
123
+ 4. **框架探测与 Store Action 截断**: 如果站点使用 Vue + Pinia,可以使用 `tap` 步骤调用 action,让前端框架代替你完成复杂的鉴权签名封装。
124
+ 5. **底层 XHR/Fetch 拦截**: 最后手段,当上述都不行时,使用 TypeScript 适配器进行无侵入式的请求抓取。
125
+
126
+ ### 1d. 框架检测
127
+
128
+ Explore 自动检测前端框架。如果需要手动确认:
129
+
130
+ ```bash
131
+ # 在已打开目标网站的情况下
132
+ opencli evaluate "(()=>{
133
+ const vue3 = !!document.querySelector('#app')?.__vue_app__;
134
+ const vue2 = !!document.querySelector('#app')?.__vue__;
135
+ const react = !!window.__REACT_DEVTOOLS_GLOBAL_HOOK__;
136
+ const pinia = vue3 && !!document.querySelector('#app').__vue_app__.config.globalProperties.\$pinia;
137
+ return JSON.stringify({vue3, vue2, react, pinia});
138
+ })()"
139
+ ```
140
+
141
+ Vue + Pinia 的站点(如小红书)可以直接通过 Store Action 绕过签名。
142
+
143
+ ---
144
+
145
+ ## Step 2: 选择认证策略
146
+
147
+ OpenCLI 提供 5 级认证策略。使用 `cascade` 命令自动探测:
148
+
149
+ ```bash
150
+ opencli cascade https://api.example.com/hot
151
+ ```
152
+
153
+ ### 策略决策树
154
+
155
+ ```
156
+ 直接 fetch(url) 能拿到数据?
157
+ → ✅ Tier 1: public(公开 API,不需要浏览器)
158
+ → ❌ fetch(url, {credentials:'include'}) 带 Cookie 能拿到?
159
+ → ✅ Tier 2: cookie(最常见,evaluate 步骤内 fetch)
160
+ → ❌ → 加上 Bearer / CSRF header 后能拿到?
161
+ → ✅ Tier 3: header(如 Twitter ct0 + Bearer)
162
+ → ❌ → 网站有 Pinia/Vuex Store?
163
+ → ✅ Tier 4: intercept(Store Action + XHR 拦截)
164
+ → ❌ Tier 5: ui(UI 自动化,最后手段)
165
+ ```
166
+
167
+ ### 各策略对比
168
+
169
+ | Tier | 策略 | 速度 | 复杂度 | 适用场景 | 实例 |
170
+ |------|------|------|--------|---------|------|
171
+ | 1 | `public` | ⚡ ~1s | 最简 | 公开 API,无需登录 | Hacker News, V2EX |
172
+ | 2 | `cookie` | 🔄 ~7s | 简单 | Cookie 认证即可 | Bilibili, Zhihu, Reddit |
173
+ | 3 | `header` | 🔄 ~7s | 中等 | 需要 CSRF token 或 Bearer | Twitter GraphQL |
174
+ | 4 | `intercept` | 🔄 ~10s | 较高 | 请求有复杂签名 | 小红书 (Pinia + XHR) |
175
+ | 5 | `ui` | 🐌 ~15s+ | 最高 | 无 API,纯 DOM 解析 | 遗留网站 |
176
+
177
+ ---
178
+
179
+ ## Step 2.5: 准备工作(写代码之前)
180
+
181
+ ### 先找模板:从最相似的现有适配器开始
182
+
183
+ **不要从零开始写**。先看看同站点已有哪些适配器:
184
+
185
+ ```bash
186
+ ls src/clis/<site>/ # 看看已有什么
187
+ cat src/clis/<site>/feed.ts # 读最相似的那个
188
+ ```
189
+
190
+ 最高效的方式是 **复制最相似的适配器,然后改 3 个地方**:
191
+ 1. `name` → 新命令名
192
+ 2. API URL → 你在 Step 1 发现的端点
193
+ 3. 字段映射 → 对应新 API 的字段
194
+
195
+ ### 平台 SDK 速查表
196
+
197
+ 写 TS 适配器之前,先看看你的目标站点有没有**现成的 helper 函数**可以复用:
198
+
199
+ #### Bilibili (`src/clis/bilibili/utils.ts`)
200
+
201
+ | 函数 | 用途 | 何时使用 |
202
+ |------|------|----------|
203
+ | `fetchJson(page, url)` | 带 Cookie 的 fetch + JSON 解析 | 普通 Cookie-tier API |
204
+ | `apiGet(page, path, {signed, params})` | 带 Wbi 签名的 API 调用 | URL 含 `/wbi/` 的接口 |
205
+ | `getSelfUid(page)` | 获取当前登录用户的 UID | "我的xxx" 类命令 |
206
+ | `resolveUid(page, input)` | 解析用户输入的 UID(支持数字/URL) | `--uid` 参数处理 |
207
+ | `wbiSign(page, params)` | 底层 Wbi 签名生成 | 通常不直接用,`apiGet` 已封装 |
208
+ | `stripHtml(s)` | 去除 HTML 标签 | 清理富文本字段 |
209
+
210
+ **如何判断需不需要 `apiGet`**?看 Network 请求 URL:
211
+ - 含 `/wbi/` 或 `w_rid=` → 必须用 `apiGet(..., { signed: true })`
212
+ - 不含 → 直接用 `fetchJson`
213
+
214
+ > 其他站点(Twitter、小红书等)暂无专用 SDK,直接用 `page.evaluate` + `fetch` 即可。
215
+
216
+ ---
217
+
218
+ ## Step 3: 编写适配器
219
+
220
+ ### YAML vs TS?先看决策树
221
+
222
+ ```
223
+ 你的 pipeline 里有 evaluate 步骤(内嵌 JS 代码)?
224
+ → ✅ 用 TypeScript (src/clis/<site>/<name>.ts),保存即自动动态注册
225
+ → ❌ 纯声明式(navigate + tap + map + limit)?
226
+ → ✅ 用 YAML (src/clis/<site>/<name>.yaml),保存即自动注册
227
+ ```
228
+
229
+ | 场景 | 选择 | 示例 |
230
+ |------|------|------|
231
+ | 纯 fetch/select/map/limit | YAML | `v2ex/hot.yaml`, `hackernews/top.yaml` |
232
+ | navigate + evaluate(fetch) + map | YAML(评估复杂度) | `zhihu/hot.yaml` |
233
+ | navigate + tap + map | YAML ✅ | `xiaohongshu/feed.yaml`, `xiaohongshu/notifications.yaml` |
234
+ | 有复杂 JS 逻辑(Pinia state 读取、条件分支) | TS | `xiaohongshu/me.ts`, `bilibili/me.ts` |
235
+ | XHR 拦截 + 签名 | TS | `xiaohongshu/search.ts` |
236
+ | GraphQL / 分页 / Wbi 签名 | TS | `bilibili/search.ts`, `twitter/search.ts` |
237
+
238
+ > **经验法则**:如果你发现 YAML 里嵌了超过 10 行 JS,改用 TS 更可维护。
239
+
240
+ ### 通用模式:分页 API
241
+
242
+ 很多 API 使用 `pn`(页码)+ `ps`(每页数量)分页。标准处理模式:
243
+
244
+ ```typescript
245
+ args: [
246
+ { name: 'page', type: 'int', required: false, default: 1, help: '页码' },
247
+ { name: 'limit', type: 'int', required: false, default: 50, help: '每页数量 (最大 50)' },
248
+ ],
249
+ func: async (page, kwargs) => {
250
+ const pn = kwargs.page ?? 1;
251
+ const ps = Math.min(kwargs.limit ?? 50, 50); // 尊重 API 的 ps 上限
252
+ const payload = await fetchJson(page,
253
+ `https://api.example.com/list?pn=${pn}&ps=${ps}`
254
+ );
255
+ return payload.data?.list || [];
256
+ },
257
+ ```
258
+
259
+ > 大多数站点的 `ps` 上限是 20~50。超过会被静默截断或返回错误。
260
+
261
+ ### 方式 A: YAML Pipeline(声明式,推荐)
262
+
263
+ 文件路径: `src/clis/<site>/<name>.yaml`,放入即自动注册。
264
+
265
+ #### Tier 1 — 公开 API 模板
266
+
267
+ ```yaml
268
+ # src/clis/v2ex/hot.yaml
269
+ site: v2ex
270
+ name: hot
271
+ description: V2EX 热门话题
272
+ domain: www.v2ex.com
273
+ strategy: public
274
+ browser: false
275
+
276
+ args:
277
+ limit:
278
+ type: int
279
+ default: 20
280
+
281
+ pipeline:
282
+ - fetch:
283
+ url: https://www.v2ex.com/api/topics/hot.json
284
+
285
+ - map:
286
+ rank: ${{ index + 1 }}
287
+ title: ${{ item.title }}
288
+ replies: ${{ item.replies }}
289
+
290
+ - limit: ${{ args.limit }}
291
+
292
+ columns: [rank, title, replies]
293
+ ```
294
+
295
+ #### Tier 2 — Cookie 认证模板(最常用)
296
+
297
+ ```yaml
298
+ # src/clis/zhihu/hot.yaml
299
+ site: zhihu
300
+ name: hot
301
+ description: 知乎热榜
302
+ domain: www.zhihu.com
303
+
304
+ pipeline:
305
+ - navigate: https://www.zhihu.com # 先加载页面建立 session
306
+
307
+ - evaluate: | # 在浏览器内发请求,自动带 Cookie
308
+ (async () => {
309
+ const res = await fetch('/api/v3/feed/topstory/hot-lists/total?limit=50', {
310
+ credentials: 'include'
311
+ });
312
+ const d = await res.json();
313
+ return (d?.data || []).map(item => {
314
+ const t = item.target || {};
315
+ return {
316
+ title: t.title,
317
+ heat: item.detail_text || '',
318
+ answers: t.answer_count,
319
+ };
320
+ });
321
+ })()
322
+
323
+ - map:
324
+ rank: ${{ index + 1 }}
325
+ title: ${{ item.title }}
326
+ heat: ${{ item.heat }}
327
+ answers: ${{ item.answers }}
328
+
329
+ - limit: ${{ args.limit }}
330
+
331
+ columns: [rank, title, heat, answers]
332
+ ```
333
+
334
+ > **关键**: `evaluate` 步骤内的 `fetch` 运行在浏览器页面内,自动携带 `credentials: 'include'`,无需手动处理 Cookie。
335
+
336
+ #### 进阶 — 带搜索参数
337
+
338
+ ```yaml
339
+ # src/clis/zhihu/search.yaml
340
+ site: zhihu
341
+ name: search
342
+ description: 知乎搜索
343
+
344
+ args:
345
+ query:
346
+ type: str
347
+ required: true
348
+ positional: true
349
+ description: Search query
350
+ limit:
351
+ type: int
352
+ default: 10
353
+
354
+ pipeline:
355
+ - navigate: https://www.zhihu.com
356
+
357
+ - evaluate: |
358
+ (async () => {
359
+ const q = encodeURIComponent('${{ args.query }}');
360
+ const res = await fetch('/api/v4/search_v3?q=' + q + '&t=general&limit=${{ args.limit }}', {
361
+ credentials: 'include'
362
+ });
363
+ const d = await res.json();
364
+ return (d?.data || [])
365
+ .filter(item => item.type === 'search_result')
366
+ .map(item => ({
367
+ title: (item.object?.title || '').replace(/<[^>]+>/g, ''),
368
+ type: item.object?.type || '',
369
+ author: item.object?.author?.name || '',
370
+ votes: item.object?.voteup_count || 0,
371
+ }));
372
+ })()
373
+
374
+ - map:
375
+ rank: ${{ index + 1 }}
376
+ title: ${{ item.title }}
377
+ type: ${{ item.type }}
378
+ author: ${{ item.author }}
379
+ votes: ${{ item.votes }}
380
+
381
+ - limit: ${{ args.limit }}
382
+
383
+ columns: [rank, title, type, author, votes]
384
+ ```
385
+
386
+ #### Tier 4 — Store Action Bridge(`tap` 步骤,intercept 策略推荐)
387
+
388
+ 适用于 Vue + Pinia/Vuex 的网站(如小红书),无须手动写 XHR 拦截代码:
389
+
390
+ ```yaml
391
+ # src/clis/xiaohongshu/notifications.yaml
392
+ site: xiaohongshu
393
+ name: notifications
394
+ description: "小红书通知"
395
+ domain: www.xiaohongshu.com
396
+ strategy: intercept
397
+ browser: true
398
+
399
+ args:
400
+ type:
401
+ type: str
402
+ default: mentions
403
+ description: "Notification type: mentions, likes, or connections"
404
+ limit:
405
+ type: int
406
+ default: 20
407
+
408
+ columns: [rank, user, action, content, note, time]
409
+
410
+ pipeline:
411
+ - navigate: https://www.xiaohongshu.com/notification
412
+ - wait: 3
413
+ - tap:
414
+ store: notification # Pinia store name
415
+ action: getNotification # Store action to call
416
+ args: # Action arguments
417
+ - ${{ args.type | default('mentions') }}
418
+ capture: /you/ # URL pattern to capture response
419
+ select: data.message_list # Extract sub-path from response
420
+ timeout: 8
421
+ - map:
422
+ rank: ${{ index + 1 }}
423
+ user: ${{ item.user_info.nickname }}
424
+ action: ${{ item.title }}
425
+ content: ${{ item.comment_info.content }}
426
+ - limit: ${{ args.limit | default(20) }}
427
+ ```
428
+
429
+ > **`tap` 步骤自动完成**:注入 fetch+XHR 双拦截 → 查找 Pinia/Vuex store → 调用 action → 捕获匹配 URL 的响应 → 清理拦截。
430
+ > 如果 store 或 action 找不到,会返回 `hint` 列出所有可用的 store actions,方便调试。
431
+
432
+ | tap 参数 | 必填 | 说明 |
433
+ |---------|------|------|
434
+ | `store` | ✅ | Pinia store 名称(如 `feed`, `search`, `notification`) |
435
+ | `action` | ✅ | Store action 方法名 |
436
+ | `capture` | ✅ | URL 子串匹配(匹配网络请求 URL) |
437
+ | `args` | ❌ | 传给 action 的参数数组 |
438
+ | `select` | ❌ | 从 captured JSON 中提取的路径(如 `data.items`) |
439
+ | `timeout` | ❌ | 等待网络响应的超时秒数(默认 5s) |
440
+ | `framework` | ❌ | `pinia` 或 `vuex`(默认自动检测) |
441
+
442
+ ### 方式 B: TypeScript 适配器(编程式)
443
+
444
+ 适用于需要嵌入 JS 代码读取 Pinia state、XHR 拦截、GraphQL、分页、复杂数据转换等场景。
445
+
446
+ 文件路径: `src/clis/<site>/<name>.ts`。文件将会在运行时被动态扫描并注册(切勿在 `index.ts` 中手动 `import`)。
447
+
448
+ #### Tier 3 — Header 认证(Twitter)
449
+
450
+ ```typescript
451
+ // src/clis/twitter/search.ts
452
+ import { cli, Strategy } from '../../registry.js';
453
+
454
+ cli({
455
+ site: 'twitter',
456
+ name: 'search',
457
+ description: 'Search tweets',
458
+ strategy: Strategy.HEADER,
459
+ args: [{ name: 'query', required: true, positional: true }],
460
+ columns: ['rank', 'author', 'text', 'likes'],
461
+ func: async (page, kwargs) => {
462
+ await page.goto('https://x.com');
463
+ const data = await page.evaluate(`
464
+ (async () => {
465
+ // 从 Cookie 提取 CSRF token
466
+ const ct0 = document.cookie.split(';')
467
+ .map(c => c.trim())
468
+ .find(c => c.startsWith('ct0='))?.split('=')[1];
469
+ if (!ct0) return { error: 'Not logged in' };
470
+
471
+ const bearer = 'AAAAAAAAAAAAAAAAAAAAANRILgAAAAAAnNwIzUejRCOuH5E6I8xnZz4puTs%3D...';
472
+ const headers = {
473
+ 'Authorization': 'Bearer ' + decodeURIComponent(bearer),
474
+ 'X-Csrf-Token': ct0,
475
+ 'X-Twitter-Auth-Type': 'OAuth2Session',
476
+ };
477
+
478
+ const variables = JSON.stringify({ rawQuery: '${kwargs.query}', count: 20 });
479
+ const url = '/i/api/graphql/xxx/SearchTimeline?variables=' + encodeURIComponent(variables);
480
+ const res = await fetch(url, { headers, credentials: 'include' });
481
+ return await res.json();
482
+ })()
483
+ `);
484
+ // ... 解析 data
485
+ },
486
+ });
487
+ ```
488
+
489
+ #### Tier 4 — XHR/Fetch 双重拦截 (Twitter/小红书 通用模式)
490
+
491
+ ```typescript
492
+ // src/clis/xiaohongshu/user.ts
493
+ import { cli, Strategy } from '../../registry.js';
494
+
495
+ cli({
496
+ site: 'xiaohongshu',
497
+ name: 'user',
498
+ description: '获取用户笔记',
499
+ strategy: Strategy.INTERCEPT,
500
+ args: [{ name: 'id', required: true }],
501
+ columns: ['rank', 'title', 'likes', 'url'],
502
+ func: async (page, kwargs) => {
503
+ await page.goto(`https://www.xiaohongshu.com/user/profile/${kwargs.id}`);
504
+ await page.wait(5);
505
+
506
+ // XHR/Fetch 底层拦截:捕获所有包含 'v1/user/posted' 的请求
507
+ await page.installInterceptor('v1/user/posted');
508
+
509
+ // 触发后端 API:模拟人类用户向底部滚动2次
510
+ await page.autoScroll({ times: 2, delayMs: 2000 });
511
+
512
+ // 提取所有被拦截捕获的 JSON 响应体
513
+ const requests = await page.getInterceptedRequests();
514
+ if (!requests || requests.length === 0) return [];
515
+
516
+ let results = [];
517
+ for (const req of requests) {
518
+ if (req.data?.data?.notes) {
519
+ for (const note of req.data.data.notes) {
520
+ results.push({
521
+ title: note.display_title || '',
522
+ likes: note.interact_info?.liked_count || '0',
523
+ url: `https://explore/${note.note_id || note.id}`
524
+ });
525
+ }
526
+ }
527
+ }
528
+
529
+ return results.slice(0, 20).map((item, i) => ({
530
+ rank: i + 1, ...item,
531
+ }));
532
+ },
533
+ });
534
+ ```
535
+
536
+ > **拦截核心思路**:不自己构造签名,而是利用 `installInterceptor` 劫持网站自己的 `XMLHttpRequest` 和 `fetch`,让网站发请求,我们直接在底层取出解析好的 `response.json()`。
537
+
538
+ > **级联请求**(如 BVID→CID→字幕)的完整模板和要点见下方[进阶模式: 级联请求](#进阶模式-级联请求-cascading-requests)章节。
539
+
540
+ ---
541
+
542
+ ## Step 4: 测试
543
+
544
+ > **构建通过 ≠ 功能正常**。`npm run build` 只验证 TypeScript / YAML 语法,不验证运行时行为。
545
+ > 每个新命令 **必须实际运行** 并确认输出正确后才算完成。
546
+
547
+ ### 必做清单
548
+
549
+ ```bash
550
+ # 1. 构建(确认语法无误)
551
+ npm run build
552
+
553
+ # 2. 确认命令已注册
554
+ opencli list | grep mysite
555
+
556
+ # 3. 实际运行命令(最关键!)
557
+ opencli mysite hot --limit 3 -v # verbose 查看每步数据流
558
+ opencli mysite hot --limit 3 -f json # JSON 输出确认字段完整
559
+ ```
560
+
561
+ ### tap 步骤调试(intercept 策略专用)
562
+
563
+ > **不要猜 store name / action name**。先用 evaluate 探索,再写 YAML。
564
+
565
+ #### Step 1: 列出所有 Pinia store
566
+
567
+ 在浏览器中打开目标网站后:
568
+
569
+ ```bash
570
+ opencli evaluate "(() => {
571
+ const app = document.querySelector('#app')?.__vue_app__;
572
+ const pinia = app?.config?.globalProperties?.\$pinia;
573
+ return [...pinia._s.keys()];
574
+ })()"
575
+ # 输出: ["user", "feed", "search", "notification", ...]
576
+ ```
577
+
578
+ #### Step 2: 查看 store 的 action 名称
579
+
580
+ 故意写一个错误 action 名,tap 会返回所有可用 actions:
581
+
582
+ ```
583
+ ⚠ tap: Action not found: wrongName on store notification
584
+ 💡 Available: getNotification, replyComment, getNotificationCount, reset
585
+ ```
586
+
587
+ #### Step 3: 用 network requests 确认 capture 模式
588
+
589
+ ```bash
590
+ # 在浏览器打开目标页面,查看网络请求
591
+ # 找到目标 API 的 URL 特征(如 "/you/mentions"、"homefeed")
592
+ ```
593
+
594
+ #### 完整流程
595
+
596
+ ```
597
+ ┌──────────────┐ ┌──────────────┐ ┌──────────────┐ ┌────────┐
598
+ │ 1. navigate │ ──▶ │ 2. 探索 store │ ──▶ │ 3. 写 YAML │ ──▶ │ 4. 测试 │
599
+ │ 到目标页面 │ │ name/action │ │ tap 步骤 │ │ 运行验证 │
600
+ └──────────────┘ └──────────────┘ └──────────────┘ └────────┘
601
+ ```
602
+
603
+ ### Verbose 模式 & 输出验证
604
+
605
+ ```bash
606
+ opencli bilibili hot --limit 1 -v # 查看 pipeline 每步数据流
607
+ opencli mysite hot -f json | jq '.[0]' # 确认 JSON 可被解析
608
+ opencli mysite hot -f csv > data.csv # 确认 CSV 可导入
609
+ ```
610
+
611
+ ---
612
+
613
+ ## Step 5: 提交发布
614
+
615
+ 文件放入 `src/clis/<site>/` 即自动注册(YAML 或 TS 无需手动 import),然后:
616
+
617
+ ```bash
618
+ opencli list | grep mysite # 确认注册
619
+ git add src/clis/mysite/ && git commit -m "feat(mysite): add hot" && git push
620
+ ```
621
+
622
+ > **架构理念**:OpenCLI 内建 **Zero-Dependency jq** 数据流 — 所有解析在 `evaluate` 的原生 JS 内完成,外层 YAML 用 `select`/`map` 提取,无需依赖系统 `jq` 二进制。
623
+
624
+ ---
625
+
626
+ ## 进阶模式: 级联请求 (Cascading Requests)
627
+
628
+ 当目标数据需要多步 API 链式获取时(如 `BVID → CID → 字幕列表 → 字幕内容`),必须使用 **TS 适配器**。YAML 无法处理这种多步逻辑。
629
+
630
+ ### 模板代码
631
+
632
+ ```typescript
633
+ import { cli, Strategy } from '../../registry.js';
634
+ import type { IPage } from '../../types.js';
635
+ import { apiGet } from './utils.js'; // 复用平台 SDK
636
+
637
+ cli({
638
+ site: 'bilibili',
639
+ name: 'subtitle',
640
+ strategy: Strategy.COOKIE,
641
+ args: [{ name: 'bvid', required: true }],
642
+ columns: ['index', 'from', 'to', 'content'],
643
+ func: async (page: IPage | null, kwargs: any) => {
644
+ if (!page) throw new Error('Requires browser');
645
+
646
+ // Step 1: 建立 Session
647
+ await page.goto(`https://www.bilibili.com/video/${kwargs.bvid}/`);
648
+
649
+ // Step 2: 从页面提取中间 ID (__INITIAL_STATE__)
650
+ const cid = await page.evaluate(`(async () => {
651
+ return window.__INITIAL_STATE__?.videoData?.cid;
652
+ })()`);
653
+ if (!cid) throw new Error('无法提取 CID');
654
+
655
+ // Step 3: 用中间 ID 调用下一级 API (自动 Wbi 签名)
656
+ const payload = await apiGet(page, '/x/player/wbi/v2', {
657
+ params: { bvid: kwargs.bvid, cid },
658
+ signed: true, // ← 自动生成 w_rid
659
+ });
660
+
661
+ // Step 4: 检测风控降级 (空值断言)
662
+ const subtitles = payload.data?.subtitle?.subtitles || [];
663
+ const url = subtitles[0]?.subtitle_url;
664
+ if (!url) throw new Error('subtitle_url 为空,疑似风控降级');
665
+
666
+ // Step 5: 拉取最终数据 (CDN JSON)
667
+ const items = await page.evaluate(`(async () => {
668
+ const res = await fetch(${JSON.stringify('https:' + url)});
669
+ const json = await res.json();
670
+ return { data: json.body || json };
671
+ })()`);
672
+
673
+ return items.data.map((item, idx) => ({ ... }));
674
+ },
675
+ });
676
+ ```
677
+
678
+ ### 关键要点
679
+
680
+ | 步骤 | 注意事项 |
681
+ |------|----------|
682
+ | 提取中间 ID | 优先从 `__INITIAL_STATE__` 拿,避免额外 API 调用 |
683
+ | Wbi 签名 | B 站 `/wbi/` 接口**强制校验** `w_rid`,纯 `fetch` 会被 403 |
684
+ | 空值断言 | 即使 HTTP 200,核心字段可能为空串(风控降级) |
685
+ | CDN URL | 常以 `//` 开头,记得补 `https:` |
686
+ | `JSON.stringify` | 拼接 URL 到 evaluate 时必须用它转义,避免注入 |
687
+
688
+ ---
689
+
690
+ ## 常见陷阱
691
+
692
+ | 陷阱 | 表现 | 解决方案 |
693
+ |------|------|---------|
694
+ | 缺少 `navigate` | evaluate 报 `Target page context` 错误 | 在 evaluate 前加 `navigate:` 步骤 |
695
+ | 嵌套字段访问 | `${{ item.node?.title }}` 不工作 | 在 evaluate 中 flatten 数据,不在模板中用 optional chaining |
696
+ | 缺少 `strategy: public` | 公开 API 也启动浏览器,7s → 1s | 公开 API 加上 `strategy: public` + `browser: false` |
697
+ | evaluate 返回字符串 | map 步骤收到 `""` 而非数组 | pipeline 有 auto-parse,但建议在 evaluate 内 `.map()` 整形 |
698
+ | 搜索参数被 URL 编码 | `${{ args.query }}` 被浏览器二次编码 | 在 evaluate 内用 `encodeURIComponent()` 手动编码 |
699
+ | Cookie 过期 | 返回 401 / 空数据 | 在浏览器里重新登录目标站点 |
700
+ | Extension tab 残留 | Chrome 多出 `chrome-extension://` tab | 已自动清理;若残留,手动关闭即可 |
701
+ | TS evaluate 格式 | `() => {}` 报 `result is not a function` | TS 中 `page.evaluate()` 必须用 IIFE:`(async () => { ... })()` |
702
+ | 页面异步加载 | evaluate 拿到空数据(store state 还没更新) | 在 evaluate 内用 polling 等待数据出现,或增加 `wait` 时间 |
703
+ | YAML 内嵌大段 JS | 调试困难,字符串转义问题 | 超过 10 行 JS 的命令改用 TS adapter |
704
+ | **风控被拦截(伪200)** | 获取到的 JSON 里核心数据是 `""` (空串) | 极易被误判。必须添加断言!无核心数据立刻要求升级鉴权 Tier 并重新配置 Cookie |
705
+ | **API 没找见** | `explore` 工具打分出来的都拿不到深层数据 | 点击页面按钮诱发懒加载数据,再结合 `getInterceptedRequests` 获取 |
706
+
707
+ ---
708
+
709
+ ## 用 AI Agent 自动生成适配器
710
+
711
+ 最快的方式是让 AI Agent 完成全流程:
712
+
713
+ ```bash
714
+ # 一键:探索 → 分析 → 合成 → 注册
715
+ opencli generate https://www.example.com --goal "hot"
716
+
717
+ # 或分步执行:
718
+ opencli explore https://www.example.com --site mysite # 发现 API
719
+ opencli explore https://www.example.com --auto --click "字幕,CC" # 模拟点击触发懒加载 API
720
+ opencli synthesize mysite # 生成候选 YAML
721
+ opencli verify mysite/hot --smoke # 冒烟测试
722
+ ```
723
+
724
+ 生成的候选 YAML 保存在 `.opencli/explore/mysite/candidates/`,可直接复制到 `src/clis/mysite/` 并微调。
725
+
726
+ ## Record Workflow
727
+
728
+ `record` 是为「无法用 `explore` 自动发现」的页面(需要登录操作、复杂交互、SPA 内路由)准备的手动录制方案。
729
+
730
+ ### 工作原理
731
+
732
+ ```
733
+ opencli record <url>
734
+ → 打开 automation window 并导航到目标 URL
735
+ → 向所有 tab 注入 fetch/XHR 拦截器(幂等,可重复注入)
736
+ → 每 2s 轮询一次:发现新 tab 自动注入,drain 所有 tab 的捕获缓冲区
737
+ → 超时(默认 60s)或按 Enter 停止
738
+ → 分析捕获到的 JSON 请求:去重 → 评分 → 生成候选 YAML
739
+ ```
740
+
741
+ **拦截器特性**:
742
+ - 同时 patch `window.fetch` 和 `XMLHttpRequest`
743
+ - 只捕获 `Content-Type: application/json` 的响应
744
+ - 过滤纯对象少于 2 个 key 的响应(避免 tracking/ping)
745
+ - 跨 tab 隔离:每个 tab 独立缓冲区,轮询时分别 drain
746
+ - 幂等注入:同一 tab 二次注入时先 restore 原始函数再重新 patch,不丢失已捕获数据
747
+
748
+ ### 使用步骤
749
+
750
+ ```bash
751
+ # 1. 启动录制(建议 --timeout 给足操作时间)
752
+ opencli record "https://example.com/page" --timeout 120000
753
+
754
+ # 2. 在弹出的 automation window 里正常操作页面:
755
+ # - 打开列表、搜索、点击条目、切换 Tab
756
+ # - 凡是触发网络请求的操作都会被捕获
757
+
758
+ # 3. 完成操作后按 Enter 停止(或等超时自动停止)
759
+
760
+ # 4. 查看结果
761
+ cat .opencli/record/<site>/captured.json # 原始捕获
762
+ ls .opencli/record/<site>/candidates/ # 候选 YAML
763
+ ```
764
+
765
+ ### 页面类型与捕获预期
766
+
767
+ | 页面类型 | 预期捕获量 | 说明 |
768
+ |---------|-----------|------|
769
+ | 列表/搜索页 | 多(5~20+) | 每次搜索/翻页都会触发新请求 |
770
+ | 详情页(只读) | 少(1~5) | 首屏数据一次性返回,后续操作走 form/redirect |
771
+ | SPA 内路由跳转 | 中等 | 路由切换会触发新接口,但首屏请求在注入前已发出 |
772
+ | 需要登录的页面 | 视操作而定 | 确保 Chrome 已登录目标网站 |
773
+
774
+ > **注意**:如果页面在导航完成前就发出了大部分请求(服务端渲染 / SSR 注水),拦截器会错过这些请求。
775
+ > 解决方案:在页面加载完成后,手动触发能产生新请求的操作(搜索、翻页、切 Tab、展开折叠项等)。
776
+
777
+ ### 候选 YAML → TS CLI 转换
778
+
779
+ 生成的候选 YAML 是起点,通常需要转换为 TypeScript(尤其是 tae 等内部系统):
780
+
781
+ **候选 YAML 结构**(自动生成):
782
+ ```yaml
783
+ site: tae
784
+ name: getList # 从 URL path 推断的名称
785
+ strategy: cookie
786
+ browser: true
787
+ pipeline:
788
+ - navigate: https://...
789
+ - evaluate: |
790
+ (async () => {
791
+ const res = await fetch('/approval/getList.json?procInsId=...', { credentials: 'include' });
792
+ const data = await res.json();
793
+ return (data?.content?.operatorRecords || []).map(item => ({ ... }));
794
+ })()
795
+ ```
796
+
797
+ **转换为 TS CLI**(参考 `src/clis/tae/add-expense.ts` 风格):
798
+ ```typescript
799
+ import { cli, Strategy } from '../../registry.js';
800
+
801
+ cli({
802
+ site: 'tae',
803
+ name: 'get-approval',
804
+ description: '查看报销单审批流程和操作记录',
805
+ domain: 'tae.alibaba-inc.com',
806
+ strategy: Strategy.COOKIE,
807
+ browser: true,
808
+ args: [
809
+ { name: 'proc_ins_id', type: 'string', required: true, positional: true, help: '流程实例 ID(procInsId)' },
810
+ ],
811
+ columns: ['step', 'operator', 'action', 'time'],
812
+ func: async (page, kwargs) => {
813
+ await page.goto('https://tae.alibaba-inc.com/expense/pc.html?_authType=SAML');
814
+ await page.wait(2);
815
+ const result = await page.evaluate(`(async () => {
816
+ const res = await fetch('/approval/getList.json?taskId=&procInsId=${kwargs.proc_ins_id}', {
817
+ credentials: 'include'
818
+ });
819
+ const data = await res.json();
820
+ return data?.content?.operatorRecords || [];
821
+ })()`);
822
+ return (result as any[]).map((r, i) => ({
823
+ step: i + 1,
824
+ operator: r.operatorName || r.userId,
825
+ action: r.operationType,
826
+ time: r.operateTime,
827
+ }));
828
+ },
829
+ });
830
+ ```
831
+
832
+ **转换要点**:
833
+ 1. URL 中的动态 ID(`procInsId`、`taskId` 等)提取为 `args`
834
+ 2. `captured.json` 里的真实 body 结构用于确定正确的数据路径(如 `content.operatorRecords`)
835
+ 3. tae 系统统一用 `{ success, content, errorCode, errorMsg }` 外层包裹,取数据要走 `content.*`
836
+ 4. 认证方式:cookie(`credentials: 'include'`),不需要额外 header
837
+ 5. 文件放入 `src/clis/<site>/`,无需手动注册,`npm run build` 后自动发现
838
+
839
+ ### 故障排查
840
+
841
+ | 现象 | 原因 | 解法 |
842
+ |------|------|------|
843
+ | 捕获 0 条请求 | 拦截器注入失败,或页面无 JSON API | 检查 daemon 是否运行:`curl localhost:19825/status` |
844
+ | 捕获量少(1~3 条) | 页面是只读详情页,首屏数据已在注入前发出 | 手动操作触发更多请求(搜索/翻页),或换用列表页 |
845
+ | 候选 YAML 为 0 | 捕获到的 JSON 都没有 array 结构 | 直接看 `captured.json` 手写 TS CLI |
846
+ | 新开的 tab 没有被拦截 | 轮询间隔内 tab 已关闭 | 缩短 `--poll 500` |
847
+ | 二次运行 record 时数据不连续 | 正常,每次 `record` 启动都是新的 automation window | 无需处理 |