agent-bypass 2.11.7 → 2.13.0

package/references/spa-recon.md

@@ -0,0 +1,299 @@
+# SPA 前端接口侦察（三道门 / 无凭据进壳 / 参数矩阵 / 权限树）
+
+> 一句话：把 SPA 站点的**全部接口、参数结构、权限模型**掏干净。
+> 边界：这里管"接口面侦察"；**加密参数还原（sign/加密算法复刻）不在这**——走 SKILL「50-js-reverse」模块。
+> 前提：已授权。所有 grep 针对已下载的 `js/` 目录执行（bundle 单行时先 `sed 's/}/}\n/g'` 切开再 grep）。
+
+---
+
+## 一、两层模型：静态打底，运行时补全
+
+| 层 | 来源 | 能拿到 | 拿不到 |
+|---|---|---|---|
+| **静态** | 全量 chunk 下载后 grep | endpoint 全路径、路由草案、字段候选 | HTTP 方法、真实参数结构、运行时拼接的 URL |
+| **运行时** | 活会话 + 代理/fetch hook | 方法 + body + 响应 + 动态 URL + WS/SSE | 没渲染到的页面；**单样本定不了必填/可选** |
+
+顺序：静态先做完（便宜、无痕），运行时补方法与参数。参数结论必须**多样本 diff**，不许拿单样本拍脑袋。
+
+---
+
+## 二、逆向三道门（重点）
+
+拿到一个 SPA 后台，先回答三个问题：**怎么判断已登录 / 什么触发跳登录 / 菜单权限从哪来**。
+
+### 2.1 渲染门——「如何判断已登录？」
+
+```bash
+# 找登录判断函数与存储读取
+grep -rhoaE '.{0,40}(isLogin|isAuthenticated|loggedIn|hasLogin|requireAuth)\b.{0,80}' js/ | head
+grep -rhoaE 'function (getUser|getToken|getAuth)[0-9]?\([^)]*\)\{.{0,200}' js/ | head
+grep -rhoaE '(localStorage|sessionStorage)\.getItem\("[^"]+"\)' js/ | sort -u
+grep -rhoaE '(Cookies?|cookie)\.(get|load)\("[^"]+"\)' js/ | sort -u
+grep -rhoaE '\batob\(|JSON\.parse\(|jwt|decode' js/ | head
+```
+
+链路通常长这样：`isLogin = f(getUser())` → `getUser = decode(storage.read(键名))`。
+要确定**三样**：存储键名、容器（Cookie 还是 localStorage）、编码方式。然后按编码给出伪造值：
+
+| 编码 | 伪造写法 |
+|---|---|
+| 明文字符串 / `"1"` / token | 任意 truthy 值 |
+| `JSON.parse(x)` | `{"id":1,"username":"admin"}` |
+| `JSON.parse(atob(x))` | base64(上述 JSON) |
+| JWT | 无签名 / `alg:none` JWT；或 bundle 里挖到的密钥自签 |
+| 加密（SM2/AES/RSA） | 找硬编码密钥；渲染门只要求"可解码 blob"时直接 forge，解不开就静态兜底 |
+
+拿到这三样，后面写 mock/hook 配置的 cookies / localStorage 就有底了。
+
+### 2.2 拦截器门——「什么触发跳 /login？」
+
+```bash
+grep -rhoaE '.{0,60}(interceptors\.response|axios|request\.use).{0,120}' js/ | head
+grep -rhoaE '.{0,40}(response_code|errcode|errno|\bcode\b|\bret\b|\bstatus\b)\s*[=!]==?\s*[\-0-9]{1,4}.{0,60}' js/ | head -20
+grep -rhoaE '.{0,40}(未登录|请重新登录|登录已过期|unauthorized|登录失效|token.{0,10}invalid).{0,40}' js/ | head
+grep -rhoaE '.{0,30}(location\.href|router\.(push|replace)|navigate)\([^)]*login[^)]*\)' js/ | head
+```
+
+要确定：**响应字段名**、**成功值**（大多是 `0` 或 `200`）、**触发跳转的失败值**。
+验证：拿假会话直接敲受保护接口，看它落哪个分支：
+
+```bash
+curl -sk -X POST -H 'Cookie: <假键>=junk' https://target/api/<受保护> \
+     -d '{}' -H 'Content-Type: application/json'
+```
+
+拿到这三样就能"改旗换码"：把拦截器关心的字段值中和掉（代理重写 / 前端 hook / 改包），后端返回什么码都当成功。**这是后面进壳的基础。**
+
+### 2.3 内容门——「菜单/权限从哪来？」
+
+```bash
+grep -rhoaE '"/api[^"]*(permission|perm|role|menu|acl|resource|nav)[^"]*"' js/ | sort -u
+grep -rhoaE '.{0,30}(menus|permissions|menuList|routeList|authList|role_permissions)\b.{0,120}' js/ | head
+grep -rhoaE 'userRouteAuth|getResultTree|routeMap|routeLink|hasPermission|checkAuth' js/ | head
+grep -rhoaE '([A-Z_][A-Z0-9_]*):\{name:"[^"]*",link:"/[^"]+"\}' js/ | head
+```
+
+常见企业后台是**两层数据**：
+
+| 数据 | 典型 payload | 谁消费 |
+|---|---|---|
+| `/role_permissions` 类 | `{ permissions: string[], role_type }` | 路由守卫、按钮级 ACL |
+| `/permissions/all` 类 | `tree[{ code, position, children }]` | 侧栏菜单渲染 |
+| bundle 内 `userRouteAuth` | `{ CODE: { url, name? } }` | code → 前端 path |
+| bundle 内 `routeMap` | `{ KEY: { name, link } }` | 别名解析（webpack `o.DASHBOARD`） |
+
+读消费方代码确认过滤逻辑（`getResultTree(tree, permissions)`、`v-if` / `hasAuth(code)` 查哪个字段）——然后照结构造 permissive payload 喂给 mock。**小站点到这步就能进壳；大站侧栏还是空的话走第 4 节权限树还原。**
+
+---
+
+## 三、无凭据进壳：用 mock 撑开前端
+
+**问题**：没账号，SPA 卡在登录页，什么接口都发不出来。
+**思路**：前端只信它自己那几个"登录判断"——**把判断喂饱，让壳先开**。用 2.1/2.2 拿到的键名与成功值，伪造会话 + 把拦截器字段中和，前端就会渲染登录后的壳层、挂载路由、继续发它自己的 XHR/fetch——**你只录 outbound，后端返回什么不重要。**
+
+三层 mock（按需递进）：
+
+| 层 | 干什么 | 效果 |
+|---|---|---|
+| L1 会话层 | cookies / localStorage 注入伪造会话（按 2.1 的编码表） | 过渲染门 |
+| L2 应答中和 | 代理/hook 把响应里的 `code/errno/status` 字段重写为成功值 | 过拦截器门，请求不再被跳登录吞掉 |
+| L3 内容伪造 | 把 `permissions/all`、`role_permissions`、菜单类接口的响应替换成 permissive payload | 过内容门，侧栏/子模块挂载，触发**更多**模块接口 |
+
+**落地手段（不挑工具，拣顺手的）**：
+- 桌面：系统代理（mitmproxy/Charles）重写响应 + 浏览器 devtools 会话注入
+- 纯前端：document-start 注入脚本，hook `fetch`/`XHR` + `localStorage` 读取 + 路由守卫（撑开 Vue 路由守卫 / React 无此概念就靠 L3 数据）
+- 移动端：本地 VPN 代理同套规则
+
+**铁律**：
+- 只录 **outbound 请求**（URL/方法/头/body）——空表格、空数据、占位 UI 都是**预期现象**，别为了拿"真实数据"转去做越权/注入（那是下一个阶段的事）
+- 进壳后模块仍空白 → 十有八九是 L3 数据不齐 → 走第 4 节权限树
+- hardened 站点（服务端签名 Cookie、服务端渲染菜单）::build 到此为止——静态照样能出 endpoint 清单，运行时用真实会话再跑同一套
+
+---
+
+## 四、参数逆向（锚点扩窗 / 绑定链 / 触发矩阵）
+
+**只有方法论，没有一键脚本。** path 用正则找；参数靠四招：**锚点扩窗 + UI 绑定链 + 多样本 diff + 错误反推**。
+
+### 4.1 锚点扩窗——从 path 找组包对象
+
+```bash
+# 以已知 path 为锚，向两侧扩窗口，看它旁边的对象
+grep -n '"/api/user/list"' js/*.js
+grep -rhoaE '.{0,120}("/api[^"]+").{0,200}' js/ | head
+grep -rhoaE '(params|data|body|payload)\s*:\s*\{' js/ | head
+grep -rhoaE '(get|post|put|delete|patch)\([^,]+,\s*\{' js/ | head
+```
+
+### 4.2 包装层与传输形态
+
+```bash
+grep -rhoaE '(axios|request)\.(get|post|put|delete|patch)\(' js/ | head
+grep -rhoaE 'FormData|\.append\(' js/ | head
+grep -rhoaE '(query|mutation)\s+\w+|gql\`' js/ | head          # GraphQL
+grep -rhoaE 'path:\s*"/[^"]*:[^"]+"' js/ | head               # 路径参数
+```
+
+| 形态 | 参数在哪 | 静态优先看 |
+|---|---|---|
+| REST JSON | body + query | path 锚点旁 `(params\|data\|body)\s*:\s*\{` |
+| GraphQL | `variables` | gql 模板、`$page: Int` 声明 |
+| form | urlencoded | `<form>`、`FormData` |
+| 上传 | multipart | `FormData.append` |
+| 路径参数 | `/user/:id` | 路由表 + `useParams` / `$route.params` |
+| 加密体 | 包进 `sign`/`data` | **hook 加密函数入参**（明文在加密前）——算法还原走 50-js-reverse |
+
+### 4.3 绑定层——表单 → API 的追踪链
+
+```
+表单字段 → onSubmit/handleSubmit → transform → API payload
+```
+
+```bash
+grep -rhoaE 'onFinish|handleSubmit|getFieldsValue|validateFields' js/ | head
+grep -rhoaE '(pick|omit|transform|dayjs|moment)\(' js/ | head
+grep -rhoaE '(required|pattern|enum|validator)\s*:' js/ | head   # 校验门=必填/格式/枚举
+```
+
+运行时可补：devtools → 请求 → 发起程序（call stack）从 `fetch`/`XHR.send` 往上追组包函数。
+
+### 4.4 参数触发矩阵（必做）
+
+对每个模块**按操作各录一次**，diff 请求体：
+
+| 操作 | 关注字段 |
+|---|---|
+| 列表首屏 | 分页默认值 |
+| 搜索 | keyword、filters |
+| 高级筛选 | optional 字段（不点不出现） |
+| 新建/编辑 | 完整 entity 结构 |
+| 批量/导出 | `ids[]`、`exportType` |
+| 排序/翻页 | `sortField`、`order` |
+
+### 4.5 置信度纪律（防止自欺）
+
+| 置信度 | 条件 |
+|---|---|
+| 高 | 静态 callsite + 运行时 ≥2 样本一致 |
+| 中 | 仅静态，或仅 1 次运行时 |
+| 低 | 靠响应/报错反推，未验证 |
+| 待触发 | 静态有字段，UI 没跑到（补权限/点高级筛选/联动下拉再录） |
+
+**单样本定不了必填/可选**；同 path 不同 body 形状是正常的——按操作分条记录，别硬并 schema。
+
+---
+
+## 五、权限树还原（大站侧栏空白时用）
+
+简单 forge 不灵（侧栏有项、子页空白 / 只出 bootstrap 接口）时，说明权限数据不齐。还原流程：
+
+### 5.1 定位权限模块
+
+```bash
+grep -l 'userRouteAuth' js/*.js
+grep -l 'routeMap\|routeLink' js/*.js
+grep -rhoaE 'getResultTree|role_permissions|permissions/all' js/ | head
+```
+
+记下：**权限接口 path、响应字段名、消费它的 chunk 文件名**。
+
+### 5.2 提取 routeMap（code ↔ path 映射表）
+
+```bash
+# 别名表通常长这样：{DASHBOARD:{name:"仪表盘",link:"/dashboard"},...}
+grep -rhoaE '([A-Z_][A-Z0-9_]*):\{name:"[^"]*",link:"/[^"]+"\}' js/ | head -20
+```
+
+### 5.3 拼权限树（关键三步）
+
+1. 解析 `userRouteAuth = {CODE: {url}, ...}` 拿到全部 code（注意 webpack 别名 `He=o.DASHBOARD` 要顺一遍）
+2. 用 routeMap 把别名 code 换成真实 path
+3. **按 code 前缀推父子**：`MONITOR_ALERT` → 父 `MONITOR`（做映射表兜住非前缀的孤儿节点）
+
+产出两份 mock 数据：
+- `role_permissions` stub：`{"permissions":[全部 code], "role_type":"SUPER_ADMIN"}`
+- `permissions/all` stub：树形 `[{code, position, children:[...]}]`
+
+### 5.4 校验一致性（别留洞）
+
+```bash
+# permissions 条目数应 ≈ userRouteAuth 条目数
+# routes 应覆盖 routeMap 全部 link —— 缺哪条补哪条
+```
+
+### 5.5 重跑对比
+
+| forge 前 | forge 后（成功） |
+|---|---|
+| 每个路由都是同 3-5 条 bootstrap | 不同路由触发不同模块 API |
+| 只有 locale/i18n | 出现真实业务接口 |
+
+仍失败 → 点击侧栏+Tab（权限 gating 可能在交互后才请求）→ 扩 permissions 覆盖按钮级 `hasPermission|checkRole` → 静态兜底（模块 path 已在静态清单，运行时只是补 METHOD/body）。
+
+---
+
+## 六、静态收割清单（第一刀）
+
+```bash
+# 1) 入口 HTML 找 script/chunk 线索；webpack/Vite 看 manifest
+# 2) 按 manifest 下载全部 lazy chunk 到 js/
+# 3) 批量提取 endpoint
+grep -rhoaE '"/[a-z][A-Za-z0-9_/\-]{3,}"' js/ | sort -u
+grep -rhoaE '/api/[a-zA-Z0-9_./-]+' js/ | sort -u
+# 4) 路由草案
+grep -rhoaE '(path|route|component)\s*:\s*"[^"]+"' js/ | head -40
+```
+
+产出四件套：`api_static.txt`（接口全集）、`routes.txt`（路由）、`js/`（chunk 仓库）、字段候选清单。
+**先把这步做完再碰运行时**——静态无痕、可反复；运行时只补静态给不了的方法/参数/样本。
+
+---
+
+## 七、完成定义（逐条勾完才准说"做完了"）
+
+- [ ] 静态收割四件套齐全，`wc -l` 校验过
+- [ ] 三道门都定位到（键名/字段成功值/权限来源），写进 mock 配置
+- [ ] 进壳成功：访问业务路由不再被弹回 `/login`（注意 hash 路由）
+- [ ] 运行时至少跑通"深度"或"点界面"之一
+- [ ] 参数触发矩阵逐操作录完，产出样本集 + 置信度标注
+- [ ] 权限树还原完成（若有模块空白问题）且已重跑验证
+- [ ] 合并产出：接口总表（path/method/参数/样本/置信度）+ 覆盖缺口诚实标注
+- [ ] 产物落盘到任务目录，路径写进报告
+
+**硬禁止（踩了就算跑偏）**：
+
+| 禁止 | 替代做法 |
+|---|---|
+| 手工逐个 curl chunk / 反复 grep 大 bundle | 先下载全部 chunk，批量脚本提取 |
+| 同一命令失败 ≥2 次还重复 | 换策略：读日志、改正则、查本文档 |
+| 只录 1 个样本就断言必填/可选 | 触发矩阵多样本 diff |
+| 用"拿真实数据"为由做越权/注入 | 停——那是下一阶段，侦察期只录 outbound |
+| 没走完完成定义就声称"全部接口已拿到" | 逐条勾，缺口如实标注 |
+| 大 bundle（>100KB）直接读进上下文 | 用脚本批处理，只把核心片段喂给分析 |
+
+---
+
+## 八、排障速查
+
+| 现象 | 处理 |
+|---|---|
+| 静态接口很少 | endpoint 正则放宽；查 manifest 解析 |
+| 进壳后仍跳登录 | 渲染门错了：复查键名/容器/编码/domain |
+| 进壳但模块空白 | 内容门：forge 菜单 + 第 5 节权限树 |
+| 每个接口都跳登录 | 拦截器门：确认 L2 字段中和生效（嵌套字段要递归改） |
+| 响应体全空 | mock 模式下正常——要看参数就去看 **outbound 请求**，别从 stub 响应反推 |
+| WS 帧为 0 | 先交互（点开订阅页），别干等 |
+| Vue 路由还是跳登录 | 注入时机太晚——必须 document-start；或手动清路由守卫 |
+| 400 报嵌套字段错 | 注意外层包装 `data`/`bizData`/`variables` 层级 |
+
+---
+
+## 九、与其它模块的衔接
+
+| 环节 | 去哪 |
+|---|---|
+| 加密参数（sign/加密算法复刻、混淆还原） | SKILL「50-js-reverse」模块 |
+| 拿到接口后的注入/越权测试 | SKILL「53-web-injection」+「46-pentest」模块 |
+| 接口泄露的源码审计 | SKILL「54-source-leak」模块 |
+| 目标测绘与源站 | SKILL「56-recon-origin」+ `references/recon-commands.md` |
+| 通用侦察命令集 | `references/recon-commands.md` |

package/scripts/cvefetch.py

@@ -64,12 +64,12 @@ def from_circl(kw, limit):
     return []
 
 
-def from_nvd(kw, limit, retries=2):
+def from_nvd(kw, limit, retries=1):
     u = ("https://services.nvd.nist.gov/rest/json/cves/2.0?"
          f"keywordSearch={urllib.parse.quote(kw)}&resultsPerPage={limit}")
     d = {}
     for _ in range(retries + 1):
-        d = get(u, timeout=60)
+        d = get(u, timeout=30)
         if "_error" not in d and "vulnerabilities" in d:
             break
     if "_error" in d or "vulnerabilities" not in d:
@@ -137,16 +137,17 @@ def main():
         if src not in results:
             continue
         i += 1
+        tgt = sys.stderr if a.json else sys.stdout   # JSON 模式诊断走 stderr，防数据错位
         print(f"\n{'='*60}\n[{i}] {labels[src]} — {a.keyword}\n{'='*60}",
-              file=sys.stderr)
+              file=tgt)
         rows = results[src]
         if not rows:
-            print("  (无结果 / 源不可用)", file=sys.stderr)
+            print("  (无结果 / 源不可用)", file=tgt)
         for c in rows:
             if a.json:
                 print(json.dumps({"source": src, **c}, ensure_ascii=False))
             elif src == "github":
-                print(f"★{c['stars']:<5} {c['repo']}\n      {c['desc']}\n      {c['url']}")
+                print(f"★{c.get('stars', 0):<5} {c.get('repo', '?')}\n      {c.get('desc', '')}\n      {c.get('url', '')}")
             else:
                 print(f"{c['cve']}  CVSS={c['cvss']}  {c['published']}\n  {c['summary']}")
                 for r in c["refs"][:2]: