@web-auto/webauto 0.1.1 → 0.1.2

package/tests/integration/inspect-page.mjs

@@ -1,50 +0,0 @@
-#!/usr/bin/env node
-import http from 'node:http';
-
-const UNIFIED_API = 'http://127.0.0.1:7701';
-const PROFILE = 'weibo_fresh';
-
-async function httpPost(path, data) {
-  return new Promise((resolve, reject) => {
-    const payload = JSON.stringify(data);
-    const req = http.request(
-      `${UNIFIED_API}${path}`,
-      { method: 'POST', headers: { 'Content-Type': 'application/json', 'Content-Length': Buffer.byteLength(payload) } },
-      (res) => {
-        let body = '';
-        res.on('data', (chunk) => body += chunk);
-        res.on('end', () => { try { resolve(JSON.parse(body)); } catch (err) { resolve({ body }); } });
-      }
-    );
-    req.on('error', reject);
-    req.write(payload);
-    req.end();
-  });
-}
-
-async function main() {
-  const result = await httpPost('/v1/controller/action', {
-    action: 'browser:execute',
-    payload: {
-      profile: PROFILE,
-      script: `
-        (function() {
-          const links = Array.from(document.querySelectorAll('a'));
-          const visibleLinks = links.filter(a => {
-            const r = a.getBoundingClientRect();
-            return r.width > 0 && r.height > 0 && r.top >= 0 && r.left >= 0 && r.top < window.innerHeight;
-          }).slice(0, 5);
-          
-          return visibleLinks.map(a => ({
-            tagName: a.tagName.toLowerCase(),
-            className: a.className,
-            text: a.textContent.substring(0, 20),
-            rect: a.getBoundingClientRect()
-          }));
-        })()
-      `
-    }
-  });
-  console.log(JSON.stringify(result, null, 2));
-}
-main();

package/tests/integration/run-all-tests.mjs

@@ -1,95 +0,0 @@
-#!/usr/bin/env node
-/**
- * 运行所有集成测试
- */
-
-import { execSync } from 'child_process';
-import fs from 'fs';
-
-console.log('🧪 WebAuto 集成测试套件');
-console.log('='.repeat(60));
-
-const REPORT_FILE = '/tmp/integration-test-report.txt';
-fs.writeFileSync(REPORT_FILE, '');
-
-const log = (msg) => {
-  console.log(msg);
-  fs.appendFileSync(REPORT_FILE, `${msg}\n`);
-};
-
-const tests = [
-  {
-    name: '容器匹配功能',
-    script: 'tests/integration/01-test-container-match.mjs',
-    required: true
-  },
-  {
-    name: 'DOM 分支拉取功能', 
-    script: 'tests/integration/02-test-dom-branch.mjs',
-    required: true
-  }
-];
-
-let passed = 0;
-let failed = 0;
-const results = [];
-
-for (const test of tests) {
-  log(`\n${'='.repeat(60)}`);
-  log(`运行: ${test.name}`);
-  log(`${'='.repeat(60)}`);
-  
-  try {
-    const output = execSync(`node ${test.script}`, {
-      encoding: 'utf8',
-      stdio: 'inherit',
-      timeout: 60000
-    });
-    
-    log(`✅ ${test.name} - 通过`);
-    results.push({ name: test.name, status: 'PASS' });
-    passed++;
-    
-  } catch (err) {
-    log(`❌ ${test.name} - 失败`);
-    results.push({ name: test.name, status: 'FAIL', error: err.message });
-    failed++;
-    
-    if (test.required) {
-      log(`\n⚠️  必需测试失败，停止后续测试`);
-      break;
-    }
-  }
-}
-
-// 生成报告
-log(`\n${'='.repeat(60)}`);
-log('测试报告');
-log(`${'='.repeat(60)}`);
-
-results.forEach(r => {
-  const icon = r.status === 'PASS' ? '✅' : '❌';
-  log(`${icon} ${r.name}: ${r.status}`);
-  if (r.error) {
-    log(`   错误: ${r.error}`);
-  }
-});
-
-log(`\n总计: ${passed} 通过, ${failed} 失败`);
-
-// 输出文件位置
-log(`\n${'='.repeat(60)}`);
-log('生成的文件:');
-log('  - /tmp/test-container-match.log');
-log('  - /tmp/container-match-result.json');
-log('  - /tmp/test-dom-branch.log');
-log('  - /tmp/dom-branch-result.json');
-log(`  - ${REPORT_FILE}`);
-
-if (failed > 0) {
-  log(`\n💡 检查日志文件以了解失败原因`);
-  process.exit(1);
-} else {
-  log(`\n🎉 所有测试通过！`);
-  process.exit(0);
-}

package/tests/patch_verification/CODEX_PATCH_TEST.md

@@ -1,103 +0,0 @@
-# Codex apply_patch 工具验证方案
-
-## 目标
-验证 Codex 的 `functions.apply_patch` 能够可靠地修改代码文件
-
-## 测试策略
-每个测试独立执行，按顺序验证不同场景
-
----
-
-## 测试执行计划
-
-### Phase 1: 基础操作 (必须100%通过)
-
-**TEST-01: 创建新文件**
-- 操作: 创建一个新的空文件并添加内容
-- 验证: 文件存在且内容正确
-
-**TEST-02: 单行替换**
-- 操作: 替换文件中的一行文本
-- 验证: 目标行被替换，其他行不变
-
-**TEST-03: 多行替换**
-- 操作: 替换连续的多行文本
-- 验证: 所有目标行被替换，前后行不变
-
-**TEST-04: 文件中间插入**
-- 操作: 在文件中间位置插入新内容
-- 验证: 新内容插入正确位置，原有内容完整
-
-**TEST-05: 文件末尾追加**
-- 操作: 在文件末尾添加新行
-- 验证: 新内容追加成功
-
----
-
-### Phase 2: 代码场景 (必须100%通过)
-
-**TEST-06: 替换函数实现**
-- 操作: 替换整个函数体
-- 验证: 函数被完整替换，语法正确
-
-**TEST-07: 添加 import 语句**
-- 操作: 在现有 import 后添加新 import
-- 验证: import 顺序正确
-
-**TEST-08: 修改对象属性**
-- 操作: 修改 JSON/对象中的某个属性值
-- 验证: 目标属性被修改，其他属性不变
-
-**TEST-09: 添加类方法**
-- 操作: 在类中添加新方法
-- 验证: 新方法添加成功，类结构完整
-
----
-
-### Phase 3: 边界场景 (≥90%通过)
-
-**TEST-10: 特殊字符**
-- 操作: 处理包含 `"` `'` `\` `/` 等特殊字符的内容
-- 验证: 特殊字符不被破坏
-
-**TEST-11: 保持缩进**
-- 操作: 修改带缩进的代码
-- 验证: 缩进格式保持一致
-
-**TEST-12: 大块内容替换**
-- 操作: 替换超过10行的大块代码
-- 验证: 替换准确，性能可接受
-
----
-
-### Phase 4: 错误处理 (必须正确报错)
-
-**TEST-13: 文件不存在**
-- 操作: 尝试修改不存在的文件
-- 验证: 返回清晰错误信息
-
-**TEST-14: 内容不匹配**
-- 操作: 尝试替换不存在的内容
-- 验证: 返回清晰错误信息
-
----
-
-## 执行方式
-
-我会逐个测试执行：
-1. 准备测试文件（通过 shell）
-2. 应用补丁（调用 apply_patch）
-3. 验证结果（读取文件内容）
-4. 报告状态（✓ PASS / ✗ FAIL）
-5. 继续下一个测试
-
-所有测试文件在 `tests/patch_verification/temp_test_files/` 目录下
-
-## 成功标准
-- Phase 1: 5/5 通过
-- Phase 2: 4/4 通过
-- Phase 3: ≥3/3 通过
-- Phase 4: 2/2 正确报错
-
-**总计: ≥13/14 通过**
-

package/tests/patch_verification/PHASE2_ANALYSIS.md

@@ -1,179 +0,0 @@
-# Phase 2 搜索流程分析报告
-
-## 当前 Phase 2 脚本
-
-**文件**: `scripts/xiaohongshu/tests/phase2-search-v3.mjs`
-
-## 流程步骤
-
-### 1️⃣ 进入前检查
-- **目的**: 确认当前在主页
-- **方法**: `detectPageState()` 获取根容器 ID
-- **问题**: 仅检查根容器存在，未强制验证必须是主页
-
-### 2️⃣ 请求 SearchGate 许可
-- **目的**: 防止频繁搜索触发风控
-- **方法**: 调用 `http://127.0.0.1:7790/permit`
-- **问题**: 如果 SearchGate 未启动会直接失败退出
-
-### 3️⃣ 检查风控状态
-- **目的**: 检测是否出现验证码/登录框
-- **方法**: 在容器树中查找 `qrcode_guard` 容器
-- **问题**: 如果已风控，会尝试返回发现页，但没有重试机制
-
-### 4️⃣ 验证搜索框锚点
-- **目的**: 确认搜索框可见
-- **方法**: 高亮 `xiaohongshu_home.search_input` 容器
-- **问题**: ✅ 使用容器高亮，符合规范
-
-### 5️⃣ 执行搜索
-- **目的**: 输入关键字并触发搜索
-- **方法**: 调用 `container:operation` 的 `type` 操作，`submit: true`
-- **问题**: ✅ 通过容器操作，符合安全规范
-
-### 6️⃣ 等待导航
-- **目的**: 等待搜索结果页加载
-- **方法**: 固定等待 3 秒
-- **问题**: ⚠️ 硬编码等待时间，可能过短或过长
-
-### 7️⃣ 退出后检查
-- **目的**: 确认已导航到搜索结果页
-- **方法**: 检查根容器 ID 是否包含 'search'
-- **问题**: ⚠️ 仅检查根容器名称，未验证实际内容
-
-### 8️⃣ 验证搜索结果列表锚点
-- **目的**: 确认搜索结果列表存在
-- **方法**: 高亮 `xiaohongshu_search.search_result_list` 容器
-- **问题**: ✅ 使用容器定位
-
-### 9️⃣ 采集结果
-- **目的**: 获取搜索结果列表
-- **方法**: 调用 `containers:inspect-container` 获取子容器
-- **返回**: `note_id`, `title` 等字段
-- **去重**: 基于 `note_id`
-- **问题**: ⚠️ 未验证每个 note_id 的有效性
-
-## 核心问题汇总
-
-### 🔴 高优先级问题
-
-1. **链接有效性未验证**
-   - 当前只采集 `note_id`，但未验证这些 ID 是否可访问
-   - 可能返回失效/风控的链接
-
-2. **导航等待不可靠**
-   - 固定等待 3 秒可能不够
-   - 应该监听实际页面加载完成事件
-
-3. **SearchGate 依赖强制**
-   - 如果 SearchGate 未启动直接失败
-   - 应该提供降级方案或更清晰的错误提示
-
-### 🟡 中优先级问题
-
-4. **风控恢复机制不完善**
-   - 检测到风控后尝试返回，但只尝试一次
-   - 应该有更完善的恢复策略
-
-5. **采集数量验证不充分**
-   - 只检查是否 >= 5 条，但不验证质量
-   - 应该验证每条是否包含必需字段
-
-### 🟢 低优先级问题
-
-6. **日志输出不够详细**
-   - 缺少时间戳
-   - 缺少每步耗时统计
-
-## 建议改进方案
-
-### 方案 A: 最小改动（快速修复）
-
-1. 在步骤 9 后增加"链接有效性验证"：
-   - 随机抽取 1-2 条结果
-   - 尝试访问详情页
-   - 验证是否成功加载
-
-2. 将步骤 6 的固定等待改为：
-   - 轮询检查搜索结果容器是否出现
-   - 最多等待 10 秒
-
-3. SearchGate 降级：
-   - 如果 SearchGate 未响应，警告但继续执行
-   - 记录跳过 SearchGate 的次数
-
-### 方案 B: 完整重构（推荐）
-
-1. 增加 `validateSearchResult()` 函数：
-```javascript
-async function validateSearchResult(noteId) {
-  // 构造详情页容器 ID
-  const detailUrl = `https://www.xiaohongshu.com/explore/${noteId}`;
-  
-  // 通过容器导航（禁止直接构造 URL）
-  // 方法：在搜索结果中找到对应 note_id 的容器并点击
-  
-  // 验证详情页是否成功加载
-  // 返回 true/false
-}
-```
-
-2. 采集后验证：
-```javascript
-// 采集结果后
-const validItems = [];
-for (const item of dedupedItems.slice(0, 3)) {
-  const isValid = await validateSearchResult(item.note_id);
-  if (isValid) {
-    validItems.push(item);
-  }
-}
-
-if (validItems.length < MIN_RESULTS) {
-  console.error('❌ 有效结果不足');
-  process.exit(1);
-}
-```
-
-3. 改进导航等待：
-```javascript
-async function waitForSearchResults(maxWaitMs = 10000) {
-  const startTime = Date.now();
-  while (Date.now() - startTime < maxWaitMs) {
-    const exists = await checkContainerExists('xiaohongshu_search.search_result_list');
-    if (exists) return true;
-    await delay(500);
-  }
-  return false;
-}
-```
-
-## 下一步行动
-
-### 选项 1: 先执行当前版本，记录问题
-- 运行 phase2-search-v3.mjs
-- 记录实际采集的 note_id
-- 手动验证这些 ID 是否可访问
-- 根据实际情况决定是否需要改进
-
-### 选项 2: 立即实施方案 A（推荐）
-- 预计耗时：30 分钟
-- 修改 phase2-search-v3.mjs
-- 增加链接验证逻辑
-- 测试验证
-
-### 选项 3: 实施方案 B（彻底解决）
-- 预计耗时：2 小时
-- 重构 phase2-search-v3.mjs
-- 增加完整验证机制
-- 编写测试用例
-
-## 结论
-
-**当前 Phase 2 脚本基本可用，但缺少链接有效性验证**
-
-建议：
-1. 先执行一次当前版本，观察实际效果
-2. 如果采集的链接有效率低，立即实施方案 A
-3. 长期规划实施方案 B
-

package/tests/patch_verification/PHASE2_OPTIMIZATION_REPORT.md

@@ -1,55 +0,0 @@
-# Phase 2 脚本优化与测试报告
-
-## 优化内容
-
-### 1. 模块化重构
-- 拆分为 `modules/xiaohongshu/src/`：
-  - `utils/browser.mjs`: 基础操作封装
-  - `actions/search.mjs`: 搜索逻辑
-  - `actions/collect.mjs`: 列表采集
-  - `actions/detail.mjs`: 详情页操作
-- 脚本入口 `scripts/xiaohongshu/tests/phase2-v4-modular.mjs` 逻辑更清晰
-
-### 2. 搜索交互优化
-- **输入逻辑增强**：
-  - 先获取元素坐标
-  - 使用 `browser:command mouse:click` 点击中心点
-  - 使用系统组合键（Meta+A / Ctrl+A + Backspace）清空
-  - 使用 `keyboard:type` 系统输入
-  - 增加输入后内容验证与重试
-- **触发逻辑兜底**：
-  - 回车键触发
-  - 点击搜索按钮触发（双重保障）
-
-### 3. 点击跳转优化
-- **多种点击策略**：
-  - 优先尝试容器 `click`（配置为 `self`）
-  - 备用方案：JS 强制点击 `item` 和 `link`
-- **页面状态检测**：
-  - 点击前尝试 `scrollIntoView` 并避让 Header
-  - 点击后检测 URL 变化和弹窗容器
-
-### 4. 链接安全与校验
-- **searchUrl 校验**：记录点击前的搜索 URL，确保采集内容来源正确
-- **xsec_token 检查**：强制要求详情页 URL 包含 `xsec_token`
-
-## 测试结果
-
-### ✅ 成功项
-- **搜索触发**：优化后的输入逻辑能正确输入关键词并触发搜索
-- **列表采集**：DOM 备用方案能稳定采集到搜索结果列表（28条）
-- **Fallback 跳转**：当交互搜索失败时，能通过构造 URL 跳转到搜索页（虽然 URL 显式仍为 /explore）
-
-### ❌ 阻塞项（环境风控）
-- **详情页跳转失败**：
-  - 无论使用何种点击方式，页面均未跳转
-  - URL 始终保持在 `/explore`
-  - 手动构造详情页 URL 跳转也被重定向回 `/explore`
-- **结论**：当前测试环境（账号/IP）触发了小红书的详情页访问风控（禁止直连，点击无效）。
-
-## 下一步建议
-
-1. **更换测试环境**：需要在一个未被风控的浏览器环境/账号下验证 Phase 2-4。
-2. **代码就绪**：脚本逻辑已优化且模块化，等待环境就绪即可验证。
-3. **风控策略升级**：考虑增加更像真人的交互（随机鼠标轨迹、浏览停留等），但这属于高级反爬范畴。
-

package/tests/patch_verification/PHASE2_TO_PHASE4_SUMMARY.md

@@ -1,126 +0,0 @@
-# Phase 2-4 脚本流程总结报告
-
-## 概述
-
-基于代码审查，Phase 2-4 脚本的稳定性和可靠性分析。
-
----
-
-## Phase 2: 搜索采集
-
-**文件**: `scripts/xiaohongshu/tests/phase2-search-v3.mjs`  
-**代码行数**: ~250 行
-
-### ✅ 优点
-- 使用容器驱动操作（符合安全规范）
-- 有 SearchGate 节流机制
-- 有风控检测和恢复机制
-- 基于 note_id 去重
-
-### ❌ 核心问题
-1. **链接有效性未验证** 🔴
-   - 只采集 `note_id`，未验证是否可访问
-   - 可能返回失效/风控的链接
-   
-2. **导航等待不可靠** 🟡
-   - 固定等待 3 秒
-   - 应该轮询检查容器是否出现
-
-3. **SearchGate 依赖强制** 🟡
-   - 如果未启动直接退出
-   - 应该有降级方案
-
-### 🎯 建议
-**立即执行一次，观察实际有效率，再决定是否改进**
-
----
-
-## Phase 3: 详情页采集
-
-**文件**: `scripts/xiaohongshu/tests/phase3-detail-v3.mjs`  
-**代码行数**: 178 行
-
-### ✅ 优点
-- 进入前检查搜索结果是否存在
-- 使用容器高亮验证元素
-
-### ❌ 核心问题
-1. **使用 DOM 选择器而非容器 ID** 🔴
-   ```javascript
-   verifyAnchor('.feeds-container .note-item', '第一条搜索结果')
-   verifyAnchor('.author-container, .user-info', '作者信息区域')
-   verifyAnchor('.note-content, .desc', '正文区域')
-   ```
-   - **违反规范**：应该使用容器 ID（如 `xiaohongshu_detail.header`）
-   - **风险**：DOM 结构变化会导致失败
-
-2. **点击操作未使用容器** 🔴
-   - 应该通过 `container:operation` 点击，而非直接执行 JS
-
-### 🎯 建议
-**必须改造**：将所有 DOM 选择器替换为容器 ID
-
----
-
-## Phase 4: 评论采集
-
-**文件**: `scripts/xiaohongshu/tests/phase4-comments.mjs`  
-**代码行数**: 313 行
-
-### ✅ 优点
-- 使用 Workflow Block（CollectCommentsBlock）
-- 有错误恢复机制（ErrorRecoveryBlock）
-- 输出到标准化路径（~/.webauto/download/）
-
-### ❓ 未知
-- Block 内部是否使用容器 ID（需要检查 Block 源码）
-
-### 🎯 建议
-检查 `CollectCommentsBlock` 实现是否符合容器驱动规范
-
----
-
-## 整体问题优先级
-
-### 🔴 P0 - 必须立即修复
-1. Phase 3 使用 DOM 选择器（违反规范）
-
-### 🟡 P1 - 应该尽快修复
-2. Phase 2 链接有效性验证
-3. Phase 2 导航等待优化
-
-### 🟢 P2 - 可以延后
-4. SearchGate 降级方案
-5. 日志输出优化
-
----
-
-## 推荐执行策略
-
-### 步骤 1: 快速验证（30 分钟）
-1. 执行 Phase 2（观察采集的 note_id）
-2. 手动访问 2-3 个 note_id 验证有效性
-3. 记录有效率
-
-### 步骤 2: 必要修复（2 小时）
-如果 Phase 2 有效率 < 90%：
-- 增加链接验证逻辑
-
-**必须执行**（无论 Phase 2 结果）：
-- 修复 Phase 3 的 DOM 选择器问题
-
-### 步骤 3: 完整测试（1 小时）
-1. Phase 2 → Phase 3 → Phase 4 串联测试
-2. 验证完整采集流程
-3. 检查输出数据完整性
-
----
-
-## 结论
-
-**Phase 2-4 脚本基本框架正确，但 Phase 3 存在规范性问题，必须修复**
-
-建议优先级：
-1. 修复 Phase 3 DOM 选择器 → 容器 ID
-2. 验证 Phase 2 链接有效率
-3. 完整串联测试