ccgx-workflow 1.0.0

package/templates/skills/scrapling/SKILL.md

@@ -0,0 +1,98 @@
+---
+name: scrapling
+description: "使用 scrapling 进行网页抓取和数据提取。自动选择 Fetcher，支持 Cloudflare/WAF 绕过、Session 登录、HTML 解析。当用户提到 scrape/crawl/fetch page/extract data/爬取/抓取/绕过Cloudflare/解析HTML/批量采集 时触发。"
+user-invocable: true
+allowed-tools: Read, Bash
+argument-hint: "[URL or scraping task description]"
+license: MIT
+---
+
+# Scrapling 网页抓取 Skill
+
+## 步骤 0：检查版本
+
+```bash
+pip show scrapling
+```
+
+- 未安装 → 执行 `pip install "scrapling[fetchers]"` + `scrapling install`
+- 有新版 → 执行 `pip install --upgrade "scrapling[fetchers]"` → 查 changelog 告知用户
+- 已最新 → 继续
+
+## 步骤 1：选择 Fetcher
+
+```
+目标网站 →
+│
+├─ 已有 HTML 字符串/文件，只需解析?
+│   → Selector（纯解析，无网络请求）
+│   → 模板: templates/parse_only.py
+│
+├─ 静态页面，无 JS 渲染，无反爬?
+│   → Fetcher（最快，基于 curl_cffi）
+│   → 模板: templates/basic_fetch.py
+│
+├─ 需要登录（HTTP 表单，非 JS 登录）?
+│   → FetcherSession（保持会话 cookie）
+│   → 模板: templates/session_login.py
+│
+├─ 有 Cloudflare / WAF 保护?
+│   → StealthyFetcher（Camoufox 浏览器，自动过 CF）
+│   → 模板: templates/stealth_cloudflare.py
+│
+├─ SPA 应用（React/Vue），需要 JS 渲染?
+│   → DynamicFetcher（Playwright 浏览器）
+│   → 基于模板即时生成
+│
+└─ 不确定?
+    → 先用 Fetcher 试，403/空内容 → 升级到 StealthyFetcher
+```
+
+## 步骤 2：执行工作流
+
+```
+1. 检查版本（步骤 0）
+2. 查阅 references/site-patterns.md — 匹配已有模式则直接复用
+3. 无匹配 → 用决策树选择 Fetcher
+4. 读取对应模板 → 替换参数 → 生成完整脚本
+5. 执行脚本 → 返回结果
+6. **沉淀经验（必做）**:
+   - 新站点 → 追加到 site-patterns.md
+   - 新 cookie / 用户提供了 cookie → 保存到 cookie-vault.md
+   - **完成抓取后必须检查**：是否有新的 cookie 或 site pattern 需要保存
+```
+
+## Cookie 格式速查
+
+| Fetcher 类型 | Cookie 格式 | 示例 |
+|-------------|-------------|------|
+| Fetcher / FetcherSession | `dict` | `{'name': 'value', 'token': 'abc'}` |
+| StealthyFetcher / DynamicFetcher | `list[dict]` | `[{'name': 'n', 'value': 'v', 'domain': '.site.com', 'path': '/'}]` |
+
+**浏览器 Fetcher cookie 必填字段**: `name`, `value`, `domain`, `path`
+
+## 超时单位速查
+
+| Fetcher 类型 | 超时单位 | 示例 |
+|-------------|---------|------|
+| Fetcher / FetcherSession | 秒 | `timeout=30` |
+| StealthyFetcher / DynamicFetcher | 毫秒 | `timeout=60000` |
+
+## 模板索引
+
+| 模板 | 文件 | 何时读取 |
+|------|------|---------|
+| 基础 HTTP 抓取 | `templates/basic_fetch.py` | 目标为静态页面，无反爬 |
+| Cloudflare 绕过 | `templates/stealth_cloudflare.py` | 目标有 CF/WAF 保护 |
+| Session 登录 | `templates/session_login.py` | 需 HTTP 表单登录后抓取 |
+| 纯 HTML 解析 | `templates/parse_only.py` | 已有 HTML 字符串，只需提取数据 |
+
+## References 索引
+
+| 文件 | 何时读取 |
+|------|---------|
+| `references/site-patterns.md` | **每次抓取前先查阅** — 检查目标站点是否有已记录的模式 |
+| `references/api-quick-ref.md` | 生成脚本时查阅 — Fetcher/Selector 方法签名和参数 |
+| `references/troubleshooting.md` | 执行报错时查阅 — 按错误信息查找原因和解决方案 |
+| `references/cookie-vault.md` | 需要登录 cookie 时查阅 — 检查是否有历史记录可复用 |
+| `references/maintenance.md` | 安装/升级/依赖问题时查阅 — 安装层级和验证命令 |

package/templates/skills/scrapling/references/api-quick-ref.md

@@ -0,0 +1,127 @@
+# Scrapling API 速查卡
+
+## Fetcher（基于 curl_cffi，最快）
+
+```python
+from scrapling.fetchers import Fetcher
+
+# GET 请求
+page = Fetcher.get(url, impersonate='chrome', timeout=30, headers=None, cookies=None)
+
+# POST 请求
+page = Fetcher.post(url, data=None, json=None, impersonate='chrome', timeout=30)
+```
+
+**Cookie 格式**: `dict` — `{'name': 'value'}`
+**超时单位**: 秒
+
+## FetcherSession（保持会话 cookie）
+
+```python
+from scrapling.fetchers import FetcherSession
+
+with FetcherSession(impersonate='chrome') as s:
+    s.post(login_url, data={'user': '...', 'pass': '...'})
+    page = s.get(target_url)
+```
+
+## StealthyFetcher（Camoufox，绕过反爬）
+
+```python
+from scrapling.fetchers import StealthyFetcher
+
+page = StealthyFetcher.fetch(
+    url,
+    headless=True,           # 无头模式
+    solve_cloudflare=True,   # 自动过 Cloudflare
+    cookies=None,            # list[dict] 格式
+    timeout=60000,           # 毫秒
+    network_idle=True,       # 等待网络空闲
+    hide_canvas=True,        # 隐藏 canvas 指纹
+    block_webrtc=True,       # 阻止 WebRTC 泄露 IP
+    disable_resources=False, # 禁用图片/字体加速
+)
+```
+
+**Cookie 格式**: `list[dict]` — `[{'name': 'n', 'value': 'v', 'domain': '.site.com', 'path': '/'}]`
+**超时单位**: 毫秒
+
+## DynamicFetcher（Playwright，JS 渲染）
+
+```python
+from scrapling.fetchers import DynamicFetcher
+
+page = DynamicFetcher.fetch(
+    url,
+    headless=True,
+    cookies=None,            # list[dict] 格式
+    timeout=30000,           # 毫秒
+    network_idle=True,       # 等待网络空闲
+    wait_selector=None,      # 等待特定元素出现
+    disable_resources=True,  # 跳过图片/字体/CSS 加速
+)
+```
+
+**Cookie 格式**: `list[dict]`
+**超时单位**: 毫秒
+
+## Selector（纯 HTML 解析，无网络请求）
+
+```python
+from scrapling.parser import Selector
+
+page = Selector(html_string, url='https://base-url.com')
+```
+
+## Response 常用属性
+
+```python
+page.status          # HTTP 状态码 (int)
+page.text            # 原始 HTML/文本内容 (str)
+page.url             # 最终 URL（可能经过重定向）
+page.cookies         # 响应 cookie
+page.headers         # 响应头
+```
+
+## 选择器方法
+
+```python
+# CSS 选择器
+page.css('div.content')              # 返回元素列表
+page.css_first('h1')                 # 返回第一个匹配元素
+
+# XPath 选择器
+page.xpath('//div[@class="content"]')
+
+# 文本提取伪元素
+page.css('h1::text')                 # 提取文本内容
+page.css('a::attr(href)')            # 提取属性值
+
+# 获取所有匹配结果的文本
+results = page.css('h1::text').getall()  # list[str]
+
+# 获取第一个匹配结果的文本
+result = page.css('h1::text').get()      # str | None
+```
+
+## 元素方法
+
+```python
+element = page.css_first('div.post')
+
+element.text                          # 直接子文本
+element.get_all_text(strip=True)      # 递归获取所有文本
+element.attrib                        # 属性字典
+element.attrib.get('href')            # 获取单个属性
+element.css('span.author::text')      # 在子树中继续选择
+element.parent                        # 父元素
+element.children                      # 子元素列表
+```
+
+## 正则提取
+
+```python
+# 从文本中提取匹配
+page.re(r'price: \$(\d+\.\d+)')      # list[str] — 所有匹配
+page.re_first(r'price: \$(\d+\.\d+)')  # str | None — 第一个匹配
+```

package/templates/skills/scrapling/references/cookie-vault.md

@@ -0,0 +1,56 @@
+# Cookie 保险库
+
+按站点分区记录历史 cookie，供抓取时快速查找使用。
+
+> **安全提示**: 此文件存储敏感 cookie 值，请勿提交到版本控制或分享给他人。
+> 实际使用时，请将此文件复制为 `cookie-vault.local.md` 并填入真实值。
+
+---
+
+## 示例站点 (example.com)
+
+**最后更新**: YYYY-MM-DD
+**状态**: 有效 / 可能已过期
+**登录 cookie 字段**: `session_id`, `auth_token`
+**Fetcher 类型**: StealthyFetcher
+
+### Playwright 格式（StealthyFetcher/DynamicFetcher 用）
+
+```python
+cookies = [
+    {'name': 'session_id', 'value': '<YOUR_SESSION_ID>', 'domain': '.example.com', 'path': '/'},
+    {'name': 'auth_token', 'value': '<YOUR_AUTH_TOKEN>', 'domain': '.example.com', 'path': '/'},
+]
+```
+
+### 备注
+
+- 从浏览器 DevTools > Application > Cookies 获取真实值
+- cookie 有效期取决于站点设置，过期后需重新获取
+
+---
+
+## 模板：添加新站点
+
+复制以下模板，替换具体内容后追加到此文件：
+
+```markdown
+## 站点名称 (域名)
+
+**最后更新**: YYYY-MM-DD
+**状态**: 有效 / 可能已过期
+**登录 cookie 字段**: `field1`, `field2`
+**Fetcher 类型**: Fetcher / StealthyFetcher / DynamicFetcher
+
+### Playwright 格式
+
+\```python
+cookies = [
+    {'name': 'field1', 'value': '...', 'domain': '.example.com', 'path': '/'},
+]
+\```
+
+### 备注
+
+- 相关注意事项
+```

package/templates/skills/scrapling/references/maintenance.md

@@ -0,0 +1,79 @@
+# Scrapling 安装与维护
+
+## 安装层级
+
+| 安装命令 | 包含内容 |
+|---------|---------|
+| `pip install scrapling` | 仅核心解析器（Selector），无网络抓取能力 |
+| `pip install "scrapling[fetchers]"` | + Fetcher/StealthyFetcher/DynamicFetcher（curl_cffi, Playwright, Camoufox） |
+| `pip install "scrapling[ai]"` | + AI 功能（transformers） |
+| `pip install "scrapling[shell]"` | + 交互式 shell |
+| `pip install "scrapling[all]"` | 全部功能 |
+
+**推荐**: 大多数场景使用 `scrapling[fetchers]` 即可。
+
+## 检查安装状态
+
+```bash
+# 查看版本
+pip show scrapling
+
+# 验证基础包可用
+python -c "from scrapling.parser import Selector; print('Parser OK')"
+
+# 验证 Fetcher 可用（需要 [fetchers]）
+python -c "from scrapling.fetchers import Fetcher; print('Fetcher OK')"
+
+# 验证 StealthyFetcher 可用
+python -c "from scrapling.fetchers import StealthyFetcher; print('StealthyFetcher OK')"
+
+# 验证 DynamicFetcher 可用
+python -c "from scrapling.fetchers import DynamicFetcher; print('DynamicFetcher OK')"
+```
+
+## 安装浏览器依赖
+
+StealthyFetcher 和 DynamicFetcher 需要浏览器引擎，安装后需执行:
+
+```bash
+# 方式 1: 直接命令（PATH 包含 Scripts 目录时）
+scrapling install
+
+# 方式 2: 通过 Python 调用（推荐，避免 PATH 问题）
+python -c "from scrapling.cli import main; main(['install'])"
+```
+
+## 升级
+
+```bash
+pip install --upgrade "scrapling[fetchers]"
+```
+
+升级后建议重新验证三个 Fetcher 是否可用（见上方检查命令）。
+
+## 三 Fetcher 完整验证脚本
+
+```python
+#!/usr/bin/env python3
+"""验证 scrapling 三个 Fetcher 均可正常使用"""
+import scrapling
+
+print(f"scrapling version: {scrapling.__version__}")
+
+# 1. Fetcher (curl_cffi)
+from scrapling.fetchers import Fetcher
+page = Fetcher.get("https://httpbin.org/get", impersonate='chrome', timeout=15)
+print(f"Fetcher: status={page.status}")
+
+# 2. StealthyFetcher (Camoufox)
+from scrapling.fetchers import StealthyFetcher
+page = StealthyFetcher.fetch("https://httpbin.org/get", headless=True, timeout=30000)
+print(f"StealthyFetcher: status={page.status}")
+
+# 3. DynamicFetcher (Playwright)
+from scrapling.fetchers import DynamicFetcher
+page = DynamicFetcher.fetch("https://httpbin.org/get", headless=True, timeout=30000)
+print(f"DynamicFetcher: status={page.status}")
+
+print("\nAll Fetchers verified successfully")
+```

package/templates/skills/scrapling/references/site-patterns.md

@@ -0,0 +1,86 @@
+# 站点抓取模式经验库
+
+每次成功抓取新类型站点后，Agent 应提示用户是否将经验追加到此文件。
+
+---
+
+## Discourse 论坛 (linux.do, meta.discourse.org 等)
+
+**站点特征**: Cloudflare 保护 + Ember.js SPA + 登录态区分
+**推荐 Fetcher**: StealthyFetcher
+**关键参数**:
+- `solve_cloudflare=True` — 必须
+- `network_idle=True` — 等待 Ember 渲染完成
+- `timeout=60000` — CF 验证耗时长，至少 60 秒（毫秒单位）
+**登录 cookie 字段**: `_forum_session`, `_t`
+**不需要**: `cf_clearance`（StealthyFetcher 自动获取）
+**JSON API**: `/t/topic/{id}.json`（需过 CF 后才可用）
+**选择器参考**:
+- 帖子列表: `.topic-post`
+- 作者: `[data-user-card]::attr(data-user-card)`
+- 内容: `.cooked` → `.get_all_text(strip=True)`
+
+---
+
+## 静态博客/文档站 (GitHub Pages, Hugo, Jekyll)
+
+**站点特征**: 纯静态 HTML，无 JS 渲染依赖，无反爬
+**推荐 Fetcher**: Fetcher（最快）
+**关键参数**: `impersonate='chrome'`, `timeout=30`
+**选择器参考**: `article`, `.content`, `.post-body`
+
+---
+
+## SPA 应用 (React/Vue/Next.js)
+
+**站点特征**: JS 渲染，内容不在初始 HTML 中
+**推荐 Fetcher**: DynamicFetcher
+**关键参数**:
+- `network_idle=True` — 等待 API 请求完成
+- `wait_selector='.content-loaded'` — 等待关键元素（按实际调整）
+- `disable_resources=True` — 跳过字体/图片加速
+**备注**: 优先检查是否有 API 端点可直接用 Fetcher 请求（更快更稳定）
+
+---
+
+## API 端点 (REST/GraphQL)
+
+**站点特征**: 返回 JSON，无需解析 HTML
+**推荐 Fetcher**: Fetcher
+**关键参数**: `impersonate='chrome'`, 自定义 `headers`
+**处理方式**: `page.text` 获取 JSON → `json.loads()` 解析
+**备注**: 如果 API 有反爬，可能需要带 Referer/Origin 等 header
+
+---
+
+## TAPD 项目管理 (tapd.cn)
+
+**站点特征**: React SPA + 企业登录态 + 分页懒加载（"展开更多"按钮）
+**推荐方案**: Playwright 直接控制（非 scrapling Fetcher）
+**原因**: DynamicFetcher 可渲染首屏但无法点击交互；scrapling Fetcher 调 API 时 `page.text` 始终为空；curl 可达 API 但返回 500（需浏览器环境的 CSRF 校验）
+**关键流程**:
+1. Playwright + cookies 加载页面，`wait_until='networkidle'`
+2. 循环点击"展开更多"按钮加载全部数据
+3. `page.inner_text('body')` 提取纯文本，按行解析
+**Cookie 格式**: `list[dict]`，必填 `name/value/domain/path`，domain 为 `.tapd.cn`
+**API 端点**（参考，浏览器内部使用）: `POST /api/my_worktable/my_worktable/get_my_worktable_by_page`
+**CSRF**: cookie `dsc-token` 的值需作为 `DSC-TOKEN` header 发送（由 axios interceptor 自动添加）
+**已知限制**: scrapling Fetcher 对 TAPD API 返回空响应（`page.text` 为空），需用 Playwright 或 curl
+**数据结构**: 文本按行排列，类型前缀(P/E/PROGRAM/TEST/BUG) → 标题 → 状态 → 优先级 → ...
+
+---
+
+## 模板：添加新站点模式
+
+复制以下模板，替换具体内容后追加到此文件：
+
+```markdown
+## 站点名称/类型 (代表域名)
+
+**站点特征**: 描述
+**推荐 Fetcher**: Fetcher / StealthyFetcher / DynamicFetcher
+**关键参数**:
+- `参数名=值` — 说明
+**选择器参考**: CSS 选择器示例
+**备注**: 踩坑经验
+```

package/templates/skills/scrapling/references/troubleshooting.md

@@ -0,0 +1,95 @@
+# Scrapling 踩坑记录与解决方案
+
+## ModuleNotFoundError: curl_cffi
+
+**错误信息**: `ModuleNotFoundError: No module named 'curl_cffi'`
+**原因**: 安装了基础包 `pip install scrapling`，不含抓取依赖
+**解决方案**:
+```bash
+pip install "scrapling[fetchers]"
+```
+
+## Cloudflare 403 + "Just a moment"
+
+**错误信息**: 返回 403，页面内容包含 "Just a moment" 或 "Checking your browser"
+**原因**: Fetcher（curl_cffi）无法通过 Cloudflare 验证
+**解决方案**: 换用 StealthyFetcher + `solve_cloudflare=True`
+```python
+from scrapling.fetchers import StealthyFetcher
+page = StealthyFetcher.fetch(url, headless=True, solve_cloudflare=True, timeout=60000)
+```
+
+## cf_clearance cookie 无效
+
+**错误信息**: 手动传入 `cf_clearance` cookie 但仍被 Cloudflare 拦截
+**原因**: `cf_clearance` 绑定浏览器指纹（TLS/JA3/UA），不可跨客户端复用
+**解决方案**: 不要手动传 `cf_clearance`，让 StealthyFetcher 自己通过 Cloudflare 获取
+
+## Expected array, got object at $.cookies
+
+**错误信息**: `Expected array, got object` at `$.cookies`
+**原因**: 浏览器 Fetcher（StealthyFetcher/DynamicFetcher）cookie 必须是 `list[dict]`，不能是 `dict`
+**解决方案**:
+```python
+# ❌ 错误
+cookies = {'name': 'value'}
+
+# ✅ 正确
+cookies = [{'name': 'cookie_name', 'value': 'cookie_value', 'domain': '.site.com', 'path': '/'}]
+```
+
+## Cookie should have a url or a domain/path pair
+
+**错误信息**: `Cookie should have a url or a domain/path pair`
+**原因**: cookie dict 缺少 `domain` 和 `path` 字段
+**解决方案**: 每个 cookie dict 必须包含 `domain`（以 `.` 开头）和 `path`（通常 `/`）
+```python
+cookies = [
+    {'name': 'token', 'value': 'abc', 'domain': '.example.com', 'path': '/'},
+]
+```
+
+## 404 "page is private"
+
+**错误信息**: 返回 404，页面提示内容为私有
+**原因**: Cloudflare 已通过，但目标页面需要登录态
+**解决方案**: 带上登录 cookie（从浏览器手动获取），参见 `cookie-vault.md`
+```python
+page = StealthyFetcher.fetch(
+    url,
+    solve_cloudflare=True,
+    cookies=[{'name': '_session', 'value': '...', 'domain': '.site.com', 'path': '/'}],
+    timeout=60000,
+)
+```
+
+## Cloudflare 多轮 Turnstile
+
+**现象**: StealthyFetcher 运行时间很长（30-90 秒），日志显示多次 Turnstile 验证
+**原因**: 正常现象，Cloudflare 有时需要 2-3 轮验证
+**解决方案**: 耐心等待，确保 `timeout` 足够长（至少 60000ms）。如果超时失败，增加到 120000ms 重试
+
+## scrapling: command not found
+
+**错误信息**: `scrapling: command not found`
+**原因**: Python Scripts 目录不在 PATH 中
+**解决方案**:
+```python
+# 方式 1: 使用 python -c
+python -c "from scrapling.cli import main; main(['install'])"
+
+# 方式 2: 使用 python -m（如果支持）
+python -m scrapling install
+```
+
+## StealthyFetcher/DynamicFetcher 报浏览器未安装
+
+**错误信息**: 类似 "browser not found" 或 Playwright/Camoufox 相关错误
+**原因**: 未安装浏览器依赖
+**解决方案**:
+```bash
+# 安装 scrapling 浏览器依赖
+scrapling install
+# 或
+python -c "from scrapling.cli import main; main(['install'])"
+```

package/templates/skills/scrapling/templates/basic_fetch.py

@@ -0,0 +1,19 @@
+#!/usr/bin/env python3
+"""基础 HTTP 抓取模板
+用途: 静态页面抓取，无 JS 渲染，无反爬保护
+替换: URL, CSS_SELECTOR, 输出处理逻辑
+"""
+from scrapling.fetchers import Fetcher
+
+URL = "{{URL}}"
+CSS_SELECTOR = "{{CSS_SELECTOR}}"  # 如 '.article h1::text'
+
+page = Fetcher.get(URL, impersonate='chrome', timeout=30)
+print(f"Status: {page.status}")
+
+if CSS_SELECTOR:
+    results = page.css(CSS_SELECTOR).getall()
+    for r in results:
+        print(r)
+else:
+    print(page.get_all_text(strip=True)[:2000])

package/templates/skills/scrapling/templates/parse_only.py

@@ -0,0 +1,15 @@
+#!/usr/bin/env python3
+"""纯 HTML 解析模板（不需要 fetchers 依赖）
+用途: 已有 HTML 内容（来自 WebFetch/文件/API），只需解析提取
+替换: HTML_SOURCE, BASE_URL, CSS_SELECTOR
+"""
+from scrapling.parser import Selector
+
+HTML_SOURCE = """{{HTML}}"""
+# 或从文件读取: HTML_SOURCE = open('page.html').read()
+
+page = Selector(HTML_SOURCE, url='{{BASE_URL}}')
+
+results = page.css('{{CSS_SELECTOR}}')
+for item in results:
+    print(item.get_all_text(strip=True))

package/templates/skills/scrapling/templates/session_login.py

@@ -0,0 +1,19 @@
+#!/usr/bin/env python3
+"""Session 登录 + 多页抓取模板
+用途: 需要登录后才能访问的页面，基于 HTTP（无 JS 登录表单）
+替换: LOGIN_URL, LOGIN_DATA, TARGET_URLS
+"""
+from scrapling.fetchers import FetcherSession
+
+LOGIN_URL = "{{LOGIN_URL}}"
+LOGIN_DATA = {{LOGIN_DATA}}  # {'username': '...', 'password': '...'}
+TARGET_URLS = {{TARGET_URLS}}  # ['https://site.com/page1', ...]
+
+with FetcherSession(impersonate='chrome') as s:
+    login_resp = s.post(LOGIN_URL, data=LOGIN_DATA)
+    print(f"Login status: {login_resp.status}")
+
+    for url in TARGET_URLS:
+        page = s.get(url)
+        print(f"\n--- {url} (status: {page.status}) ---")
+        print(page.get_all_text(strip=True)[:1000])

package/templates/skills/scrapling/templates/stealth_cloudflare.py

@@ -0,0 +1,28 @@
+#!/usr/bin/env python3
+"""Cloudflare 反爬绕过模板
+用途: 有 Cloudflare/WAF 保护的网站
+替换: URL, COOKIES(可选), CSS_SELECTOR
+"""
+from scrapling.fetchers import StealthyFetcher
+
+URL = "{{URL}}"
+COOKIES = {{COOKIES}}  # None 或 [{'name': ..., 'value': ..., 'domain': ..., 'path': '/'}]
+CSS_SELECTOR = "{{CSS_SELECTOR}}"
+
+page = StealthyFetcher.fetch(
+    URL,
+    headless=True,
+    solve_cloudflare=True,
+    cookies=COOKIES,
+    timeout=60000,
+    network_idle=True,
+)
+
+print(f"Status: {page.status}")
+
+if CSS_SELECTOR:
+    results = page.css(CSS_SELECTOR).getall()
+    for r in results:
+        print(r)
+else:
+    print(page.get_all_text(strip=True)[:2000])