evolcore 0.0.32 → 0.0.34

package/kits/skills/ec-skill/scripts/skill.mjs

@@ -367,7 +367,7 @@ export function resolveSkillDirArg(target) {
 
 export function cmdCreate(name, { desc = '', force = false, enable = false, json = false } = {}) {
   assertPermission('local'); // 骨架固定建在本机级，与 install 同档
-  if (!name) throw new Error('缺少技能名。用法：ec skill create <name> --desc "..."');
+  if (!name) throw new Error(`缺少技能名。用法：ec skill create <name> --desc '...'`);
   if (!NAME_RE.test(name)) {
     throw new Error(`技能名「${name}」不符合 kebab-case（小写字母/数字/连字符，如 my-skill）`);
   }

package/kits/skills/scrapling-article-fetch/SKILL.md

@@ -0,0 +1,128 @@
+---
+name: scrapling-article-fetch
+description: 使用 html2text 从 URL 抓取可读正文（含图片），按优先级选择器提取并按字符数截断，最终以 Markdown 代码块回复。适用于用户发送文章/博客/新闻链接（尤其是微信公众号 mp.weixin.qq.com）并希望快速验收正文内容的场景。不适用于需要登录墙、纯 JS 渲染且无原文 HTML 的页面。
+---
+
+## 目标
+
+把文章正文抓成 Markdown（保留标题、原文链接、图片），直接交付给用户对照验收。
+
+## 依赖方案（重要）
+
+本技能有两种依赖实现方案，安装时根据实际情况选择：
+
+### 方案 A：轻量级（推荐，已默认采用）
+
+**依赖**：`lxml + cssselect + html2text`（总计约 5MB，秒级启动）
+
+**适用场景**：
+- 微信公众号（mp.weixin.qq.com）
+- Medium、个人博客、新闻网站等服务端渲染页面
+- 95% 的文章抓取需求
+
+**实现**：`urllib.request + lxml.html`（Python 标准库 + 轻量 DOM 解析）
+
+**本机安装时已采用此方案**：`scrapling_fetch.py` 已改为此实现，无需安装 scrapling/patchright/playwright。
+
+### 方案 B：完整浏览器（可选，仅特殊场景）
+
+**依赖**：`scrapling[fetchers]`（拉取 patchright 37MB + playwright 37MB，首次安装需 5-10 分钟）
+
+**适用场景**：
+- 纯 JS 渲染页面（SPA 无服务端渲染）
+- 需要登录后才能看到正文
+- 有反爬虫检测需要真实浏览器指纹
+
+**注意**：如果网络慢或 PyPI 访问受限，此方案会超时失败。
+
+## 前提条件
+
+1. Python 3.10+。
+2. 已安装 `uv`（依赖走 uv 全局缓存，不需要 venv）。
+3. 机器可访问目标 URL。
+
+脚本位置不固定，执行前先确定 `<技能目录>`（即本技能所在目录，由技能索引注入）。约定写法见下方「路径约定」。
+
+## 路径约定
+
+EC 不会把 cwd 设到技能目录，所以命令里的脚本路径**必须写成绝对路径**。`<技能目录>` 由上下文注入的技能索引给出（索引里有「根目录 + 技能名」的拼法）。不要依赖 cwd 或 `~`。
+
+脚本内部也不依赖 cwd：`run_pipeline.sh` 用自身位置定位同目录的其它脚本。
+
+## 环境检查（必须先做）
+
+不要假设系统一定有 `python` 别名，统一先跑 wrapper：
+
+```bash
+bash "<技能目录>/scripts/run_pipeline.sh"
+```
+
+该 wrapper 会优先选 `python3`，其次 `python`，避免「环境有 Python，但入口命令写死导致误判」。
+
+执行规则：
+- `python_ok=true`：继续抓取。
+- 无 Python 或版本低于 3.10：先提醒用户安装，或在征得同意后帮装；不要跳过检查硬跑。
+- 无 `uv`：先提醒用户安装 `uv`（依赖装不进去），不要硬跑。
+
+## 抓取
+
+用 `uv` 的全局缓存装依赖，使用 `--no-project` 避免在当前目录建 `.venv`：
+
+```bash
+uv run --no-project --with lxml --with cssselect --with html2text python "<技能目录>/scripts/scrapling_fetch.py" <url> [max_chars]
+```
+
+依赖只进 uv 全局缓存（`uv cache dir`），跨技能共享、装一次后秒级启动，不落任何项目目录。
+
+默认 `max_chars=30000`。需要结构化结果（标题、封面、正文）时加 `--json`。
+
+## 安装注意（避免踩坑）
+
+**不要用 `scrapling[fetchers]`**。该 extra 会拉取 patchright（37MB）+ playwright（37MB），且 scrapling 源码在 `engines/toolbelt/convertor.py` 顶层硬 import `patchright`，即使只调用基础 Fetcher 也无法绕开。网络慢时首次安装需要 30 分钟以上，极易超时。
+
+本技能脚本已将底层 fetch 换为 `urllib.request + lxml`，依赖只有 `lxml + cssselect + html2text`（约 5MB），uv 缓存后秒级启动。微信公众号、Medium、普通博客等服务端渲染页面全部覆盖。
+
+**只有纯 JS 渲染页面（SPA）才需要无头浏览器**，届时再单独评估是否切回 scrapling 原实现。
+
+## 抓取规则
+
+脚本按以下逻辑执行：
+
+1. `urllib.request` 拉取页面 HTML，带浏览器 User-Agent 头避免被拦截。
+2. 微信公众号（`mp.weixin.qq.com`）优先尝试：`#js_content`、`.rich_media_content`、`.rich_media_area_primary`。
+3. 再试通用选择器：`article`、`main`、`.post-content`、`[class*="body"]`。
+4. 用 `html2text` 转 Markdown，默认保留链接和图片。
+5. 清理常见微信尾部噪音（扫码提示、授权弹窗等）。
+6. 按 `max_chars` 截断。
+7. 未命中正文容器时，回退为整页 HTML 转换结果。
+
+## 交付流程（默认执行，无需额外确认）
+
+1. 环境检查（见上）。
+2. 运行抓取脚本，得到 Markdown（需要标题等元信息时加 `--json`）。
+3. 用 `render_markdown_reply.py` 生成固定格式的回复：
+
+```bash
+python3 "<技能目录>/scripts/render_markdown_reply.py" <title> <url> <markdown_file>
+```
+
+无 `python3` 时改用 `python`，优先复用 wrapper 选出的解释器。
+
+输出格式固定为：
+
+````markdown
+```markdown
+# <文章标题>
+
+原文链接：<url>
+
+<完整 Markdown 正文>
+```
+````
+
+4. 把结果交付给用户，至少包含：原文链接、标题、完整正文（含图片）。
+
+## 边界情况
+
+- 页面高度依赖 JS 导致抓取为空：后续可切换 DynamicFetcher 变体。
+- 输出格式保持稳定，便于与原文逐段对照。

package/kits/skills/scrapling-article-fetch/scripts/check_python_env.py

@@ -0,0 +1,54 @@
+#!/usr/bin/env python3
+import json
+import shutil
+import subprocess
+import sys
+
+
+def check_python() -> dict:
+    result = {
+        "python_found": False,
+        "python_cmd": None,
+        "python_version": None,
+        "python_ok": False,
+        "uv_found": False,
+        "venv_available": False,
+        "install_hint": "未检测到可用 Python 3.10+。请先安装 Python，或在你确认后由 agent 帮你安装。",
+    }
+
+    candidates = ["python3", "python"]
+    for cmd in candidates:
+        path = shutil.which(cmd)
+        if not path:
+            continue
+        try:
+            out = subprocess.check_output([cmd, "-c", "import sys; print('.'.join(map(str, sys.version_info[:3])))"], text=True).strip()
+            parts = tuple(int(x) for x in out.split("."))
+            result["python_found"] = True
+            result["python_cmd"] = cmd
+            result["python_version"] = out
+            result["python_ok"] = parts >= (3, 10)
+            break
+        except Exception:
+            continue
+
+    result["uv_found"] = shutil.which("uv") is not None
+
+    if result["python_found"]:
+        try:
+            subprocess.check_call([result["python_cmd"], "-c", "import venv"], stdout=subprocess.DEVNULL, stderr=subprocess.DEVNULL)
+            result["venv_available"] = True
+        except Exception:
+            result["venv_available"] = False
+
+        if result["python_ok"]:
+            result["install_hint"] = "Python 环境可用。优先用 uv；若无 uv，可用 venv + pip。"
+        else:
+            result["install_hint"] = "检测到 Python，但版本低于 3.10。请升级 Python，或在你确认后由 agent 帮你安装/升级。"
+
+    return result
+
+
+if __name__ == "__main__":
+    json.dump(check_python(), sys.stdout, ensure_ascii=False)
+    sys.stdout.write("\n")

package/kits/skills/scrapling-article-fetch/scripts/render_markdown_reply.py

@@ -0,0 +1,35 @@
+#!/usr/bin/env python3
+import json
+import sys
+from pathlib import Path
+
+# Windows 终端默认 GBK，强制 stdout/stderr 用 UTF-8
+if hasattr(sys.stdout, "reconfigure"):
+    sys.stdout.reconfigure(encoding="utf-8", errors="replace")
+if hasattr(sys.stderr, "reconfigure"):
+    sys.stderr.reconfigure(encoding="utf-8", errors="replace")
+
+
+def render_reply(title: str, src_url: str, markdown: str) -> str:
+    body = markdown.strip()
+    return (
+        "```markdown\n"
+        f"# {title}\n\n"
+        f"原文链接：{src_url}\n\n"
+        f"{body}\n"
+        "```"
+    )
+
+
+def main() -> int:
+    if len(sys.argv) != 4:
+        print("usage: render_markdown_reply.py <title> <src_url> <markdown_file>", file=sys.stderr)
+        return 2
+    title, src_url, markdown_file = sys.argv[1:4]
+    markdown = Path(markdown_file).read_text(encoding="utf-8")
+    print(render_reply(title, src_url, markdown))
+    return 0
+
+
+if __name__ == "__main__":
+    raise SystemExit(main())

package/kits/skills/scrapling-article-fetch/scripts/run_pipeline.sh

@@ -0,0 +1,16 @@
+#!/usr/bin/env bash
+set -euo pipefail
+
+# 自定位：从脚本自身位置推导同目录脚本，不依赖 cwd 或任何绝对路径。
+SCRIPT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"
+
+if command -v python3 >/dev/null 2>&1; then
+  PYTHON_BIN=python3
+elif command -v python >/dev/null 2>&1; then
+  PYTHON_BIN=python
+else
+  echo 'Python not found' >&2
+  exit 1
+fi
+
+"$PYTHON_BIN" "$SCRIPT_DIR/check_python_env.py"

package/kits/skills/scrapling-article-fetch/scripts/scrapling_fetch.py

@@ -0,0 +1,344 @@
+#!/usr/bin/env python3
+import io
+import json
+import re
+import sys
+import urllib.request
+from urllib.parse import urlparse
+
+# Windows 终端默认 GBK，强制 stdout/stderr 用 UTF-8
+if hasattr(sys.stdout, "reconfigure"):
+    sys.stdout.reconfigure(encoding="utf-8", errors="replace")
+if hasattr(sys.stderr, "reconfigure"):
+    sys.stderr.reconfigure(encoding="utf-8", errors="replace")
+
+import html2text
+import lxml.html
+import lxml.cssselect  # noqa: F401 — pulls cssselect into lxml's registry
+
+
+# ---------------------------------------------------------------------------
+# Thin compatibility shim — mimics the scrapling page/node API surface used
+# in this script, backed by urllib + lxml so patchright is never needed.
+# ---------------------------------------------------------------------------
+
+_HEADERS = {
+    "User-Agent": (
+        "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
+        "AppleWebKit/537.36 (KHTML, like Gecko) "
+        "Chrome/124.0.0.0 Safari/537.36"
+    ),
+    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
+    "Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8",
+}
+
+
+class _NodeList:
+    def __init__(self, nodes):
+        self._nodes = nodes
+
+    @property
+    def first(self):
+        return _Node(self._nodes[0]) if self._nodes else None
+
+    def __bool__(self):
+        return bool(self._nodes)
+
+
+class _Node:
+    def __init__(self, el):
+        self._el = el
+
+    @property
+    def html_content(self):
+        return lxml.html.tostring(self._el, encoding="unicode", with_tail=False)
+
+    def css(self, sel):
+        try:
+            return _NodeList(self._el.cssselect(sel))
+        except Exception:
+            return _NodeList([])
+
+    def get(self, attr, default=None):
+        return self._el.get(attr, default)
+
+    @property
+    def attributes(self):
+        return dict(self._el.attrib)
+
+    def __str__(self):
+        return self.html_content
+
+
+class _Page:
+    def __init__(self, html_bytes: bytes, status: int, url: str):
+        self.status = status
+        self._url = url
+        self._doc = lxml.html.fromstring(html_bytes, base_url=url)
+
+    @property
+    def html_content(self):
+        return lxml.html.tostring(self._doc, encoding="unicode", with_tail=False)
+
+    def css(self, sel):
+        try:
+            return _NodeList(self._doc.cssselect(sel))
+        except Exception:
+            return _NodeList([])
+
+
+class Fetcher:
+    @staticmethod
+    def get(url: str) -> _Page:
+        req = urllib.request.Request(url, headers=_HEADERS)
+        with urllib.request.urlopen(req, timeout=30) as resp:
+            status = resp.status
+            html_bytes = resp.read()
+        return _Page(html_bytes, status, url)
+
+DEFAULT_SELECTORS = [
+    "article",
+    "main",
+    ".post-content",
+    '[class*="body"]',
+]
+
+WECHAT_SELECTORS = [
+    "#js_content",
+    ".rich_media_content",
+    ".rich_media_area_primary",
+]
+
+WECHAT_TITLE_SELECTORS = [
+    "#activity-name",
+    ".rich_media_title",
+    "h1",
+]
+
+WECHAT_COVER_SELECTORS = [
+    '.rich_media_thumb[style*="background-image"]',
+    '.rich_media_thumb',
+    'meta[property="og:image"]',
+]
+
+NOISE_MARKERS = [
+    "Scan with Weixin to",
+    "微信扫一扫可打开此内容",
+    "轻触阅读原文",
+    "预览时标签不可点",
+    "Got It",
+    "Cancel",
+    "Allow",
+]
+
+
+def choose_selectors(url: str):
+    host = (urlparse(url).hostname or "").lower()
+    if host.endswith("mp.weixin.qq.com"):
+        return WECHAT_SELECTORS + DEFAULT_SELECTORS
+    return DEFAULT_SELECTORS
+
+
+def normalize_html_for_images(html: str) -> str:
+    return re.sub(
+        r'<img([^>]*?)\sdata-src="([^"]+)"([^>]*?)>',
+        lambda m: f'<img{m.group(1)} src="{m.group(2)}"{m.group(3)}>',
+        html,
+        flags=re.IGNORECASE,
+    )
+
+
+def strip_tail_noise(markdown: str) -> str:
+    cut_positions = [markdown.find(marker) for marker in NOISE_MARKERS if marker in markdown]
+    cut_positions = [p for p in cut_positions if p >= 0]
+    if cut_positions:
+        markdown = markdown[: min(cut_positions)]
+
+    while "\n\n\n" in markdown:
+        markdown = markdown.replace("\n\n\n", "\n\n")
+
+    return markdown.strip()
+
+
+def clean_text(text: str) -> str:
+    text = re.sub(r"<[^>]+>", " ", text)
+    return re.sub(r"\s+", " ", text).strip()
+
+
+def get_text(node) -> str:
+    if not node:
+        return ""
+    for attr in ("text", "text_content", "html_content"):
+        value = getattr(node, attr, None)
+        if isinstance(value, str) and value.strip():
+            return clean_text(value)
+        if callable(value):
+            try:
+                out = value()
+                if isinstance(out, str) and out.strip():
+                    return clean_text(out)
+            except Exception:
+                pass
+    return clean_text(str(node))
+
+
+def get_attr(node, attr: str) -> str:
+    if not node:
+        return ""
+    attributes = getattr(node, "attributes", None)
+    if isinstance(attributes, dict) and attributes.get(attr):
+        return attributes[attr]
+    attrib = getattr(node, "attrib", None)
+    if isinstance(attrib, dict) and attrib.get(attr):
+        return attrib[attr]
+    fn = getattr(node, "get", None)
+    if callable(fn):
+        try:
+            value = fn(attr)
+            if value:
+                return value
+        except Exception:
+            pass
+    html = getattr(node, "html_content", None) or str(node)
+    m = re.search(fr'{attr}="([^"]+)"', html)
+    return m.group(1) if m else ""
+
+
+def extract_title(page, url: str, markdown: str = "") -> str:
+    host = (urlparse(url).hostname or "").lower()
+    if host.endswith("mp.weixin.qq.com"):
+        for sel in WECHAT_TITLE_SELECTORS:
+            nodes = page.css(sel)
+            node = nodes.first if nodes else None
+            text = get_text(node)
+            if text:
+                return text.strip()
+
+    html = getattr(page, "html_content", None) or ""
+    for pattern in [
+        r'<meta[^>]+property="og:title"[^>]+content="([^"]+)"',
+        r'<meta[^>]+name="twitter:title"[^>]+content="([^"]+)"',
+        r'<title>(.*?)</title>',
+    ]:
+        m = re.search(pattern, html, re.I | re.S)
+        if m:
+            text = re.sub(r"\s+", " ", m.group(1)).strip()
+            if text:
+                return text
+
+    if markdown:
+        for line in markdown.splitlines():
+            line = line.strip()
+            if not line:
+                continue
+            if re.match(r"!\[[^\]]*\]\(([^)]+)\)", line):
+                continue
+            line = re.sub(r"^>\s*", "", line)
+            line = re.sub(r"^[#\s]+", "", line)
+            line = re.sub(r"^\*\*(.*?)\*\*$", r"\1", line)
+            if line:
+                return line.strip()
+    return ""
+
+
+def extract_cover_url(page, url: str, markdown: str = "") -> str:
+    host = (urlparse(url).hostname or "").lower()
+    html = getattr(page, "html_content", None) or ""
+    if host.endswith("mp.weixin.qq.com"):
+        for sel in WECHAT_COVER_SELECTORS:
+            nodes = page.css(sel)
+            node = nodes.first if nodes else None
+            if not node:
+                continue
+            if sel.startswith("meta"):
+                content = get_attr(node, "content")
+                if content:
+                    return content.strip()
+            style = get_attr(node, "style")
+            if style:
+                m = re.search(r'background-image:\s*url\([\"\']?([^\)\"\']+)', style)
+                if m:
+                    return m.group(1).strip()
+            for attr in ("data-src", "src"):
+                value = get_attr(node, attr)
+                if value:
+                    return value.strip()
+
+    m = re.search(r'<meta[^>]+property="og:image"[^>]+content="([^"]+)"', html, re.I)
+    if m:
+        return m.group(1).strip()
+
+    if markdown:
+        m = re.search(r'!\[[^\]]*\]\(([^)]+)\)', markdown)
+        if m:
+            return m.group(1).strip()
+    return ""
+
+
+def extract_markdown(url: str, max_chars: int = 30000) -> str:
+    return extract_article(url, max_chars)["markdown"]
+
+
+def extract_article(url: str, max_chars: int = 30000) -> dict:
+    page = Fetcher.get(url)
+    status = getattr(page, "status", None)
+    if isinstance(status, int) and status >= 400:
+        raise RuntimeError(f"HTTP {status} for {url}")
+
+    chosen_html = None
+    for sel in choose_selectors(url):
+        nodes = page.css(sel)
+        node = nodes.first if nodes else None
+        if node:
+            chosen_html = getattr(node, "html_content", None) or str(node)
+            break
+
+    if not chosen_html:
+        chosen_html = getattr(page, "html_content", None) or ""
+
+    chosen_html = normalize_html_for_images(chosen_html)
+
+    parser = html2text.HTML2Text()
+    parser.ignore_links = False
+    parser.ignore_images = False
+    parser.body_width = 0
+
+    markdown = parser.handle(chosen_html).strip()
+    markdown = strip_tail_noise(markdown)
+    title = extract_title(page, url, markdown)
+    cover_url = extract_cover_url(page, url, markdown)
+    if cover_url and cover_url not in markdown:
+        markdown = f"![]({cover_url})\n\n{markdown}".strip()
+    markdown = markdown[:max_chars]
+
+    return {
+        "title": title,
+        "cover_url": cover_url,
+        "markdown": markdown,
+    }
+
+
+def main() -> int:
+    if len(sys.argv) < 2:
+        print("Usage: python scrapling_fetch.py <url> [max_chars] [--json]", file=sys.stderr)
+        return 1
+
+    args = [a for a in sys.argv[1:] if a != "--json"]
+    as_json = "--json" in sys.argv[1:]
+    url = args[0]
+    max_chars = int(args[1]) if len(args) > 1 else 30000
+
+    try:
+        article = extract_article(url, max_chars)
+        if as_json:
+            print(json.dumps(article, ensure_ascii=False))
+        else:
+            print(article["markdown"])
+        return 0
+    except Exception as exc:
+        print(f"[ERROR] {exc}", file=sys.stderr)
+        return 2
+
+
+if __name__ == "__main__":
+    raise SystemExit(main())