rssany 0.1.2 → 0.1.5

package/README.md

@@ -14,13 +14,12 @@
 ## 功能概览
 
 - **统一订阅**：在 `.rssany/sources.json` 中配置网站列表、标准 RSS、IMAP 邮件等，由调度器按 `refresh` 策略拉取。
-- **可插拔信源**：`app/plugins/builtin/` 与 `.rssany/plugins/` 中的 **Site** 插件（`.rssany.js` / `.rssany.ts`），自定义列表解析与详情规则。
+- **可插拔信源**：**Site / Source** 插件（`.rssany.js` / `.rssany.ts`），见 **[插件配置说明](./docs/plugins.md)**。
 - **正文与解析**：在信源 `fetchItems`（及需要的 `ctx.extractItem` 等）内完成；入库后跑 pipeline。
 - **固定 pipeline**：`app/pipeline/` 中打标签、翻译等，由 `.rssany/config.json` 的 `pipeline.steps` 开关（**不是**用户目录下的 pipeline 插件）。
 - **LLM 辅助**：解析、提取、标签、翻译等可按配置走 OpenAI 兼容接口。
 - **站点登录**：需登录的站点通过 Puppeteer 管理 Cookie（与产品用户账号无关）。
 - **可选远端投递**：若 `config.json` 中 `**deliver.url`** 非空，在写库与 pipeline 完成后将条目以 `**{ sourceRef, items }**` JSON **POST** 到该 URL（由 `app/deliver/post.ts` 发送）；留空则仅本地消费。
-- **MCP**：条目检索等能力以 MCP 暴露，供 Cursor、Claude 等使用。
 - **Web 界面**：SvelteKit 构建产物由后端托管；**Feeds** 等需 **邮箱校验**；`**/admin`** 需 `**users.role === 'admin'**`（可从 `**/me**` 进入）。
 
 ---
@@ -42,82 +41,62 @@
 
 ## 快速开始
 
-### 环境要求
+日常使用只需 **Node.js 20.x–23.x**（与 `package.json` 的 `engines` 一致）：
 
-- Node.js **20.x–23.x**（与 `package.json` 的 `engines` 字段一致）
-- **pnpm**
-
-### 安装依赖
+### 全局安装（推荐）
 
 ```bash
-pnpm install
-pnpm run webui:install
+npm install -g rssany   # 与 npm i -g rssany 相同
+rssany
 ```
 
-### 配置
-
-1. 复制环境变量示例并按需填写（JWT、OAuth、SMTP、LLM 等）：
-  ```bash
-   cp .env.example .env
-  ```
-2. 信源与全局配置：首次启动会在 **`~/.rssany/`**（Windows：`%USERPROFILE%\.rssany\`）下自动从包内 **`init/`** 目录中的默认数据复制生成 `sources.json`、`config.json`（若已存在则不会覆盖）。也可手动复制仓库里的 `init/sources.json`、`init/config.json`。
-3. （可选）LLM：在 `.env` 中设置 `OPENAI_API_KEY`、`OPENAI_BASE_URL`、`OPENAI_MODEL` 等。
+安装包内已包含构建好的后端与 Web 界面；启动后用浏览器打开终端里提示的地址（默认 **`http://127.0.0.1:18473/`**，端口可在**运行命令时当前目录**下的 `.env` 里设置 `PORT`）。
 
-### 运行
+- **数据目录**：首次运行会在 **`~/.rssany/`**（Windows：`%USERPROFILE%\.rssany\`）自动从包内 **`init/`** 生成 `sources.json`、`config.json` 等（已存在则不会覆盖）。
+- **可选配置**：在启动 `rssany` 时的**当前目录**放置 `.env`（可参考仓库里的 `.env.example`），用于 JWT、OAuth、SMTP、LLM（如 `OPENAI_API_KEY` / `OPENAI_BASE_URL` / `OPENAI_MODEL`）等。
+- **重置全部本地数据**（结束占用 `PORT` 的进程并删除用户目录，慎用）：执行 **`rssany reset`**；在含 `.env` 的目录下运行可读取 `PORT` / `RSSANY_USER_DIR`，或事先在环境里导出这些变量。
 
-**开发**（后端根路径托管 `webui` 构建产物，改前端需重新构建或 watch）：
-
-```bash
-# 推荐：API + 前端 watch（修改 Svelte 后自动写入构建目录，刷新浏览器即可）
-pnpm run dev:all
-
-# 或分步：先打一次前端再起后端
-pnpm run webui:build
-pnpm dev
-```
+等价于在项目里执行 `node node_modules/rssany/dist/index.js`；CLI 名为 **`rssany`**。
 
-默认监听 `**http://127.0.0.1:18473/**`（端口见 `.env.example` 中 `PORT`，避免与常见开发端口冲突）。
+### 从源码运行（开发 / 贡献）
 
-**重置本地数据**（结束占用 `PORT` 的监听进程，并删除 **`~/.rssany/`**，或 `RSSANY_USER_DIR` 所设目录）：
+需要 **pnpm**：
 
 ```bash
-pnpm reset
+pnpm install
+pnpm run webui:install
+cp .env.example .env   # 按需修改
 ```
 
-**仅调试 WebUI 热更新**（可选）：`cd webui && pnpm dev`（Vite 代理到本机后端，见 `webui/vite.config.ts`）。
-
-**生产**：
+**开发**（后端托管 `webui` 构建目录；改前端可 watch）：
 
 ```bash
-pnpm run webui:build && pnpm start
+pnpm run dev:all
 ```
 
-### npm 全局安装（或 `npx`）
+或分步：`pnpm run webui:build` 后 `pnpm dev`。
 
-发布包时 `prepublishOnly` 会执行 `build:all`（后端 `vite build` + `webui:build`）。安装后：
+**仅调试 WebUI 热更新**（可选）：`cd webui && pnpm dev`（Vite 代理到本机后端，见 `webui/vite.config.ts`）。
 
-```bash
-npm install -g rssany
-rssany
-```
+**生产**（本仓库）：`pnpm run webui:build && pnpm start`。
 
-重置数据（结束 `PORT` 监听进程并删除用户目录）：**`rssany reset`**（与仓库内 **`pnpm reset`** 相同逻辑；可在含 `.env` 的目录下执行以读取 `PORT` / `RSSANY_USER_DIR`）。
+**重置本地数据**（与全局安装的 `rssany reset` 逻辑相同）：`pnpm reset`。
 
-用户数据在 **`~/.rssany/`**（Windows：`%USERPROFILE%\.rssany`），与工作目录无关。可选环境变量 **`RSSANY_USER_DIR`** 可指定其它路径。等价于 `node node_modules/rssany/dist/index.js`；CLI 名称为 `rssany`。内置 `app/plugins/builtin/`、`statics/`、`webui/build` 随包安装路径解析。
+发布到 npm 时 `prepublishOnly` 会执行 `build:all`（后端 `vite build` + `webui:build`）。
 
 ---
 
 ## 数据流（简图）
 
 ```
-sources.json / Site 插件
+sources.json / 信源插件
   → 调度器触发 fetchItems
   → upsertItems
   → pipeline（每条一次）
   → [可选] deliver.url POST（出站，非入站 API）
 ```
 
-消费侧：**RSS/XML**、`**/api/*`**、**MCP**、Web UI。
+消费侧：**RSS/XML**、`**/api/*`**、Web UI。
 
 ---
 
@@ -130,11 +109,9 @@ sources.json / Site 插件
 
 ---
 
-## 插件与配置
-
-### 信源插件（Site）
+## 配置
 
-放置于 `**app/plugins/builtin/**` 或 `**.rssany/plugins/**`（扁平），用户插件可与内置插件同 `id` 覆盖。最小约定包括 `id`、`listUrlPattern` 等（详见 `app/scraper/sources/web/site.ts`）。
+**信源插件（Site / Source）**：目录约定、`listUrlPattern` / `pattern`、`fetchItems`、与 `sources.json` 的关系等，见 **[docs/plugins.md](./docs/plugins.md)**。
 
 ### Pipeline（固定代码）
 
@@ -173,8 +150,9 @@ sources.json / Site 插件
 ## 仓库目录（摘要）
 
 ```
-├── app/                 # 后端：路由、feeder、scraper、pipeline、mcp、db、auth…
+├── app/                 # 后端：路由、feeder、scraper、pipeline、db、auth…
 │   └── plugins/builtin/ # 内置信源 *.rssany.js
+├── docs/                # 用户文档（如 plugins.md）
 └── webui/               # SvelteKit 前端
 
 ~/.rssany/               # 运行时用户数据（首次启动创建；或 RSSANY_USER_DIR）

package/app/plugins/builtin/agi-eval-evaluation.rssany.js

@@ -0,0 +1,188 @@
+let _deps;
+
+
+const DEFAULT_ORIGIN = "https://agi-eval.org";
+const DEFAULT_SOURCES = ["PUBLIC", "PRIVATE"];
+const VALID_SOURCES = new Set(DEFAULT_SOURCES);
+
+function normalizeText(text) {
+  return (text ?? "").replace(/\s+/g, " ").trim();
+}
+
+function hashGuid(input) {
+  return _deps.createHash("sha256").update(input).digest("hex");
+}
+
+function parseDate(value) {
+  const text = normalizeText(value);
+  if (!text) return undefined;
+  const date = new Date(text);
+  return Number.isNaN(date.getTime()) ? undefined : date;
+}
+
+function clampText(text, maxLen = 300) {
+  if (text.length <= maxLen) return text;
+  return `${text.slice(0, maxLen - 1).trim()}…`;
+}
+
+function pickOrigin(sourceId) {
+  try {
+    const url = new URL(sourceId);
+    if (/^https?:$/i.test(url.protocol)) return url.origin;
+  } catch {
+    // ignore
+  }
+  return DEFAULT_ORIGIN;
+}
+
+function parseSources(sourceId) {
+  const found = [];
+  try {
+    const url = new URL(sourceId);
+    const fromQuery = [
+      url.searchParams.get("source"),
+      url.searchParams.get("sources"),
+    ];
+    for (const value of fromQuery) {
+      if (!value) continue;
+      found.push(...value.split(/[,+\s|/]+/g));
+    }
+
+    const pathMatch = url.pathname.match(/^\/evaluation\/home\/([^/?#]+)/i);
+    if (pathMatch) {
+      found.push(...decodeURIComponent(pathMatch[1]).split(/[,+\s|/]+/g));
+    }
+  } catch {
+    // ignore
+  }
+
+  const picked = [];
+  const seen = new Set();
+  for (const raw of found) {
+    const source = normalizeText(raw).toUpperCase();
+    if (!VALID_SOURCES.has(source) || seen.has(source)) continue;
+    seen.add(source);
+    picked.push(source);
+  }
+  return picked.length > 0 ? picked : [...DEFAULT_SOURCES];
+}
+
+async function fetchBySource(origin, source) {
+  const response = await fetch(`${origin}/commWebApi/evaluation/home`, {
+    method: "POST",
+    headers: {
+      "Content-Type": "application/json",
+      "Accept": "application/json",
+    },
+    body: JSON.stringify({ source }),
+  });
+
+  if (!response.ok) {
+    throw new Error(`[agi-eval-evaluation] source=${source} 请求失败: HTTP ${response.status}`);
+  }
+
+  const payload = await response.json().catch(() => null);
+  if (!payload || payload.rescode !== 0) {
+    const message = normalizeText(payload?.msg) || "接口返回异常";
+    throw new Error(`[agi-eval-evaluation] source=${source} 请求失败: ${message}`);
+  }
+
+  const list = payload?.data?.evaluationList;
+  if (!Array.isArray(list)) {
+    throw new Error(`[agi-eval-evaluation] source=${source} 响应结构异常`);
+  }
+  return list;
+}
+
+function buildLink(origin, record) {
+  const id = String(record?.id ?? "").trim();
+  const name = normalizeText(record?.name);
+  if (id && name) {
+    return `${origin}/evaluation/${encodeURIComponent(name)}?id=${encodeURIComponent(id)}`;
+  }
+  if (id) {
+    return `${origin}/evaluation/detail?id=${encodeURIComponent(id)}`;
+  }
+  return `${origin}/evaluation/home`;
+}
+
+function pickPubDate(record) {
+  const candidates = [record?.publishTime, record?.createdAt, record?.updatedAt];
+  for (const value of candidates) {
+    const date = parseDate(value);
+    if (date) return date;
+  }
+  return new Date();
+}
+
+function buildSummary(record) {
+  const description = normalizeText(
+    record?.description ||
+      record?.introduction ||
+      record?.zhData?.description ||
+      record?.enData?.description ||
+      ""
+  );
+  const detail = description || "AGI-Eval 评测条目";
+  const views = Number(record?.views);
+  if (Number.isFinite(views) && views >= 0) {
+    return clampText(`${detail} | 浏览量 ${views}`);
+  }
+  return clampText(detail);
+}
+
+function toFeedItem(record, origin, source) {
+  if (!record || typeof record !== "object") return null;
+  const title = normalizeText(record.name);
+  if (!title) return null;
+
+  const link = buildLink(origin, record);
+  const id = String(record.id ?? "").trim();
+  const guidSeed = id ? `agi-eval:${id}` : link;
+
+  return {
+    guid: hashGuid(guidSeed),
+    title,
+    link,
+    pubDate: pickPubDate(record),
+    author: "AGI-Eval",
+    summary: buildSummary(record),
+    sourceId: "agi-eval-evaluation",
+  };
+}
+
+async function fetchItems(sourceId, ctx) {
+  _deps = ctx.deps;
+  const origin = pickOrigin(sourceId);
+  const sources = parseSources(sourceId);
+  const rows = [];
+
+  for (const source of sources) {
+    const list = await fetchBySource(origin, source);
+    for (const record of list) {
+      rows.push({ source, record });
+    }
+  }
+
+  const seen = new Set();
+  const items = [];
+  for (const { source, record } of rows) {
+    const item = toFeedItem(record, origin, source);
+    if (!item || seen.has(item.guid)) continue;
+    seen.add(item.guid);
+    items.push(item);
+  }
+
+  if (items.length === 0) {
+    throw new Error("[agi-eval-evaluation] 未解析到条目，接口结构可能已变化");
+  }
+
+  items.sort((a, b) => b.pubDate.getTime() - a.pubDate.getTime());
+  return items;
+}
+
+export default {
+  id: "agi-eval-evaluation",
+  listUrlPattern: /^https?:\/\/agi-eval\.(org|cn)\/evaluation\/home(?:\/[^/?#]+)?\/?(?:\?.*)?$/i,
+  fetchItems,
+};

package/app/plugins/builtin/amii-research-talent.rssany.js

@@ -0,0 +1,73 @@
+let _deps;
+
+// Amii Research & Talent 插件：抓取人物卡片列表（不做正文 enrich）
+
+
+const PEOPLE_PATH_RE = /^\/people\/[^/?#]+\/?$/i;
+
+function normalizeText(text) {
+  return (text ?? "").replace(/\s+/g, " ").trim();
+}
+
+function hashGuid(input) {
+  return _deps.createHash("sha256").update(input).digest("hex");
+}
+
+function resolvePeopleLink(rawHref, pageUrl) {
+  if (!rawHref) return null;
+  try {
+    const url = new URL(rawHref, pageUrl);
+    if (!/^https?:$/i.test(url.protocol)) return null;
+    if (!PEOPLE_PATH_RE.test(url.pathname)) return null;
+    return url.href;
+  } catch {
+    return null;
+  }
+}
+
+function extractPeopleItems(root, pageUrl) {
+  const anchors = root.querySelectorAll('a[href*="/people/"]');
+  const seen = new Set();
+  const items = [];
+
+  for (const anchor of anchors) {
+    const link = resolvePeopleLink(anchor.getAttribute("href"), pageUrl);
+    if (!link || seen.has(link)) continue;
+
+    const title = normalizeText(anchor.querySelector("h3")?.textContent);
+    if (!title) continue;
+
+    const summary = normalizeText(anchor.querySelector("p")?.textContent);
+    seen.add(link);
+    items.push({
+      guid: hashGuid(link),
+      title,
+      link,
+      pubDate: new Date(),
+      author: "Amii",
+      summary: summary || undefined,
+    });
+  }
+
+  return items;
+}
+
+async function fetchItems(sourceId, ctx) {
+  _deps = ctx.deps;
+  const { html, finalUrl } = await ctx.fetchHtml(sourceId, { waitMs: 3000 });
+  const root = _deps.parseHtml(html);
+  const pageUrl = new URL(finalUrl);
+
+  const items = extractPeopleItems(root, pageUrl);
+  if (items.length === 0) {
+    throw new Error("[amii-research-talent] 未解析到人物条目，页面结构可能已变化");
+  }
+
+  return items;
+}
+
+export default {
+  id: "amii-research-talent",
+  listUrlPattern: /^https?:\/\/(www\.)?amii\.ca\/research-talent\/?(\?.*)?$/i,
+  fetchItems,
+};

package/app/plugins/builtin/anthropic-research.rssany.js

@@ -0,0 +1,155 @@
+let _deps;
+
+// Anthropic Research 插件：抓取研究页列表条目（不含 enrich）
+
+
+
+const ANTHROPIC_ORIGIN = "https://www.anthropic.com";
+const MONTH_TO_INDEX = {
+  jan: 0,
+  feb: 1,
+  mar: 2,
+  apr: 3,
+  may: 4,
+  jun: 5,
+  jul: 6,
+  aug: 7,
+  sep: 8,
+  oct: 9,
+  nov: 10,
+  dec: 11,
+};
+
+
+function normalizeText(text) {
+  return (text ?? "").replace(/\s+/g, " ").trim();
+}
+
+
+function hashGuid(input) {
+  return _deps.createHash("sha256").update(input).digest("hex");
+}
+
+
+function toAbsoluteHttpUrl(rawHref, baseUrl) {
+  if (!rawHref) return null;
+  const href = rawHref.trim();
+  if (!href || href.startsWith("#") || href.startsWith("javascript:")) return null;
+  try {
+    const url = new URL(href, baseUrl);
+    if (!/^https?:$/i.test(url.protocol)) return null;
+    return url.href;
+  } catch {
+    return null;
+  }
+}
+
+
+function isResearchArticlePath(pathname) {
+  if (!pathname.startsWith("/research/")) return false;
+  if (pathname.startsWith("/research/team/")) return false;
+  return pathname.length > "/research/".length;
+}
+
+
+function parsePubDate(dateText) {
+  const normalized = normalizeText(dateText);
+  if (!normalized) return undefined;
+
+  const m = normalized.match(/^([A-Za-z]{3,9})\s+(\d{1,2}),\s*(\d{4})$/);
+  if (m) {
+    const month = MONTH_TO_INDEX[m[1].slice(0, 3).toLowerCase()];
+    if (month != null) {
+      const day = Number(m[2]);
+      const year = Number(m[3]);
+      const d = new Date(Date.UTC(year, month, day, 12, 0, 0));
+      if (!Number.isNaN(d.getTime())) return d;
+    }
+  }
+
+  const direct = new Date(normalized);
+  if (!Number.isNaN(direct.getTime())) return direct;
+  return undefined;
+}
+
+
+function extractTitle(anchor) {
+  const heading =
+    anchor.querySelector("h2") ??
+    anchor.querySelector("h3") ??
+    anchor.querySelector("h4");
+  const headingText = normalizeText(heading?.textContent);
+  if (headingText) return headingText;
+
+  const spans = anchor
+    .querySelectorAll("span")
+    .map((s) => normalizeText(s.textContent))
+    .filter(Boolean);
+  if (spans.length > 0) return spans[spans.length - 1];
+
+  return normalizeText(anchor.textContent);
+}
+
+
+function extractSummary(anchor, title) {
+  const summary = normalizeText(anchor.querySelector("p")?.textContent);
+  if (summary && summary !== title) return summary;
+  return undefined;
+}
+
+
+function parseAnchorItem(anchor, finalUrl) {
+  const link = toAbsoluteHttpUrl(anchor.getAttribute("href"), finalUrl);
+  if (!link) return null;
+
+  const pathname = new URL(link).pathname;
+  if (!isResearchArticlePath(pathname)) return null;
+
+  const title = extractTitle(anchor);
+  if (!title) return null;
+
+  const dateText = normalizeText(anchor.querySelector("time")?.textContent);
+  const pubDate = parsePubDate(dateText) ?? new Date();
+  const summary = extractSummary(anchor, title);
+
+  return {
+    guid: hashGuid(link),
+    title,
+    link,
+    pubDate,
+    author: "Anthropic",
+    summary,
+  };
+}
+
+
+async function fetchItems(sourceId, ctx) {
+  _deps = ctx.deps;
+  const { html, finalUrl } = await ctx.fetchHtml(sourceId, { waitMs: 4500 });
+  const root = _deps.parseHtml(html);
+
+  const seen = new Set();
+  const items = [];
+  const anchors = root.querySelectorAll("a[href]");
+
+  for (const anchor of anchors) {
+    const item = parseAnchorItem(anchor, finalUrl || ANTHROPIC_ORIGIN);
+    if (!item) continue;
+    if (seen.has(item.link)) continue;
+    seen.add(item.link);
+    items.push(item);
+  }
+
+  if (items.length === 0) {
+    throw new Error("[anthropic-research] 未解析到研究条目，页面结构可能已变化");
+  }
+
+  return items;
+}
+
+
+export default {
+  id: "anthropic-research",
+  listUrlPattern: /^https?:\/\/(www\.)?anthropic\.com\/research(?:\/)?(\?.*)?$/i,
+  fetchItems,
+};