rssany 0.1.1 → 0.1.2

package/.env.example

@@ -33,7 +33,7 @@ SMTP_PASS=your-smtp-password
 # Resend API Key（driver=resend 时使用；https://resend.com/api-keys）
 RESEND_API_KEY=re_xxxxxxxxxxxxxxxxxxxx
 
-# ─── LLM（研究报告模式用）──────────────────────────────────────────────────
+# ─── LLM（解析 / Pipeline 等；也可在管理后台「设置 → LLM」写入 .rssany/config.json）──
 OPENAI_API_KEY=sk-...
 OPENAI_BASE_URL=https://api.openai.com/v1
 OPENAI_MODEL=gpt-4o-mini

package/README.md

@@ -5,6 +5,10 @@
 
 **RSSAny** 是一套自托管的订阅管线：列表 URL → **抓取与解析**（规则 / LLM）→ **正文提取**（自定义 / Readability / LLM）→ **upsert 去重** → 固定 **pipeline**（打标签、翻译等）→ 对外提供 `**/rss`** 等输出。
 
+## 界面预览
+
+![RSSAny Web 界面截图](images/ScreenShot_2026-04-10_153307_558.png)
+
 ---
 
 ## 功能概览
@@ -56,7 +60,7 @@ pnpm run webui:install
   ```bash
    cp .env.example .env
   ```
-2. 信源与全局配置：首次启动会在 **`~/.rssany/`**（Windows：`%USERPROFILE%\.rssany\`）下自动从包内示例生成 `sources.json`、`config.json`（若已存在则不会覆盖）。也可手动复制仓库里的 `sources.example.json`、`config.examples.json`。
+2. 信源与全局配置：首次启动会在 **`~/.rssany/`**（Windows：`%USERPROFILE%\.rssany\`）下自动从包内 **`init/`** 目录中的默认数据复制生成 `sources.json`、`config.json`（若已存在则不会覆盖）。也可手动复制仓库里的 `init/sources.json`、`init/config.json`。
 3. （可选）LLM：在 `.env` 中设置 `OPENAI_API_KEY`、`OPENAI_BASE_URL`、`OPENAI_MODEL` 等。
 
 ### 运行

package/app/plugins/builtin/rss.rssany.js

@@ -1,30 +1,95 @@
-// 内置 RSS/Atom/JSON Feed 插件：匹配 *rss*、*atom*、*.xml 等标准 Feed URL
+// 内置 RSS/Atom/JSON Feed：通过浏览器（Puppeteer）拉取 Feed URL，再用 rss-parser 解析；
+// 与站点插件一致走 Chrome，便于应对需浏览器环境或代理的场景；XML 使用 HTTP 响应原文（useHttpResponseBody）。
 
 const UA = "RssAny/1.0 (+https://github.com/joohw/rssany)";
 
-async function fetchFeed(url, ctx) {
-  const { deps } = ctx;
-  const proxyToUse = ctx.proxy ?? process.env.HTTP_PROXY ?? process.env.HTTPS_PROXY;
-  if (proxyToUse) {
-    const agent = new deps.HttpsProxyAgent(proxyToUse);
-    const parserWithProxy = new deps.RssParser({
-      timeout: 15_000,
-      headers: {
-        "User-Agent": UA,
-        Accept: "application/rss+xml,application/atom+xml,application/json,application/xml,text/xml,*/*",
-      },
-      requestOptions: { agent },
-    });
-    return parserWithProxy.parseURL(url);
+const IMAGE_TYPE_RE = /^image\//i;
+const IMAGE_EXT_IN_PATH_RE = /\.(jpg|jpeg|png|gif|webp|avif|svg)(\?|#|$)/i;
+
+function trimUrl(s) {
+  if (typeof s !== "string") return undefined;
+  const t = s.trim();
+  return t || undefined;
+}
+
+/** 从 rss-parser 条目上尽量取出配图 URL（入库用 imageUrl，与 Gateway 的 cover_img 对齐）。 */
+function extractItemImageUrl(item) {
+  const enc = item.enclosure;
+  if (enc && typeof enc.url === "string") {
+    const u = trimUrl(enc.url);
+    const t = typeof enc.type === "string" ? enc.type : "";
+    if (u && (IMAGE_TYPE_RE.test(t) || (!t && IMAGE_EXT_IN_PATH_RE.test(u)))) {
+      return u;
+    }
+  }
+
+  const itunesImg = item.itunes && typeof item.itunes.image === "string" ? item.itunes.image : undefined;
+  const fromItunes = trimUrl(itunesImg);
+  if (fromItunes) return fromItunes;
+
+  const thumbs = item.mediaThumbnail;
+  if (Array.isArray(thumbs) && thumbs[0]?.$) {
+    const u = trimUrl(thumbs[0].$.url ?? thumbs[0].$.href);
+    if (u) return u;
+  }
+
+  const mediaBlocks = item.mediaContent;
+  if (Array.isArray(mediaBlocks)) {
+    for (const block of mediaBlocks) {
+      const $ = block && block.$;
+      if (!$ || typeof $.url !== "string") continue;
+      const medium = $.medium;
+      const ctype = typeof $.type === "string" ? $.type : "";
+      if (medium === "image" || IMAGE_TYPE_RE.test(ctype)) {
+        const u = trimUrl($.url);
+        if (u) return u;
+      }
+    }
+  }
+
+  const atomLinks = item.atomLinks;
+  if (Array.isArray(atomLinks)) {
+    for (const l of atomLinks) {
+      const $ = l && l.$;
+      if (!$ || typeof $.href !== "string") continue;
+      const rel = String($.rel || "").toLowerCase();
+      const ctype = String($.type || "").toLowerCase();
+      if (rel === "enclosure" && ctype.startsWith("image/")) {
+        const u = trimUrl($.href);
+        if (u) return u;
+      }
+    }
   }
-  const parser = new deps.RssParser({
-    timeout: 15_000,
-    headers: {
-      "User-Agent": UA,
-      Accept: "application/rss+xml,application/atom+xml,application/json,application/xml,text/xml,*/*",
-    },
+
+  const fromHtml =
+    firstImgSrcFromHtml(item.content) ||
+    firstImgSrcFromHtml(item.summary) ||
+    firstImgSrcFromHtml(item["content:encoded"]) ||
+    firstImgSrcFromHtml(item.contentSnippet);
+  if (fromHtml && /^https?:\/\//i.test(fromHtml)) {
+    return fromHtml;
+  }
+
+  return undefined;
+}
+
+function firstImgSrcFromHtml(html) {
+  if (typeof html !== "string" || !html) return undefined;
+  const m = html.match(/<img[^>]+src\s*=\s*["']([^"']+)["']/i);
+  return m ? trimUrl(m[1]) : undefined;
+}
+
+async function fetchFeedXml(url, ctx) {
+  const fetchHtml = ctx.fetchHtml;
+  if (typeof fetchHtml !== "function") {
+    throw new Error("RSS 插件需要 ctx.fetchHtml（请通过 feeder / buildSourceContext 调用）");
+  }
+  const { html } = await fetchHtml(url, {
+    waitMs: 800,
+    purify: false,
+    useHttpResponseBody: true,
   });
-  return parser.parseURL(url);
+  return html;
 }
 
 export default {
@@ -35,7 +100,22 @@ export default {
   refreshInterval: "1h",
   async fetchItems(sourceId, ctx) {
     const { deps } = ctx;
-    const feed = await fetchFeed(sourceId, ctx);
+    const xml = await fetchFeedXml(sourceId, ctx);
+    const parser = new deps.RssParser({
+      timeout: 30_000,
+      headers: {
+        "User-Agent": UA,
+        Accept: "application/rss+xml,application/atom+xml,application/json,application/xml,text/xml,*/*",
+      },
+      customFields: {
+        item: [
+          ["media:thumbnail", "mediaThumbnail", { keepArray: true }],
+          ["media:content", "mediaContent", { keepArray: true }],
+          ["link", "atomLinks", { keepArray: true }],
+        ],
+      },
+    });
+    const feed = await parser.parseString(xml);
     return (feed.items ?? []).map((item) => {
       const link = item.link ?? item.guid ?? sourceId;
       const guid = item.guid ?? deps.createHash("sha256").update(link).digest("hex");
@@ -52,7 +132,8 @@ export default {
         typeof item.summary === "string" ? item.summary : typeof item.contentSnippet === "string" ? item.contentSnippet : undefined;
       const content =
         typeof item.content === "string" ? item.content : typeof item["content:encoded"] === "string" ? item["content:encoded"] : undefined;
-      return {
+      const imageUrl = extractItemImageUrl(item);
+      const base = {
         guid,
         title: item.title ?? "",
         link,
@@ -61,6 +142,8 @@ export default {
         summary,
         content,
       };
+      if (!imageUrl) return base;
+      return { ...base, imageUrl, cover_img: imageUrl };
     });
   },
 };

package/app/plugins/site.rssany.js

@@ -7,7 +7,7 @@
 
 export default {
   id: "__PLUGIN_ID__",
-  listUrlPattern: "https://example.com/{segment}",
+  listUrlPattern: __LIST_URL_PATTERN__,
   refreshInterval: "1day",
 
   /** sourceId 与订阅里 ref 一致；ctx 含 fetchHtml、extractItem、deps（parseHtml 等） */