@lobehub/chat 1.66.6 → 1.67.1

package/locales/vi-VN/models.json

@@ -467,9 +467,6 @@
   "anthropic.claude-3-5-sonnet-20241022-v2:0": {
     "description": "Claude 3.5 Sonnet nâng cao tiêu chuẩn ngành, hiệu suất vượt trội so với các mô hình đối thủ và Claude 3 Opus, thể hiện xuất sắc trong các đánh giá rộng rãi, đồng thời có tốc độ và chi phí tương đương với các mô hình tầm trung của chúng tôi."
   },
-  "anthropic.claude-3-7-sonnet-20250219-v1:0": {
-    "description": "Claude 3.7 Sonnet là mô hình AI mạnh nhất của Anthropic, với hiệu suất vượt trội so với các mô hình đối thủ và Claude 3 Opus, thể hiện xuất sắc trong nhiều đánh giá rộng rãi, đồng thời có tốc độ và chi phí tương đương với các mô hình tầm trung của chúng tôi."
-  },
   "anthropic.claude-3-haiku-20240307-v1:0": {
     "description": "Claude 3 Haiku là mô hình nhanh nhất và gọn nhẹ nhất của Anthropic, cung cấp tốc độ phản hồi gần như ngay lập tức. Nó có thể nhanh chóng trả lời các truy vấn và yêu cầu đơn giản. Khách hàng sẽ có thể xây dựng trải nghiệm AI liền mạch mô phỏng tương tác của con người. Claude 3 Haiku có thể xử lý hình ảnh và trả về đầu ra văn bản, với cửa sổ ngữ cảnh 200K."
   },
@@ -800,6 +797,9 @@
   "gemini-2.0-flash-001": {
     "description": "Gemini 2.0 Flash cung cấp các tính năng và cải tiến thế hệ tiếp theo, bao gồm tốc độ vượt trội, sử dụng công cụ bản địa, tạo đa phương tiện và cửa sổ ngữ cảnh 1M token."
   },
+  "gemini-2.0-flash-lite-001": {
+    "description": "Biến thể mô hình Gemini 2.0 Flash được tối ưu hóa cho hiệu quả chi phí và độ trễ thấp."
+  },
   "gemini-2.0-flash-lite-preview-02-05": {
     "description": "Một mô hình Gemini 2.0 Flash được tối ưu hóa cho hiệu quả chi phí và độ trễ thấp."
   },
@@ -1484,6 +1484,9 @@
   "qwen-max-latest": {
     "description": "Mô hình ngôn ngữ quy mô lớn Qwen với hàng trăm tỷ tham số, hỗ trợ đầu vào bằng tiếng Trung, tiếng Anh và nhiều ngôn ngữ khác, là mô hình API đứng sau phiên bản sản phẩm Qwen 2.5 hiện tại."
   },
+  "qwen-omni-turbo-latest": {
+    "description": "Mô hình Qwen-Omni hỗ trợ đầu vào từ nhiều loại dữ liệu khác nhau, bao gồm video, âm thanh, hình ảnh, văn bản, và xuất ra âm thanh và văn bản."
+  },
   "qwen-plus": {
     "description": "Mô hình ngôn ngữ quy mô lớn Qwen phiên bản nâng cao, hỗ trợ đầu vào bằng tiếng Trung, tiếng Anh và nhiều ngôn ngữ khác."
   },
@@ -1676,6 +1679,9 @@
   "us.anthropic.claude-3-5-sonnet-20241022-v2:0": {
     "description": "Claude 3.5 Sonnet nâng cao tiêu chuẩn ngành, hiệu suất vượt trội so với các mô hình cạnh tranh và Claude 3 Opus, thể hiện xuất sắc trong nhiều đánh giá, đồng thời có tốc độ và chi phí tương đương với các mô hình tầm trung của chúng tôi."
   },
+  "us.anthropic.claude-3-7-sonnet-20250219-v1:0": {
+    "description": "Claude 3.7 sonnet là mô hình thế hệ tiếp theo nhanh nhất của Anthropic. So với Claude 3 Haiku, Claude 3.7 Sonnet đã cải thiện ở nhiều kỹ năng và vượt qua mô hình lớn nhất thế hệ trước là Claude 3 Opus trong nhiều bài kiểm tra trí tuệ."
+  },
   "whisper-1": {
     "description": "Mô hình nhận diện giọng nói đa năng, hỗ trợ nhận diện giọng nói đa ngôn ngữ, dịch giọng nói và nhận diện ngôn ngữ."
   },

package/locales/vi-VN/plugin.json

@@ -140,6 +140,18 @@
       "close": "Xóa",
       "confirm": "Đã hoàn thành cấu hình và thử lại"
     },
+    "crawPages": {
+      "crawling": "Đang nhận diện liên kết",
+      "detail": {
+        "preview": "Xem trước",
+        "raw": "Văn bản gốc",
+        "tooLong": "Nội dung văn bản quá dài, ngữ cảnh cuộc trò chuyện chỉ giữ lại 10000 ký tự đầu tiên, phần vượt quá sẽ không được tính vào ngữ cảnh cuộc trò chuyện"
+      },
+      "meta": {
+        "crawler": "Chế độ thu thập",
+        "words": "Số ký tự"
+      }
+    },
     "searchxng": {
       "baseURL": "Nhập vào",
       "description": "Nhập URL của SearchXNG để bắt đầu tìm kiếm trực tuyến",

package/locales/zh-CN/models.json

@@ -467,9 +467,6 @@
   "anthropic.claude-3-5-sonnet-20241022-v2:0": {
     "description": "Claude 3.5 Sonnet 提升了行业标准，性能超过竞争对手模型和 Claude 3 Opus，在广泛的评估中表现出色，同时具有我们中等层级模型的速度和成本。"
   },
-  "anthropic.claude-3-7-sonnet-20250219-v1:0": {
-    "description": "Claude 3.7 sonnet 是 Anthropic 最快的下一代模型。与 Claude 3 Haiku 相比，Claude 3.7 Sonnet 在各项技能上都有所提升，并在许多智力基准测试中超越了上一代最大的模型 Claude 3 Opus。"
-  },
   "anthropic.claude-3-haiku-20240307-v1:0": {
     "description": "Claude 3 Haiku 是 Anthropic 最快、最紧凑的模型，提供近乎即时的响应速度。它可以快速回答简单的查询和请求。客户将能够构建模仿人类互动的无缝 AI 体验。Claude 3 Haiku 可以处理图像并返回文本输出，具有 200K 的上下文窗口。"
   },
@@ -800,6 +797,9 @@
   "gemini-2.0-flash-001": {
     "description": "Gemini 2.0 Flash 提供下一代功能和改进，包括卓越的速度、原生工具使用、多模态生成和1M令牌上下文窗口。"
   },
+  "gemini-2.0-flash-lite-001": {
+    "description": "Gemini 2.0 Flash 模型变体，针对成本效益和低延迟等目标进行了优化。"
+  },
   "gemini-2.0-flash-lite-preview-02-05": {
     "description": "一个 Gemini 2.0 Flash 模型，针对成本效益和低延迟等目标进行了优化。"
   },
@@ -1484,6 +1484,9 @@
   "qwen-max-latest": {
     "description": "通义千问千亿级别超大规模语言模型，支持中文、英文等不同语言输入，当前通义千问2.5产品版本背后的API模型。"
   },
+  "qwen-omni-turbo-latest": {
+    "description": "Qwen-Omni 系列模型支持输入多种模态的数据，包括视频、音频、图片、文本，并输出音频与文本。"
+  },
   "qwen-plus": {
     "description": "通义千问超大规模语言模型增强版，支持中文、英文等不同语言输入。"
   },
@@ -1676,6 +1679,9 @@
   "us.anthropic.claude-3-5-sonnet-20241022-v2:0": {
     "description": "Claude 3.5 Sonnet 提升了行业标准，性能超过竞争对手模型和 Claude 3 Opus，在广泛的评估中表现出色，同时具有我们中等层级模型的速度和成本。"
   },
+  "us.anthropic.claude-3-7-sonnet-20250219-v1:0": {
+    "description": "Claude 3.7 sonnet 是 Anthropic 最快的下一代模型。与 Claude 3 Haiku 相比，Claude 3.7 Sonnet 在各项技能上都有所提升，并在许多智力基准测试中超越了上一代最大的模型 Claude 3 Opus。"
+  },
   "whisper-1": {
     "description": "通用语音识别模型，支持多语言语音识别、语音翻译和语言识别"
   },

package/locales/zh-CN/plugin.json

@@ -140,6 +140,18 @@
       "close": "删除",
       "confirm": "已完成配置并重试"
     },
+    "crawPages": {
+      "crawling": "链接识别中",
+      "detail": {
+        "preview": "预览",
+        "raw": "原始文本",
+        "tooLong": "文本内容过长，对话上下文仅保留前 10000 字符，超过部分不计入会话上下文"
+      },
+      "meta": {
+        "crawler": "抓取模式",
+        "words": "字符数"
+      }
+    },
     "searchxng": {
       "baseURL": "请输入",
       "description": "请输入 SearchXNG 的网址，即可开始联网搜索",

package/locales/zh-TW/models.json

@@ -467,9 +467,6 @@
   "anthropic.claude-3-5-sonnet-20241022-v2:0": {
     "description": "Claude 3.5 Sonnet 提升了行業標準，性能超越競爭對手模型和 Claude 3 Opus，在廣泛的評估中表現出色，同時具備我們中等層級模型的速度和成本。"
   },
-  "anthropic.claude-3-7-sonnet-20250219-v1:0": {
-    "description": "Claude 3.7 Sonnet 提升了行業標準，性能超越競爭對手模型和 Claude 3 Opus，在廣泛的評估中表現出色，同時具備我們中等層級模型的速度和成本。"
-  },
   "anthropic.claude-3-haiku-20240307-v1:0": {
     "description": "Claude 3 Haiku是Anthropic最快、最緊湊的模型，提供近乎即時的響應速度。它可以快速回答簡單的查詢和請求。客戶將能夠構建模仿人類互動的無縫AI體驗。Claude 3 Haiku可以處理圖像並返回文本輸出，具有200K的上下文窗口。"
   },
@@ -800,6 +797,9 @@
   "gemini-2.0-flash-001": {
     "description": "Gemini 2.0 Flash 提供下一代功能和改進，包括卓越的速度、原生工具使用、多模態生成和1M令牌上下文窗口。"
   },
+  "gemini-2.0-flash-lite-001": {
+    "description": "Gemini 2.0 Flash 模型變體，針對成本效益和低延遲等目標進行了優化。"
+  },
   "gemini-2.0-flash-lite-preview-02-05": {
     "description": "一個 Gemini 2.0 Flash 模型，針對成本效益和低延遲等目標進行了優化。"
   },
@@ -1484,6 +1484,9 @@
   "qwen-max-latest": {
     "description": "通義千問千億級別超大規模語言模型，支持中文、英文等不同語言輸入，當前通義千問2.5產品版本背後的API模型。"
   },
+  "qwen-omni-turbo-latest": {
+    "description": "Qwen-Omni 系列模型支持輸入多種模態的數據，包括視頻、音頻、圖片、文本，並輸出音頻與文本。"
+  },
   "qwen-plus": {
     "description": "通義千問超大規模語言模型增強版，支持中文、英文等不同語言輸入。"
   },
@@ -1676,6 +1679,9 @@
   "us.anthropic.claude-3-5-sonnet-20241022-v2:0": {
     "description": "Claude 3.5 Sonnet 提升了行業標準，性能超越競爭對手模型和 Claude 3 Opus，在廣泛的評估中表現出色，同時具備我們中等層級模型的速度和成本。"
   },
+  "us.anthropic.claude-3-7-sonnet-20250219-v1:0": {
+    "description": "Claude 3.7 sonnet 是 Anthropic 最快速的下一代模型。與 Claude 3 Haiku 相比，Claude 3.7 Sonnet 在各項技能上都有所提升，並在許多智力基準測試中超越了上一代最大的模型 Claude 3 Opus。"
+  },
   "whisper-1": {
     "description": "通用語音識別模型，支持多語言語音識別、語音翻譯和語言識別"
   },

package/locales/zh-TW/plugin.json

@@ -140,6 +140,18 @@
       "close": "刪除",
       "confirm": "已完成配置並重試"
     },
+    "crawPages": {
+      "crawling": "連結識別中",
+      "detail": {
+        "preview": "預覽",
+        "raw": "原始文本",
+        "tooLong": "文本內容過長，對話上下文僅保留前 10000 字元，超過部分不計入會話上下文"
+      },
+      "meta": {
+        "crawler": "抓取模式",
+        "words": "字元數"
+      }
+    },
     "searchxng": {
       "baseURL": "請輸入",
       "description": "請輸入 SearchXNG 的網址，即可開始聯網搜索",

package/next.config.ts

@@ -111,6 +111,9 @@ const nextConfig: NextConfig = {
     },
   },
   output: buildWithDocker ? 'standalone' : undefined,
+  outputFileTracingIncludes: buildWithDocker
+    ? { '*': ['public/**/*', '.next/static/**/*'] }
+    : undefined,
   reactStrictMode: true,
   redirects: async () => [
     {

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@lobehub/chat",
-  "version": "1.66.6",
+  "version": "1.67.1",
   "description": "Lobe Chat - an open-source, high-performance chatbot framework that supports speech synthesis, multimodal, and extensible Function Call plugin system. Supports one-click free deployment of your private ChatGPT/LLM web application.",
   "keywords": [
     "framework",
@@ -25,6 +25,9 @@
   "license": "MIT",
   "author": "LobeHub <i@lobehub.com>",
   "sideEffects": false,
+  "workspaces": [
+    "packages/*"
+  ],
   "scripts": {
     "build": "next build",
     "build:analyze": "ANALYZE=true next build",
@@ -124,6 +127,7 @@
     "@icons-pack/react-simple-icons": "9.6.0",
     "@khmyznikov/pwa-install": "0.3.9",
     "@langchain/community": "^0.3.22",
+    "@lobechat/web-crawler": "workspace:*",
     "@lobehub/charts": "^1.12.0",
     "@lobehub/chat-plugin-sdk": "^1.32.4",
     "@lobehub/chat-plugins-gateway": "^1.9.0",

package/packages/web-crawler/README.md

@@ -0,0 +1,34 @@
+# @lobechat/web-crawler
+
+LobeChat 内置的网页抓取模块，用于从网页中提取结构化内容，并转换为 Markdown 格式。
+
+## 📝 简介
+
+`@lobechat/web-crawler` 是 LobeChat 项目的内部组件，专门负责网页内容的抓取和处理。它能够智能地从各种网页中提取有意义的内容，剔除广告、导航栏等干扰元素，并将结果转换为结构良好的 Markdown 文本。
+
+## 🔍 主要功能
+
+- **网页内容抓取**：支持从各类网站获取原始 HTML 内容
+- **智能内容提取**：使用 Mozilla 的 Readability 算法识别页面中的主要内容
+- **降级处理机制**：当标准抓取失败时，自动切换到 Browserless.io 服务进行渲染抓取（需要自行配置环境变量）
+- **Markdown 转换**：将提取的 HTML 内容转换为易于 AI 处理的 Markdown 格式
+
+## 🛠️ 技术实现
+
+该模块主要依赖以下技术：
+
+- **@mozilla/readability**：提供了强大的内容提取算法
+- **happy-dom**：轻量级的服务端 DOM 实现
+- **node-html-markdown**：高效的 HTML 到 Markdown 转换工具
+
+## 🤝 共建改进
+
+由于网页结构的多样性和复杂性，内容提取可能会遇到各种挑战。如果您发现某些网站的抓取效果不佳，欢迎通过以下方式参与改进：
+
+1. 提交具体的问题网址和期望的输出结果
+2. 分享您对特定网站类型的处理经验
+3. 提出针对性的算法或配置调整建议
+
+## 📌 注意事项
+
+这是 LobeHub 的内部模块（`"private": true`），不作为独立包发布使用。它专为 LobeChat 的特定需求设计，与其他系统组件紧密集成。

package/packages/web-crawler/package.json

@@ -0,0 +1,13 @@
+{
+  "name": "@lobechat/web-crawler",
+  "version": "1.0.0",
+  "private": true,
+  "main": "src/index.ts",
+  "types": "src/index.ts",
+  "dependencies": {
+    "@mozilla/readability": "^0.5.0",
+    "happy-dom": "^17.0.0",
+    "node-html-markdown": "^1.3.0",
+    "query-string": "^9.1.1"
+  }
+}

package/packages/web-crawler/src/crawImpl/browserless.ts

@@ -0,0 +1,62 @@
+import qs from 'query-string';
+
+import { CrawlImpl, CrawlSuccessResult } from '../type';
+import { htmlToMarkdown } from '../utils/htmlToMarkdown';
+
+const BASE_URL = process.env.BROWSERLESS_URL ?? 'https://chrome.browserless.io';
+const BROWSERLESS_TOKEN = process.env.BROWSERLESS_TOKEN;
+
+class BrowserlessInitError extends Error {
+  constructor() {
+    super('`BROWSERLESS_URL` or `BROWSERLESS_TOKEN` are required');
+    this.name = 'BrowserlessInitError';
+  }
+}
+
+export const browserless: CrawlImpl = async (url, { filterOptions }) => {
+  if (!process.env.BROWSERLESS_URL && !process.env.BROWSERLESS_TOKEN) {
+    throw new BrowserlessInitError();
+  }
+
+  const input = {
+    gotoOptions: { waitUntil: 'networkidle2' },
+    url,
+  };
+
+  try {
+    const res = await fetch(
+      qs.stringifyUrl({ query: { token: BROWSERLESS_TOKEN }, url: `${BASE_URL}/content` }),
+      {
+        body: JSON.stringify(input),
+        headers: {
+          'Content-Type': 'application/json',
+        },
+        method: 'POST',
+      },
+    );
+    const html = await res.text();
+
+    const result = htmlToMarkdown(html, { filterOptions, url });
+
+    if (
+      !!result.content &&
+      result.title &&
+      // Just a moment... 说明被 CF 拦截了
+      result.title.trim() !== 'Just a moment...'
+    ) {
+      return {
+        content: result.content,
+        contentType: 'text',
+        description: result?.excerpt,
+        length: result.length,
+        siteName: result?.siteName,
+        title: result?.title,
+        url,
+      } satisfies CrawlSuccessResult;
+    }
+  } catch (error) {
+    console.error(error);
+  }
+
+  return;
+};

package/packages/web-crawler/src/crawImpl/index.ts

@@ -0,0 +1,11 @@
+import { browserless } from './browserless';
+import { jina } from './jina';
+import { naive } from './naive';
+
+export const crawlImpls = {
+  browserless,
+  jina,
+  naive,
+};
+
+export type CrawlImplType = keyof typeof crawlImpls;

package/packages/web-crawler/src/crawImpl/jina.ts

@@ -0,0 +1,37 @@
+import { CrawlImpl } from '../type';
+
+export const jina: CrawlImpl<{ apiKey?: string }> = async (url, params) => {
+  const token = params.apiKey ?? process.env.JINA_API_KEY;
+
+  try {
+    const res = await fetch(`https://r.jina.ai/${url}`, {
+      headers: {
+        'Accept': 'application/json',
+        'Authorization': token ? `Bearer ${token}` : '',
+        'x-send-from': 'LobeChat Community',
+      },
+    });
+
+    if (res.ok) {
+      const json = await res.json();
+      if (json.code === 200) {
+        const result = json.data;
+        return {
+          content: result.content,
+          contentType: 'text',
+          description: result?.description,
+          length: result.content.length,
+          siteName: result?.siteName,
+          title: result?.title,
+          url: url,
+        };
+      }
+
+      throw json;
+    }
+  } catch (error) {
+    console.error(error);
+  }
+
+  return;
+};

package/packages/web-crawler/src/crawImpl/naive.ts

@@ -0,0 +1,84 @@
+import { CrawlImpl, CrawlSuccessResult } from '../type';
+import { NetworkConnectionError, PageNotFoundError } from '../utils/errorType';
+import { htmlToMarkdown } from '../utils/htmlToMarkdown';
+
+const mixinHeaders = {
+  // 接受的内容类型
+  'Accept':
+    'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7',
+  // 接受的编码方式
+  'Accept-Encoding': 'gzip, deflate, br',
+  // 接受的语言
+  'Accept-Language': 'en-US,en;q=0.9,zh;q=0.8',
+  // 缓存控制
+  'Cache-Control': 'max-age=0',
+  // 连接类型
+  'Connection': 'keep-alive',
+  // 表明请求来自哪个站点
+  'Referer': 'https://www.google.com/',
+  // 升级不安全请求
+  'Upgrade-Insecure-Requests': '1',
+  // 模拟真实浏览器的 User-Agent
+  'User-Agent':
+    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36',
+  // 防止跨站请求伪造
+  'sec-ch-ua': '"Google Chrome";v="121", "Not A(Brand";v="99", "Chromium";v="121"',
+  'sec-ch-ua-mobile': '?0',
+  'sec-ch-ua-platform': '"Windows"',
+  'sec-fetch-dest': 'document',
+  'sec-fetch-mode': 'navigate',
+  'sec-fetch-site': 'none',
+  'sec-fetch-user': '?1',
+};
+
+export const naive: CrawlImpl = async (url, { filterOptions }) => {
+  let res: Response;
+
+  try {
+    res = await fetch(url, { headers: mixinHeaders });
+  } catch (e) {
+    if ((e as Error).message === 'fetch failed') {
+      throw new NetworkConnectionError();
+    }
+    throw e;
+  }
+
+  if (res.status === 404) {
+    throw new PageNotFoundError(res.statusText);
+  }
+  const type = res.headers.get('content-type');
+
+  if (type?.includes('application/json')) {
+    const json = await res.json();
+    return {
+      content: JSON.stringify(json, null, 2),
+      contentType: 'json',
+      length: json.length,
+      url,
+    } satisfies CrawlSuccessResult;
+  }
+
+  try {
+    const html = await res.text();
+
+    const result = htmlToMarkdown(html, { filterOptions, url });
+
+    // if the content is not empty or blocked
+    // just return
+    if (!!result.content && result.title !== 'Just a moment...') {
+      return {
+        content: result.content,
+        contentType: 'text',
+        description: result?.excerpt,
+        length: result.length,
+        siteName: result?.siteName,
+        title: result?.title,
+        url,
+      } satisfies CrawlSuccessResult;
+    }
+  } catch (error) {
+    console.error(error);
+  }
+
+  return;
+};

package/packages/web-crawler/src/crawler.ts

@@ -0,0 +1,66 @@
+import { CrawlImplType, crawlImpls } from './crawImpl';
+import { CrawlUrlRule } from './type';
+import { crawUrlRules } from './urlRules';
+import { applyUrlRules } from './utils/appUrlRules';
+
+export class Crawler {
+  impls = ['naive', 'jina', 'browserless'] as const;
+
+  /**
+   * 爬取网页内容
+   * @param options 爬取选项
+   */
+  async crawl({
+    url,
+    impls,
+    filterOptions: userFilterOptions,
+  }: {
+    filterOptions?: CrawlUrlRule['filterOptions'];
+    impls?: string[];
+    url: string;
+  }) {
+    // 应用URL规则
+    const { transformedUrl, filterOptions: ruleFilterOptions } = applyUrlRules(url, crawUrlRules);
+
+    // 合并用户提供的过滤选项和规则中的过滤选项，用户选项优先
+    const mergedFilterOptions = {
+      ...ruleFilterOptions,
+      ...userFilterOptions,
+    };
+
+    let finalError: Error | undefined;
+
+    const finalImpls = impls
+      ? (impls.filter((impl) => Object.keys(crawlImpls).includes(impl)) as CrawlImplType[])
+      : this.impls;
+
+    //   按照内置的实现顺序依次尝试
+    for (const impl of finalImpls) {
+      try {
+        const res = await crawlImpls[impl](transformedUrl, { filterOptions: mergedFilterOptions });
+
+        if (res)
+          return {
+            crawler: impl,
+            data: res,
+            originalUrl: url,
+            transformedUrl: transformedUrl !== url ? transformedUrl : undefined,
+          };
+      } catch (error) {
+        console.error(error);
+        finalError = error as Error;
+      }
+    }
+
+    const errorType = finalError?.name || 'UnknownError';
+    const errorMessage = finalError?.message;
+
+    return {
+      content: `Fail to crawl the page. Error type: ${errorType}, error message: ${errorMessage}`,
+      errorMessage: errorMessage,
+      errorType,
+      originalUrl: url,
+      transformedUrl: transformedUrl !== url ? transformedUrl : undefined,
+    };
+  }
+}

package/packages/web-crawler/src/index.ts

@@ -0,0 +1,2 @@
+export { Crawler } from './crawler';
+export * from './type';

package/packages/web-crawler/src/type.ts

@@ -0,0 +1,42 @@
+export interface CrawlSuccessResult {
+  content?: string;
+  contentType: 'text' | 'json';
+  description?: string;
+  length?: number;
+  siteName?: string;
+  title?: string;
+  url: string;
+}
+
+export interface CrawlErrorResult {
+  content: string;
+  errorMessage: string;
+  url: string;
+}
+
+export interface FilterOptions {
+  // 是否启用Readability
+  enableReadability?: boolean;
+
+  pureText?: boolean;
+}
+
+type CrawlImplParams<T> = T & {
+  filterOptions: FilterOptions;
+};
+
+export type CrawlImpl<Params = object> = (
+  url: string,
+  params: CrawlImplParams<Params>,
+) => Promise<CrawlSuccessResult | undefined>;
+
+export interface CrawlUrlRule {
+  // 内容过滤配置（可选）
+  filterOptions?: FilterOptions;
+  // 是否使用正则表达式匹配（默认为glob模式）
+  isRegex?: boolean;
+  // URL匹配模式，支持glob模式或正则表达式
+  urlPattern: string;
+  // URL转换模板（可选），如果提供则进行URL转换
+  urlTransform?: string;
+}

package/packages/web-crawler/src/urlRules.ts

@@ -0,0 +1,34 @@
+import { CrawlUrlRule } from './type';
+
+export const crawUrlRules: CrawlUrlRule[] = [
+  // github 源码解析
+  {
+    filterOptions: {
+      enableReadability: false,
+    },
+    urlPattern: 'https://github.com/([^/]+)/([^/]+)/blob/([^/]+)/(.*)',
+    urlTransform: 'https://github.com/$1/$2/raw/refs/heads/$3/$4',
+  },
+  {
+    filterOptions: {
+      enableReadability: false,
+    },
+    // GitHub discussion
+    urlPattern: 'https://github.com/(.*)/discussions/(.*)',
+  },
+  {
+    // Medium 文章转换为 Scribe.rip
+    urlPattern: 'https://medium.com/(.*)',
+    urlTransform: 'https://scribe.rip/$1',
+  },
+
+  // 体育数据网站规则
+  {
+    filterOptions: {
+      // 对体育数据表格禁用 Readability 并且转换为纯文本
+      enableReadability: false,
+      pureText: true,
+    },
+    urlPattern: 'https://www.qiumiwu.com/standings/(.*)',
+  },
+];