md-fetch 1.0.0

package/README.zh-CN.md

@@ -0,0 +1,449 @@
+# md-fetch
+
+[English](./README.md)
+
+一套网页内容处理的命令行工具：
+- **md-fetch** - 将网页转换为干净的 Markdown 格式
+- **md-fetch-screen** - 对网页进行高质量截图
+
+## 作者
+
+由 **Claude Code** 和 **Claude Sonnet** 开发
+
+## 目录
+
+- [md-fetch - Markdown 转换器](#md-fetch---markdown-转换器)
+  - [特性](#特性)
+  - [安装](#安装)
+  - [使用](#使用)
+  - [CLI 选项](#cli-选项)
+- [md-fetch-screen - 截图工具](#md-fetch-screen---截图工具)
+  - [截图功能](#截图功能)
+  - [截图使用方法](#截图使用方法)
+  - [截图 CLI 选项](#截图-cli-选项)
+- [技术栈](#技术栈)
+- [开发](#开发)
+
+---
+
+# md-fetch - Markdown 转换器
+
+## 特性
+
+- 🚀 使用原生 fetch API 获取网页内容
+- 🌐 支持无头浏览器模式（Puppeteer）处理 SPA 页面
+- 📄 使用 Mozilla Readability 提取主要内容
+- ✨ 使用 Turndown 将 HTML 转换为 Markdown
+- 📋 **自动生成 YAML frontmatter**（包含标题、URL、作者、发布时间等元数据）
+- 🎯 支持自定义 CSS 选择器提取内容
+- 🔒 代理支持（HTTP_PROXY/HTTPS_PROXY 环境变量）
+- ⚙️ 可配置的超时、headers 等选项
+- 🔄 自动重试（3 次，指数退避）
+- 📦 最小化依赖
+
+## 安装
+
+### 开发环境安装
+
+```bash
+# 克隆项目（如果还没有）
+git clone <repo-url>
+cd md-fetch
+
+# 安装依赖
+pnpm install
+```
+
+### 全局安装
+
+**使用 pnpm:**
+
+```bash
+# 1. 构建项目
+pnpm build
+
+# 2. 配置 pnpm（首次使用需要）
+pnpm setup
+
+# 3. 全局链接（开发时推荐）
+pnpm link --global
+
+# 4. 现在可以在任何位置使用 md-fetch 命令
+md-fetch https://example.com
+```
+
+**使用 npm:**
+
+```bash
+# 1. 构建项目
+pnpm build
+
+# 2. 全局链接
+npm link
+
+# 3. 现在可以在任何位置使用 md-fetch 命令
+md-fetch https://example.com
+```
+
+### 修改代码后重新安装
+
+```bash
+# 1. 重新构建
+pnpm build
+
+# 2. 无需重新 link，构建后会自动生效
+md-fetch https://example.com
+```
+
+### 卸载
+
+**使用 pnpm:**
+
+```bash
+# 取消全局链接
+pnpm unlink --global
+
+# 可选：清理 pnpm 全局 store 中未被引用的包（释放磁盘空间）
+pnpm store prune
+```
+
+**使用 npm:**
+
+```bash
+# 取消全局链接
+npm unlink -g md-fetch
+```
+
+**删除项目:**
+
+```bash
+# 如果想完全删除项目，直接删除项目目录即可
+cd ..
+rm -rf md-fetch  # 或在 Windows 上使用 rmdir /s md-fetch
+```
+
+## 使用
+
+### 开发模式
+
+```bash
+# 基本使用 - 输出到 stdout
+pnpm dev -- https://example.com
+
+# 保存到文件
+pnpm dev -- https://example.com -o output.md
+
+# 浏览器模式（用于 SPA 页面）
+pnpm dev -- -b https://react-app.example.com
+
+# 禁用 readability，保留完整内容
+pnpm dev -- https://example.com -R
+# 或使用完整选项名
+pnpm dev -- https://example.com --no-readability
+
+# 使用自定义选择器
+pnpm dev -- https://example.com -s "article.main-content"
+
+# 处理多个 URL
+pnpm dev -- https://example.com https://httpbin.org/html
+
+# 自定义 HTTP headers
+pnpm dev -- https://example.com -H "Authorization: Bearer token"
+
+# 使用代理
+pnpm dev -- https://example.com --proxy http://proxy.example.com:8080
+
+# 详细日志
+pnpm dev -- https://example.com --verbose
+
+# 查看所有选项
+pnpm dev -- --help
+```
+
+### 生产使用（全局安装后）
+
+```bash
+# 基本使用
+md-fetch https://example.com
+
+# 保存到文件
+md-fetch https://example.com -o article.md
+
+# 浏览器模式
+md-fetch -b https://react-app.example.com
+
+# 使用代理（从环境变量）
+export HTTPS_PROXY=http://proxy.example.com:8080
+md-fetch https://example.com
+```
+
+## 输出示例
+
+md-fetch 会自动在 Markdown 文件开头添加 YAML frontmatter，包含页面的元数据：
+
+```markdown
+---
+title: "Example Domain"
+url: https://example.com
+description: "Example Domain description"
+author: "John Doe"
+siteName: "Example"
+publishedTime: 2024-01-01T00:00:00Z
+modifiedTime: 2024-01-15T10:30:00Z
+keywords:
+  - example
+  - demo
+  - test
+image: https://example.com/og-image.jpg
+lang: en
+---
+
+# Example Domain
+
+This domain is for use in illustrative examples...
+```
+
+### Frontmatter 字段说明
+
+- `title` - 页面标题（优先从 Readability、Open Graph、Twitter Cards 或 `<title>` 标签提取）
+- `url` - 原始 URL
+- `description` - 页面描述或摘要
+- `author` - 作者信息
+- `siteName` - 站点名称
+- `publishedTime` - 发布时间（ISO 8601 格式）
+- `modifiedTime` - 最后修改时间（ISO 8601 格式）
+- `keywords` - 关键词数组
+- `image` - 页面主图片（Open Graph 或 Twitter Cards）
+- `lang` - 页面语言代码
+
+## CLI 选项
+
+```
+Usage: md-fetch <urls...> [options]
+
+Arguments:
+  urls                         URLs to convert to Markdown
+
+Options:
+  -V, --version                output the version number
+  -o, --output <file>          Output to file instead of stdout
+  -b, --browser                Use headless browser mode (for SPA pages)
+  --browser-path <path>        Custom Chrome/Chromium executable path
+  -R, --no-readability         Disable readability, keep full HTML content
+  -s, --selector <selector>    Custom CSS selector to extract content
+  -H, --header <header>        Custom HTTP header (can be repeated)
+  --proxy <url>                Proxy server URL (also reads HTTP_PROXY/HTTPS_PROXY env vars)
+  -t, --timeout <ms>           Request timeout in milliseconds (default: 30000)
+  --user-agent <string>        Custom user agent (default: "md-fetch/1.0.0")
+  --wait-until <event>         Browser wait condition (load|domcontentloaded|networkidle0|networkidle2)
+  --verbose                    Enable verbose logging
+  -h, --help                   display help for command
+```
+
+## 技术栈
+
+- **TypeScript** - 类型安全
+- **Node.js ≥18** - 使用原生 fetch API
+- **ES 模块** - 现代 JavaScript
+- **Commander** - CLI 参数解析
+- **Mozilla Readability** - 智能内容提取
+- **Turndown** - HTML 转 Markdown
+- **JSDOM** - DOM 解析
+- **Puppeteer-core** - 无头浏览器支持
+- **Undici** - 代理支持
+
+## 开发
+
+```bash
+# 安装依赖
+pnpm install
+
+# 开发模式
+pnpm dev -- <url>
+
+# 构建
+pnpm build
+
+# 运行测试
+pnpm test
+```
+
+## 工作原理
+
+1. **Fetch** - 使用原生 fetch 或 Puppeteer 无头浏览器获取 HTML 内容
+2. **Extract** - 使用 Readability 或自定义选择器提取主要内容，同时提取页面元数据
+3. **Convert** - 使用 Turndown 转换为 Markdown
+4. **Generate Frontmatter** - 从提取的元数据生成 YAML frontmatter
+5. **Output** - 将 frontmatter 和 Markdown 内容输出到 stdout 或保存到文件
+
+## 代理支持
+
+md-fetch 自动从环境变量读取代理配置：
+
+```bash
+# 设置代理
+export HTTP_PROXY=http://proxy.example.com:8080
+export HTTPS_PROXY=http://proxy.example.com:8080
+
+# 排除某些域名
+export NO_PROXY=localhost,127.0.0.1,.example.com
+
+# 或通过命令行参数
+md-fetch https://example.com --proxy http://proxy.example.com:8080
+```
+
+---
+
+# md-fetch-screen - 截图工具
+
+## 截图功能
+
+- 📸 对网页进行高质量截图
+- 🖥️ 全页截图或仅视口截图模式
+- 📐 可自定义视口尺寸（宽度/高度）
+- ✨ 支持设备像素比例，可生成高清截图（Retina 显示屏）
+- 🎨 多种图片格式（PNG、JPEG、WebP）
+- 🎯 使用 CSS 选择器截取特定元素
+- 🙈 隐藏不需要的元素（广告、弹窗等）
+- ⏱️ 可配置截图前延迟
+- 🔒 代理支持
+- 🌐 使用 Puppeteer 的无头浏览器模式
+- 📁 从 URL 和时间戳自动生成文件名
+- 🔄 批量截图多个 URL
+
+## 截图使用方法
+
+### 基本用法
+
+```bash
+# 基本截图（全页，标准分辨率）
+md-fetch-screen https://example.com
+
+# 仅视口截图，自定义尺寸
+md-fetch-screen https://example.com --viewport -W 1440 -H 900
+
+# 高清截图（2倍像素比例，适合 Retina 显示屏）
+md-fetch-screen https://example.com --scale 2
+
+# 带详细日志的截图
+md-fetch-screen https://example.com --verbose
+```
+
+### 高级用法
+
+```bash
+# 截取特定元素
+md-fetch-screen https://example.com --selector "#main-content"
+
+# 隐藏广告和弹窗
+md-fetch-screen https://example.com --hide ".ad,.popup,.cookie-banner"
+
+# JPEG 格式，自定义质量
+md-fetch-screen https://example.com --format jpeg --quality 85
+
+# 保存到指定目录
+md-fetch-screen https://example.com --output ./screenshots
+
+# 等待页面加载完成后延迟 2 秒再截图
+md-fetch-screen https://example.com --wait-until networkidle0 --delay 2000
+
+# 批量截图多个 URL
+md-fetch-screen https://site1.com https://site2.com https://site3.com
+```
+
+### 理解宽度、高度和像素比例参数
+
+**全页模式（默认）：**
+- 宽度/高度控制浏览器视口大小
+- 截图会捕获整个页面内容
+- 最终图片尺寸取决于页面的实际高度
+
+```bash
+# 全页截图，视口宽度 1920px
+md-fetch-screen https://example.com -W 1920 -H 1080
+```
+
+**视口模式：**
+- 宽度/高度直接控制截图尺寸
+- 只捕获视口内可见的内容
+
+```bash
+# 精确 1440x900 的截图
+md-fetch-screen https://example.com --viewport -W 1440 -H 900
+```
+
+**像素比例（设备像素比）：**
+- `--scale 1`（默认）：标准分辨率
+  - 视口 1920x1080 → 图片 1920x1080 像素
+- `--scale 2`：高清（Retina）
+  - 视口 1920x1080 → 图片 3840x2160 像素
+- `--scale 3`：超高清
+  - 视口 1920x1080 → 图片 5760x3240 像素
+
+```bash
+# 高质量 Retina 截图
+md-fetch-screen https://example.com --scale 2
+
+# 视口模式 + 2倍像素比例 = 2880x1800 最终图片
+md-fetch-screen https://example.com --viewport -W 1440 -H 900 --scale 2
+```
+
+## 截图 CLI 选项
+
+```
+用法: md-fetch-screen [options] <urls...>
+
+参数:
+  urls                   要截图的 URL
+
+选项:
+  -V, --version          输出版本号
+
+  视口和尺寸:
+  -f, --full-page        全页截图（默认）
+  --viewport             仅视口截图
+  -W, --width <pixels>   视口宽度（像素）（默认：1920）
+  -H, --height <pixels>  视口高度（像素）（默认：1080）
+  --scale <number>       设备像素比例，用于高清截图（1/2/3，默认：1）
+
+  输出:
+  --output <dir>         输出目录（默认："."）
+  --format <type>        图片格式：png|jpeg|webp（默认："png"）
+  --quality <number>     JPEG/WebP 质量 0-100（默认：90）
+
+  浏览器:
+  --browser-path <path>  自定义 Chrome/Chromium 可执行文件路径
+  --wait-until <event>   等待条件：load|domcontentloaded|networkidle0|networkidle2
+  --timeout <ms>         超时时间（毫秒）（默认：30000）
+  --user-agent <string>  自定义 user agent
+  --proxy <url>          代理服务器 URL
+
+  内容:
+  --delay <ms>           截图前延迟时间（毫秒）（默认：0）
+  --selector <css>       CSS 选择器，用于截取特定元素
+  --hide <selectors>     要隐藏的 CSS 选择器（逗号分隔）
+
+  其他:
+  --verbose              启用详细日志
+  -h, --help             显示帮助信息
+```
+
+### 文件名格式
+
+截图会自动使用以下格式命名：
+```
+<域名_路径_前50字符>_<时间戳>.png
+```
+
+示例：
+- `example.com_20251229153045.png`
+- `github.com_user_repo_issues_123_20251229153045.png`
+
+文件名包含：
+- 域名和路径（最多 50 个字符，已进行文件系统安全化处理）
+- 时间戳格式：`YYYYMMDDHHmmss`
+- 基于格式的文件扩展名
+
+## 许可
+
+MIT

package/dist/cli.d.ts

@@ -0,0 +1,27 @@
+export declare class CLI {
+    private program;
+    private processor;
+    constructor();
+    private setupCommands;
+    /**
+     * Collect multiple header options
+     */
+    private collectHeaders;
+    /**
+     * Parse headers from array of strings like "Key: Value"
+     */
+    private parseHeaders;
+    /**
+     * Main handler for the fetch command
+     */
+    private handleFetch;
+    /**
+     * Write content to file
+     */
+    private writeToFile;
+    /**
+     * Run the CLI
+     */
+    run(argv: string[]): Promise<void>;
+}
+//# sourceMappingURL=cli.d.ts.map

package/dist/cli.d.ts.map

@@ -0,0 +1 @@
+{"version":3,"file":"cli.d.ts","sourceRoot":"","sources":["../src/cli.ts"],"names":[],"mappings":"AAOA,qBAAa,GAAG;IACd,OAAO,CAAC,OAAO,CAAU;IACzB,OAAO,CAAC,SAAS,CAAmB;;IAQpC,OAAO,CAAC,aAAa;IAyBrB;;OAEG;IACH,OAAO,CAAC,cAAc;IAItB;;OAEG;IACH,OAAO,CAAC,YAAY;IAkBpB;;OAEG;YACW,WAAW;IAyEzB;;OAEG;YACW,WAAW;IAazB;;OAEG;IACG,GAAG,CAAC,IAAI,EAAE,MAAM,EAAE,GAAG,OAAO,CAAC,IAAI,CAAC;CAGzC"}

package/dist/cli.js

@@ -0,0 +1,158 @@
+import { Command } from 'commander';
+import { ContentProcessor } from './core/processor.js';
+import { DEFAULT_TIMEOUT, DEFAULT_USER_AGENT } from './constants.js';
+import { writeFile, mkdir } from 'fs/promises';
+import { dirname } from 'path';
+export class CLI {
+    program;
+    processor;
+    constructor() {
+        this.program = new Command();
+        this.processor = new ContentProcessor();
+        this.setupCommands();
+    }
+    setupCommands() {
+        this.program
+            .name('md-fetch')
+            .description('Convert web pages to clean Markdown using fetch, readability, and turndown')
+            .version('1.0.0')
+            .argument('<urls...>', 'URLs to convert to Markdown')
+            .option('-o, --output <file>', 'Output to file instead of stdout')
+            .option('-b, --browser', 'Use headless browser mode (for SPA pages)')
+            .option('--browser-path <path>', 'Custom Chrome/Chromium executable path')
+            .option('-R, --no-readability', 'Disable readability, keep full HTML content')
+            .option('-s, --selector <selector>', 'Custom CSS selector to extract content')
+            .option('-f, --file <path>', 'Read URLs from file (one per line) - not yet implemented')
+            .option('-H, --header <header>', 'Custom HTTP header (can be repeated)', this.collectHeaders, [])
+            .option('--proxy <url>', 'Proxy server URL (also reads HTTP_PROXY/HTTPS_PROXY env vars)')
+            .option('-t, --timeout <ms>', 'Request timeout in milliseconds', parseInt, DEFAULT_TIMEOUT)
+            .option('--config <path>', 'Custom config file path - not yet implemented')
+            .option('--user-agent <string>', 'Custom user agent', DEFAULT_USER_AGENT)
+            .option('--wait-until <event>', 'Browser wait condition (load|domcontentloaded|networkidle0|networkidle2)')
+            .option('--concurrent <num>', 'Concurrent requests for batch mode', parseInt, 3)
+            .option('--verbose', 'Enable verbose logging', false)
+            .action(async (urls, options) => {
+            await this.handleFetch(urls, options);
+        });
+    }
+    /**
+     * Collect multiple header options
+     */
+    collectHeaders(value, previous) {
+        return previous.concat([value]);
+    }
+    /**
+     * Parse headers from array of strings like "Key: Value"
+     */
+    parseHeaders(headerStrings) {
+        const headers = {};
+        for (const header of headerStrings) {
+            const colonIndex = header.indexOf(':');
+            if (colonIndex === -1) {
+                console.warn(`Warning: Invalid header format "${header}", expected "Key: Value"`);
+                continue;
+            }
+            const key = header.slice(0, colonIndex).trim();
+            const value = header.slice(colonIndex + 1).trim();
+            headers[key] = value;
+        }
+        return headers;
+    }
+    /**
+     * Main handler for the fetch command
+     */
+    async handleFetch(urls, options) {
+        try {
+            // Build process options
+            const processOptions = {
+                useBrowser: options.browser || false,
+                useReadability: options.readability !== false, // default true
+                selector: options.selector,
+                fetchOptions: {
+                    timeout: options.timeout || DEFAULT_TIMEOUT,
+                    userAgent: options.userAgent || DEFAULT_USER_AGENT,
+                    headers: this.parseHeaders(options.header || []),
+                    proxy: options.proxy
+                },
+                browserOptions: options.browser ? {
+                    executablePath: options.browserPath,
+                    waitUntil: options.waitUntil,
+                    timeout: options.timeout || DEFAULT_TIMEOUT,
+                    userAgent: options.userAgent || DEFAULT_USER_AGENT,
+                    proxy: options.proxy
+                } : undefined,
+                verbose: options.verbose || false
+            };
+            // Process URLs
+            let markdown;
+            if (urls.length === 1) {
+                // Single URL
+                markdown = await this.processor.process(urls[0], processOptions);
+            }
+            else {
+                // Multiple URLs (batch mode)
+                const results = await this.processor.processBatch(urls, processOptions);
+                // Combine results
+                markdown = results
+                    .map((result, index) => {
+                    if (result.success) {
+                        const separator = index === 0 ? '' : '\n\n---\n\n';
+                        return `${separator}<!-- Source: ${result.url} -->\n\n${result.markdown}`;
+                    }
+                    else {
+                        return `<!-- Error processing ${result.url}: ${result.error?.message} -->`;
+                    }
+                })
+                    .join('\n');
+                // Report errors
+                const errors = results.filter(r => !r.success);
+                if (errors.length > 0) {
+                    console.error(`\nWarning: ${errors.length} of ${results.length} URLs failed to process:`);
+                    errors.forEach(e => {
+                        console.error(`  - ${e.url}: ${e.error?.message}`);
+                    });
+                }
+            }
+            // Output
+            if (options.output) {
+                await this.writeToFile(options.output, markdown);
+                if (options.verbose) {
+                    console.log(`\nOutput written to: ${options.output}`);
+                }
+            }
+            else {
+                console.log(markdown);
+            }
+        }
+        catch (error) {
+            console.error('Error:', error.message);
+            process.exit(1);
+        }
+        finally {
+            // Cleanup resources (close browser if opened)
+            await this.processor.cleanup();
+        }
+    }
+    /**
+     * Write content to file
+     */
+    async writeToFile(filepath, content) {
+        try {
+            // Ensure directory exists
+            const dir = dirname(filepath);
+            await mkdir(dir, { recursive: true });
+            // Write file
+            await writeFile(filepath, content, 'utf-8');
+        }
+        catch (error) {
+            throw new Error(`Failed to write to file ${filepath}: ${error.message}`);
+        }
+    }
+    /**
+     * Run the CLI
+     */
+    async run(argv) {
+        await this.program.parseAsync(argv);
+    }
+}
+//# sourceMappingURL=cli.js.map

package/dist/cli.js.map

@@ -0,0 +1 @@
+{"version":3,"file":"cli.js","sourceRoot":"","sources":["../src/cli.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,OAAO,EAAE,MAAM,WAAW,CAAC;AACpC,OAAO,EAAE,gBAAgB,EAAE,MAAM,qBAAqB,CAAC;AAEvD,OAAO,EAAE,eAAe,EAAE,kBAAkB,EAAE,MAAM,gBAAgB,CAAC;AACrE,OAAO,EAAE,SAAS,EAAE,KAAK,EAAE,MAAM,aAAa,CAAC;AAC/C,OAAO,EAAE,OAAO,EAAE,MAAM,MAAM,CAAC;AAE/B,MAAM,OAAO,GAAG;IACN,OAAO,CAAU;IACjB,SAAS,CAAmB;IAEpC;QACE,IAAI,CAAC,OAAO,GAAG,IAAI,OAAO,EAAE,CAAC;QAC7B,IAAI,CAAC,SAAS,GAAG,IAAI,gBAAgB,EAAE,CAAC;QACxC,IAAI,CAAC,aAAa,EAAE,CAAC;IACvB,CAAC;IAEO,aAAa;QACnB,IAAI,CAAC,OAAO;aACT,IAAI,CAAC,UAAU,CAAC;aAChB,WAAW,CAAC,4EAA4E,CAAC;aACzF,OAAO,CAAC,OAAO,CAAC;aAChB,QAAQ,CAAC,WAAW,EAAE,6BAA6B,CAAC;aACpD,MAAM,CAAC,qBAAqB,EAAE,kCAAkC,CAAC;aACjE,MAAM,CAAC,eAAe,EAAE,2CAA2C,CAAC;aACpE,MAAM,CAAC,uBAAuB,EAAE,wCAAwC,CAAC;aACzE,MAAM,CAAC,sBAAsB,EAAE,6CAA6C,CAAC;aAC7E,MAAM,CAAC,2BAA2B,EAAE,wCAAwC,CAAC;aAC7E,MAAM,CAAC,mBAAmB,EAAE,0DAA0D,CAAC;aACvF,MAAM,CAAC,uBAAuB,EAAE,sCAAsC,EAAE,IAAI,CAAC,cAAc,EAAE,EAAE,CAAC;aAChG,MAAM,CAAC,eAAe,EAAE,+DAA+D,CAAC;aACxF,MAAM,CAAC,oBAAoB,EAAE,iCAAiC,EAAE,QAAQ,EAAE,eAAe,CAAC;aAC1F,MAAM,CAAC,iBAAiB,EAAE,+CAA+C,CAAC;aAC1E,MAAM,CAAC,uBAAuB,EAAE,mBAAmB,EAAE,kBAAkB,CAAC;aACxE,MAAM,CAAC,sBAAsB,EAAE,0EAA0E,CAAC;aAC1G,MAAM,CAAC,oBAAoB,EAAE,oCAAoC,EAAE,QAAQ,EAAE,CAAC,CAAC;aAC/E,MAAM,CAAC,WAAW,EAAE,wBAAwB,EAAE,KAAK,CAAC;aACpD,MAAM,CAAC,KAAK,EAAE,IAAc,EAAE,OAAmB,EAAE,EAAE;YACpD,MAAM,IAAI,CAAC,WAAW,CAAC,IAAI,EAAE,OAAO,CAAC,CAAC;QACxC,CAAC,CAAC,CAAC;IACP,CAAC;IAED;;OAEG;IACK,cAAc,CAAC,KAAa,EAAE,QAAkB;QACtD,OAAO,QAAQ,CAAC,MAAM,CAAC,CAAC,KAAK,CAAC,CAAC,CAAC;IAClC,CAAC;IAED;;OAEG;IACK,YAAY,CAAC,aAAuB;QAC1C,MAAM,OAAO,GAA2B,EAAE,CAAC;QAE3C,KAAK,MAAM,MAAM,IAAI,aAAa,EAAE,CAAC;YACnC,MAAM,UAAU,GAAG,MAAM,CAAC,OAAO,CAAC,GAAG,CAAC,CAAC;YACvC,IAAI,UAAU,KAAK,CAAC,CAAC,EAAE,CAAC;gBACtB,OAAO,CAAC,IAAI,CAAC,mCAAmC,MAAM,0BAA0B,CAAC,CAAC;gBAClF,SAAS;YACX,CAAC;YAED,MAAM,GAAG,GAAG,MAAM,CAAC,KAAK,CAAC,CAAC,EAAE,UAAU,CAAC,CAAC,IAAI,EAAE,CAAC;YAC/C,MAAM,KAAK,GAAG,MAAM,CAAC,KAAK,CAAC,UAAU,GAAG,CAAC,CAAC,CAAC,IAAI,EAAE,CAAC;YAClD,OAAO,CAAC,GAAG,CAAC,GAAG,KAAK,CAAC;QACvB,CAAC;QAED,OAAO,OAAO,CAAC;IACjB,CAAC;IAED;;OAEG;IACK,KAAK,CAAC,WAAW,CAAC,IAAc,EAAE,OAAmB;QAC3D,IAAI,CAAC;YACH,wBAAwB;YACxB,MAAM,cAAc,GAAmB;gBACrC,UAAU,EAAE,OAAO,CAAC,OAAO,IAAI,KAAK;gBACpC,cAAc,EAAE,OAAO,CAAC,WAAW,KAAK,KAAK,EAAE,eAAe;gBAC9D,QAAQ,EAAE,OAAO,CAAC,QAAQ;gBAC1B,YAAY,EAAE;oBACZ,OAAO,EAAE,OAAO,CAAC,OAAO,IAAI,eAAe;oBAC3C,SAAS,EAAE,OAAO,CAAC,SAAS,IAAI,kBAAkB;oBAClD,OAAO,EAAE,IAAI,CAAC,YAAY,CAAC,OAAO,CAAC,MAAM,IAAI,EAAE,CAAC;oBAChD,KAAK,EAAE,OAAO,CAAC,KAAK;iBACrB;gBACD,cAAc,EAAE,OAAO,CAAC,OAAO,CAAC,CAAC,CAAC;oBAChC,cAAc,EAAE,OAAO,CAAC,WAAW;oBACnC,SAAS,EAAE,OAAO,CAAC,SAAgB;oBACnC,OAAO,EAAE,OAAO,CAAC,OAAO,IAAI,eAAe;oBAC3C,SAAS,EAAE,OAAO,CAAC,SAAS,IAAI,kBAAkB;oBAClD,KAAK,EAAE,OAAO,CAAC,KAAK;iBACrB,CAAC,CAAC,CAAC,SAAS;gBACb,OAAO,EAAE,OAAO,CAAC,OAAO,IAAI,KAAK;aAClC,CAAC;YAEF,eAAe;YACf,IAAI,QAAgB,CAAC;YAErB,IAAI,IAAI,CAAC,MAAM,KAAK,CAAC,EAAE,CAAC;gBACtB,aAAa;gBACb,QAAQ,GAAG,MAAM,IAAI,CAAC,SAAS,CAAC,OAAO,CAAC,IAAI,CAAC,CAAC,CAAC,EAAE,cAAc,CAAC,CAAC;YACnE,CAAC;iBAAM,CAAC;gBACN,6BAA6B;gBAC7B,MAAM,OAAO,GAAG,MAAM,IAAI,CAAC,SAAS,CAAC,YAAY,CAAC,IAAI,EAAE,cAAc,CAAC,CAAC;gBAExE,kBAAkB;gBAClB,QAAQ,GAAG,OAAO;qBACf,GAAG,CAAC,CAAC,MAAM,EAAE,KAAK,EAAE,EAAE;oBACrB,IAAI,MAAM,CAAC,OAAO,EAAE,CAAC;wBACnB,MAAM,SAAS,GAAG,KAAK,KAAK,CAAC,CAAC,CAAC,CAAC,EAAE,CAAC,CAAC,CAAC,aAAa,CAAC;wBACnD,OAAO,GAAG,SAAS,gBAAgB,MAAM,CAAC,GAAG,WAAW,MAAM,CAAC,QAAQ,EAAE,CAAC;oBAC5E,CAAC;yBAAM,CAAC;wBACN,OAAO,yBAAyB,MAAM,CAAC,GAAG,KAAK,MAAM,CAAC,KAAK,EAAE,OAAO,MAAM,CAAC;oBAC7E,CAAC;gBACH,CAAC,CAAC;qBACD,IAAI,CAAC,IAAI,CAAC,CAAC;gBAEd,gBAAgB;gBAChB,MAAM,MAAM,GAAG,OAAO,CAAC,MAAM,CAAC,CAAC,CAAC,EAAE,CAAC,CAAC,CAAC,CAAC,OAAO,CAAC,CAAC;gBAC/C,IAAI,MAAM,CAAC,MAAM,GAAG,CAAC,EAAE,CAAC;oBACtB,OAAO,CAAC,KAAK,CAAC,cAAc,MAAM,CAAC,MAAM,OAAO,OAAO,CAAC,MAAM,0BAA0B,CAAC,CAAC;oBAC1F,MAAM,CAAC,OAAO,CAAC,CAAC,CAAC,EAAE;wBACjB,OAAO,CAAC,KAAK,CAAC,OAAO,CAAC,CAAC,GAAG,KAAK,CAAC,CAAC,KAAK,EAAE,OAAO,EAAE,CAAC,CAAC;oBACrD,CAAC,CAAC,CAAC;gBACL,CAAC;YACH,CAAC;YAED,SAAS;YACT,IAAI,OAAO,CAAC,MAAM,EAAE,CAAC;gBACnB,MAAM,IAAI,CAAC,WAAW,CAAC,OAAO,CAAC,MAAM,EAAE,QAAQ,CAAC,CAAC;gBACjD,IAAI,OAAO,CAAC,OAAO,EAAE,CAAC;oBACpB,OAAO,CAAC,GAAG,CAAC,wBAAwB,OAAO,CAAC,MAAM,EAAE,CAAC,CAAC;gBACxD,CAAC;YACH,CAAC;iBAAM,CAAC;gBACN,OAAO,CAAC,GAAG,CAAC,QAAQ,CAAC,CAAC;YACxB,CAAC;QACH,CAAC;QAAC,OAAO,KAAK,EAAE,CAAC;YACf,OAAO,CAAC,KAAK,CAAC,QAAQ,EAAG,KAAe,CAAC,OAAO,CAAC,CAAC;YAClD,OAAO,CAAC,IAAI,CAAC,CAAC,CAAC,CAAC;QAClB,CAAC;gBAAS,CAAC;YACT,8CAA8C;YAC9C,MAAM,IAAI,CAAC,SAAS,CAAC,OAAO,EAAE,CAAC;QACjC,CAAC;IACH,CAAC;IAED;;OAEG;IACK,KAAK,CAAC,WAAW,CAAC,QAAgB,EAAE,OAAe;QACzD,IAAI,CAAC;YACH,0BAA0B;YAC1B,MAAM,GAAG,GAAG,OAAO,CAAC,QAAQ,CAAC,CAAC;YAC9B,MAAM,KAAK,CAAC,GAAG,EAAE,EAAE,SAAS,EAAE,IAAI,EAAE,CAAC,CAAC;YAEtC,aAAa;YACb,MAAM,SAAS,CAAC,QAAQ,EAAE,OAAO,EAAE,OAAO,CAAC,CAAC;QAC9C,CAAC;QAAC,OAAO,KAAK,EAAE,CAAC;YACf,MAAM,IAAI,KAAK,CAAC,2BAA2B,QAAQ,KAAM,KAAe,CAAC,OAAO,EAAE,CAAC,CAAC;QACtF,CAAC;IACH,CAAC;IAED;;OAEG;IACH,KAAK,CAAC,GAAG,CAAC,IAAc;QACtB,MAAM,IAAI,CAAC,OAAO,CAAC,UAAU,CAAC,IAAI,CAAC,CAAC;IACtC,CAAC;CACF"}

package/dist/constants.d.ts

@@ -0,0 +1,9 @@
+export declare const DEFAULT_TIMEOUT = 30000;
+export declare const DEFAULT_CONCURRENT = 3;
+export declare const DEFAULT_USER_AGENT = "md-fetch/1.0.0";
+export declare const DEFAULT_WAIT_UNTIL: "networkidle2";
+export declare const WAIT_UNTIL_OPTIONS: readonly ["load", "domcontentloaded", "networkidle0", "networkidle2"];
+export declare const CONFIG_FILE_NAMES: readonly [".md-fetchrc", ".md-fetchrc.json", ".md-fetchrc.yaml", ".md-fetchrc.yml", "md-fetch.config.js"];
+export declare const RETRY_ATTEMPTS = 3;
+export declare const RETRY_DELAY = 1000;
+//# sourceMappingURL=constants.d.ts.map

package/dist/constants.d.ts.map

@@ -0,0 +1 @@
+{"version":3,"file":"constants.d.ts","sourceRoot":"","sources":["../src/constants.ts"],"names":[],"mappings":"AAAA,eAAO,MAAM,eAAe,QAAQ,CAAC;AACrC,eAAO,MAAM,kBAAkB,IAAI,CAAC;AACpC,eAAO,MAAM,kBAAkB,mBAAmB,CAAC;AACnD,eAAO,MAAM,kBAAkB,EAAG,cAAuB,CAAC;AAE1D,eAAO,MAAM,kBAAkB,uEAAwE,CAAC;AAExG,eAAO,MAAM,iBAAiB,2GAMpB,CAAC;AAEX,eAAO,MAAM,cAAc,IAAI,CAAC;AAChC,eAAO,MAAM,WAAW,OAAO,CAAC"}

package/dist/constants.js

@@ -0,0 +1,15 @@
+export const DEFAULT_TIMEOUT = 30000;
+export const DEFAULT_CONCURRENT = 3;
+export const DEFAULT_USER_AGENT = 'md-fetch/1.0.0';
+export const DEFAULT_WAIT_UNTIL = 'networkidle2';
+export const WAIT_UNTIL_OPTIONS = ['load', 'domcontentloaded', 'networkidle0', 'networkidle2'];
+export const CONFIG_FILE_NAMES = [
+    '.md-fetchrc',
+    '.md-fetchrc.json',
+    '.md-fetchrc.yaml',
+    '.md-fetchrc.yml',
+    'md-fetch.config.js'
+];
+export const RETRY_ATTEMPTS = 3;
+export const RETRY_DELAY = 1000; // ms
+//# sourceMappingURL=constants.js.map

package/dist/constants.js.map

@@ -0,0 +1 @@
+{"version":3,"file":"constants.js","sourceRoot":"","sources":["../src/constants.ts"],"names":[],"mappings":"AAAA,MAAM,CAAC,MAAM,eAAe,GAAG,KAAK,CAAC;AACrC,MAAM,CAAC,MAAM,kBAAkB,GAAG,CAAC,CAAC;AACpC,MAAM,CAAC,MAAM,kBAAkB,GAAG,gBAAgB,CAAC;AACnD,MAAM,CAAC,MAAM,kBAAkB,GAAG,cAAuB,CAAC;AAE1D,MAAM,CAAC,MAAM,kBAAkB,GAAG,CAAC,MAAM,EAAE,kBAAkB,EAAE,cAAc,EAAE,cAAc,CAAU,CAAC;AAExG,MAAM,CAAC,MAAM,iBAAiB,GAAG;IAC/B,aAAa;IACb,kBAAkB;IAClB,kBAAkB;IAClB,iBAAiB;IACjB,oBAAoB;CACZ,CAAC;AAEX,MAAM,CAAC,MAAM,cAAc,GAAG,CAAC,CAAC;AAChC,MAAM,CAAC,MAAM,WAAW,GAAG,IAAI,CAAC,CAAC,KAAK"}