crawlo 1.1.6__py3-none-any.whl → 1.1.8__py3-none-any.whl

crawlo/__version__.py

@@ -1 +1 @@
-__version__ = "1.1.6"
+__version__ = "1.1.8"

crawlo/cli.py

@@ -10,24 +10,49 @@ def main():
     # 获取所有可用命令
     commands = get_commands()
 
+    # 创建主解析器
     parser = argparse.ArgumentParser(
         description="Crawlo: A lightweight web crawler framework.",
-        usage="crawlo <command> [options]"
+        usage="crawlo <command> [options]",
+        add_help=False  # 禁用默认帮助，我们自己处理
     )
-    parser.add_argument('command', help='Available commands: ' + ', '.join(commands.keys()))
-    # 注意：这里不添加具体参数，由子命令解析
-
-    # 只解析命令
+    
+    # 添加帮助参数
+    parser.add_argument('-h', '--help', action='store_true', help='显示帮助信息')
+    parser.add_argument('command', nargs='?', help='可用命令: ' + ', '.join(commands.keys()))
+    
+    # 解析已知参数
     args, unknown = parser.parse_known_args()
 
+    # 处理帮助参数
+    if args.help or (args.command is None and not unknown):
+        # 导入并运行帮助命令
+        try:
+            module = __import__(commands['help'], fromlist=['main'])
+            sys.exit(module.main([]))
+        except ImportError as e:
+            print(f"Failed to load help command: {e}")
+            sys.exit(1)
+        except Exception as e:
+            print(f"Help command failed: {e}")
+            sys.exit(1)
+
+    # 检查命令是否存在
     if args.command not in commands:
         print(f"Unknown command: {args.command}")
         print(f"Available commands: {', '.join(commands.keys())}")
+        # 显示帮助信息
+        try:
+            module = __import__(commands['help'], fromlist=['main'])
+            module.main([])
+        except:
+            pass
         sys.exit(1)
 
     # 动态导入并执行命令
     try:
         module = __import__(commands[args.command], fromlist=['main'])
+        # 将未知参数传递给子命令
         sys.exit(module.main(unknown))
     except ImportError as e:
         print(f"Failed to load command '{args.command}': {e}")

crawlo/commands/__init__.py

@@ -7,7 +7,8 @@ _commands = {
     'run': 'crawlo.commands.run',
     'check': 'crawlo.commands.check',
     'list': 'crawlo.commands.list',
-    'stats': 'crawlo.commands.stats'
+    'stats': 'crawlo.commands.stats',
+    'help': 'crawlo.commands.help'
 }
 
 def get_commands():

crawlo/commands/help.py

@@ -0,0 +1,133 @@
+#!/usr/bin/python
+# -*- coding: UTF-8 -*-
+"""
+# @Time    : 2025-09-12
+# @Author  : crawl-coder
+# @Desc    : 命令行入口：crawlo -h|--help，显示帮助信息。
+"""
+import sys
+from rich.console import Console
+from rich.table import Table
+from rich.panel import Panel
+from rich.text import Text
+from rich import box
+
+console = Console()
+
+
+def main(args):
+    """
+    主函数：显示帮助信息
+    用法:
+        crawlo -h|--help
+    """
+    # 检查是否有无效参数
+    if args and args[0] not in ['-h', '--help', 'help']:
+        console.print("[bold red]❌ 无效参数:[/bold red] [yellow]{}[/yellow]".format(args[0]))
+        console.print("[bold blue]💡 提示:[/bold blue] 使用 [green]crawlo -h[/green] 或 [green]crawlo --help[/green] 查看帮助信息")
+        return 1
+
+    # 显示帮助信息
+    show_help()
+    return 0
+
+
+def show_help():
+    """显示完整的帮助信息"""
+    # 显示框架标题和版本
+    console.print(Panel(
+        Text.from_markup(":spider_web: [bold blue]Crawlo[/bold blue] [bold white]v1.1.7[/bold white] - 异步爬虫框架"),
+        expand=False,
+        border_style="blue"
+    ))
+    
+    # 显示基本用法
+    console.print("[bold green]基本用法:[/bold green]")
+    console.print("  [blue]crawlo[/blue] [cyan]<command>[/cyan] [options]")
+    console.print()
+    
+    # 显示可用命令
+    console.print("[bold green]可用命令:[/bold green]")
+    table = Table(box=box.SIMPLE, show_header=True, header_style="bold magenta")
+    table.add_column("命令", style="cyan", width=15)
+    table.add_column("描述", style="white")
+    table.add_column("用法", style="yellow")
+    
+    table.add_row("startproject", "创建新项目", "crawlo startproject <project_name>")
+    table.add_row("genspider", "生成爬虫模板", "crawlo genspider <spider_name> [domain]")
+    table.add_row("run", "运行爬虫", "crawlo run <spider_name>|all [options]")
+    table.add_row("check", "检查爬虫代码", "crawlo check [options]")
+    table.add_row("list", "列出所有爬虫", "crawlo list")
+    table.add_row("stats", "查看统计信息", "crawlo stats [spider_name]")
+    table.add_row("help", "显示帮助信息", "crawlo -h|--help")
+    
+    console.print(table)
+    console.print()
+    
+    # 显示全局选项
+    console.print("[bold green]全局选项:[/bold green]")
+    table = Table(box=box.SIMPLE, show_header=False)
+    table.add_column("选项", style="cyan", width=15)
+    table.add_column("描述", style="white")
+    
+    table.add_row("-h, --help", "显示帮助信息")
+    table.add_row("-v, --version", "显示版本信息")
+    
+    console.print(table)
+    console.print()
+    
+    # 显示各命令的详细用法
+    console.print("[bold green]命令详细用法:[/bold green]")
+    
+    # run 命令
+    console.print("[bold cyan]run[/bold cyan] - 运行爬虫")
+    console.print("  用法: crawlo run <spider_name>|all [--json] [--no-stats]")
+    console.print("  示例:")
+    console.print("    crawlo run myspider")
+    console.print("    crawlo run all")
+    console.print("    crawlo run all --json --no-stats")
+    console.print()
+    
+    # check 命令
+    console.print("[bold cyan]check[/bold cyan] - 检查爬虫代码")
+    console.print("  用法: crawlo check [--fix] [--ci] [--json] [--watch]")
+    console.print("  示例:")
+    console.print("    crawlo check")
+    console.print("    crawlo check --fix")
+    console.print("    crawlo check --ci --json")
+    console.print()
+    
+    # startproject 命令
+    console.print("[bold cyan]startproject[/bold cyan] - 创建新项目")
+    console.print("  用法: crawlo startproject <project_name>")
+    console.print("  示例:")
+    console.print("    crawlo startproject myproject")
+    console.print()
+    
+    # genspider 命令
+    console.print("[bold cyan]genspider[/bold cyan] - 生成爬虫模板")
+    console.print("  用法: crawlo genspider <spider_name> [domain]")
+    console.print("  示例:")
+    console.print("    crawlo genspider myspider example.com")
+    console.print()
+    
+    # list 命令
+    console.print("[bold cyan]list[/bold cyan] - 列出所有爬虫")
+    console.print("  用法: crawlo list")
+    console.print("  示例:")
+    console.print("    crawlo list")
+    console.print()
+    
+    # stats 命令
+    console.print("[bold cyan]stats[/bold cyan] - 查看统计信息")
+    console.print("  用法: crawlo stats [spider_name]")
+    console.print("  示例:")
+    console.print("    crawlo stats")
+    console.print("    crawlo stats myspider")
+    console.print()
+    
+    # 显示更多信息
+    console.print("[bold green]更多信息:[/bold green]")
+    console.print("  文档: https://crawlo.readthedocs.io/")
+    console.print("  源码: https://github.com/crawl-coder/Crawlo")
+    console.print("  问题: https://github.com/crawl-coder/Crawlo/issues")

crawlo/templates/project/middlewares.py.tmpl

@@ -10,7 +10,6 @@
 import random
 from crawlo import Request, Response
 from crawlo.utils.log import get_logger
-from crawlo.exceptions import IgnoreRequest
 
 
 class ExampleMiddleware:

crawlo/templates/project/pipelines.py.tmpl

@@ -8,7 +8,6 @@
 这是一个简单的示例管道，您可以根据需要添加更多管道。
 """
 
-import json
 from datetime import datetime
 from crawlo.exceptions import DropItem
 from crawlo.utils.log import get_logger

crawlo/templates/project/run.py.tmpl

@@ -3,250 +3,44 @@
 """
 {{project_name}} 项目运行脚本
 ============================
-基于 Crawlo 框架的智能爬虫启动器。
-支持单机/分布式模式，灵活配置，开箱即用。
-
-🎯 快速使用:
-    python run.py spider_name                     # 单机模式运行
-    python run.py spider_name --distributed       # 分布式模式运行
-    python run.py spider_name --env production    # 使用预设配置
-    python run.py all                             # 运行所有爬虫
-
-🔧 高级选项:
-    python run.py spider_name --dry-run           # 干运行（不执行实际爬取）
-    python run.py spider_name --concurrency 16    # 自定义并发数
-    python run.py spider_name --mode gentle       # 温和模式（低负载）
-    python run.py spider1 spider2 --distributed   # 多爬虫分布式运行
-
-📦 配置模式:
-    --standalone     单机模式（默认）- 内存队列，无需外部依赖
-    --distributed    分布式模式 - Redis队列，支持多节点
-    --auto          自动模式 - 智能检测Redis可用性
-
-🎛️ 预设配置:
-    --env development    开发环境（调试友好）
-    --env production     生产环境（高性能）
-    --env large-scale    大规模爬取（优化内存）
-    --env gentle         温和模式（低负载）
+基于 Crawlo 框架的简化爬虫启动器。
 """
 
-import os
 import sys
+import os
 import asyncio
-import argparse
-from pathlib import Path
-from crawlo.crawler import CrawlerProcess
-from crawlo.config import CrawloConfig
-from crawlo.mode_manager import standalone_mode, distributed_mode, auto_mode
-
-
-def create_parser():
-    """创建命令行参数解析器"""
-    parser = argparse.ArgumentParser(
-        description='{{project_name}} 爬虫启动器 - 基于 Crawlo 框架',
-        formatter_class=argparse.RawDescriptionHelpFormatter,
-        epilog="""
-示例用法:
-  python run.py my_spider                    # 默认单机模式
-  python run.py my_spider --distributed      # 分布式模式
-  python run.py my_spider --env production   # 生产环境配置
-  python run.py spider1 spider2              # 运行多个爬虫
-  python run.py all                          # 运行所有爬虫
-  python run.py my_spider --dry-run          # 测试模式
-        """
-    )
-    
-    # 爬虫名称（位置参数）
-    parser.add_argument(
-        'spiders', 
-        nargs='*',
-        help='要运行的爬虫名称（可指定多个，"all"表示运行所有爬虫）'
-    )
-    
-    # 运行模式选择
-    mode_group = parser.add_mutually_exclusive_group()
-    mode_group.add_argument(
-        '--standalone', 
-        action='store_true',
-        help='单机模式（默认）- 使用内存队列，无需外部依赖'
-    )
-    mode_group.add_argument(
-        '--distributed', 
-        action='store_true',
-        help='分布式模式 - 使用 Redis 队列，支持多节点爬取'
-    )
-    mode_group.add_argument(
-        '--auto', 
-        action='store_true',
-        help='自动模式 - 智能检测 Redis 可用性选择队列类型'
-    )
-    
-    # 预设环境配置
-    parser.add_argument(
-        '--env', 
-        choices=['development', 'production', 'large-scale', 'gentle'],
-        help='预设环境配置（优先级高于模式选择）'
-    )
-    
-    # 性能调优选项
-    parser.add_argument(
-        '--concurrency', 
-        type=int,
-        help='并发请求数（覆盖默认设置）'
-    )
-    
-    parser.add_argument(
-        '--delay', 
-        type=float,
-        help='请求延迟时间（秒）'
-    )
-    
-    # 功能选项
-    parser.add_argument(
-        '--dry-run', 
-        action='store_true',
-        help='干运行模式 - 解析页面但不执行实际爬取操作'
-    )
-    
-    parser.add_argument(
-        '--debug', 
-        action='store_true',
-        help='启用调试模式 - 详细日志输出'
-    )
-    
-    parser.add_argument(
-        '--config-file', 
-        type=str,
-        help='自定义配置文件路径'
-    )
-    
-    # 环境变量支持
-    parser.add_argument(
-        '--from-env', 
-        action='store_true',
-        help='从环境变量加载配置（CRAWLO_*）'
-    )
-    
-    return parser
 
+# 添加项目根目录到 Python 路径
+project_root = os.path.dirname(os.path.abspath(__file__))
+sys.path.insert(0, project_root)
 
-def build_config(args):
-    """根据命令行参数构建配置"""
-    config = None
-    
-    # 1. 优先使用环境变量配置
-    if args.from_env:
-        config = CrawloConfig.from_env()
-        print("📋 使用环境变量配置")
-    
-    # 2. 使用预设环境配置
-    elif args.env:
-        presets = {
-            'development': CrawloConfig.presets().development(),
-            'production': CrawloConfig.presets().production(),
-            'large-scale': CrawloConfig.presets().large_scale(),
-            'gentle': CrawloConfig.presets().gentle()
-        }
-        config = presets[args.env]
-        print(f"🎛️  使用预设配置: {args.env}")
-    
-    # 3. 使用模式配置
-    elif args.distributed:
-        config = CrawloConfig.distributed()
-        print("🌐 启用分布式模式")
-    elif args.auto:
-        config = CrawloConfig.auto()
-        print("🤖 启用自动检测模式")
-    else:
-        # 默认单机模式
-        config = CrawloConfig.standalone()
-        print("💻 使用单机模式（默认）")
-    
-    # 4. 应用命令行参数覆盖
-    if args.concurrency:
-        config.set('CONCURRENCY', args.concurrency)
-        print(f"⚡ 设置并发数: {args.concurrency}")
-    
-    if args.delay:
-        config.set('DOWNLOAD_DELAY', args.delay)
-        print(f"⏱️  设置请求延迟: {args.delay}秒")
-    
-    if args.debug:
-        config.set('LOG_LEVEL', 'DEBUG')
-        print("🐛 启用调试模式")
-    
-    if args.dry_run:
-        # 干运行模式的配置（可根据需要调整）
-        config.set('DOWNLOAD_DELAY', 0.1)  # 加快速度
-        config.set('CONCURRENCY', 1)       # 降低并发
-        print("🧪 启用干运行模式")
-    
-    return config
+# 切换到项目根目录
+os.chdir(project_root)
 
+from crawlo.crawler import CrawlerProcess
 
-async def main():
-    """主函数：解析参数，构建配置，启动爬虫"""
-    
-    # 解析命令行参数
-    parser = create_parser()
-    args = parser.parse_args()
-    
-    # 检查是否指定了爬虫
-    if not args.spiders:
-        print("❌ 请指定要运行的爬虫名称")
-        print("\n可用的爬虫:")
-        print("   # TODO: 在这里列出你的爬虫")
-        print("   # from {{project_name}}.spiders import MySpider")
-        print("\n使用方法: python run.py <spider_name>")
-        parser.print_help()
-        return
-    
-    # 构建配置
-    config = build_config(args)
-    
-    # 创建爬虫进程
-    print(f"\n🚀 正在启动爬虫: {', '.join(args.spiders)}")
-    
-    if args.dry_run:
-        print("   🧪 [干运行模式] 将解析页面但不执行实际爬取")
+def main():
+    """主函数：运行固定的爬虫"""
+    print("🚀 启动 {{project_name}} 爬虫")
     
+    # 创建爬虫进程（自动加载默认配置）
     try:
-        # 应用配置并启动
-        process = CrawlerProcess(settings=config.to_dict())
+        # 确保 spider 模块被正确导入
+        spider_modules = ['{{project_name}}.spiders']
+        process = CrawlerProcess(spider_modules=spider_modules)
+        print("✅ 爬虫进程初始化成功")
         
-        # 检查是否要运行所有爬虫
-        if 'all' in [s.lower() for s in args.spiders]:
-            # 获取所有已注册的爬虫名称
-            spider_names = process.get_spider_names()
-            if not spider_names:
-                print("❌ 未找到任何爬虫")
-                print("💡 请确保:")
-                print("  • 爬虫定义在 'spiders/' 目录中")
-                print("  • 爬虫类有 'name' 属性")
-                return 1
-            
-            print(f"📋 找到 {len(spider_names)} 个爬虫: {', '.join(spider_names)}")
-            # 运行所有爬虫
-            await process.crawl(spider_names)
-        else:
-            # 运行指定爬虫
-            await process.crawl(args.spiders)
+        # 运行固定的爬虫
+        # TODO: 请将 'your_spider_name' 替换为实际的爬虫名称
+        asyncio.run(process.crawl('your_spider_name'))
         
-        print("\n✅ 所有爬虫执行完成")
+        print("✅ 爬虫运行完成")
         
-    except ImportError as e:
-        print(f"❌ 无法导入爬虫: {e}")
-        print("   请检查爬虫文件是否存在，并更新 run.py 中的导入语句")
     except Exception as e:
-        print(f"❌ 运行错误: {e}")
-        raise
-
+        print(f"❌ 运行失败: {e}")
+        import traceback
+        traceback.print_exc()
+        sys.exit(1)
 
 if __name__ == '__main__':
-    try:
-        asyncio.run(main())
-    except KeyboardInterrupt:
-        print("\n⏹️  用户中断爬虫执行")
-    except Exception as e:
-        print(f"❌ 运行错误: {e}")
-        sys.exit(1)
+    main()

crawlo/templates/project/settings.py.tmpl

@@ -149,10 +149,10 @@ REQUEST_DIR = '.'
 # 分布式模式默认使用Redis去重管道
 if RUN_MODE == 'distributed':
     # 分布式模式下默认使用Redis去重管道
-    DEFAULT_DEDUP_PIPELINE = 'crawlo.pipelines.RedisDedupPipeline'
+    DEFAULT_DEDUP_PIPELINE = 'crawlo.pipelines.redis_dedup_pipeline.RedisDedupPipeline'
 else:
     # 单机模式下默认使用内存去重管道
-    DEFAULT_DEDUP_PIPELINE = 'crawlo.pipelines.MemoryDedupPipeline'
+    DEFAULT_DEDUP_PIPELINE = 'crawlo.pipelines.memory_dedup_pipeline.MemoryDedupPipeline'
 
 # 去重过滤器（推荐分布式项目使用 Redis 过滤器）
 FILTER_CLASS = 'crawlo.filters.memory_filter.MemoryFilter'

{crawlo-1.1.6.dist-info → crawlo-1.1.8.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: crawlo
-Version: 1.1.6
+Version: 1.1.8
 Summary: Crawlo 是一款基于异步IO的高性能Python爬虫框架，支持分布式抓取。
 Home-page: https://github.com/crawl-coder/Crawlo.git
 Author: crawl-coder
@@ -80,10 +80,25 @@ pip install crawlo
 ### 创建项目
 
 ```bash
+# 创建默认项目
 crawlo startproject myproject
+
+# 创建分布式模板项目
+crawlo startproject myproject distributed
+
+# 创建项目并选择特定模块
+crawlo startproject myproject --modules mysql,redis,proxy
+
 cd myproject
 ```
 
+### 生成爬虫
+
+```bash
+# 在项目目录中生成爬虫
+crawlo genspider news_spider news.example.com
+```
+
 ### 编写爬虫
 
 ```python
@@ -109,9 +124,158 @@ class MySpider(Spider):
 ### 运行爬虫
 
 ```bash
-crawlo crawl myspider
+# 使用命令行工具运行爬虫（推荐）
+crawlo run myspider
+
+# 使用项目自带的 run.py 脚本运行
+python run.py
+
+# 运行所有爬虫
+crawlo run all
+
+# 在项目子目录中也能正确运行
+cd subdirectory
+crawlo run myspider
+```
+
+## 📜 命令行工具
+
+Crawlo 提供了丰富的命令行工具来帮助开发和管理爬虫项目：
+
+### 获取帮助
+
+```bash
+# 显示帮助信息
+crawlo -h
+crawlo --help
+crawlo help
+```
+
+### crawlo startproject
+
+创建新的爬虫项目。
+
+```bash
+# 基本用法
+crawlo startproject <project_name> [template_type] [--modules module1,module2]
+
+# 示例
+crawlo startproject my_spider_project
+crawlo startproject news_crawler simple
+crawlo startproject ecommerce_spider distributed --modules mysql,proxy
+```
+
+**参数说明：**
+- `project_name`: 项目名称（必须是有效的Python标识符）
+- `template_type`: 模板类型（可选）
+  - `default`: 默认模板 - 通用配置，适合大多数项目
+  - `simple`: 简化模板 - 最小配置，适合快速开始
+  - `distributed`: 分布式模板 - 针对分布式爬取优化
+  - `high-performance`: 高性能模板 - 针对大规模高并发优化
+  - `gentle`: 温和模板 - 低负载配置，对目标网站友好
+- `--modules`: 选择要包含的模块组件（可选）
+  - `mysql`: MySQL数据库支持
+  - `mongodb`: MongoDB数据库支持
+  - `redis`: Redis支持（分布式队列和去重）
+  - `proxy`: 代理支持
+  - `monitoring`: 监控和性能分析
+  - `dedup`: 去重功能
+  - `httpx`: HttpX下载器
+  - `aiohttp`: AioHttp下载器
+  - `curl`: CurlCffi下载器
+
+### crawlo genspider
+
+在现有项目中生成新的爬虫。
+
+```bash
+# 基本用法
+crawlo genspider <spider_name> <domain>
+
+# 示例
+crawlo genspider news_spider news.example.com
+crawlo genspider product_spider shop.example.com
+```
+
+**参数说明：**
+- `spider_name`: 爬虫名称（必须是有效的Python标识符）
+- `domain`: 目标域名
+
+### crawlo run
+
+运行爬虫。
+
+```bash
+# 基本用法
+crawlo run <spider_name>|all [--json] [--no-stats]
+
+# 示例
+crawlo run myspider
+crawlo run all
+crawlo run all --json --no-stats
 ```
 
+**参数说明：**
+- `spider_name`: 要运行的爬虫名称
+- `all`: 运行所有爬虫
+- `--json`: 以JSON格式输出结果
+- `--no-stats`: 不记录统计信息
+
+### crawlo list
+
+列出项目中所有可用的爬虫。
+
+```bash
+# 基本用法
+crawlo list [--json]
+
+# 示例
+crawlo list
+crawlo list --json
+```
+
+**参数说明：**
+- `--json`: 以JSON格式输出结果
+
+### crawlo check
+
+检查爬虫定义的合规性。
+
+```bash
+# 基本用法
+crawlo check [--fix] [--ci] [--json] [--watch]
+
+# 示例
+crawlo check
+crawlo check --fix
+crawlo check --ci
+crawlo check --watch
+```
+
+**参数说明：**
+- `--fix`: 自动修复常见问题
+- `--ci`: CI模式输出（简洁格式）
+- `--json`: 以JSON格式输出结果
+- `--watch`: 监听模式，文件更改时自动检查
+
+### crawlo stats
+
+查看爬虫运行统计信息。
+
+```bash
+# 基本用法
+crawlo stats [spider_name] [--all]
+
+# 示例
+crawlo stats
+crawlo stats myspider
+crawlo stats myspider --all
+```
+
+**参数说明：**
+- `spider_name`: 指定要查看统计信息的爬虫名称
+- `--all`: 显示指定爬虫的所有历史运行记录
+
 ## 🏗️ 架构设计
 
 ### 组件交互图
@@ -176,6 +340,7 @@ crawlo crawl myspider
         │  │  │ - ValidationPipeline    │ │   │
         │  │  │ - ProcessingPipeline    │ │   │
         │  │  │ - StoragePipeline       │ │   │
+        │  │  │ - DeduplicationPipeline │ │   │
         │  │  └─────────────────────────┘ │   │
         │  └──────────────────────────────┘   │
         └─────────────────────────────────────┘
@@ -229,12 +394,13 @@ crawlo crawl myspider
                                             ▼                         ▼
                                   ┌─────────────────┐    7.生成数据    ┌─────────────┐
                                   │   Processor     ├────────────────►│   Pipeline  │
-                                  └─────────────────┘                 └─────────────┘
-                                            │ 8.存储数据
-                                            ▼
-                                  ┌─────────────────┐
-                                  │     Items       │
-                                  └─────────────────┘
+                                  └─────────────────┘                 └──────┬──────┘
+                                            │ 8.存储数据                     │ 9.去重处理
+                                            ▼                                ▼
+                                  ┌─────────────────┐              ┌─────────────────┐
+                                  │     Items       │◄─────────────┤  Deduplication  │
+                                  └─────────────────┘              │    Pipeline     │
+                                                                   └─────────────────┘
 ```
 
 ### 模块层次结构图
@@ -298,6 +464,8 @@ crawlo/
 │   ├── pipeline_manager.py        # 管道管理器
 │   ├── base_pipeline.py           # 管道基类
 │   ├── console_pipeline.py        # 控制台输出管道
+│   ├── json_pipeline.py           # JSON存储管道
+│   ├── redis_dedup_pipeline.py    # Redis去重管道
 │   └── mysql_pipeline.py          # MySQL存储管道
 │
 ├── extension/                      # 扩展组件
@@ -335,7 +503,7 @@ crawlo/
 - **QueueManager**: 统一的队列管理器，支持内存队列和Redis队列的自动切换
 - **Filter**: 请求去重过滤器，支持内存和Redis两种实现
 - **Middleware**: 中间件系统，处理请求/响应的预处理和后处理
-- **Pipeline**: 数据处理管道，支持多种存储方式(控制台、数据库等)
+- **Pipeline**: 数据处理管道，支持多种存储方式(控制台、数据库等)和去重功能
 - **Spider**: 爬虫基类，定义爬取逻辑
 
 ### 运行模式
@@ -356,12 +524,64 @@ CONCURRENCY = 16
 DOWNLOAD_DELAY = 1.0
 QUEUE_TYPE = 'memory'  # 单机模式
 # QUEUE_TYPE = 'redis'   # 分布式模式
+
+# Redis 配置 (分布式模式下使用)
+REDIS_HOST = 'localhost'
+REDIS_PORT = 6379
+REDIS_DB = 0
+REDIS_PASSWORD = ''
+
+# 数据管道配置
+PIPELINES = [
+    'crawlo.pipelines.console_pipeline.ConsolePipeline',
+    'crawlo.pipelines.json_pipeline.JsonPipeline',
+    'crawlo.pipelines.redis_dedup_pipeline.RedisDedupPipeline',  # Redis去重管道
+    'crawlo.pipelines.mysql_pipeline.AsyncmyMySQLPipeline',      # MySQL存储管道
+]
 ```
 
-### 命令行配置
+### MySQL 管道配置
 
+Crawlo 提供了现成的 MySQL 管道实现，可以轻松将爬取的数据存储到 MySQL 数据库中：
+
+```python
+# 在 settings.py 中启用 MySQL 管道
+PIPELINES = [
+    'crawlo.pipelines.mysql_pipeline.AsyncmyMySQLPipeline',
+]
+
+# MySQL 数据库配置
+MYSQL_HOST = 'localhost'
+MYSQL_PORT = 3306
+MYSQL_USER = 'your_username'
+MYSQL_PASSWORD = 'your_password'
+MYSQL_DB = 'your_database'
+MYSQL_TABLE = 'your_table_name'
+
+# 可选的批量插入配置
+MYSQL_BATCH_SIZE = 100
+MYSQL_USE_BATCH = True
 ```
-crawlo crawl myspider --concurrency=32 --delay=0.5
+
+MySQL 管道特性：
+- **异步操作**：基于 asyncmy 驱动，提供高性能的异步数据库操作
+- **连接池**：自动管理数据库连接，提高效率
+- **批量插入**：支持批量插入以提高性能
+- **事务支持**：确保数据一致性
+- **灵活配置**：支持自定义表名、批量大小等参数
+
+### 命令行配置
+
+``bash
+# 运行单个爬虫
+crawlo run myspider
+
+# 运行所有爬虫
+crawlo run all
+
+# 在项目子目录中也能正确运行
+cd subdirectory
+crawlo run myspider
 ```
 
 ## 🧩 核心组件
@@ -370,7 +590,11 @@ crawlo crawl myspider --concurrency=32 --delay=0.5
 灵活的中间件系统，支持请求预处理、响应处理和异常处理。
 
 ### 管道系统
-可扩展的数据处理管道，支持多种存储方式（控制台、数据库等）。
+可扩展的数据处理管道，支持多种存储方式（控制台、数据库等）和去重功能：
+- **ConsolePipeline**: 控制台输出管道
+- **JsonPipeline**: JSON文件存储管道
+- **RedisDedupPipeline**: Redis去重管道，基于Redis集合实现分布式去重
+- **AsyncmyMySQLPipeline**: MySQL数据库存储管道，基于asyncmy驱动
 
 ### 扩展组件
 功能增强扩展，包括日志、监控、性能分析等。
@@ -382,6 +606,7 @@ crawlo crawl myspider --concurrency=32 --delay=0.5
 
 - [API数据采集](examples/api_data_collection/) - 简单的API数据采集示例
 - [电信设备许可证](examples/telecom_licenses_distributed/) - 分布式爬取示例
+- [OFweek分布式爬虫](examples/ofweek_distributed/) - 复杂的分布式爬虫示例，包含Redis去重功能
 
 ## 📚 文档
 

{crawlo-1.1.6.dist-info → crawlo-1.1.8.dist-info}/RECORD

@@ -1,6 +1,6 @@
 crawlo/__init__.py,sha256=jSOsZbDJ_Q5wZV8onSXx5LgNM7Z1q3zCROGdImBDr2I,1373
-crawlo/__version__.py,sha256=x9FL2OT2SXh3wQnwMN-1smbRacRTCOYcgAuQFQqi_0s,23
-crawlo/cli.py,sha256=hjAJKx9pba375sATvvcy-dtZyBIgXj8fRBq9RFIZHA4,1206
+crawlo/__version__.py,sha256=jro_fYFaWTpMLcXlRQe53nd8yxygCDFL1sK3eYFcmKI,23
+crawlo/cli.py,sha256=ZrrOKAvqgGJgqoyakzItt-Jroa9JBF9vQG-1lz4wBPM,2094
 crawlo/config.py,sha256=_pORwcVEgjEhrqVaApu51X0Il3TBK6w9aezGnnqYu8Y,9847
 crawlo/config_validator.py,sha256=M118EATR-tITzRSe2oSinV5oh2QsooMCkEJ5WS8ma_0,10155
 crawlo/crawler.py,sha256=24EE7zFPByeYLJnf1K_R9fhJMqaFUjBSa6TuUhlY4TI,37398
@@ -15,9 +15,10 @@ crawlo/cleaners/__init__.py,sha256=lxL-ZWDKW-DdobdgKUQ27wNmBiUhGnD0CVG6HWkX3_o,1
 crawlo/cleaners/data_formatter.py,sha256=iBDHpZBZvn9O7pLkTQilE1TzYJQEc3z3f6HXoVus0f0,7808
 crawlo/cleaners/encoding_converter.py,sha256=G3khLlk0uBeTwIutsWxVUeSuyc1GMC1BDNJDwsU9ryg,4238
 crawlo/cleaners/text_cleaner.py,sha256=16e6WqIIb9qANMiK-vCEl4TvgkId19Aa2W1NMLU-jFQ,6707
-crawlo/commands/__init__.py,sha256=kZ3qATqDPmMUCNUQSFfBfIA8fp_1dgBwIAWbmFN3_To,355
+crawlo/commands/__init__.py,sha256=orvY6wLOBwGUEJKeF3h_T1fxj8AaQLjngBDd-3xKOE4,392
 crawlo/commands/check.py,sha256=jW8SgfkOS35j4VS7nRZBZdFCBX9CVFez5LR2sfP_H1U,23437
 crawlo/commands/genspider.py,sha256=_3GwFMYK79BuKk__5L0ljuwWwOzN80MeuhRkL4Ql11A,5201
+crawlo/commands/help.py,sha256=jJ8GbFJcJVQytPIYsEAMT6v58fNo62qd-G3G3elB-1Q,5011
 crawlo/commands/list.py,sha256=octTk0QZhapiyM7WgCPersP2v3MesthbJeG9vMqVFOs,5936
 crawlo/commands/run.py,sha256=Go9hAEUMuG3GphBgemG5S5W4MF39XOxp7-E06rX-pTU,11043
 crawlo/commands/startproject.py,sha256=UYGelGY4dM6Zu3U4G5m8snKqbsfgszhvfpAJLl5b5tM,15772
@@ -83,10 +84,10 @@ crawlo/spider/__init__.py,sha256=xAH6NfE_6K2aY_VSL9DoGjcmMHJDd5Nxr7TG1Y8vQAE,210
 crawlo/templates/crawlo.cfg.tmpl,sha256=lwiUVe5sFixJgHFEjn1OtbAeyWsECOrz37uheuVtulk,240
 crawlo/templates/project/__init__.py.tmpl,sha256=aQnHaOjMSkTviOC8COUX0fKymuyf8lx2tGduxkMkXEE,61
 crawlo/templates/project/items.py.tmpl,sha256=8_3DBA8HrS2XbfHzsMZNJiZbFY6fDJUUMFoFti_obJk,314
-crawlo/templates/project/middlewares.py.tmpl,sha256=BMTAAFhmZQBn0D3lgWwepcOlXgtzt2lXYEG0XhXFTDI,3885
-crawlo/templates/project/pipelines.py.tmpl,sha256=ZIgQjtwMtdP7vyeeg-PSlOnKI46A9d6ew8bGAMx3Dxc,2717
-crawlo/templates/project/run.py.tmpl,sha256=IBD0F0XEgBR6gR34PhYAjKiZDdvLufZJkABHapTsoYo,8428
-crawlo/templates/project/settings.py.tmpl,sha256=XplJLfRgDdsN_tALmYM_wsDqA8tPd0D1j_UYzHCSxuA,11991
+crawlo/templates/project/middlewares.py.tmpl,sha256=Em7KdWxF3FE5OzXwYxRkQtWr74YvapqhrI8Kij7J6dc,3840
+crawlo/templates/project/pipelines.py.tmpl,sha256=j9oqEhCezmmHlBhMWgYtlgup4jhWnMlv6AEiAOHODkg,2704
+crawlo/templates/project/run.py.tmpl,sha256=yOxpPkyffXLwa7NDx2Y96c8U-QN81_3mqZSuB526DNs,1271
+crawlo/templates/project/settings.py.tmpl,sha256=M2tga44ki-BpgdKY506mcJ-iEw4AMx4pWQKUdJyRAkM,12034
 crawlo/templates/project/settings_distributed.py.tmpl,sha256=Nli-qR-UB4TXAq4mXjx17y-yAv46NwwpcVidjGeM00A,4321
 crawlo/templates/project/settings_gentle.py.tmpl,sha256=ljXf9vKV2c-cN8yvf5U4UWsPWrMVmJUfbXladIdS2mg,3320
 crawlo/templates/project/settings_high_performance.py.tmpl,sha256=3wf8fFYZ5EVE2742JlcwwrPF794vEIEmbxFSbqyGnJQ,5434
@@ -182,8 +183,8 @@ tests/test_template_content.py,sha256=URwjlAzMCdUN0sW_OupUcuSNMxp1OKgW79JOpkLPXn
 tests/test_template_redis_key.py,sha256=dOFutic8CL3tOzGbYhWbMrYiXZ8R3fhNoF5VKax5Iy0,4946
 tests/test_tools.py,sha256=fgzXL2L7eBV_nGjeMxH8IMhfc0dviQ80XgzZkJp_4dA,5266
 tests/tools_example.py,sha256=uXNS4xXJ-OD_xInAn2zjKLG_nlbgVGXZLoJtfhaG9lI,7926
-crawlo-1.1.6.dist-info/METADATA,sha256=ugnlT8bGIkYOf7MIRwgfBpkFoI2KAjFSBgWrxo25ZRU,20068
-crawlo-1.1.6.dist-info/WHEEL,sha256=_zCd3N1l69ArxyTb8rzEoP9TpbYXkqRFSNOD5OuxnTs,91
-crawlo-1.1.6.dist-info/entry_points.txt,sha256=5HoVoTSPxI8SCa5B7pQYxLSrkOdiunyO9tqNsLMv52g,43
-crawlo-1.1.6.dist-info/top_level.txt,sha256=keG_67pbZ_wZL2dmDRA9RMaNHTaV_x_oxZ9DKNgwvR0,22
-crawlo-1.1.6.dist-info/RECORD,,
+crawlo-1.1.8.dist-info/METADATA,sha256=nszYOx5Hd5KbjBikYameYCyotd_pDcGLMSsGSxV_YpU,26174
+crawlo-1.1.8.dist-info/WHEEL,sha256=_zCd3N1l69ArxyTb8rzEoP9TpbYXkqRFSNOD5OuxnTs,91
+crawlo-1.1.8.dist-info/entry_points.txt,sha256=5HoVoTSPxI8SCa5B7pQYxLSrkOdiunyO9tqNsLMv52g,43
+crawlo-1.1.8.dist-info/top_level.txt,sha256=keG_67pbZ_wZL2dmDRA9RMaNHTaV_x_oxZ9DKNgwvR0,22
+crawlo-1.1.8.dist-info/RECORD,,