crawlo 1.1.6__tar.gz → 1.1.8__tar.gz

{crawlo-1.1.6/crawlo.egg-info → crawlo-1.1.8}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: crawlo
-Version: 1.1.6
+Version: 1.1.8
 Summary: Crawlo 是一款基于异步IO的高性能Python爬虫框架，支持分布式抓取。
 Home-page: https://github.com/crawl-coder/Crawlo.git
 Author: crawl-coder
@@ -80,10 +80,25 @@ pip install crawlo
 ### 创建项目
 
 ```bash
+# 创建默认项目
 crawlo startproject myproject
+
+# 创建分布式模板项目
+crawlo startproject myproject distributed
+
+# 创建项目并选择特定模块
+crawlo startproject myproject --modules mysql,redis,proxy
+
 cd myproject
 ```
 
+### 生成爬虫
+
+```bash
+# 在项目目录中生成爬虫
+crawlo genspider news_spider news.example.com
+```
+
 ### 编写爬虫
 
 ```python
@@ -109,9 +124,158 @@ class MySpider(Spider):
 ### 运行爬虫
 
 ```bash
-crawlo crawl myspider
+# 使用命令行工具运行爬虫（推荐）
+crawlo run myspider
+
+# 使用项目自带的 run.py 脚本运行
+python run.py
+
+# 运行所有爬虫
+crawlo run all
+
+# 在项目子目录中也能正确运行
+cd subdirectory
+crawlo run myspider
+```
+
+## 📜 命令行工具
+
+Crawlo 提供了丰富的命令行工具来帮助开发和管理爬虫项目：
+
+### 获取帮助
+
+```bash
+# 显示帮助信息
+crawlo -h
+crawlo --help
+crawlo help
+```
+
+### crawlo startproject
+
+创建新的爬虫项目。
+
+```bash
+# 基本用法
+crawlo startproject <project_name> [template_type] [--modules module1,module2]
+
+# 示例
+crawlo startproject my_spider_project
+crawlo startproject news_crawler simple
+crawlo startproject ecommerce_spider distributed --modules mysql,proxy
+```
+
+**参数说明：**
+- `project_name`: 项目名称（必须是有效的Python标识符）
+- `template_type`: 模板类型（可选）
+  - `default`: 默认模板 - 通用配置，适合大多数项目
+  - `simple`: 简化模板 - 最小配置，适合快速开始
+  - `distributed`: 分布式模板 - 针对分布式爬取优化
+  - `high-performance`: 高性能模板 - 针对大规模高并发优化
+  - `gentle`: 温和模板 - 低负载配置，对目标网站友好
+- `--modules`: 选择要包含的模块组件（可选）
+  - `mysql`: MySQL数据库支持
+  - `mongodb`: MongoDB数据库支持
+  - `redis`: Redis支持（分布式队列和去重）
+  - `proxy`: 代理支持
+  - `monitoring`: 监控和性能分析
+  - `dedup`: 去重功能
+  - `httpx`: HttpX下载器
+  - `aiohttp`: AioHttp下载器
+  - `curl`: CurlCffi下载器
+
+### crawlo genspider
+
+在现有项目中生成新的爬虫。
+
+```bash
+# 基本用法
+crawlo genspider <spider_name> <domain>
+
+# 示例
+crawlo genspider news_spider news.example.com
+crawlo genspider product_spider shop.example.com
+```
+
+**参数说明：**
+- `spider_name`: 爬虫名称（必须是有效的Python标识符）
+- `domain`: 目标域名
+
+### crawlo run
+
+运行爬虫。
+
+```bash
+# 基本用法
+crawlo run <spider_name>|all [--json] [--no-stats]
+
+# 示例
+crawlo run myspider
+crawlo run all
+crawlo run all --json --no-stats
 ```
 
+**参数说明：**
+- `spider_name`: 要运行的爬虫名称
+- `all`: 运行所有爬虫
+- `--json`: 以JSON格式输出结果
+- `--no-stats`: 不记录统计信息
+
+### crawlo list
+
+列出项目中所有可用的爬虫。
+
+```bash
+# 基本用法
+crawlo list [--json]
+
+# 示例
+crawlo list
+crawlo list --json
+```
+
+**参数说明：**
+- `--json`: 以JSON格式输出结果
+
+### crawlo check
+
+检查爬虫定义的合规性。
+
+```bash
+# 基本用法
+crawlo check [--fix] [--ci] [--json] [--watch]
+
+# 示例
+crawlo check
+crawlo check --fix
+crawlo check --ci
+crawlo check --watch
+```
+
+**参数说明：**
+- `--fix`: 自动修复常见问题
+- `--ci`: CI模式输出（简洁格式）
+- `--json`: 以JSON格式输出结果
+- `--watch`: 监听模式，文件更改时自动检查
+
+### crawlo stats
+
+查看爬虫运行统计信息。
+
+```bash
+# 基本用法
+crawlo stats [spider_name] [--all]
+
+# 示例
+crawlo stats
+crawlo stats myspider
+crawlo stats myspider --all
+```
+
+**参数说明：**
+- `spider_name`: 指定要查看统计信息的爬虫名称
+- `--all`: 显示指定爬虫的所有历史运行记录
+
 ## 🏗️ 架构设计
 
 ### 组件交互图
@@ -176,6 +340,7 @@ crawlo crawl myspider
         │  │  │ - ValidationPipeline    │ │   │
         │  │  │ - ProcessingPipeline    │ │   │
         │  │  │ - StoragePipeline       │ │   │
+        │  │  │ - DeduplicationPipeline │ │   │
         │  │  └─────────────────────────┘ │   │
         │  └──────────────────────────────┘   │
         └─────────────────────────────────────┘
@@ -229,12 +394,13 @@ crawlo crawl myspider
                                             ▼                         ▼
                                   ┌─────────────────┐    7.生成数据    ┌─────────────┐
                                   │   Processor     ├────────────────►│   Pipeline  │
-                                  └─────────────────┘                 └─────────────┘
-                                            │ 8.存储数据
-                                            ▼
-                                  ┌─────────────────┐
-                                  │     Items       │
-                                  └─────────────────┘
+                                  └─────────────────┘                 └──────┬──────┘
+                                            │ 8.存储数据                     │ 9.去重处理
+                                            ▼                                ▼
+                                  ┌─────────────────┐              ┌─────────────────┐
+                                  │     Items       │◄─────────────┤  Deduplication  │
+                                  └─────────────────┘              │    Pipeline     │
+                                                                   └─────────────────┘
 ```
 
 ### 模块层次结构图
@@ -298,6 +464,8 @@ crawlo/
 │   ├── pipeline_manager.py        # 管道管理器
 │   ├── base_pipeline.py           # 管道基类
 │   ├── console_pipeline.py        # 控制台输出管道
+│   ├── json_pipeline.py           # JSON存储管道
+│   ├── redis_dedup_pipeline.py    # Redis去重管道
 │   └── mysql_pipeline.py          # MySQL存储管道
 │
 ├── extension/                      # 扩展组件
@@ -335,7 +503,7 @@ crawlo/
 - **QueueManager**: 统一的队列管理器，支持内存队列和Redis队列的自动切换
 - **Filter**: 请求去重过滤器，支持内存和Redis两种实现
 - **Middleware**: 中间件系统，处理请求/响应的预处理和后处理
-- **Pipeline**: 数据处理管道，支持多种存储方式(控制台、数据库等)
+- **Pipeline**: 数据处理管道，支持多种存储方式(控制台、数据库等)和去重功能
 - **Spider**: 爬虫基类，定义爬取逻辑
 
 ### 运行模式
@@ -356,12 +524,64 @@ CONCURRENCY = 16
 DOWNLOAD_DELAY = 1.0
 QUEUE_TYPE = 'memory'  # 单机模式
 # QUEUE_TYPE = 'redis'   # 分布式模式
+
+# Redis 配置 (分布式模式下使用)
+REDIS_HOST = 'localhost'
+REDIS_PORT = 6379
+REDIS_DB = 0
+REDIS_PASSWORD = ''
+
+# 数据管道配置
+PIPELINES = [
+    'crawlo.pipelines.console_pipeline.ConsolePipeline',
+    'crawlo.pipelines.json_pipeline.JsonPipeline',
+    'crawlo.pipelines.redis_dedup_pipeline.RedisDedupPipeline',  # Redis去重管道
+    'crawlo.pipelines.mysql_pipeline.AsyncmyMySQLPipeline',      # MySQL存储管道
+]
 ```
 
-### 命令行配置
+### MySQL 管道配置
 
+Crawlo 提供了现成的 MySQL 管道实现，可以轻松将爬取的数据存储到 MySQL 数据库中：
+
+```python
+# 在 settings.py 中启用 MySQL 管道
+PIPELINES = [
+    'crawlo.pipelines.mysql_pipeline.AsyncmyMySQLPipeline',
+]
+
+# MySQL 数据库配置
+MYSQL_HOST = 'localhost'
+MYSQL_PORT = 3306
+MYSQL_USER = 'your_username'
+MYSQL_PASSWORD = 'your_password'
+MYSQL_DB = 'your_database'
+MYSQL_TABLE = 'your_table_name'
+
+# 可选的批量插入配置
+MYSQL_BATCH_SIZE = 100
+MYSQL_USE_BATCH = True
 ```
-crawlo crawl myspider --concurrency=32 --delay=0.5
+
+MySQL 管道特性：
+- **异步操作**：基于 asyncmy 驱动，提供高性能的异步数据库操作
+- **连接池**：自动管理数据库连接，提高效率
+- **批量插入**：支持批量插入以提高性能
+- **事务支持**：确保数据一致性
+- **灵活配置**：支持自定义表名、批量大小等参数
+
+### 命令行配置
+
+``bash
+# 运行单个爬虫
+crawlo run myspider
+
+# 运行所有爬虫
+crawlo run all
+
+# 在项目子目录中也能正确运行
+cd subdirectory
+crawlo run myspider
 ```
 
 ## 🧩 核心组件
@@ -370,7 +590,11 @@ crawlo crawl myspider --concurrency=32 --delay=0.5
 灵活的中间件系统，支持请求预处理、响应处理和异常处理。
 
 ### 管道系统
-可扩展的数据处理管道，支持多种存储方式（控制台、数据库等）。
+可扩展的数据处理管道，支持多种存储方式（控制台、数据库等）和去重功能：
+- **ConsolePipeline**: 控制台输出管道
+- **JsonPipeline**: JSON文件存储管道
+- **RedisDedupPipeline**: Redis去重管道，基于Redis集合实现分布式去重
+- **AsyncmyMySQLPipeline**: MySQL数据库存储管道，基于asyncmy驱动
 
 ### 扩展组件
 功能增强扩展，包括日志、监控、性能分析等。
@@ -382,6 +606,7 @@ crawlo crawl myspider --concurrency=32 --delay=0.5
 
 - [API数据采集](examples/api_data_collection/) - 简单的API数据采集示例
 - [电信设备许可证](examples/telecom_licenses_distributed/) - 分布式爬取示例
+- [OFweek分布式爬虫](examples/ofweek_distributed/) - 复杂的分布式爬虫示例，包含Redis去重功能
 
 ## 📚 文档
 

{crawlo-1.1.6 → crawlo-1.1.8}/README.md

@@ -30,10 +30,25 @@ pip install crawlo
 ### 创建项目
 
 ```bash
+# 创建默认项目
 crawlo startproject myproject
+
+# 创建分布式模板项目
+crawlo startproject myproject distributed
+
+# 创建项目并选择特定模块
+crawlo startproject myproject --modules mysql,redis,proxy
+
 cd myproject
 ```
 
+### 生成爬虫
+
+```bash
+# 在项目目录中生成爬虫
+crawlo genspider news_spider news.example.com
+```
+
 ### 编写爬虫
 
 ```python
@@ -59,9 +74,158 @@ class MySpider(Spider):
 ### 运行爬虫
 
 ```bash
-crawlo crawl myspider
+# 使用命令行工具运行爬虫（推荐）
+crawlo run myspider
+
+# 使用项目自带的 run.py 脚本运行
+python run.py
+
+# 运行所有爬虫
+crawlo run all
+
+# 在项目子目录中也能正确运行
+cd subdirectory
+crawlo run myspider
+```
+
+## 📜 命令行工具
+
+Crawlo 提供了丰富的命令行工具来帮助开发和管理爬虫项目：
+
+### 获取帮助
+
+```bash
+# 显示帮助信息
+crawlo -h
+crawlo --help
+crawlo help
+```
+
+### crawlo startproject
+
+创建新的爬虫项目。
+
+```bash
+# 基本用法
+crawlo startproject <project_name> [template_type] [--modules module1,module2]
+
+# 示例
+crawlo startproject my_spider_project
+crawlo startproject news_crawler simple
+crawlo startproject ecommerce_spider distributed --modules mysql,proxy
+```
+
+**参数说明：**
+- `project_name`: 项目名称（必须是有效的Python标识符）
+- `template_type`: 模板类型（可选）
+  - `default`: 默认模板 - 通用配置，适合大多数项目
+  - `simple`: 简化模板 - 最小配置，适合快速开始
+  - `distributed`: 分布式模板 - 针对分布式爬取优化
+  - `high-performance`: 高性能模板 - 针对大规模高并发优化
+  - `gentle`: 温和模板 - 低负载配置，对目标网站友好
+- `--modules`: 选择要包含的模块组件（可选）
+  - `mysql`: MySQL数据库支持
+  - `mongodb`: MongoDB数据库支持
+  - `redis`: Redis支持（分布式队列和去重）
+  - `proxy`: 代理支持
+  - `monitoring`: 监控和性能分析
+  - `dedup`: 去重功能
+  - `httpx`: HttpX下载器
+  - `aiohttp`: AioHttp下载器
+  - `curl`: CurlCffi下载器
+
+### crawlo genspider
+
+在现有项目中生成新的爬虫。
+
+```bash
+# 基本用法
+crawlo genspider <spider_name> <domain>
+
+# 示例
+crawlo genspider news_spider news.example.com
+crawlo genspider product_spider shop.example.com
+```
+
+**参数说明：**
+- `spider_name`: 爬虫名称（必须是有效的Python标识符）
+- `domain`: 目标域名
+
+### crawlo run
+
+运行爬虫。
+
+```bash
+# 基本用法
+crawlo run <spider_name>|all [--json] [--no-stats]
+
+# 示例
+crawlo run myspider
+crawlo run all
+crawlo run all --json --no-stats
 ```
 
+**参数说明：**
+- `spider_name`: 要运行的爬虫名称
+- `all`: 运行所有爬虫
+- `--json`: 以JSON格式输出结果
+- `--no-stats`: 不记录统计信息
+
+### crawlo list
+
+列出项目中所有可用的爬虫。
+
+```bash
+# 基本用法
+crawlo list [--json]
+
+# 示例
+crawlo list
+crawlo list --json
+```
+
+**参数说明：**
+- `--json`: 以JSON格式输出结果
+
+### crawlo check
+
+检查爬虫定义的合规性。
+
+```bash
+# 基本用法
+crawlo check [--fix] [--ci] [--json] [--watch]
+
+# 示例
+crawlo check
+crawlo check --fix
+crawlo check --ci
+crawlo check --watch
+```
+
+**参数说明：**
+- `--fix`: 自动修复常见问题
+- `--ci`: CI模式输出（简洁格式）
+- `--json`: 以JSON格式输出结果
+- `--watch`: 监听模式，文件更改时自动检查
+
+### crawlo stats
+
+查看爬虫运行统计信息。
+
+```bash
+# 基本用法
+crawlo stats [spider_name] [--all]
+
+# 示例
+crawlo stats
+crawlo stats myspider
+crawlo stats myspider --all
+```
+
+**参数说明：**
+- `spider_name`: 指定要查看统计信息的爬虫名称
+- `--all`: 显示指定爬虫的所有历史运行记录
+
 ## 🏗️ 架构设计
 
 ### 组件交互图
@@ -126,6 +290,7 @@ crawlo crawl myspider
         │  │  │ - ValidationPipeline    │ │   │
         │  │  │ - ProcessingPipeline    │ │   │
         │  │  │ - StoragePipeline       │ │   │
+        │  │  │ - DeduplicationPipeline │ │   │
         │  │  └─────────────────────────┘ │   │
         │  └──────────────────────────────┘   │
         └─────────────────────────────────────┘
@@ -179,12 +344,13 @@ crawlo crawl myspider
                                             ▼                         ▼
                                   ┌─────────────────┐    7.生成数据    ┌─────────────┐
                                   │   Processor     ├────────────────►│   Pipeline  │
-                                  └─────────────────┘                 └─────────────┘
-                                            │ 8.存储数据
-                                            ▼
-                                  ┌─────────────────┐
-                                  │     Items       │
-                                  └─────────────────┘
+                                  └─────────────────┘                 └──────┬──────┘
+                                            │ 8.存储数据                     │ 9.去重处理
+                                            ▼                                ▼
+                                  ┌─────────────────┐              ┌─────────────────┐
+                                  │     Items       │◄─────────────┤  Deduplication  │
+                                  └─────────────────┘              │    Pipeline     │
+                                                                   └─────────────────┘
 ```
 
 ### 模块层次结构图
@@ -248,6 +414,8 @@ crawlo/
 │   ├── pipeline_manager.py        # 管道管理器
 │   ├── base_pipeline.py           # 管道基类
 │   ├── console_pipeline.py        # 控制台输出管道
+│   ├── json_pipeline.py           # JSON存储管道
+│   ├── redis_dedup_pipeline.py    # Redis去重管道
 │   └── mysql_pipeline.py          # MySQL存储管道
 │
 ├── extension/                      # 扩展组件
@@ -285,7 +453,7 @@ crawlo/
 - **QueueManager**: 统一的队列管理器，支持内存队列和Redis队列的自动切换
 - **Filter**: 请求去重过滤器，支持内存和Redis两种实现
 - **Middleware**: 中间件系统，处理请求/响应的预处理和后处理
-- **Pipeline**: 数据处理管道，支持多种存储方式(控制台、数据库等)
+- **Pipeline**: 数据处理管道，支持多种存储方式(控制台、数据库等)和去重功能
 - **Spider**: 爬虫基类，定义爬取逻辑
 
 ### 运行模式
@@ -306,12 +474,64 @@ CONCURRENCY = 16
 DOWNLOAD_DELAY = 1.0
 QUEUE_TYPE = 'memory'  # 单机模式
 # QUEUE_TYPE = 'redis'   # 分布式模式
+
+# Redis 配置 (分布式模式下使用)
+REDIS_HOST = 'localhost'
+REDIS_PORT = 6379
+REDIS_DB = 0
+REDIS_PASSWORD = ''
+
+# 数据管道配置
+PIPELINES = [
+    'crawlo.pipelines.console_pipeline.ConsolePipeline',
+    'crawlo.pipelines.json_pipeline.JsonPipeline',
+    'crawlo.pipelines.redis_dedup_pipeline.RedisDedupPipeline',  # Redis去重管道
+    'crawlo.pipelines.mysql_pipeline.AsyncmyMySQLPipeline',      # MySQL存储管道
+]
 ```
 
-### 命令行配置
+### MySQL 管道配置
 
+Crawlo 提供了现成的 MySQL 管道实现，可以轻松将爬取的数据存储到 MySQL 数据库中：
+
+```python
+# 在 settings.py 中启用 MySQL 管道
+PIPELINES = [
+    'crawlo.pipelines.mysql_pipeline.AsyncmyMySQLPipeline',
+]
+
+# MySQL 数据库配置
+MYSQL_HOST = 'localhost'
+MYSQL_PORT = 3306
+MYSQL_USER = 'your_username'
+MYSQL_PASSWORD = 'your_password'
+MYSQL_DB = 'your_database'
+MYSQL_TABLE = 'your_table_name'
+
+# 可选的批量插入配置
+MYSQL_BATCH_SIZE = 100
+MYSQL_USE_BATCH = True
 ```
-crawlo crawl myspider --concurrency=32 --delay=0.5
+
+MySQL 管道特性：
+- **异步操作**：基于 asyncmy 驱动，提供高性能的异步数据库操作
+- **连接池**：自动管理数据库连接，提高效率
+- **批量插入**：支持批量插入以提高性能
+- **事务支持**：确保数据一致性
+- **灵活配置**：支持自定义表名、批量大小等参数
+
+### 命令行配置
+
+``bash
+# 运行单个爬虫
+crawlo run myspider
+
+# 运行所有爬虫
+crawlo run all
+
+# 在项目子目录中也能正确运行
+cd subdirectory
+crawlo run myspider
 ```
 
 ## 🧩 核心组件
@@ -320,7 +540,11 @@ crawlo crawl myspider --concurrency=32 --delay=0.5
 灵活的中间件系统，支持请求预处理、响应处理和异常处理。
 
 ### 管道系统
-可扩展的数据处理管道，支持多种存储方式（控制台、数据库等）。
+可扩展的数据处理管道，支持多种存储方式（控制台、数据库等）和去重功能：
+- **ConsolePipeline**: 控制台输出管道
+- **JsonPipeline**: JSON文件存储管道
+- **RedisDedupPipeline**: Redis去重管道，基于Redis集合实现分布式去重
+- **AsyncmyMySQLPipeline**: MySQL数据库存储管道，基于asyncmy驱动
 
 ### 扩展组件
 功能增强扩展，包括日志、监控、性能分析等。
@@ -332,6 +556,7 @@ crawlo crawl myspider --concurrency=32 --delay=0.5
 
 - [API数据采集](examples/api_data_collection/) - 简单的API数据采集示例
 - [电信设备许可证](examples/telecom_licenses_distributed/) - 分布式爬取示例
+- [OFweek分布式爬虫](examples/ofweek_distributed/) - 复杂的分布式爬虫示例，包含Redis去重功能
 
 ## 📚 文档
 
@@ -348,4 +573,4 @@ crawlo crawl myspider --concurrency=32 --delay=0.5
 
 ## 📄 许可证
 
-本项目采用 MIT 许可证，详情请见 [LICENSE](LICENSE) 文件。
+本项目采用 MIT 许可证，详情请见 [LICENSE](LICENSE) 文件。

crawlo-1.1.8/crawlo/__version__.py

@@ -0,0 +1 @@
+__version__ = "1.1.8"