crawlo 1.1.1__py3-none-any.whl → 1.1.2__py3-none-any.whl

crawlo/task_manager.py

@@ -11,7 +11,10 @@ class TaskManager:
         self.current_task: Final[Set] = set()
         self.semaphore: Semaphore = Semaphore(total_concurrency)
 
-    def create_task(self, coroutine) -> Task:
+    async def create_task(self, coroutine) -> Task:
+        # 等待信号量，控制并发数
+        await self.semaphore.acquire()
+        
         task = asyncio.create_task(coroutine)
         self.current_task.add(task)
 

crawlo/templates/project/middlewares.py.tmpl

@@ -5,72 +5,83 @@
 自定义中间件，用于在请求/响应/异常处理过程中插入自定义逻辑。
 """
 
-# 示例：下载器中间件
+import random
+from crawlo import Request, Response
+from crawlo.utils.log import get_logger
+from crawlo.exceptions import IgnoreRequest
+
+
+class RandomUserAgentMiddleware:
+    """随机 User-Agent 中间件。"""
+    
+    def __init__(self):
+        self.logger = get_logger(self.__class__.__name__)
+        self.user_agents = [
+            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/136.0.0.0 Safari/537.36',
+            'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/136.0.0.0 Safari/537.36',
+            'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:135.0) Gecko/20100101 Firefox/135.0',
+            'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:135.0) Gecko/20100101 Firefox/135.0',
+        ]
+    
+    def process_request(self, request, spider):
+        if 'User-Agent' not in request.headers:
+            ua = random.choice(self.user_agents)
+            request.headers['User-Agent'] = ua
+        return None
+
+
 class CustomDownloaderMiddleware:
-    """
-    下载器中间件示例。
-    """
+    """自定义下载器中间件示例。"""
+
+    def __init__(self):
+        self.logger = get_logger(self.__class__.__name__)
 
     def process_request(self, request, spider):
-        """
-        在请求被下载器执行前调用。
-        """
-        # request.headers['User-Agent'] = 'Custom UA'
-        # return None  # 继续处理
-        # return request  # 修改并返回
-        # return Response(...)  # 返回一个响应，停止下载
-        pass
+        """在请求被下载器执行前调用。"""
+        # 示例：添加自定义请求头
+        # request.headers['Custom-Header'] = 'Custom-Value'
+        # 示例：设置代理
+        # request.meta['proxy'] = 'http://proxy.example.com:8080'
+        return None
 
     def process_response(self, request, response, spider):
-        """
-        在响应被 Spider 处理前调用。
-        """
-        # return response  # 继续处理
-        # return request  # 重试请求
-        pass
+        """在响应被 Spider 处理前调用。"""
+        # 示例：检查响应状态
+        if response.status_code == 403:
+            self.logger.warning(f"访问被拒绝: {request.url}")
+        return response
 
     def process_exception(self, request, exception, spider):
-        """
-        在下载或处理过程中发生异常时调用。
-        """
-        # return None  # 继续抛出异常
-        # return request  # 重试
-        # return Response(...) # 返回一个响应
-        pass
+        """在下载或处理过程中发生异常时调用。"""
+        self.logger.error(f"请求异常: {request.url} - {exception}")
+        return None
 
 
-# 示例：Spider 中间件
 class CustomSpiderMiddleware:
     """
-    Spider 中间件示例。
+Spider 中间件示例。
     """
 
+    def __init__(self):
+        self.logger = get_logger(self.__class__.__name__)
+
     def process_spider_input(self, response, spider):
-        """
-        在 Spider 的 parse 方法被调用前调用。
-        """
+        """在 Spider 的 parse 方法被调用前调用。"""
         # 可以用来验证响应
         pass
 
     def process_spider_output(self, response, result, spider):
-        """
-        在 Spider 的 parse 方法返回结果后调用。
-        """
+        """在 Spider 的 parse 方法返回结果后调用。"""
         # 可以用来过滤或修改结果
-        # for item in result:
-        #     yield item
-        pass
+        for item in result:
+            yield item
 
     def process_spider_exception(self, response, exception, spider):
-        """
-        在 Spider 的 parse 方法抛出异常时调用。
-        """
+        """在 Spider 的 parse 方法抛出异常时调用。"""
+        self.logger.error(f"Spider 异常: {response.url} - {exception}")
         pass
 
     def process_start_requests(self, start_requests, spider):
-        """
-        在 Spider 的 start_requests 生成器被消费时调用。
-        """
-        # for request in start_requests:
-        #     yield request
-        pass
+        """在 Spider 的 start_requests 生成器被消费时调用。"""
+        for request in start_requests:
+            yield request

crawlo/templates/project/pipelines.py.tmpl

@@ -4,61 +4,333 @@
 ==========================
 数据管道，用于处理 Spider 返回的 Item。
 例如：清理、验证、去重、保存到数据库等。
+
+支持异步并发处理和多种存储后端。
 """
 
+import json
+import asyncio
+from typing import Dict, Any
+from datetime import datetime
+from crawlo.exceptions import DropItem
+from crawlo.utils.log import get_logger
+
+
+class ValidationPipeline:
+    """
+    数据验证管道。
+    
+    验证必要字段是否存在，过滤无效数据。
+    """
+    
+    def __init__(self):
+        self.logger = get_logger(self.__class__.__name__)
+        # 必要字段列表（根据实际需要修改）
+        self.required_fields = ['title', 'url']
+    
+    def process_item(self, item, spider):
+        """验证数据项。"""
+        # 检查必要字段
+        for field in self.required_fields:
+            if not item.get(field):
+                raise DropItem(f"缺少必要字段: {field}")
+        
+        # 数据清理
+        if 'title' in item:
+            item['title'] = str(item['title']).strip()
+        
+        # 添加时间戳
+        item['crawled_at'] = datetime.now().isoformat()
+        
+        self.logger.debug(f"数据验证通过: {item.get('url', 'Unknown URL')}")
+        return item
+
+
 class PrintItemPipeline:
     """
-    一个简单的管道，用于打印 Item。
+    简单的打印管道，用于调试。
     """
+    
+    def __init__(self):
+        self.logger = get_logger(self.__class__.__name__)
+        self.item_count = 0
 
     def process_item(self, item, spider):
-        print(f"Pipeline received item: {dict(item)}")
+        """打印数据项。"""
+        self.item_count += 1
+        self.logger.info(f"[第{self.item_count}个数据] {json.dumps(dict(item), ensure_ascii=False, indent=2)}")
         return item
 
 
 class DuplicatesPipeline:
     """
-    一个去重管道示例。
+    去重管道。
+    
+    基于指定字段进行去重，防止重复数据。
     """
+    
     def __init__(self):
+        self.logger = get_logger(self.__class__.__name__)
         self.seen = set()
+        # 去重字段（可以是 'url', 'id', 或其他唯一标识）
+        self.duplicate_field = 'url'
+        self.drop_count = 0
 
     def process_item(self, item, spider):
-        identifier = item.get('id') or item.get('url')
+        """检查并去除重复数据。"""
+        identifier = item.get(self.duplicate_field)
+        
+        if not identifier:
+            self.logger.warning(f"数据项缺少去重字段 '{self.duplicate_field}'，跳过去重检查")
+            return item
+        
         if identifier in self.seen:
-            spider.logger.debug(f"Duplicate item found: {identifier}")
-            raise DropItem(f"Duplicate item: {identifier}")
+            self.drop_count += 1
+            self.logger.debug(f"发现重复数据: {identifier} (已过滤{self.drop_count}个)")
+            raise DropItem(f"重复数据: {identifier}")
+        
         self.seen.add(identifier)
         return item
+    
+    def close_spider(self, spider):
+        """爬虫结束时输出统计信息。"""
+        self.logger.info(f"去重管道统计: 已过滤{self.drop_count}个重复数据，唯一数据{len(self.seen)}个")
+
+
+class JsonFilesPipeline:
+    """
+    JSON 文件存储管道。
+    
+    将每个数据项保存为单独的 JSON 文件。
+    """
+    
+    def __init__(self, output_dir='output'):
+        self.logger = get_logger(self.__class__.__name__)
+        self.output_dir = output_dir
+        self.file_count = 0
+    
+    @classmethod
+    def from_crawler(cls, crawler):
+        """从爬虫配置创建管道实例。"""
+        output_dir = crawler.settings.get('JSON_OUTPUT_DIR', 'output')
+        return cls(output_dir=output_dir)
+    
+    def open_spider(self, spider):
+        """爬虫启动时创建输出目录。"""
+        import os
+        os.makedirs(self.output_dir, exist_ok=True)
+        self.logger.info(f"JSON 文件将保存到: {self.output_dir}")
+    
+    def process_item(self, item, spider):
+        """将数据项保存为 JSON 文件。"""
+        self.file_count += 1
+        filename = f"{spider.name}_{self.file_count:06d}.json"
+        filepath = f"{self.output_dir}/{filename}"
+        
+        with open(filepath, 'w', encoding='utf-8') as f:
+            json.dump(dict(item), f, ensure_ascii=False, indent=2)
+        
+        self.logger.debug(f"已保存: {filepath}")
+        return item
+
+
+class DatabasePipeline:
+    """
+    数据库存储管道示例。
+    
+    支持 MySQL 和 MongoDB，可根据需要选择。
+    """
+    
+    def __init__(self, database_type='mysql'):
+        self.logger = get_logger(self.__class__.__name__)
+        self.database_type = database_type
+        self.connection = None
+        self.batch_items = []
+        self.batch_size = 100  # 批量写入大小
+    
+    @classmethod
+    def from_crawler(cls, crawler):
+        """从爬虫配置创建管道实例。"""
+        db_type = crawler.settings.get('DATABASE_TYPE', 'mysql')
+        return cls(database_type=db_type)
+    
+    async def open_spider(self, spider):
+        """爬虫启动时连接数据库。"""
+        if self.database_type == 'mysql':
+            await self._connect_mysql(spider)
+        elif self.database_type == 'mongodb':
+            await self._connect_mongodb(spider)
+        else:
+            raise ValueError(f"不支持的数据库类型: {self.database_type}")
+    
+    async def _connect_mysql(self, spider):
+        """连接 MySQL 数据库。"""
+        try:
+            import aiomysql
+            
+            settings = spider.crawler.settings
+            self.connection = await aiomysql.connect(
+                host=settings.get('MYSQL_HOST', '127.0.0.1'),
+                port=settings.get('MYSQL_PORT', 3306),
+                user=settings.get('MYSQL_USER', 'root'),
+                password=settings.get('MYSQL_PASSWORD', ''),
+                db=settings.get('MYSQL_DB', '{{project_name}}'),
+                charset='utf8mb4',
+                autocommit=True
+            )
+            
+            # 创建表（如果不存在）
+            await self._create_mysql_table(spider)
+            self.logger.info("已连接到 MySQL 数据库")
+            
+        except ImportError:
+            self.logger.error("缺少 aiomysql 依赖，请安装: pip install aiomysql")
+            raise
+        except Exception as e:
+            self.logger.error(f"MySQL 连接失败: {e}")
+            raise
+    
+    async def _connect_mongodb(self, spider):
+        """连接 MongoDB 数据库。"""
+        try:
+            from motor.motor_asyncio import AsyncIOMotorClient
+            
+            settings = spider.crawler.settings
+            mongo_uri = settings.get('MONGO_URI', 'mongodb://localhost:27017')
+            
+            self.connection = AsyncIOMotorClient(mongo_uri)
+            self.database = self.connection[settings.get('MONGO_DATABASE', '{{project_name}}_db')]
+            self.collection = self.database[settings.get('MONGO_COLLECTION', '{{project_name}}_items')]
+            
+            self.logger.info("已连接到 MongoDB 数据库")
+            
+        except ImportError:
+            self.logger.error("缺少 motor 依赖，请安装: pip install motor")
+            raise
+        except Exception as e:
+            self.logger.error(f"MongoDB 连接失败: {e}")
+            raise
+    
+    async def _create_mysql_table(self, spider):
+        """创建 MySQL 表结构。"""
+        table_name = spider.crawler.settings.get('MYSQL_TABLE', '{{project_name}}_data')
+        
+        create_sql = f"""
+        CREATE TABLE IF NOT EXISTS `{table_name}` (
+            `id` bigint AUTO_INCREMENT PRIMARY KEY,
+            `title` varchar(500) DEFAULT NULL,
+            `url` varchar(1000) NOT NULL,
+            `content` text DEFAULT NULL,
+            `crawled_at` datetime DEFAULT CURRENT_TIMESTAMP,
+            `spider_name` varchar(100) DEFAULT NULL,
+            `extra_data` json DEFAULT NULL,
+            UNIQUE KEY `unique_url` (`url`(255)),
+            INDEX `idx_spider_name` (`spider_name`),
+            INDEX `idx_crawled_at` (`crawled_at`)
+        ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;
+        """
+        
+        async with self.connection.cursor() as cursor:
+            await cursor.execute(create_sql)
+            self.logger.info(f"表 '{table_name}' 准备就绪")
+    
+    async def process_item(self, item, spider):
+        """处理数据项（批量存储）。"""
+        self.batch_items.append(dict(item))
+        
+        # 批量存储
+        if len(self.batch_items) >= self.batch_size:
+            await self._save_batch(spider)
+        
+        return item
+    
+    async def _save_batch(self, spider):
+        """批量保存数据。"""
+        if not self.batch_items:
+            return
+        
+        try:
+            if self.database_type == 'mysql':
+                await self._save_to_mysql(spider)
+            elif self.database_type == 'mongodb':
+                await self._save_to_mongodb(spider)
+            
+            self.logger.info(f"批量保存 {len(self.batch_items)} 条数据")
+            self.batch_items.clear()
+            
+        except Exception as e:
+            self.logger.error(f"批量保存失败: {e}")
+            # 可以选择重试或记录失败数据
+    
+    async def _save_to_mysql(self, spider):
+        """保存到 MySQL。"""
+        table_name = spider.crawler.settings.get('MYSQL_TABLE', '{{project_name}}_data')
+        
+        insert_sql = f"""
+        INSERT INTO `{table_name}` 
+        (`title`, `url`, `content`, `spider_name`, `extra_data`)
+        VALUES (%s, %s, %s, %s, %s)
+        ON DUPLICATE KEY UPDATE
+        `title` = VALUES(`title`),
+        `content` = VALUES(`content`),
+        `crawled_at` = CURRENT_TIMESTAMP
+        """
+        
+        async with self.connection.cursor() as cursor:
+            batch_data = []
+            for item in self.batch_items:
+                # 提取标准字段
+                title = item.get('title', '')[:500]  # 限制长度
+                url = item.get('url', '')
+                content = item.get('content', '')
+                
+                # 其他字段作为 JSON 存储
+                extra_fields = {k: v for k, v in item.items() 
+                              if k not in ['title', 'url', 'content']}
+                extra_data = json.dumps(extra_fields, ensure_ascii=False) if extra_fields else None
+                
+                batch_data.append((title, url, content, spider.name, extra_data))
+            
+            await cursor.executemany(insert_sql, batch_data)
+    
+    async def _save_to_mongodb(self, spider):
+        """保存到 MongoDB。"""
+        # 为每个数据项添加 spider_name
+        for item in self.batch_items:
+            item['spider_name'] = spider.name
+        
+        # 批量插入
+        await self.collection.insert_many(self.batch_items)
+    
+    async def close_spider(self, spider):
+        """爬虫结束时保存剩余数据并关闭连接。"""
+        # 保存剩余数据
+        if self.batch_items:
+            await self._save_batch(spider)
+        
+        # 关闭连接
+        if self.connection:
+            if self.database_type == 'mysql':
+                self.connection.close()
+            elif self.database_type == 'mongodb':
+                self.connection.close()
+            
+            self.logger.info("数据库连接已关闭")
 
 
-# class MySQLPipeline:
-#     """
-#     将 Item 保存到 MySQL 的管道示例。
-#     """
-#     def __init__(self, mysql_uri, mysql_user, mysql_password, mysql_db):
-#         self.mysql_uri = mysql_uri
-#         self.mysql_user = mysql_user
-#         self.mysql_password = mysql_password
-#         self.mysql_db = mysql_db
-#         self.connection = None
-#
-#     @classmethod
-#     def from_settings(cls, settings):
-#         return cls(
-#             mysql_uri=settings.get('MYSQL_HOST'),
-#             mysql_user=settings.get('MYSQL_USER'),
-#             mysql_password=settings.get('MYSQL_PASSWORD'),
-#             mysql_db=settings.get('MYSQL_DB')
-#         )
-#
-#     def open_spider(self, spider):
-#         self.connection = pymysql.connect(...)
-#
-#     def close_spider(self, spider):
-#         if self.connection:
-#             self.connection.close()
-#
-#     def process_item(self, item, spider):
-#         # 执行 SQL 插入
-#         return item
+# ======================== 使用说明 ========================
+# 
+# 在 settings.py 中启用管道：
+# PIPELINES = [
+#     '{{project_name}}.pipelines.ValidationPipeline',      # 数据验证
+#     '{{project_name}}.pipelines.DuplicatesPipeline',       # 去重过滤
+#     '{{project_name}}.pipelines.PrintItemPipeline',        # 打印输出（调试）
+#     '{{project_name}}.pipelines.JsonFilesPipeline',        # JSON 文件存储
+#     '{{project_name}}.pipelines.DatabasePipeline',         # 数据库存储
+# ]
+# 
+# 相关配置：
+# JSON_OUTPUT_DIR = 'output'          # JSON 文件输出目录
+# DATABASE_TYPE = 'mysql'             # 数据库类型: mysql/mongodb
+# MYSQL_TABLE = '{{project_name}}_data'  # MySQL 表名
+# ======================== 使用说明 ========================