crawlo 1.1.9__py3-none-any.whl → 1.2.1__py3-none-any.whl

crawlo/templates/project/middlewares.py.tmpl

@@ -1,110 +1,119 @@
-# -*- coding: UTF-8 -*-
-"""
-{{project_name}}.middlewares
-============================
-自定义中间件，用于在请求/响应/异常处理过程中插入自定义逻辑。
-
-这是一个简单的示例中间件，您可以根据需要添加更多中间件。
-"""
-
-import random
-from crawlo import Request, Response
-from crawlo.utils.log import get_logger
-
-
-class ExampleMiddleware:
-    """
-    示例中间件，演示如何处理请求、响应和异常。
-    
-    此中间件会：
-    1. 为请求添加随机 User-Agent
-    2. 记录请求和响应信息
-    3. 处理异常情况
-    """
-    
-    def __init__(self):
-        self.logger = get_logger(self.__class__.__name__)
-        self.user_agents = [
-            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/136.0.0.0 Safari/537.36',
-            'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/136.0.0.0 Safari/537.36',
-            'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:135.0) Gecko/20100101 Firefox/135.0',
-            'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:135.0) Gecko/20100101 Firefox/135.0',
-        ]
-
-    def process_request(self, request, spider):
-        """
-        在请求被下载器执行前调用。
-        
-        Args:
-            request: 请求对象
-            spider: 爬虫实例
-            
-        Returns:
-            None: 继续处理请求
-            Response: 返回响应对象（短路处理）
-            Request: 返回新请求对象（替换原请求）
-        """
-        # 为请求添加随机 User-Agent
-        if 'User-Agent' not in request.headers:
-            ua = random.choice(self.user_agents)
-            request.headers['User-Agent'] = ua
-            self.logger.debug(f"为请求 {request.url} 设置 User-Agent: {ua[:50]}...")
-        
-        return None
-
-    def process_response(self, request, response, spider):
-        """
-        在响应被 Spider 处理前调用。
-        
-        Args:
-            request: 原始请求对象
-            response: 响应对象
-            spider: 爬虫实例
-            
-        Returns:
-            Response: 处理后的响应对象
-        """
-        # 记录响应信息
-        self.logger.info(f"收到响应: {request.url} - 状态码: {response.status_code}")
-        
-        # 可以在这里处理特殊状态码
-        if response.status_code == 403:
-            self.logger.warning(f"访问被拒绝: {request.url}")
-        
-        return response
-
-    def process_exception(self, request, exception, spider):
-        """
-        在下载或处理过程中发生异常时调用。
-        
-        Args:
-            request: 请求对象
-            exception: 异常对象
-            spider: 爬虫实例
-            
-        Returns:
-            None: 异常将继续传播
-            Response: 返回响应对象（处理异常）
-            Request: 返回新请求对象（重试请求）
-        """
-        self.logger.error(f"请求异常: {request.url} - {exception}")
-        return None
-
-
-# ======================== 使用说明 ========================
-# 
-# 在 settings.py 中启用中间件：
-# MIDDLEWARES = [
-#     '{{project_name}}.middlewares.ExampleMiddleware',
-# ]
-# 
-# 您可以根据需要添加更多中间件，例如：
-# 1. 请求处理中间件（修改请求头、设置代理等）
-# 2. 响应处理中间件（解析、过滤等）
-# 3. 异常处理中间件（重试、记录等）
-# 
-# 每个中间件可以实现以下方法：
-# - process_request: 处理请求
-# - process_response: 处理响应
-# - process_exception: 处理异常
+# -*- coding: UTF-8 -*-
+"""
+{{project_name}}.middlewares
+============================
+自定义中间件，用于在请求/响应/异常处理过程中插入自定义逻辑。
+
+这是一个简单的示例中间件，您可以根据需要添加更多中间件。
+"""
+
+import random
+from crawlo import Request, Response
+from crawlo.utils.log import get_logger
+
+
+class ExampleMiddleware:
+    """
+    示例中间件，演示如何处理请求、响应和异常。
+    
+    此中间件会：
+    1. 为请求添加随机 User-Agent
+    2. 记录请求和响应信息
+    3. 处理异常情况
+    """
+    
+    def __init__(self):
+        self.logger = get_logger(self.__class__.__name__)
+        self.user_agents = [
+            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/136.0.0.0 Safari/537.36',
+            'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/136.0.0.0 Safari/537.36',
+            'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:135.0) Gecko/20100101 Firefox/135.0',
+            'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:135.0) Gecko/20100101 Firefox/135.0',
+        ]
+
+    def process_request(self, request, spider):
+        """
+        在请求被下载器执行前调用。
+        
+        Args:
+            request: 请求对象
+            spider: 爬虫实例
+            
+        Returns:
+            None: 继续处理请求
+            Response: 返回响应对象（短路处理）
+            Request: 返回新请求对象（替换原请求）
+        """
+        # 为请求添加随机 User-Agent
+        if 'User-Agent' not in request.headers:
+            ua = random.choice(self.user_agents)
+            request.headers['User-Agent'] = ua
+            self.logger.debug(f"为请求 {request.url} 设置 User-Agent: {ua[:50]}...")
+        
+        return None
+
+    def process_response(self, request, response, spider):
+        """
+        在响应被 Spider 处理前调用。
+        
+        Args:
+            request: 原始请求对象
+            response: 响应对象
+            spider: 爬虫实例
+            
+        Returns:
+            Response: 处理后的响应对象
+        """
+        # 记录响应信息
+        self.logger.info(f"收到响应: {request.url} - 状态码: {response.status_code}")
+        
+        # 可以在这里处理特殊状态码
+        if response.status_code == 403:
+            self.logger.warning(f"访问被拒绝: {request.url}")
+        
+        return response
+
+    def process_exception(self, request, exception, spider):
+        """
+        在下载或处理过程中发生异常时调用。
+        
+        Args:
+            request: 请求对象
+            exception: 异常对象
+            spider: 爬虫实例
+            
+        Returns:
+            None: 异常将继续传播
+            Response: 返回响应对象（处理异常）
+            Request: 返回新请求对象（重试请求）
+        """
+        self.logger.error(f"请求异常: {request.url} - {exception}")
+        return None
+
+
+# ======================== 使用说明 ========================
+# 
+# 在 settings.py 中启用中间件：
+# MIDDLEWARES = [
+#     '{{project_name}}.middlewares.ExampleMiddleware',
+# ]
+# 
+# 您可以根据需要添加更多中间件，例如：
+# 1. 请求处理中间件（修改请求头、设置代理等）
+# 2. 响应处理中间件（解析、过滤等）
+# 3. 异常处理中间件（重试、记录等）
+# 
+# 每个中间件可以实现以下方法：
+# - process_request: 处理请求
+# - process_response: 处理响应
+# - process_exception: 处理异常
+# 
+# 注意：Crawlo框架提供了许多内置中间件，您可以直接使用：
+# - DownloadDelayMiddleware: 控制请求延迟
+# - ResponseCodeMiddleware: 处理HTTP状态码并记录统计信息
+# - ResponseFilterMiddleware: 过滤特定状态码的响应
+# - DefaultHeaderMiddleware: 添加默认请求头
+# - ProxyMiddleware: 设置代理
+# - RetryMiddleware: 处理重试逻辑
+# - OffsiteMiddleware: 过滤站外请求
 # ======================== 使用说明 ========================

crawlo/templates/project/pipelines.py.tmpl

@@ -1,97 +1,97 @@
-# -*- coding: UTF-8 -*-
-"""
-{{project_name}}.pipelines
-==========================
-数据管道，用于处理 Spider 返回的 Item。
-例如：清理、验证、去重、保存到数据库等。
-
-这是一个简单的示例管道，您可以根据需要添加更多管道。
-"""
-
-from datetime import datetime
-from crawlo.exceptions import DropItem
-from crawlo.utils.log import get_logger
-
-
-class ExamplePipeline:
-    """
-    示例管道，演示如何处理数据项。
-    
-    此管道会：
-    1. 验证必要字段
-    2. 清理数据
-    3. 添加时间戳
-    4. 记录处理日志
-    """
-    
-    def __init__(self):
-        self.logger = get_logger(self.__class__.__name__)
-        self.item_count = 0
-
-    def process_item(self, item, spider):
-        """
-        处理数据项。
-        
-        Args:
-            item: 要处理的数据项
-            spider: 爬虫实例
-            
-        Returns:
-            处理后的数据项
-            
-        Raises:
-            DropItem: 如果数据项无效则抛出此异常
-        """
-        # 验证必要字段
-        if not item.get('title') or not item.get('url'):
-            raise DropItem("缺少必要字段: title 或 url")
-        
-        # 数据清理
-        item['title'] = str(item['title']).strip()
-        
-        # 添加处理时间戳
-        item['processed_at'] = datetime.now().isoformat()
-        
-        # 计数器
-        self.item_count += 1
-        
-        # 记录日志
-        self.logger.info(f"处理第 {self.item_count} 个数据项: {item['title']}")
-        
-        return item
-
-    def open_spider(self, spider):
-        """
-        爬虫启动时调用。
-        
-        Args:
-            spider: 爬虫实例
-        """
-        self.logger.info(f"管道已启动，准备处理爬虫 '{spider.name}' 的数据")
-
-    def close_spider(self, spider):
-        """
-        爬虫关闭时调用。
-        
-        Args:
-            spider: 爬虫实例
-        """
-        self.logger.info(f"管道已关闭，共处理了 {self.item_count} 个数据项")
-
-
-# ======================== 使用说明 ========================
-# 
-# 在 settings.py 中启用管道：
-# PIPELINES = [
-#     '{{project_name}}.pipelines.ExamplePipeline',
-# ]
-# 
-# 您可以根据需要添加更多管道，例如：
-# 1. 数据验证管道
-# 2. 去重管道
-# 3. 数据存储管道（数据库、文件等）
-# 4. 数据转换管道
-# 
-# 每个管道都应该实现 process_item 方法，
-# 可选实现 open_spider 和 close_spider 方法。
+# -*- coding: UTF-8 -*-
+"""
+{{project_name}}.pipelines
+==========================
+数据管道，用于处理 Spider 返回的 Item。
+例如：清理、验证、去重、保存到数据库等。
+
+这是一个简单的示例管道，您可以根据需要添加更多管道。
+"""
+
+from datetime import datetime
+from crawlo.exceptions import DropItem
+from crawlo.utils.log import get_logger
+
+
+class ExamplePipeline:
+    """
+    示例管道，演示如何处理数据项。
+    
+    此管道会：
+    1. 验证必要字段
+    2. 清理数据
+    3. 添加时间戳
+    4. 记录处理日志
+    """
+    
+    def __init__(self):
+        self.logger = get_logger(self.__class__.__name__)
+        self.item_count = 0
+
+    def process_item(self, item, spider):
+        """
+        处理数据项。
+        
+        Args:
+            item: 要处理的数据项
+            spider: 爬虫实例
+            
+        Returns:
+            处理后的数据项
+            
+        Raises:
+            DropItem: 如果数据项无效则抛出此异常
+        """
+        # 验证必要字段
+        if not item.get('title') or not item.get('url'):
+            raise DropItem("缺少必要字段: title 或 url")
+        
+        # 数据清理
+        item['title'] = str(item['title']).strip()
+        
+        # 添加处理时间戳
+        item['processed_at'] = datetime.now().isoformat()
+        
+        # 计数器
+        self.item_count += 1
+        
+        # 记录日志
+        self.logger.info(f"处理第 {self.item_count} 个数据项: {item['title']}")
+        
+        return item
+
+    def open_spider(self, spider):
+        """
+        爬虫启动时调用。
+        
+        Args:
+            spider: 爬虫实例
+        """
+        self.logger.info(f"管道已启动，准备处理爬虫 '{spider.name}' 的数据")
+
+    def close_spider(self, spider):
+        """
+        爬虫关闭时调用。
+        
+        Args:
+            spider: 爬虫实例
+        """
+        self.logger.info(f"管道已关闭，共处理了 {self.item_count} 个数据项")
+
+
+# ======================== 使用说明 ========================
+# 
+# 在 settings.py 中启用管道：
+# PIPELINES = [
+#     '{{project_name}}.pipelines.ExamplePipeline',
+# ]
+# 
+# 您可以根据需要添加更多管道，例如：
+# 1. 数据验证管道
+# 2. 去重管道
+# 3. 数据存储管道（数据库、文件等）
+# 4. 数据转换管道
+# 
+# 每个管道都应该实现 process_item 方法，
+# 可选实现 open_spider 和 close_spider 方法。
 # ======================== 使用说明 ========================

crawlo/templates/project/run.py.tmpl

@@ -1,46 +1,46 @@
-#!/usr/bin/env python
-# -*- coding: UTF-8 -*-
-"""
-{{project_name}} 项目运行脚本
-============================
-基于 Crawlo 框架的简化爬虫启动器。
-"""
-
-import sys
-import os
-import asyncio
-
-# 添加项目根目录到 Python 路径
-project_root = os.path.dirname(os.path.abspath(__file__))
-sys.path.insert(0, project_root)
-
-# 切换到项目根目录
-os.chdir(project_root)
-
-from crawlo.crawler import CrawlerProcess
-
-def main():
-    """主函数：运行固定的爬虫"""
-    print("🚀 启动 {{project_name}} 爬虫")
-    
-    # 创建爬虫进程（自动加载默认配置）
-    try:
-        # 确保 spider 模块被正确导入
-        spider_modules = ['{{project_name}}.spiders']
-        process = CrawlerProcess(spider_modules=spider_modules)
-        print("✅ 爬虫进程初始化成功")
-        
-        # 运行固定的爬虫
-        # TODO: 请将 'your_spider_name' 替换为实际的爬虫名称
-        asyncio.run(process.crawl('your_spider_name'))
-        
-        print("✅ 爬虫运行完成")
-        
-    except Exception as e:
-        print(f"❌ 运行失败: {e}")
-        import traceback
-        traceback.print_exc()
-        sys.exit(1)
-
-if __name__ == '__main__':
+#!/usr/bin/env python
+# -*- coding: UTF-8 -*-
+"""
+{{project_name}} 项目运行脚本
+============================
+基于 Crawlo 框架的简化爬虫启动器。
+"""
+
+import sys
+import os
+import asyncio
+
+# 添加项目根目录到 Python 路径
+project_root = os.path.dirname(os.path.abspath(__file__))
+sys.path.insert(0, project_root)
+
+# 切换到项目根目录
+os.chdir(project_root)
+
+from crawlo.crawler import CrawlerProcess
+
+def main():
+    """主函数：运行固定的爬虫"""
+    print("🚀 启动 {{project_name}} 爬虫")
+    
+    # 创建爬虫进程（自动加载默认配置）
+    try:
+        # 确保 spider 模块被正确导入
+        spider_modules = ['{{project_name}}.spiders']
+        process = CrawlerProcess(spider_modules=spider_modules)
+        print("✅ 爬虫进程初始化成功")
+        
+        # 运行固定的爬虫
+        # TODO: 请将 'your_spider_name' 替换为实际的爬虫名称
+        asyncio.run(process.crawl('your_spider_name'))
+        
+        print("✅ 爬虫运行完成")
+        
+    except Exception as e:
+        print(f"❌ 运行失败: {e}")
+        import traceback
+        traceback.print_exc()
+        sys.exit(1)
+
+if __name__ == '__main__':
     main()