crawlo 1.1.6__py3-none-any.whl → 1.1.9__py3-none-any.whl

crawlo/templates/project/middlewares.py.tmpl

@@ -1,111 +1,110 @@
-# -*- coding: UTF-8 -*-
-"""
-{{project_name}}.middlewares
-============================
-自定义中间件，用于在请求/响应/异常处理过程中插入自定义逻辑。
-
-这是一个简单的示例中间件，您可以根据需要添加更多中间件。
-"""
-
-import random
-from crawlo import Request, Response
-from crawlo.utils.log import get_logger
-from crawlo.exceptions import IgnoreRequest
-
-
-class ExampleMiddleware:
-    """
-    示例中间件，演示如何处理请求、响应和异常。
-    
-    此中间件会：
-    1. 为请求添加随机 User-Agent
-    2. 记录请求和响应信息
-    3. 处理异常情况
-    """
-    
-    def __init__(self):
-        self.logger = get_logger(self.__class__.__name__)
-        self.user_agents = [
-            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/136.0.0.0 Safari/537.36',
-            'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/136.0.0.0 Safari/537.36',
-            'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:135.0) Gecko/20100101 Firefox/135.0',
-            'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:135.0) Gecko/20100101 Firefox/135.0',
-        ]
-
-    def process_request(self, request, spider):
-        """
-        在请求被下载器执行前调用。
-        
-        Args:
-            request: 请求对象
-            spider: 爬虫实例
-            
-        Returns:
-            None: 继续处理请求
-            Response: 返回响应对象（短路处理）
-            Request: 返回新请求对象（替换原请求）
-        """
-        # 为请求添加随机 User-Agent
-        if 'User-Agent' not in request.headers:
-            ua = random.choice(self.user_agents)
-            request.headers['User-Agent'] = ua
-            self.logger.debug(f"为请求 {request.url} 设置 User-Agent: {ua[:50]}...")
-        
-        return None
-
-    def process_response(self, request, response, spider):
-        """
-        在响应被 Spider 处理前调用。
-        
-        Args:
-            request: 原始请求对象
-            response: 响应对象
-            spider: 爬虫实例
-            
-        Returns:
-            Response: 处理后的响应对象
-        """
-        # 记录响应信息
-        self.logger.info(f"收到响应: {request.url} - 状态码: {response.status_code}")
-        
-        # 可以在这里处理特殊状态码
-        if response.status_code == 403:
-            self.logger.warning(f"访问被拒绝: {request.url}")
-        
-        return response
-
-    def process_exception(self, request, exception, spider):
-        """
-        在下载或处理过程中发生异常时调用。
-        
-        Args:
-            request: 请求对象
-            exception: 异常对象
-            spider: 爬虫实例
-            
-        Returns:
-            None: 异常将继续传播
-            Response: 返回响应对象（处理异常）
-            Request: 返回新请求对象（重试请求）
-        """
-        self.logger.error(f"请求异常: {request.url} - {exception}")
-        return None
-
-
-# ======================== 使用说明 ========================
-# 
-# 在 settings.py 中启用中间件：
-# MIDDLEWARES = [
-#     '{{project_name}}.middlewares.ExampleMiddleware',
-# ]
-# 
-# 您可以根据需要添加更多中间件，例如：
-# 1. 请求处理中间件（修改请求头、设置代理等）
-# 2. 响应处理中间件（解析、过滤等）
-# 3. 异常处理中间件（重试、记录等）
-# 
-# 每个中间件可以实现以下方法：
-# - process_request: 处理请求
-# - process_response: 处理响应
-# - process_exception: 处理异常
+# -*- coding: UTF-8 -*-
+"""
+{{project_name}}.middlewares
+============================
+自定义中间件，用于在请求/响应/异常处理过程中插入自定义逻辑。
+
+这是一个简单的示例中间件，您可以根据需要添加更多中间件。
+"""
+
+import random
+from crawlo import Request, Response
+from crawlo.utils.log import get_logger
+
+
+class ExampleMiddleware:
+    """
+    示例中间件，演示如何处理请求、响应和异常。
+    
+    此中间件会：
+    1. 为请求添加随机 User-Agent
+    2. 记录请求和响应信息
+    3. 处理异常情况
+    """
+    
+    def __init__(self):
+        self.logger = get_logger(self.__class__.__name__)
+        self.user_agents = [
+            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/136.0.0.0 Safari/537.36',
+            'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/136.0.0.0 Safari/537.36',
+            'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:135.0) Gecko/20100101 Firefox/135.0',
+            'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:135.0) Gecko/20100101 Firefox/135.0',
+        ]
+
+    def process_request(self, request, spider):
+        """
+        在请求被下载器执行前调用。
+        
+        Args:
+            request: 请求对象
+            spider: 爬虫实例
+            
+        Returns:
+            None: 继续处理请求
+            Response: 返回响应对象（短路处理）
+            Request: 返回新请求对象（替换原请求）
+        """
+        # 为请求添加随机 User-Agent
+        if 'User-Agent' not in request.headers:
+            ua = random.choice(self.user_agents)
+            request.headers['User-Agent'] = ua
+            self.logger.debug(f"为请求 {request.url} 设置 User-Agent: {ua[:50]}...")
+        
+        return None
+
+    def process_response(self, request, response, spider):
+        """
+        在响应被 Spider 处理前调用。
+        
+        Args:
+            request: 原始请求对象
+            response: 响应对象
+            spider: 爬虫实例
+            
+        Returns:
+            Response: 处理后的响应对象
+        """
+        # 记录响应信息
+        self.logger.info(f"收到响应: {request.url} - 状态码: {response.status_code}")
+        
+        # 可以在这里处理特殊状态码
+        if response.status_code == 403:
+            self.logger.warning(f"访问被拒绝: {request.url}")
+        
+        return response
+
+    def process_exception(self, request, exception, spider):
+        """
+        在下载或处理过程中发生异常时调用。
+        
+        Args:
+            request: 请求对象
+            exception: 异常对象
+            spider: 爬虫实例
+            
+        Returns:
+            None: 异常将继续传播
+            Response: 返回响应对象（处理异常）
+            Request: 返回新请求对象（重试请求）
+        """
+        self.logger.error(f"请求异常: {request.url} - {exception}")
+        return None
+
+
+# ======================== 使用说明 ========================
+# 
+# 在 settings.py 中启用中间件：
+# MIDDLEWARES = [
+#     '{{project_name}}.middlewares.ExampleMiddleware',
+# ]
+# 
+# 您可以根据需要添加更多中间件，例如：
+# 1. 请求处理中间件（修改请求头、设置代理等）
+# 2. 响应处理中间件（解析、过滤等）
+# 3. 异常处理中间件（重试、记录等）
+# 
+# 每个中间件可以实现以下方法：
+# - process_request: 处理请求
+# - process_response: 处理响应
+# - process_exception: 处理异常
 # ======================== 使用说明 ========================

crawlo/templates/project/pipelines.py.tmpl

@@ -1,98 +1,97 @@
-# -*- coding: UTF-8 -*-
-"""
-{{project_name}}.pipelines
-==========================
-数据管道，用于处理 Spider 返回的 Item。
-例如：清理、验证、去重、保存到数据库等。
-
-这是一个简单的示例管道，您可以根据需要添加更多管道。
-"""
-
-import json
-from datetime import datetime
-from crawlo.exceptions import DropItem
-from crawlo.utils.log import get_logger
-
-
-class ExamplePipeline:
-    """
-    示例管道，演示如何处理数据项。
-    
-    此管道会：
-    1. 验证必要字段
-    2. 清理数据
-    3. 添加时间戳
-    4. 记录处理日志
-    """
-    
-    def __init__(self):
-        self.logger = get_logger(self.__class__.__name__)
-        self.item_count = 0
-
-    def process_item(self, item, spider):
-        """
-        处理数据项。
-        
-        Args:
-            item: 要处理的数据项
-            spider: 爬虫实例
-            
-        Returns:
-            处理后的数据项
-            
-        Raises:
-            DropItem: 如果数据项无效则抛出此异常
-        """
-        # 验证必要字段
-        if not item.get('title') or not item.get('url'):
-            raise DropItem("缺少必要字段: title 或 url")
-        
-        # 数据清理
-        item['title'] = str(item['title']).strip()
-        
-        # 添加处理时间戳
-        item['processed_at'] = datetime.now().isoformat()
-        
-        # 计数器
-        self.item_count += 1
-        
-        # 记录日志
-        self.logger.info(f"处理第 {self.item_count} 个数据项: {item['title']}")
-        
-        return item
-
-    def open_spider(self, spider):
-        """
-        爬虫启动时调用。
-        
-        Args:
-            spider: 爬虫实例
-        """
-        self.logger.info(f"管道已启动，准备处理爬虫 '{spider.name}' 的数据")
-
-    def close_spider(self, spider):
-        """
-        爬虫关闭时调用。
-        
-        Args:
-            spider: 爬虫实例
-        """
-        self.logger.info(f"管道已关闭，共处理了 {self.item_count} 个数据项")
-
-
-# ======================== 使用说明 ========================
-# 
-# 在 settings.py 中启用管道：
-# PIPELINES = [
-#     '{{project_name}}.pipelines.ExamplePipeline',
-# ]
-# 
-# 您可以根据需要添加更多管道，例如：
-# 1. 数据验证管道
-# 2. 去重管道
-# 3. 数据存储管道（数据库、文件等）
-# 4. 数据转换管道
-# 
-# 每个管道都应该实现 process_item 方法，
-# 可选实现 open_spider 和 close_spider 方法。
+# -*- coding: UTF-8 -*-
+"""
+{{project_name}}.pipelines
+==========================
+数据管道，用于处理 Spider 返回的 Item。
+例如：清理、验证、去重、保存到数据库等。
+
+这是一个简单的示例管道，您可以根据需要添加更多管道。
+"""
+
+from datetime import datetime
+from crawlo.exceptions import DropItem
+from crawlo.utils.log import get_logger
+
+
+class ExamplePipeline:
+    """
+    示例管道，演示如何处理数据项。
+    
+    此管道会：
+    1. 验证必要字段
+    2. 清理数据
+    3. 添加时间戳
+    4. 记录处理日志
+    """
+    
+    def __init__(self):
+        self.logger = get_logger(self.__class__.__name__)
+        self.item_count = 0
+
+    def process_item(self, item, spider):
+        """
+        处理数据项。
+        
+        Args:
+            item: 要处理的数据项
+            spider: 爬虫实例
+            
+        Returns:
+            处理后的数据项
+            
+        Raises:
+            DropItem: 如果数据项无效则抛出此异常
+        """
+        # 验证必要字段
+        if not item.get('title') or not item.get('url'):
+            raise DropItem("缺少必要字段: title 或 url")
+        
+        # 数据清理
+        item['title'] = str(item['title']).strip()
+        
+        # 添加处理时间戳
+        item['processed_at'] = datetime.now().isoformat()
+        
+        # 计数器
+        self.item_count += 1
+        
+        # 记录日志
+        self.logger.info(f"处理第 {self.item_count} 个数据项: {item['title']}")
+        
+        return item
+
+    def open_spider(self, spider):
+        """
+        爬虫启动时调用。
+        
+        Args:
+            spider: 爬虫实例
+        """
+        self.logger.info(f"管道已启动，准备处理爬虫 '{spider.name}' 的数据")
+
+    def close_spider(self, spider):
+        """
+        爬虫关闭时调用。
+        
+        Args:
+            spider: 爬虫实例
+        """
+        self.logger.info(f"管道已关闭，共处理了 {self.item_count} 个数据项")
+
+
+# ======================== 使用说明 ========================
+# 
+# 在 settings.py 中启用管道：
+# PIPELINES = [
+#     '{{project_name}}.pipelines.ExamplePipeline',
+# ]
+# 
+# 您可以根据需要添加更多管道，例如：
+# 1. 数据验证管道
+# 2. 去重管道
+# 3. 数据存储管道（数据库、文件等）
+# 4. 数据转换管道
+# 
+# 每个管道都应该实现 process_item 方法，
+# 可选实现 open_spider 和 close_spider 方法。
 # ======================== 使用说明 ========================