crawlo 1.4.4__py3-none-any.whl → 1.4.5__py3-none-any.whl

crawlo/task_manager.py

@@ -1,10 +1,10 @@
 #!/usr/bin/python
 # -*- coding:UTF-8 -*-
+import time
 import asyncio
-from asyncio import Task, Future, Semaphore
 from typing import Set, Final
 from collections import deque
-import time
+from asyncio import Task, Future, Semaphore
 from crawlo.utils.log import get_logger
 
 

crawlo/templates/project/items.py.tmpl

@@ -8,9 +8,9 @@
 from crawlo.items import Item, Field
 
 
-class ExampleItem(Item):
+class {{project_name|title}}Item(Item):
     """
-    一个示例数据项。
+    {{project_name}} 项目的数据项。
     """
     id = Field()
     # price = Field()

crawlo/templates/project/middlewares.py.tmpl

@@ -2,118 +2,38 @@
 """
 {{project_name}}.middlewares
 ============================
-自定义中间件，用于在请求/响应/异常处理过程中插入自定义逻辑。
-
-这是一个简单的示例中间件，您可以根据需要添加更多中间件。
+自定义中间件示例
 """
 
-import random
-from crawlo import Request, Response
+from crawlo.network import Request, Response
 from crawlo.utils.log import get_logger
 
 
-class ExampleMiddleware:
+class {{project_name|title}}Middleware:
     """
-    示例中间件，演示如何处理请求、响应和异常。
-    
-    此中间件会：
-    1. 为请求添加随机 User-Agent
-    2. 记录请求和响应信息
-    3. 处理异常情况
+    {{project_name}} 项目的中间件
     """
     
     def __init__(self):
         self.logger = get_logger(self.__class__.__name__)
-        self.user_agents = [
-            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/136.0.0.0 Safari/537.36',
-            'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/136.0.0.0 Safari/537.36',
-            'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:135.0) Gecko/20100101 Firefox/135.0',
-            'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:135.0) Gecko/20100101 Firefox/135.0',
-        ]
 
     def process_request(self, request, spider):
         """
-        在请求被下载器执行前调用。
-        
-        Args:
-            request: 请求对象
-            spider: 爬虫实例
-            
-        Returns:
-            None: 继续处理请求
-            Response: 返回响应对象（短路处理）
-            Request: 返回新请求对象（替换原请求）
+        在请求被下载器执行前调用
         """
-        # 为请求添加随机 User-Agent
-        if 'User-Agent' not in request.headers:
-            ua = random.choice(self.user_agents)
-            request.headers['User-Agent'] = ua
-            self.logger.debug(f"为请求 {request.url} 设置 User-Agent: {ua[:50]}...")
-        
+        self.logger.info(f"处理请求: {request.url}")
         return None
 
     def process_response(self, request, response, spider):
         """
-        在响应被 Spider 处理前调用。
-        
-        Args:
-            request: 原始请求对象
-            response: 响应对象
-            spider: 爬虫实例
-            
-        Returns:
-            Response: 处理后的响应对象
+        在响应被 Spider 处理前调用
         """
-        # 记录响应信息
         self.logger.info(f"收到响应: {request.url} - 状态码: {response.status_code}")
-        
-        # 可以在这里处理特殊状态码
-        if response.status_code == 403:
-            self.logger.warning(f"访问被拒绝: {request.url}")
-        
         return response
 
     def process_exception(self, request, exception, spider):
         """
-        在下载或处理过程中发生异常时调用。
-        
-        Args:
-            request: 请求对象
-            exception: 异常对象
-            spider: 爬虫实例
-            
-        Returns:
-            None: 异常将继续传播
-            Response: 返回响应对象（处理异常）
-            Request: 返回新请求对象（重试请求）
+        在下载或处理过程中发生异常时调用
         """
         self.logger.error(f"请求异常: {request.url} - {exception}")
-        return None
-
-
-# ======================== 使用说明 ========================
-# 
-# 在 settings.py 中启用中间件：
-# MIDDLEWARES = [
-#     '{{project_name}}.middlewares.ExampleMiddleware',
-# ]
-# 
-# 您可以根据需要添加更多中间件，例如：
-# 1. 请求处理中间件（修改请求头、设置代理等）
-# 2. 响应处理中间件（解析、过滤等）
-# 3. 异常处理中间件（重试、记录等）
-# 
-# 每个中间件可以实现以下方法：
-# - process_request: 处理请求
-# - process_response: 处理响应
-# - process_exception: 处理异常
-# 
-# 注意：Crawlo框架提供了许多内置中间件，您可以直接使用：
-# - DownloadDelayMiddleware: 控制请求延迟
-# - ResponseCodeMiddleware: 处理HTTP状态码并记录统计信息
-# - ResponseFilterMiddleware: 过滤特定状态码的响应
-# - DefaultHeaderMiddleware: 添加默认请求头
-# - ProxyMiddleware: 设置代理
-# - RetryMiddleware: 处理重试逻辑
-# - OffsiteMiddleware: 过滤站外请求
-# ======================== 使用说明 ========================
+        return None

crawlo/templates/project/pipelines.py.tmpl

@@ -2,96 +2,36 @@
 """
 {{project_name}}.pipelines
 ==========================
-数据管道，用于处理 Spider 返回的 Item。
-例如：清理、验证、去重、保存到数据库等。
-
-这是一个简单的示例管道，您可以根据需要添加更多管道。
+数据管道示例
 """
 
-from datetime import datetime
 from crawlo.exceptions import DropItem
 from crawlo.utils.log import get_logger
 
 
-class ExamplePipeline:
+class {{project_name|title}}Pipeline:
     """
-    示例管道，演示如何处理数据项。
-    
-    此管道会：
-    1. 验证必要字段
-    2. 清理数据
-    3. 添加时间戳
-    4. 记录处理日志
+    {{project_name}} 项目的数据管道
     """
     
     def __init__(self):
         self.logger = get_logger(self.__class__.__name__)
-        self.item_count = 0
 
     def process_item(self, item, spider):
         """
-        处理数据项。
-        
-        Args:
-            item: 要处理的数据项
-            spider: 爬虫实例
-            
-        Returns:
-            处理后的数据项
-            
-        Raises:
-            DropItem: 如果数据项无效则抛出此异常
+        处理数据项
         """
-        # 验证必要字段
-        if not item.get('title') or not item.get('url'):
-            raise DropItem("缺少必要字段: title 或 url")
-        
-        # 数据清理
-        item['title'] = str(item['title']).strip()
-        
-        # 添加处理时间戳
-        item['processed_at'] = datetime.now().isoformat()
-        
-        # 计数器
-        self.item_count += 1
-        
-        # 记录日志
-        self.logger.info(f"处理第 {self.item_count} 个数据项: {item['title']}")
-        
+        self.logger.info(f"处理数据项: {item}")
         return item
 
     def open_spider(self, spider):
         """
-        爬虫启动时调用。
-        
-        Args:
-            spider: 爬虫实例
+        爬虫启动时调用
         """
         self.logger.info(f"管道已启动，准备处理爬虫 '{spider.name}' 的数据")
 
     def close_spider(self, spider):
         """
-        爬虫关闭时调用。
-        
-        Args:
-            spider: 爬虫实例
+        爬虫关闭时调用
         """
-        self.logger.info(f"管道已关闭，共处理了 {self.item_count} 个数据项")
-
-
-# ======================== 使用说明 ========================
-# 
-# 在 settings.py 中启用管道：
-# PIPELINES = [
-#     '{{project_name}}.pipelines.ExamplePipeline',
-# ]
-# 
-# 您可以根据需要添加更多管道，例如：
-# 1. 数据验证管道
-# 2. 去重管道
-# 3. 数据存储管道（数据库、文件等）
-# 4. 数据转换管道
-# 
-# 每个管道都应该实现 process_item 方法，
-# 可选实现 open_spider 和 close_spider 方法。
-# ======================== 使用说明 ========================
+        self.logger.info("管道已关闭")

crawlo/tools/__init__.py

@@ -79,17 +79,6 @@ from .retry_mechanism import (
     exponential_backoff
 )
 
-# 反爬虫应对工具
-from .anti_crawler import (
-    ProxyPoolManager,
-    CaptchaHandler,
-    AntiCrawler,
-    get_random_user_agent,
-    rotate_proxy,
-    handle_captcha,
-    detect_rate_limiting
-)
-
 # 带认证代理工具
 from .authenticated_proxy import (
     AuthenticatedProxy,

crawlo/utils/__init__.py

@@ -4,6 +4,9 @@
 # @Time    :    2025-02-05 13:57
 # @Author  :   oscar
 # @Desc    :   工具模块集合
+
+提供用于处理parsel选择器的辅助函数，用于提取文本和属性等操作。
+所有方法都采用了简洁直观的命名风格，便于记忆和使用。
 """
 
 from ..tools.date_tools import (
@@ -20,6 +23,14 @@ from ..tools.date_tools import (
     from_timestamp_with_tz
 )
 
+from .selector_helper import (
+    extract_text,
+    extract_texts,
+    extract_attr,
+    extract_attrs,
+    is_xpath
+)
+
 __all__ = [
     "TimeUtils",
     "parse_time",
@@ -31,5 +42,10 @@ __all__ = [
     "to_timezone",
     "to_utc",
     "to_local",
-    "from_timestamp_with_tz"
+    "from_timestamp_with_tz",
+    "extract_text",
+    "extract_texts",
+    "extract_attr",
+    "extract_attrs",
+    "is_xpath"
 ]