crawlo 1.4.3__py3-none-any.whl → 1.4.5__py3-none-any.whl

examples/test_project/test_project/middlewares.py

@@ -1,119 +0,0 @@
-# -*- coding: UTF-8 -*-
-"""
-test_project.middlewares
-============================
-自定义中间件，用于在请求/响应/异常处理过程中插入自定义逻辑。
-
-这是一个简单的示例中间件，您可以根据需要添加更多中间件。
-"""
-
-import random
-from crawlo import Request, Response
-from crawlo.utils.log import get_logger
-
-
-class ExampleMiddleware:
-    """
-    示例中间件，演示如何处理请求、响应和异常。
-    
-    此中间件会：
-    1. 为请求添加随机 User-Agent
-    2. 记录请求和响应信息
-    3. 处理异常情况
-    """
-    
-    def __init__(self):
-        self.logger = get_logger(self.__class__.__name__)
-        self.user_agents = [
-            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/136.0.0.0 Safari/537.36',
-            'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/136.0.0.0 Safari/537.36',
-            'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:135.0) Gecko/20100101 Firefox/135.0',
-            'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:135.0) Gecko/20100101 Firefox/135.0',
-        ]
-
-    def process_request(self, request, spider):
-        """
-        在请求被下载器执行前调用。
-        
-        Args:
-            request: 请求对象
-            spider: 爬虫实例
-            
-        Returns:
-            None: 继续处理请求
-            Response: 返回响应对象（短路处理）
-            Request: 返回新请求对象（替换原请求）
-        """
-        # 为请求添加随机 User-Agent
-        if 'User-Agent' not in request.headers:
-            ua = random.choice(self.user_agents)
-            request.headers['User-Agent'] = ua
-            self.logger.debug(f"为请求 {request.url} 设置 User-Agent: {ua[:50]}...")
-        
-        return None
-
-    def process_response(self, request, response, spider):
-        """
-        在响应被 Spider 处理前调用。
-        
-        Args:
-            request: 原始请求对象
-            response: 响应对象
-            spider: 爬虫实例
-            
-        Returns:
-            Response: 处理后的响应对象
-        """
-        # 记录响应信息
-        self.logger.info(f"收到响应: {request.url} - 状态码: {response.status_code}")
-        
-        # 可以在这里处理特殊状态码
-        if response.status_code == 403:
-            self.logger.warning(f"访问被拒绝: {request.url}")
-        
-        return response
-
-    def process_exception(self, request, exception, spider):
-        """
-        在下载或处理过程中发生异常时调用。
-        
-        Args:
-            request: 请求对象
-            exception: 异常对象
-            spider: 爬虫实例
-            
-        Returns:
-            None: 异常将继续传播
-            Response: 返回响应对象（处理异常）
-            Request: 返回新请求对象（重试请求）
-        """
-        self.logger.error(f"请求异常: {request.url} - {exception}")
-        return None
-
-
-# ======================== 使用说明 ========================
-# 
-# 在 settings.py 中启用中间件：
-# MIDDLEWARES = [
-#     'test_project.middlewares.ExampleMiddleware',
-# ]
-# 
-# 您可以根据需要添加更多中间件，例如：
-# 1. 请求处理中间件（修改请求头、设置代理等）
-# 2. 响应处理中间件（解析、过滤等）
-# 3. 异常处理中间件（重试、记录等）
-# 
-# 每个中间件可以实现以下方法：
-# - process_request: 处理请求
-# - process_response: 处理响应
-# - process_exception: 处理异常
-# 
-# 注意：Crawlo框架提供了许多内置中间件，您可以直接使用：
-# - DownloadDelayMiddleware: 控制请求延迟
-# - ResponseCodeMiddleware: 处理HTTP状态码并记录统计信息
-# - ResponseFilterMiddleware: 过滤特定状态码的响应
-# - DefaultHeaderMiddleware: 添加默认请求头
-# - ProxyMiddleware: 设置代理
-# - RetryMiddleware: 处理重试逻辑
-# - OffsiteMiddleware: 过滤站外请求
-# ======================== 使用说明 ========================

examples/test_project/test_project/pipelines.py

@@ -1,97 +0,0 @@
-# -*- coding: UTF-8 -*-
-"""
-test_project.pipelines
-==========================
-数据管道，用于处理 Spider 返回的 Item。
-例如：清理、验证、去重、保存到数据库等。
-
-这是一个简单的示例管道，您可以根据需要添加更多管道。
-"""
-
-from datetime import datetime
-from crawlo.exceptions import DropItem
-from crawlo.utils.log import get_logger
-
-
-class ExamplePipeline:
-    """
-    示例管道，演示如何处理数据项。
-    
-    此管道会：
-    1. 验证必要字段
-    2. 清理数据
-    3. 添加时间戳
-    4. 记录处理日志
-    """
-    
-    def __init__(self):
-        self.logger = get_logger(self.__class__.__name__)
-        self.item_count = 0
-
-    def process_item(self, item, spider):
-        """
-        处理数据项。
-        
-        Args:
-            item: 要处理的数据项
-            spider: 爬虫实例
-            
-        Returns:
-            处理后的数据项
-            
-        Raises:
-            DropItem: 如果数据项无效则抛出此异常
-        """
-        # 验证必要字段
-        if not item.get('title') or not item.get('url'):
-            raise DropItem("缺少必要字段: title 或 url")
-        
-        # 数据清理
-        item['title'] = str(item['title']).strip()
-        
-        # 添加处理时间戳
-        item['processed_at'] = datetime.now().isoformat()
-        
-        # 计数器
-        self.item_count += 1
-        
-        # 记录日志
-        self.logger.info(f"处理第 {self.item_count} 个数据项: {item['title']}")
-        
-        return item
-
-    def open_spider(self, spider):
-        """
-        爬虫启动时调用。
-        
-        Args:
-            spider: 爬虫实例
-        """
-        self.logger.info(f"管道已启动，准备处理爬虫 '{spider.name}' 的数据")
-
-    def close_spider(self, spider):
-        """
-        爬虫关闭时调用。
-        
-        Args:
-            spider: 爬虫实例
-        """
-        self.logger.info(f"管道已关闭，共处理了 {self.item_count} 个数据项")
-
-
-# ======================== 使用说明 ========================
-# 
-# 在 settings.py 中启用管道：
-# PIPELINES = [
-#     'test_project.pipelines.ExamplePipeline',
-# ]
-# 
-# 您可以根据需要添加更多管道，例如：
-# 1. 数据验证管道
-# 2. 去重管道
-# 3. 数据存储管道（数据库、文件等）
-# 4. 数据转换管道
-# 
-# 每个管道都应该实现 process_item 方法，
-# 可选实现 open_spider 和 close_spider 方法。
-# ======================== 使用说明 ========================

examples/test_project/test_project/settings.py

@@ -1,170 +0,0 @@
-# -*- coding: UTF-8 -*-
-"""
-test_project 项目配置文件（分布式版）
-=============================
-基于 Crawlo 框架的分布式爬虫项目配置。
-适合大规模数据采集和多节点部署。
-"""
-
-import os
-
-# ============================== 项目基本信息 ==============================
-PROJECT_NAME = 'test_project'
-
-# ============================== 运行模式 ==============================
-RUN_MODE = 'distributed'
-
-# ============================== 并发配置 ==============================
-CONCURRENCY = 16
-MAX_RUNNING_SPIDERS = 5
-DOWNLOAD_DELAY = 1.0
-
-# ============================== 下载器配置 ==============================
-# 可选下载器:
-# DOWNLOADER = 'crawlo.downloader.aiohttp_downloader.AioHttpDownloader'
-# DOWNLOADER = 'crawlo.downloader.httpx_downloader.HttpXDownloader'
-# DOWNLOADER = 'crawlo.downloader.cffi_downloader.CurlCffiDownloader'
-DOWNLOADER = 'crawlo.downloader.aiohttp_downloader.AioHttpDownloader'
-
-# ============================== 队列配置 ==============================
-QUEUE_TYPE = 'redis'
-# 当使用Redis队列时，可自定义队列名称
-# 队列名称遵循统一命名规范: crawlo:{PROJECT_NAME}:queue:requests
-# SCHEDULER_QUEUE_NAME = f'crawlo:{PROJECT_NAME}:queue:requests'
-
-# ============================== 去重过滤器 ==============================
-FILTER_CLASS = 'crawlo.filters.aioredis_filter.AioRedisFilter'
-
-# ============================== 默认去重管道 ==============================
-DEFAULT_DEDUP_PIPELINE = 'crawlo.pipelines.redis_dedup_pipeline.RedisDedupPipeline'
-
-# ============================== 爬虫模块配置 ==============================
-SPIDER_MODULES = ['test_project.spiders']
-
-# ============================== 中间件 ==============================
-# MIDDLEWARES = [
-#     'crawlo.middleware.simple_proxy.SimpleProxyMiddleware',
-# ]
-
-# ============================== 默认请求头配置 ==============================
-# 为DefaultHeaderMiddleware配置默认请求头
-DEFAULT_REQUEST_HEADERS = {
-    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
-    'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
-    'Accept-Encoding': 'gzip, deflate, br',
-}
-
-# ============================== 允许的域名 ==============================
-# 为OffsiteMiddleware配置允许的域名
-# ALLOWED_DOMAINS = ['example.com']
-
-# ============================== 数据管道 ==============================
-# PIPELINES = [
-#     'crawlo.pipelines.mysql_pipeline.AsyncmyMySQLPipeline',     # MySQL 存储（使用asyncmy异步库）
-# ]
-
-# ============================== 扩展组件 ==============================
-# EXTENSIONS = [
-#     'crawlo.extension.log_interval.LogIntervalExtension',
-#     'crawlo.extension.log_stats.LogStats',
-#     'crawlo.extension.logging_extension.CustomLoggerExtension',
-# ]
-
-# ============================== 日志配置 ==============================
-LOG_LEVEL = 'INFO'
-LOG_FILE = 'logs/test_project.log'
-LOG_ENCODING = 'utf-8'  # 明确指定日志文件编码
-STATS_DUMP = True
-
-# ============================== 输出配置 ==============================
-OUTPUT_DIR = 'output'
-
-# ============================== Redis配置 ==============================
-REDIS_HOST = os.getenv('REDIS_HOST', '127.0.0.1')
-REDIS_PORT = int(os.getenv('REDIS_PORT', 6379))
-REDIS_PASSWORD = os.getenv('REDIS_PASSWORD', '')
-REDIS_DB = int(os.getenv('REDIS_DB', 0))
-
-# 根据是否有密码生成 URL
-if REDIS_PASSWORD:
-    REDIS_URL = f'redis://:{REDIS_PASSWORD}@{REDIS_HOST}:{REDIS_PORT}/{REDIS_DB}'
-else:
-    REDIS_URL = f'redis://{REDIS_HOST}:{REDIS_PORT}/{REDIS_DB}'
-
-# ============================== MySQL配置 ==============================
-MYSQL_HOST = os.getenv('MYSQL_HOST', '127.0.0.1')
-MYSQL_PORT = int(os.getenv('MYSQL_PORT', 3306))
-MYSQL_USER = os.getenv('MYSQL_USER', 'root')
-MYSQL_PASSWORD = os.getenv('MYSQL_PASSWORD', '123456')
-MYSQL_DB = os.getenv('MYSQL_DB', 'test_project')
-MYSQL_TABLE = 'test_project_data'
-MYSQL_BATCH_SIZE = 100
-MYSQL_USE_BATCH = True  # 是否启用批量插入
-
-# ============================== MongoDB配置 ==============================
-MONGO_URI = os.getenv('MONGO_URI', 'mongodb://localhost:27017')
-MONGO_DATABASE = 'test_project_db'
-MONGO_COLLECTION = 'test_project_items'
-MONGO_MAX_POOL_SIZE = 200
-MONGO_MIN_POOL_SIZE = 20
-MONGO_BATCH_SIZE = 100  # 批量插入条数
-MONGO_USE_BATCH = True  # 是否启用批量插入
-
-# ============================== 代理配置 ==============================
-# 代理功能默认不启用，如需使用请在项目配置文件中启用并配置相关参数
-PROXY_ENABLED = False  # 是否启用代理
-
-# 简化版代理配置（适用于SimpleProxyMiddleware）
-PROXY_LIST = []  # 代理列表，例如: ["http://proxy1:8080", "http://proxy2:8080"]
-
-# 高级代理配置（适用于ProxyMiddleware）
-PROXY_API_URL = ""  # 代理获取接口（请替换为真实地址）
-
-# 代理提取方式（支持字段路径或函数）
-# 示例: "proxy" 适用于 {"proxy": "http://1.1.1.1:8080"}
-# 示例: "data.proxy" 适用于 {"data": {"proxy": "http://1.1.1.1:8080"}}
-PROXY_EXTRACTOR = "proxy"
-
-# 代理刷新控制
-PROXY_REFRESH_INTERVAL = 60  # 代理刷新间隔（秒）
-PROXY_API_TIMEOUT = 10  # 请求代理 API 超时时间
-
-# ============================== Curl-Cffi 特有配置 ==============================
-# 浏览器指纹模拟（仅 CurlCffi 下载器有效）
-CURL_BROWSER_TYPE = "chrome"  # 可选: chrome, edge, safari, firefox 或版本如 chrome136
-
-# 自定义浏览器版本映射（可覆盖默认行为）
-CURL_BROWSER_VERSION_MAP = {
-    "chrome": "chrome136",
-    "edge": "edge101",
-    "safari": "safari184",
-    "firefox": "firefox135",
-}
-
-# ============================== 下载器优化配置 ==============================
-# 下载器健康检查
-DOWNLOADER_HEALTH_CHECK = True  # 是否启用下载器健康检查
-HEALTH_CHECK_INTERVAL = 60  # 健康检查间隔（秒）
-
-# 请求统计配置
-REQUEST_STATS_ENABLED = True  # 是否启用请求统计
-STATS_RESET_ON_START = False  # 启动时是否重置统计
-
-# HttpX 下载器专用配置
-HTTPX_HTTP2 = True  # 是否启用HTTP/2支持
-HTTPX_FOLLOW_REDIRECTS = True  # 是否自动跟随重定向
-
-# AioHttp 下载器专用配置
-AIOHTTP_AUTO_DECOMPRESS = True  # 是否自动解压响应
-AIOHTTP_FORCE_CLOSE = False  # 是否强制关闭连接
-
-# 通用优化配置
-CONNECTION_TTL_DNS_CACHE = 300  # DNS缓存TTL（秒）
-CONNECTION_KEEPALIVE_TIMEOUT = 15  # Keep-Alive超时（秒）
-
-# ============================== 内存监控配置 ==============================
-# 内存监控扩展默认不启用，如需使用请在项目配置文件中启用
-MEMORY_MONITOR_ENABLED = False  # 是否启用内存监控
-MEMORY_MONITOR_INTERVAL = 60  # 内存监控检查间隔（秒）
-MEMORY_WARNING_THRESHOLD = 80.0  # 内存使用率警告阈值（百分比）
-MEMORY_CRITICAL_THRESHOLD = 90.0  # 内存使用率严重阈值（百分比）

examples/test_project/test_project/spiders/__init__.py

@@ -1,10 +0,0 @@
-# -*- coding: UTF-8 -*-
-"""
-test_project.spiders
-========================
-存放所有的爬虫。
-"""
-
-# 自动导入所有爬虫以确保它们被注册
-# 示例：
-# from .YourSpider import YourSpider

examples/test_project/test_project/spiders/of_week_dis.py

@@ -1,144 +0,0 @@
-# -*- coding: UTF-8 -*-
-"""
-test_project.spiders.of_week_dis
-=======================================
-由 `crawlo genspider` 命令生成的爬虫。
-基于 Crawlo 框架，支持异步并发、分布式爬取等功能。
-
-使用示例：
-    crawlo crawl of_week_dis
-"""
-
-from crawlo.spider import Spider
-from crawlo import Request
-from ..items import ExampleItem
-
-
-class OfweekdisSpider(Spider):
-    """
-    爬虫：of_week_dis
-    
-    功能说明：
-    - 支持并发爬取
-    - 自动去重过滤
-    - 错误重试机制
-    - 数据管道处理
-    """
-    name = 'of_week_dis'
-    allowed_domains = ['ee.ofweek.com']
-    start_urls = ['https://ee.ofweek.com/']
-    
-    # 高级配置（可选）
-    # custom_settings = {
-    #     'DOWNLOAD_DELAY': 2.0,
-    #     'CONCURRENCY': 4,
-    #     'RETRY_HTTP_CODES': [500, 502, 503, 504, 408, 429],
-    #     'ALLOWED_RESPONSE_CODES': [200, 301, 302],  # 只允许特定状态码
-    #     'DENIED_RESPONSE_CODES': [403, 404],        # 拒绝特定状态码
-    # }
-
-    def start_requests(self):
-        """
-        生成初始请求。
-        
-        支持自定义请求头、代理、优先级等。
-        """
-        headers = {
-            'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
-            'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
-        }
-        
-        for url in self.start_urls:
-            yield Request(
-                url=url,
-                callback=self.parse,
-                headers=headers,
-                # meta={'proxy': 'http://proxy.example.com:8080'},  # 自定义代理
-                # priority=10,  # 请求优先级（数字越大优先级越高）
-            )
-
-    def parse(self, response):
-        """
-        解析响应的主方法。
-        
-        Args:
-            response: 响应对象，包含页面内容和元数据
-            
-        Yields:
-            Request: 新的请求对象（用于深度爬取）
-            Item: 数据项对象（用于数据存储）
-        """
-        self.logger.info(f'正在解析页面: {response.url}')
-        
-        # ================== 数据提取示例 ==================
-        
-        # 提取数据并创建 Item
-        # item = Item()
-        # item['title'] = response.xpath('//title/text()').get(default='')
-        # item['url'] = response.url
-        # item['content'] = response.xpath('//div[@class="content"]//text()').getall()
-        # yield item
-        
-        # 直接返回字典（简单数据）
-        yield {
-            'title': response.xpath('//title/text()').get(default=''),
-            'url': response.url,
-            'status_code': response.status_code,
-            # 'description': response.xpath('//meta[@name="description"]/@content').get(),
-            # 'keywords': response.xpath('//meta[@name="keywords"]/@content').get(),
-        }
-        
-        # ================== 链接提取示例 ==================
-        
-        # 提取并跟进链接
-        # links = response.xpath('//a/@href').getall()
-        # for link in links:
-        #     # 过滤有效链接
-        #     if link and not link.startswith(('javascript:', 'mailto:', '#')):
-        #         yield response.follow(
-        #             link,
-        #             callback=self.parse_detail,  # 或者 self.parse 继续递归
-        #             meta={'parent_url': response.url}  # 传递父页面信息
-        #         )
-        
-        # 用 CSS 选择器提取链接
-        # for link in response.css('a.item-link::attr(href)').getall():
-        #     yield response.follow(link, callback=self.parse_detail)
-        
-        # ================== 分页处理示例 ==================
-        
-        # 处理分页
-        # next_page = response.xpath('//a[@class="next"]/@href').get()
-        # if next_page:
-        #     yield response.follow(next_page, callback=self.parse)
-        
-        # 数字分页
-        # current_page = int(response.meta.get('page', 1))
-        # max_pages = 100  # 设置最大页数
-        # if current_page < max_pages:
-        #     next_url = f'https://ee.ofweek.com/page/{current_page + 1}'
-        #     yield Request(
-        #         url=next_url,
-        #         callback=self.parse,
-        #         meta={'page': current_page + 1}
-        #     )
-
-    def parse_detail(self, response):
-        """
-        解析详情页面的方法（可选）。
-        
-        用于处理从列表页跳转而来的详情页。
-        """
-        self.logger.info(f'正在解析详情页: {response.url}')
-        
-        # parent_url = response.meta.get('parent_url', '')
-        # 
-        # yield {
-        #     'title': response.xpath('//h1/text()').get(default=''),
-        #     'content': '\n'.join(response.xpath('//div[@class="content"]//text()').getall()),
-        #     'url': response.url,
-        #     'parent_url': parent_url,
-        #     'publish_time': response.xpath('//time/@datetime').get(),
-        # }
-        
-        pass

tests/simple_log_test.py

@@ -1,58 +0,0 @@
-#!/usr/bin/env python
-# -*- coding: UTF-8 -*-
-"""
-简单的日志系统测试
-"""
-import sys
-import os
-sys.path.insert(0, '/')
-
-# 确保日志目录存在
-os.makedirs('/examples/ofweek_standalone/logs', exist_ok=True)
-
-# 测试日志系统
-from crawlo.utils.log import LoggerManager, get_logger
-
-print("=== 简单日志系统测试 ===")
-
-# 1. 直接配置日志系统
-print("1. 配置日志系统...")
-LoggerManager.configure(
-    LOG_LEVEL='INFO',
-    LOG_FILE='/Users/oscar/projects/Crawlo/examples/ofweek_standalone/logs/simple_test.log'
-)
-
-# 2. 创建logger
-print("2. 创建logger...")
-logger = get_logger('test.logger')
-print(f"   Logger: {logger}")
-print(f"   Handlers: {len(logger.handlers)}")
-
-for i, handler in enumerate(logger.handlers):
-    handler_type = type(handler).__name__
-    print(f"     Handler {i}: {handler_type}")
-    if hasattr(handler, 'baseFilename'):
-        print(f"       File: {handler.baseFilename}")
-
-# 3. 测试日志输出
-print("3. 测试日志输出...")
-logger.info("这是一条测试INFO日志")
-logger.debug("这是一条测试DEBUG日志")
-logger.warning("这是一条测试WARNING日志")
-
-print("4. 检查日志文件...")
-log_file = '/Users/oscar/projects/Crawlo/examples/ofweek_standalone/logs/simple_test.log'
-if os.path.exists(log_file):
-    print(f"   日志文件存在: {log_file}")
-    with open(log_file, 'r', encoding='utf-8') as f:
-        content = f.read()
-        print(f"   文件内容长度: {len(content)} 字符")
-        if content:
-            print("   文件内容:")
-            print(content)
-        else:
-            print("   文件为空")
-else:
-    print(f"   日志文件不存在: {log_file}")
-
-print("=== 测试完成 ===")

tests/simple_test.py

@@ -1,48 +0,0 @@
-#!/usr/bin/env python
-# -*- coding: utf-8 -*-
-"""
-简化的框架测试
-"""
-import os
-import sys
-sys.path.insert(0, '/')
-
-# 设置基本配置
-test_log_file = '/Users/oscar/projects/Crawlo/simple_test.log'
-if os.path.exists(test_log_file):
-    os.remove(test_log_file)
-
-# 最简单的测试
-try:
-    from crawlo.utils.log import LoggerManager
-    
-    print("配置日志系统...")
-    LoggerManager.configure(
-        LOG_LEVEL='INFO',
-        LOG_FILE=test_log_file
-    )
-    
-    from crawlo.utils.log import get_logger
-    logger = get_logger('test.simple')
-    
-    print("测试日志输出...")
-    logger.info("这是一条测试信息")
-    logger.info("Crawlo框架初始化完成")
-    logger.info("Crawlo Framework Started 1.3.3")
-    
-    print("检查日志文件...")
-    if os.path.exists(test_log_file):
-        with open(test_log_file, 'r', encoding='utf-8') as f:
-            content = f.read()
-            print(f"日志文件内容: {len(content)} 字符")
-            print("内容:")
-            print(content)
-    else:
-        print("日志文件未创建")
-        
-except Exception as e:
-    print(f"错误: {e}")
-    import traceback
-    traceback.print_exc()
-
-print("测试完成")