crawlo 1.3.2__py3-none-any.whl → 1.3.4__py3-none-any.whl

crawlo/settings/default_settings.py

@@ -6,18 +6,32 @@
 # 添加环境变量配置工具导入
 from crawlo.utils.env_config import get_redis_config, get_runtime_config, get_version
 
+# 框架初始化控制
+FRAMEWORK_INIT_ORDER = [
+    'log_system',  # 日志系统
+    'settings_system',  # 配置系统
+    'core_components',  # 核心组件
+    'extensions',  # 扩展组件
+    'full_initialization'  # 完全初始化
+]
+FRAMEWORK_INIT_STATE = 'uninitialized'
+
 # ============================== 项目基础配置 ==============================
 
 # 项目名称（用于日志、Redis Key 等标识）
 PROJECT_NAME = get_runtime_config()['PROJECT_NAME']
 
+# 确保项目名称不为空
+if not PROJECT_NAME or PROJECT_NAME == 'None':
+    PROJECT_NAME = 'crawlo'
+
 # 项目版本号 - 从框架的__version__.py文件中读取，如果不存在则使用默认值
 VERSION = get_version()
 
 # 运行模式：standalone/distributed/auto
 RUN_MODE = get_runtime_config()['CRAWLO_MODE']
 
-# 并发数配置
+# 并发数配置 - 优化默认值以提高性能
 CONCURRENCY = get_runtime_config()['CONCURRENCY']
 
 # ============================== 爬虫核心配置 ==============================
@@ -25,8 +39,8 @@ CONCURRENCY = get_runtime_config()['CONCURRENCY']
 # 默认下载器
 DOWNLOADER = "crawlo.downloader.httpx_downloader.HttpXDownloader"
 
-# 请求延迟（秒）
-DOWNLOAD_DELAY = 1
+# 请求延迟（秒）- 优化默认值以提高性能
+DOWNLOAD_DELAY = 0.5
 
 # 随机延迟配置
 RANDOMNESS = False  # 是否启用随机延迟
@@ -35,8 +49,15 @@ RANDOM_RANGE = [0.5, 1.5]  # 随机延迟范围因子，实际延迟 = DOWNLOAD_
 # 深度优先级（负数表示深度优先，正数表示广度优先）
 DEPTH_PRIORITY = 1
 
-# 调度器队列最大大小
-SCHEDULER_MAX_QUEUE_SIZE = 1000
+# 调度器队列最大大小 - 优化默认值以提高性能
+SCHEDULER_MAX_QUEUE_SIZE = 5000
+# 背压控制配置 - 优化默认值以提高性能
+BACKPRESSURE_RATIO = 0.9  # 背压触发阈值（队列大小达到最大容量的90%时触发背压控制）
+
+# 请求生成控制
+REQUEST_GENERATION_BATCH_SIZE = 10  # 请求生成批处理大小
+REQUEST_GENERATION_INTERVAL = 0.01  # 请求生成间隔（秒）
+ENABLE_CONTROLLED_REQUEST_GENERATION = False  # 是否启用受控请求生成
 
 # 调度器队列名称（遵循统一命名规范）
 SCHEDULER_QUEUE_NAME = f"crawlo:{PROJECT_NAME}:queue:requests"
@@ -44,13 +65,15 @@ SCHEDULER_QUEUE_NAME = f"crawlo:{PROJECT_NAME}:queue:requests"
 # 队列类型：memory/redis/auto
 QUEUE_TYPE = 'auto'
 
+# 队列配置
+QUEUE_MAX_RETRIES = 3  # 队列操作最大重试次数
+QUEUE_TIMEOUT = 300  # 队列操作超时时间（秒）
 
 # 默认使用内存过滤器和去重管道，确保在无Redis环境下也能正常运行
 # 在auto模式下，如果Redis可用，框架会自动更新为Redis实现以提供更好的去重能力
-DEFAULT_DEDUP_PIPELINE = 'crawlo.pipelines.memory_dedup_pipeline.MemoryDedupPipeline' 
+DEFAULT_DEDUP_PIPELINE = 'crawlo.pipelines.memory_dedup_pipeline.MemoryDedupPipeline'
 FILTER_CLASS = 'crawlo.filters.memory_filter.MemoryFilter'
 
-
 MYSQL_HOST = '127.0.0.1'
 MYSQL_PORT = 3306
 MYSQL_USER = 'root'
@@ -60,7 +83,6 @@ MYSQL_TABLE = 'crawlo'
 MYSQL_BATCH_SIZE = 100
 MYSQL_USE_BATCH = False  # 是否启用批量插入
 
-
 # --- Redis 过滤器配置 ---
 # 使用环境变量配置工具获取 Redis 配置
 redis_config = get_redis_config()
@@ -111,10 +133,6 @@ PIPELINES = [
     'crawlo.pipelines.console_pipeline.ConsolePipeline',
 ]
 
-# 明确添加默认去重管道到管道列表开头
-# 注意：此操作已移至SettingManager中处理，避免重复插入
-# PIPELINES.insert(0, DEFAULT_DEDUP_PIPELINE)
-
 # ============================== 框架默认扩展配置 ==============================
 
 # 框架扩展组件列表（框架默认扩展 + 用户自定义扩展）
@@ -126,9 +144,9 @@ EXTENSIONS = [
 
 # ============================== 日志与监控 ==============================
 
-LOG_LEVEL = 'DEBUG'  # 日志级别: DEBUG/INFO/WARNING/ERROR
+LOG_LEVEL = None  # 日志级别: DEBUG/INFO/WARNING/ERROR，默认为None，由用户在项目settings中设置
 STATS_DUMP = True  # 是否周期性输出统计信息
-LOG_FILE = f'logs/{PROJECT_NAME}.log'  # 日志文件路径
+LOG_FILE = None  # 日志文件路径，将在项目配置中设置
 LOG_FORMAT = '%(asctime)s - [%(name)s] - %(levelname)s: %(message)s'
 LOG_ENCODING = 'utf-8'
 
@@ -151,6 +169,8 @@ PROXY_EXTRACTOR = "proxy"
 # 代理刷新控制
 PROXY_REFRESH_INTERVAL = 60  # 代理刷新间隔（秒）
 PROXY_API_TIMEOUT = 10  # 请求代理 API 超时时间
+PROXY_POOL_SIZE = 5  # 代理池大小
+PROXY_HEALTH_CHECK_THRESHOLD = 0.5  # 代理健康检查阈值
 
 # ============================== Curl-Cffi 特有配置 ==============================
 
@@ -183,6 +203,17 @@ HTTPX_FOLLOW_REDIRECTS = True  # 是否自动跟随重定向
 AIOHTTP_AUTO_DECOMPRESS = True  # 是否自动解压响应
 AIOHTTP_FORCE_CLOSE = False  # 是否强制关闭连接
 
+# 通用下载器配置
+DOWNLOAD_TIMEOUT = 30  # 下载超时时间（秒）
+VERIFY_SSL = True  # 是否验证SSL证书
+CONNECTION_POOL_LIMIT = 100  # 连接池大小限制
+CONNECTION_POOL_LIMIT_PER_HOST = 20  # 每个主机的连接池大小限制
+DOWNLOAD_MAXSIZE = 10 * 1024 * 1024  # 最大下载大小（字节）
+DOWNLOAD_STATS = True  # 是否启用下载统计
+DOWNLOAD_WARN_SIZE = 1024 * 1024  # 下载警告大小（字节）
+DOWNLOAD_RETRY_TIMES = 3  # 下载重试次数
+MAX_RETRY_TIMES = 3  # 最大重试次数
+
 # ============================== Selenium 下载器配置 ==============================
 
 # Selenium 基础配置
@@ -223,3 +254,68 @@ MEMORY_MONITOR_ENABLED = False  # 是否启用内存监控
 MEMORY_MONITOR_INTERVAL = 60  # 内存监控检查间隔（秒）
 MEMORY_WARNING_THRESHOLD = 80.0  # 内存使用率警告阈值（百分比）
 MEMORY_CRITICAL_THRESHOLD = 90.0  # 内存使用率严重阈值（百分比）
+
+# ============================== 性能分析配置 ==============================
+
+# 性能分析扩展默认不启用
+PERFORMANCE_PROFILER_ENABLED = False  # 是否启用性能分析
+PERFORMANCE_PROFILER_OUTPUT_DIR = 'profiling'  # 性能分析输出目录
+PERFORMANCE_PROFILER_INTERVAL = 300  # 性能分析间隔（秒）
+
+# ============================== 健康检查配置 ==============================
+
+# 健康检查扩展默认启用
+HEALTH_CHECK_ENABLED = True  # 是否启用健康检查
+
+# ============================== 日志间隔配置 ==============================
+
+# 日志间隔扩展配置
+INTERVAL = 60  # 日志输出间隔（秒）
+
+# ============================== 自定义日志配置 ==============================
+
+# 自定义日志扩展配置
+LOG_ENABLE_CUSTOM = False  # 是否启用自定义日志
+
+# ============================== 默认请求头配置 ==============================
+
+# 默认请求头配置
+DEFAULT_REQUEST_HEADERS = {}  # 默认请求头
+USER_AGENT = None  # 用户代理
+USER_AGENTS = []  # 用户代理列表
+RANDOM_HEADERS = {}  # 随机请求头
+RANDOM_USER_AGENT_ENABLED = False  # 是否启用随机用户代理
+USER_AGENT_DEVICE_TYPE = "all"  # 用户代理设备类型
+
+# ============================== 站外过滤配置 ==============================
+
+# 站外过滤配置
+ALLOWED_DOMAINS = []  # 允许的域名列表
+
+# ============================== Bloom过滤器配置 ==============================
+
+# Bloom过滤器配置
+BLOOM_FILTER_CAPACITY = 1000000  # Bloom过滤器容量
+BLOOM_FILTER_ERROR_RATE = 0.001  # Bloom过滤器错误率
+
+# ============================== CSV管道配置 ==============================
+
+# CSV管道配置
+CSV_DELIMITER = ','  # CSV分隔符
+CSV_QUOTECHAR = '"'  # CSV引号字符
+CSV_INCLUDE_HEADERS = True  # 是否包含表头
+CSV_EXTRASACTION = 'ignore'  # 额外字段处理方式：ignore, raise
+CSV_FIELDNAMES = None  # 字段名列表
+CSV_FILE = None  # CSV文件路径
+CSV_DICT_FILE = None  # CSV字典文件路径
+CSV_BATCH_SIZE = 100  # CSV批处理大小
+CSV_BATCH_FILE = None  # CSV批处理文件路径
+
+# ============================== 数据库去重管道配置 ==============================
+
+# 数据库去重管道配置
+DB_HOST = 'localhost'  # 数据库主机
+DB_PORT = 3306  # 数据库端口
+DB_USER = 'root'  # 数据库用户
+DB_PASSWORD = ''  # 数据库密码
+DB_NAME = 'crawlo'  # 数据库名称

crawlo/settings/setting_manager.py

@@ -15,6 +15,8 @@ class SettingManager(MutableMapping):
         self.set_settings(default_settings)
         # 在初始化时合并配置
         self._merge_config(values)
+        # 处理动态配置
+        self._process_dynamic_config()
 
     def _merge_config(self, user_config):
         """合并默认配置和用户配置"""
@@ -81,6 +83,33 @@ class SettingManager(MutableMapping):
             if key not in ['MIDDLEWARES', 'PIPELINES', 'EXTENSIONS']:
                 self.attributes[key] = value
 
+    def set_settings(self, module):
+        if isinstance(module, str):
+            module = import_module(module)
+        
+        # 收集模块中的所有配置项
+        module_settings = {}
+        for key in dir(module):
+            if key.isupper():
+                value = getattr(module, key)
+                module_settings[key] = value
+        
+        # 使用合并逻辑而不是直接设置
+        self._merge_config(module_settings)
+        
+        # 处理动态配置项（如LOG_FILE）
+        self._process_dynamic_config()
+        
+    def _process_dynamic_config(self):
+        """
+        处理动态配置项
+        某些配置项需要根据其他配置项的值进行动态计算
+        """
+        # 处理LOG_FILE配置
+        if self.attributes.get('LOG_FILE') is None:
+            project_name = self.attributes.get('PROJECT_NAME', 'crawlo')
+            self.attributes['LOG_FILE'] = f'logs/{project_name}.log'
+
     def get(self, key, default=None):
         """安全获取值，不触发递归"""
         value = self.attributes.get(key, default)
@@ -133,19 +162,6 @@ class SettingManager(MutableMapping):
     def set(self, key, value):
         self.attributes[key] = value
 
-    def set_settings(self, module):
-        if isinstance(module, str):
-            module = import_module(module)
-        
-        # 收集模块中的所有配置项
-        module_settings = {}
-        for key in dir(module):
-            if key.isupper():
-                module_settings[key] = getattr(module, key)
-        
-        # 使用合并逻辑而不是直接设置
-        self._merge_config(module_settings)
-
     # 实现 MutableMapping 必须的方法
     def __getitem__(self, item):
         return self.attributes[item]

crawlo/spider/__init__.py

@@ -77,7 +77,13 @@ class SpiderMeta(type):
 
         # 注册爬虫
         _DEFAULT_SPIDER_REGISTRY[spider_name] = cls
-        get_logger(__name__).debug(f"自动注册爬虫: {spider_name} -> {cls.__name__}")
+        # 延迟初始化logger避免模块级别阻塞
+        try:
+            from crawlo.utils.log import get_logger
+            get_logger(__name__).debug(f"自动注册爬虫: {spider_name} -> {cls.__name__}")
+        except:
+            # 如果日志系统未初始化，静默失败
+            pass
 
         return cls
 
@@ -153,12 +159,21 @@ class Spider(metaclass=SpiderMeta):
         
         # 初始化其他属性
         self.crawler = None
-        self.logger = get_logger(self.name)
+        # 延迟初始化logger避免阻塞
+        self._logger = None
         self.stats = None
         
         # 应用额外参数
         for key, value in kwargs.items():
             setattr(self, key, value)
+    
+    @property
+    def logger(self):
+        """延迟初始化logger"""
+        if self._logger is None:
+            from crawlo.utils.log import get_logger
+            self._logger = get_logger(self.name)
+        return self._logger
 
     @classmethod
     def create_instance(cls, crawler) -> 'Spider':
@@ -172,13 +187,23 @@ class Spider(metaclass=SpiderMeta):
         spider.crawler = crawler
         spider.stats = getattr(crawler, 'stats', None)
         
-        # 合并自定义设置
+        # 合并自定义设置 - 使用延迟应用避免初始化时的循环依赖
         if hasattr(spider, 'custom_settings') and spider.custom_settings:
-            for key, value in spider.custom_settings.items():
-                crawler.settings.set(key, value)
-                spider.logger.debug(f"应用自定义设置: {key} = {value}")
+            # 延迟到真正需要时才应用设置
+            spider._pending_settings = spider.custom_settings.copy()
+            spider.logger.debug(f"准备应用 {len(spider.custom_settings)} 项自定义设置")
         
         return spider
+    
+    def apply_pending_settings(self):
+        """应用待处理的设置（在初始化完成后调用）"""
+        if hasattr(self, '_pending_settings') and self._pending_settings:
+            for key, value in self._pending_settings.items():
+                if self.crawler and hasattr(self.crawler, 'settings'):
+                    self.crawler.settings.set(key, value)
+                    self.logger.debug(f"应用自定义设置: {key} = {value}")
+            # 清除待处理的设置
+            delattr(self, '_pending_settings')
 
     def start_requests(self) -> Iterator[Request]:
         """
@@ -349,17 +374,10 @@ class Spider(metaclass=SpiderMeta):
         可用于:
         - 清理资源
         - 关闭数据库连接
-        - 输出统计信息
         """
-        if self.stats:
-            stats_summary = {
-                'total_requests': self.stats.get('total_requests', 0),
-                'total_items': self.stats.get('total_items', 0),
-                'success_rate': self.stats.get('success_rate', 'N/A')
-            }
-            self.logger.info(f"Spider {self.name} closed, stats: {stats_summary}")
-        else:
-            self.logger.info(f"Spider {self.name} closed")
+        # 不再输出任何信息，避免与统计信息重复
+        # 统计信息由StatsCollector负责输出
+        pass
 
     def __str__(self) -> str:
         return f"{self.__class__.__name__}(name='{self.name}')"

crawlo/stats_collector.py

@@ -46,9 +46,6 @@ class StatsCollector(object):
 
         self._stats['spider_name'] = spider_name
 
-        if self._dump:
-            self.logger.info(f'{spider_name} stats: \n{pformat(self._stats)}')
-
     def __getitem__(self, item):
         return self._stats[item]
 
@@ -57,3 +54,20 @@ class StatsCollector(object):
 
     def __delitem__(self, key):
         del self._stats[key]
+
+    def close(self):
+        """关闭统计收集器并输出统计信息"""
+        if self._dump:
+            # 获取爬虫名称
+            spider_name = self._stats.get('spider_name', 'unknown')
+            
+            # 如果还没有设置爬虫名称，尝试从crawler中获取
+            if spider_name == 'unknown' and hasattr(self, 'crawler') and self.crawler:
+                spider = getattr(self.crawler, 'spider', None)
+                if spider and hasattr(spider, 'name'):
+                    spider_name = spider.name
+                    # 同时更新_stats中的spider_name
+                    self._stats['spider_name'] = spider_name
+            
+            # 输出统计信息（这是唯一输出统计信息的地方）
+            self.logger.info(f'{spider_name} stats: \n{pformat(self._stats)}')

crawlo/task_manager.py

@@ -3,13 +3,79 @@
 import asyncio
 from asyncio import Task, Future, Semaphore
 from typing import Set, Final
+from collections import deque
+import time
+from crawlo.utils.log import get_logger
+
+
+class DynamicSemaphore(Semaphore):
+    """支持动态调整的信号量"""
+    
+    def __init__(self, initial_value: int = 8):
+        super().__init__(initial_value)
+        self._initial_value = initial_value
+        self._current_value = initial_value
+        self._response_times = deque(maxlen=10)  # 存储最近10次响应时间
+        self._last_adjust_time = time.time()
+        
+    def record_response_time(self, response_time: float):
+        """记录响应时间"""
+        self._response_times.append(response_time)
+        
+    def adjust_concurrency(self):
+        """根据响应时间动态调整并发数"""
+        current_time = time.time()
+        # 限制调整频率，至少间隔1秒（从2秒减少到1秒）
+        if current_time - self._last_adjust_time < 1:
+            return
+            
+        self._last_adjust_time = current_time
+        
+        if len(self._response_times) < 2:  # 从3减少到2
+            return
+            
+        # 计算平均响应时间
+        avg_response_time = sum(self._response_times) / len(self._response_times)
+        
+        # 根据响应时间调整并发数
+        if avg_response_time < 0.2:  # 响应很快，增加并发（从0.3降到0.2）
+            new_concurrency = min(self._current_value + 5, self._initial_value * 3)  # 增加幅度从3提高到5，最大值从2倍提高到3倍
+        elif avg_response_time > 1.0:  # 响应较慢，减少并发（从1.5降到1.0）
+            new_concurrency = max(self._current_value - 5, max(1, self._initial_value // 3))  # 减少幅度从3提高到5，最小值从一半降低到三分之一
+        else:
+            return  # 保持当前并发数
+            
+        # 只有当变化较大时才调整
+        if abs(new_concurrency - self._current_value) > 1:
+            self._adjust_semaphore_value(new_concurrency)
+    
+    def _adjust_semaphore_value(self, new_value: int):
+        """调整信号量的值"""
+        if new_value > self._current_value:
+            # 增加信号量
+            for _ in range(new_value - self._current_value):
+                self.release()
+        elif new_value < self._current_value:
+            # 减少信号量，这里只是记录新的目标值
+            # 实际减少会在acquire时处理
+            pass
+            
+        self._current_value = new_value
+        # 注意：Python的Semaphore没有直接修改内部计数器的方法
+        # 所以我们只能通过release()来增加，减少则需要在acquire时控制
 
 
 class TaskManager:
 
     def __init__(self, total_concurrency: int = 8):
         self.current_task: Final[Set] = set()
-        self.semaphore: Semaphore = Semaphore(total_concurrency)
+        # 使用动态信号量替代普通信号量
+        self.semaphore: DynamicSemaphore = DynamicSemaphore(max(1, total_concurrency))
+        self.logger = get_logger(self.__class__.__name__)
+        
+        # 异常统计
+        self._exception_count = 0
+        self._total_tasks = 0
 
     async def create_task(self, coroutine) -> Task:
         # 等待信号量，控制并发数
@@ -17,10 +83,39 @@ class TaskManager:
         
         task = asyncio.create_task(coroutine)
         self.current_task.add(task)
+        self._total_tasks += 1
 
         def done_callback(_future: Future) -> None:
-            self.current_task.remove(task)
-            self.semaphore.release()
+            try:
+                self.current_task.discard(task)  # 使用discard而不是remove，避免KeyError
+                
+                # 获取任务结果或异常 - 这是关键，必须调用result()或exception()来"获取"异常
+                try:
+                    # 尝试获取结果，如果有异常会被抛出
+                    result = _future.result()
+                    # 如果成功完成，可以在这里记录成功统计
+                except Exception as exception:
+                    # 异常被正确"获取"了，不会再出现"never retrieved"警告
+                    self._exception_count += 1
+                    
+                    # 记录异常详情
+                    self.logger.error(
+                        f"Task completed with exception: {type(exception).__name__}: {exception}"
+                    )
+                    self.logger.debug("Task exception details:", exc_info=exception)
+                    
+                    # 可以在这里添加更多的异常处理逻辑，如发送到监控系统
+                    
+            except Exception as e:
+                # 防止回调函数本身出现异常
+                self.logger.error(f"Error in task done callback: {e}")
+            finally:
+                # 确保信号量始终被释放
+                self.semaphore.release()
+                
+                # 定期调整并发数（从每3个任务调整一次改为每2个任务调整一次）
+                if self._total_tasks % 2 == 0:
+                    self.semaphore.adjust_concurrency()
 
         task.add_done_callback(done_callback)
 
@@ -28,3 +123,17 @@ class TaskManager:
 
     def all_done(self) -> bool:
         return len(self.current_task) == 0
+    
+    def record_response_time(self, response_time: float):
+        """记录任务的响应时间，用于动态调整并发数"""
+        self.semaphore.record_response_time(response_time)
+    
+    def get_stats(self) -> dict:
+        """获取任务管理器统计信息"""
+        return {
+            'active_tasks': len(self.current_task),
+            'total_tasks': self._total_tasks,
+            'exception_count': self._exception_count,
+            'success_rate': (self._total_tasks - self._exception_count) / max(1, self._total_tasks) * 100,
+            'current_concurrency': self.semaphore._current_value
+        }