crawlo 1.1.2__py3-none-any.whl → 1.1.3__py3-none-any.whl

crawlo/utils/log.py

@@ -1,129 +1,129 @@
-# -*- coding: UTF-8 -*-
-"""
-日志管理器：安全版本，使用字符串化 key 避免 unhashable 问题
-"""
-import os
-from logging import (
-    Formatter,
-    StreamHandler,
-    FileHandler,
-    Logger,
-    DEBUG,
-    INFO,
-    WARNING,
-    ERROR,
-    CRITICAL,
-)
-
-LOG_FORMAT = '%(asctime)s - [%(name)s] - %(levelname)s： %(message)s'
-
-
-class LoggerManager:
-    logger_cache = {}
-    _default_filename = None
-    _default_level = INFO
-    _default_file_level = INFO
-    _default_console_level = INFO
-    _default_log_format = LOG_FORMAT
-    _default_encoding = 'utf-8'
-
-    _level_map = {
-        'DEBUG': DEBUG,
-        'INFO': INFO,
-        'WARNING': WARNING,
-        'ERROR': ERROR,
-        'CRITICAL': CRITICAL,
-    }
-
-    @classmethod
-    def _to_level(cls, level):
-        """安全转换为日志级别 int"""
-        if level is None:
-            return INFO
-        if isinstance(level, int):
-            return level
-        if isinstance(level, str):
-            return cls._level_map.get(level.upper(), INFO)
-        if hasattr(level, 'get'):  # 如 SettingManager 或 dict
-            lv = level.get('LOG_LEVEL')
-            if isinstance(lv, int):
-                return lv
-            if isinstance(lv, str):
-                return cls._level_map.get(lv.upper(), INFO)
-        return INFO
-
-    @classmethod
-    def configure(cls, settings=None, **kwargs):
-        """
-        使用 settings 对象或关键字参数配置日志
-        """
-        # 优先使用 settings，否则用 kwargs
-        get_val = settings.get if hasattr(settings, 'get') else (lambda k, d=None: kwargs.get(k, d))
-
-        filename = get_val('LOG_FILE')
-        level = get_val('LOG_LEVEL', 'INFO')
-        file_level = get_val('LOG_FILE_LEVEL', level)
-        console_level = get_val('LOG_CONSOLE_LEVEL', level)
-        log_format = get_val('LOG_FORMAT', LOG_FORMAT)
-        encoding = get_val('LOG_ENCODING', 'utf-8')
-
-        cls._default_filename = filename
-        cls._default_level = cls._to_level(level)
-        cls._default_file_level = cls._to_level(file_level)
-        cls._default_console_level = cls._to_level(console_level)
-        cls._default_log_format = log_format
-        cls._default_encoding = encoding
-
-    @classmethod
-    def get_logger(cls, name='default', level=None, filename=None):
-        """
-        简化接口，只暴露必要参数
-        """
-        # 确定最终参数
-        final_level = cls._to_level(level) if level is not None else cls._default_level
-        final_filename = filename if filename is not None else cls._default_filename
-
-        # ✅ 安全的字符串化 key，避免任何 unhashable 类型
-        key_parts = [
-            name,
-            str(final_level),
-            final_filename or 'no_file',
-        ]
-        key = '|'.join(key_parts)  # 如 "my_spider|20|logs/app.log"
-
-        if key in cls.logger_cache:
-            return cls.logger_cache[key]
-
-        # 创建 logger
-        _logger = Logger(name=name)
-        _logger.setLevel(final_level)
-
-        formatter = Formatter(cls._default_log_format)
-
-        # 控制台
-        if cls._default_console_level is not False:
-            ch = StreamHandler()
-            ch.setFormatter(formatter)
-            ch.setLevel(cls._default_console_level)
-            _logger.addHandler(ch)
-
-        # 文件
-        if final_filename:
-            try:
-                log_dir = os.path.dirname(final_filename)
-                if log_dir and not os.path.exists(log_dir):
-                    os.makedirs(log_dir, exist_ok=True)
-
-                fh = FileHandler(final_filename, encoding=cls._default_encoding)
-                fh.setFormatter(formatter)
-                fh.setLevel(cls._default_file_level)
-                _logger.addHandler(fh)
-            except Exception as e:
-                print(f"[Logger] 无法创建日志文件 {final_filename}: {e}")
-
-        cls.logger_cache[key] = _logger
-        return _logger
-
-
-# 全局快捷函数
+# -*- coding: UTF-8 -*-
+"""
+日志管理器：安全版本，使用字符串化 key 避免 unhashable 问题
+"""
+import os
+from logging import (
+    Formatter,
+    StreamHandler,
+    FileHandler,
+    Logger,
+    DEBUG,
+    INFO,
+    WARNING,
+    ERROR,
+    CRITICAL,
+)
+
+LOG_FORMAT = '%(asctime)s - [%(name)s] - %(levelname)s： %(message)s'
+
+
+class LoggerManager:
+    logger_cache = {}
+    _default_filename = None
+    _default_level = INFO
+    _default_file_level = INFO
+    _default_console_level = INFO
+    _default_log_format = LOG_FORMAT
+    _default_encoding = 'utf-8'
+
+    _level_map = {
+        'DEBUG': DEBUG,
+        'INFO': INFO,
+        'WARNING': WARNING,
+        'ERROR': ERROR,
+        'CRITICAL': CRITICAL,
+    }
+
+    @classmethod
+    def _to_level(cls, level):
+        """安全转换为日志级别 int"""
+        if level is None:
+            return INFO
+        if isinstance(level, int):
+            return level
+        if isinstance(level, str):
+            return cls._level_map.get(level.upper(), INFO)
+        if hasattr(level, 'get'):  # 如 SettingManager 或 dict
+            lv = level.get('LOG_LEVEL')
+            if isinstance(lv, int):
+                return lv
+            if isinstance(lv, str):
+                return cls._level_map.get(lv.upper(), INFO)
+        return INFO
+
+    @classmethod
+    def configure(cls, settings=None, **kwargs):
+        """
+        使用 settings 对象或关键字参数配置日志
+        """
+        # 优先使用 settings，否则用 kwargs
+        get_val = settings.get if hasattr(settings, 'get') else (lambda k, d=None: kwargs.get(k, d))
+
+        filename = get_val('LOG_FILE')
+        level = get_val('LOG_LEVEL', 'INFO')
+        file_level = get_val('LOG_FILE_LEVEL', level)
+        console_level = get_val('LOG_CONSOLE_LEVEL', level)
+        log_format = get_val('LOG_FORMAT', LOG_FORMAT)
+        encoding = get_val('LOG_ENCODING', 'utf-8')
+
+        cls._default_filename = filename
+        cls._default_level = cls._to_level(level)
+        cls._default_file_level = cls._to_level(file_level)
+        cls._default_console_level = cls._to_level(console_level)
+        cls._default_log_format = log_format
+        cls._default_encoding = encoding
+
+    @classmethod
+    def get_logger(cls, name='default', level=None, filename=None):
+        """
+        简化接口，只暴露必要参数
+        """
+        # 确定最终参数
+        final_level = cls._to_level(level) if level is not None else cls._default_level
+        final_filename = filename if filename is not None else cls._default_filename
+
+        # ✅ 安全的字符串化 key，避免任何 unhashable 类型
+        key_parts = [
+            name,
+            str(final_level),
+            final_filename or 'no_file',
+        ]
+        key = '|'.join(key_parts)  # 如 "my_spider|20|logs/app.log"
+
+        if key in cls.logger_cache:
+            return cls.logger_cache[key]
+
+        # 创建 logger
+        _logger = Logger(name=name)
+        _logger.setLevel(final_level)
+
+        formatter = Formatter(cls._default_log_format)
+
+        # 控制台
+        if cls._default_console_level is not False:
+            ch = StreamHandler()
+            ch.setFormatter(formatter)
+            ch.setLevel(cls._default_console_level)
+            _logger.addHandler(ch)
+
+        # 文件
+        if final_filename:
+            try:
+                log_dir = os.path.dirname(final_filename)
+                if log_dir and not os.path.exists(log_dir):
+                    os.makedirs(log_dir, exist_ok=True)
+
+                fh = FileHandler(final_filename, encoding=cls._default_encoding)
+                fh.setFormatter(formatter)
+                fh.setLevel(cls._default_file_level)
+                _logger.addHandler(fh)
+            except Exception as e:
+                print(f"[Logger] 无法创建日志文件 {final_filename}: {e}")
+
+        cls.logger_cache[key] = _logger
+        return _logger
+
+
+# 全局快捷函数
 get_logger = LoggerManager.get_logger

crawlo/utils/queue_helper.py

@@ -1,176 +1,176 @@
-#!/usr/bin/python
-# -*- coding: UTF-8 -*-
-"""
-队列配置辅助工具
-为用户提供简洁的队列配置接口
-"""
-from typing import Dict, Any, Optional
-
-
-class QueueHelper:
-    """队列配置辅助类"""
-    
-    @staticmethod
-    def use_memory_queue(max_size: int = 2000) -> Dict[str, Any]:
-        """
-        配置使用内存队列
-        
-        Args:
-            max_size: 队列最大容量
-            
-        Returns:
-            配置字典
-        """
-        return {
-            'QUEUE_TYPE': 'memory',
-            'SCHEDULER_MAX_QUEUE_SIZE': max_size,
-        }
-    
-    @staticmethod
-    def use_redis_queue(
-        host: str = "127.0.0.1",
-        port: int = 6379,
-        password: Optional[str] = None,
-        db: int = 0,
-        queue_name: str = "crawlo:requests",
-        max_retries: int = 3,
-        timeout: int = 300
-    ) -> Dict[str, Any]:
-        """
-        配置使用 Redis 分布式队列
-        
-        Args:
-            host: Redis 主机地址
-            port: Redis 端口
-            password: Redis 密码（可选）
-            db: Redis 数据库编号
-            queue_name: 队列名称
-            max_retries: 最大重试次数
-            timeout: 操作超时时间（秒）
-            
-        Returns:
-            配置字典
-        """
-        if password:
-            redis_url = f"redis://:{password}@{host}:{port}/{db}"
-        else:
-            redis_url = f"redis://{host}:{port}/{db}"
-        
-        return {
-            'QUEUE_TYPE': 'redis',
-            'REDIS_URL': redis_url,
-            'REDIS_HOST': host,
-            'REDIS_PORT': port,
-            'REDIS_PASSWORD': password or '',
-            'REDIS_DB': db,
-            'SCHEDULER_QUEUE_NAME': queue_name,
-            'QUEUE_MAX_RETRIES': max_retries,
-            'QUEUE_TIMEOUT': timeout,
-        }
-    
-    @staticmethod
-    def auto_queue(
-        redis_fallback: bool = True,
-        memory_max_size: int = 2000,
-        **redis_kwargs
-    ) -> Dict[str, Any]:
-        """
-        配置自动选择队列类型
-        
-        Args:
-            redis_fallback: Redis 不可用时是否回退到内存队列
-            memory_max_size: 内存队列最大容量
-            **redis_kwargs: Redis 配置参数
-            
-        Returns:
-            配置字典
-        """
-        config = {
-            'QUEUE_TYPE': 'auto',
-            'SCHEDULER_MAX_QUEUE_SIZE': memory_max_size,
-        }
-        
-        # 添加 Redis 配置（用于自动检测）
-        if redis_kwargs:
-            redis_config = QueueHelper.use_redis_queue(**redis_kwargs)
-            config.update(redis_config)
-            config['QUEUE_TYPE'] = 'auto'  # 确保是自动模式
-        
-        return config
-
-
-# 预定义的常用配置
-class QueuePresets:
-    """预定义的队列配置"""
-    
-    # 开发环境：使用内存队列
-    DEVELOPMENT = QueueHelper.use_memory_queue(max_size=1000)
-    
-    # 生产环境：使用 Redis 分布式队列
-    PRODUCTION = QueueHelper.use_redis_queue(
-        host="127.0.0.1",
-        port=6379,
-        queue_name="crawlo:production",
-        max_retries=5,
-        timeout=600
-    )
-    
-    # 测试环境：自动选择，Redis 不可用时使用内存队列
-    TESTING = QueueHelper.auto_queue(
-        redis_fallback=True,
-        memory_max_size=500,
-        host="127.0.0.1",
-        port=6379,
-        queue_name="crawlo:testing"
-    )
-    
-    # 高性能环境：Redis 集群
-    HIGH_PERFORMANCE = QueueHelper.use_redis_queue(
-        host="redis-cluster.example.com",
-        port=6379,
-        queue_name="crawlo:cluster",
-        max_retries=10,
-        timeout=300
-    )
-
-
-def apply_queue_config(settings_dict: Dict[str, Any], config: Dict[str, Any]) -> None:
-    """
-    将队列配置应用到设置字典
-    
-    Args:
-        settings_dict: 现有的设置字典
-        config: 队列配置字典
-    """
-    settings_dict.update(config)
-
-
-# 使用示例和文档
-USAGE_EXAMPLES = """
-# 使用示例：
-
-# 1. 在 settings.py 中使用内存队列
-from crawlo.utils.queue_helper import QueueHelper
-apply_queue_config(locals(), QueueHelper.use_memory_queue())
-
-# 2. 在 settings.py 中使用 Redis 队列
-apply_queue_config(locals(), QueueHelper.use_redis_queue(
-    host="redis.example.com",
-    password="your_password"
-))
-
-# 3. 使用预定义配置
-from crawlo.utils.queue_helper import QueuePresets
-apply_queue_config(locals(), QueuePresets.PRODUCTION)
-
-# 4. 自动选择队列类型
-apply_queue_config(locals(), QueueHelper.auto_queue(
-    host="127.0.0.1",
-    port=6379
-))
-
-# 5. 直接在 settings 中配置
-QUEUE_TYPE = 'auto'  # 'memory', 'redis', 'auto'
-REDIS_URL = 'redis://127.0.0.1:6379/0'
-SCHEDULER_MAX_QUEUE_SIZE = 2000
+#!/usr/bin/python
+# -*- coding: UTF-8 -*-
+"""
+队列配置辅助工具
+为用户提供简洁的队列配置接口
+"""
+from typing import Dict, Any, Optional
+
+
+class QueueHelper:
+    """队列配置辅助类"""
+    
+    @staticmethod
+    def use_memory_queue(max_size: int = 2000) -> Dict[str, Any]:
+        """
+        配置使用内存队列
+        
+        Args:
+            max_size: 队列最大容量
+            
+        Returns:
+            配置字典
+        """
+        return {
+            'QUEUE_TYPE': 'memory',
+            'SCHEDULER_MAX_QUEUE_SIZE': max_size,
+        }
+    
+    @staticmethod
+    def use_redis_queue(
+        host: str = "127.0.0.1",
+        port: int = 6379,
+        password: Optional[str] = None,
+        db: int = 0,
+        queue_name: str = "crawlo:requests",
+        max_retries: int = 3,
+        timeout: int = 300
+    ) -> Dict[str, Any]:
+        """
+        配置使用 Redis 分布式队列
+        
+        Args:
+            host: Redis 主机地址
+            port: Redis 端口
+            password: Redis 密码（可选）
+            db: Redis 数据库编号
+            queue_name: 队列名称
+            max_retries: 最大重试次数
+            timeout: 操作超时时间（秒）
+            
+        Returns:
+            配置字典
+        """
+        if password:
+            redis_url = f"redis://:{password}@{host}:{port}/{db}"
+        else:
+            redis_url = f"redis://{host}:{port}/{db}"
+        
+        return {
+            'QUEUE_TYPE': 'redis',
+            'REDIS_URL': redis_url,
+            'REDIS_HOST': host,
+            'REDIS_PORT': port,
+            'REDIS_PASSWORD': password or '',
+            'REDIS_DB': db,
+            'SCHEDULER_QUEUE_NAME': queue_name,
+            'QUEUE_MAX_RETRIES': max_retries,
+            'QUEUE_TIMEOUT': timeout,
+        }
+    
+    @staticmethod
+    def auto_queue(
+        redis_fallback: bool = True,
+        memory_max_size: int = 2000,
+        **redis_kwargs
+    ) -> Dict[str, Any]:
+        """
+        配置自动选择队列类型
+        
+        Args:
+            redis_fallback: Redis 不可用时是否回退到内存队列
+            memory_max_size: 内存队列最大容量
+            **redis_kwargs: Redis 配置参数
+            
+        Returns:
+            配置字典
+        """
+        config = {
+            'QUEUE_TYPE': 'auto',
+            'SCHEDULER_MAX_QUEUE_SIZE': memory_max_size,
+        }
+        
+        # 添加 Redis 配置（用于自动检测）
+        if redis_kwargs:
+            redis_config = QueueHelper.use_redis_queue(**redis_kwargs)
+            config.update(redis_config)
+            config['QUEUE_TYPE'] = 'auto'  # 确保是自动模式
+        
+        return config
+
+
+# 预定义的常用配置
+class QueuePresets:
+    """预定义的队列配置"""
+    
+    # 开发环境：使用内存队列
+    DEVELOPMENT = QueueHelper.use_memory_queue(max_size=1000)
+    
+    # 生产环境：使用 Redis 分布式队列
+    PRODUCTION = QueueHelper.use_redis_queue(
+        host="127.0.0.1",
+        port=6379,
+        queue_name="crawlo:production",
+        max_retries=5,
+        timeout=600
+    )
+    
+    # 测试环境：自动选择，Redis 不可用时使用内存队列
+    TESTING = QueueHelper.auto_queue(
+        redis_fallback=True,
+        memory_max_size=500,
+        host="127.0.0.1",
+        port=6379,
+        queue_name="crawlo:testing"
+    )
+    
+    # 高性能环境：Redis 集群
+    HIGH_PERFORMANCE = QueueHelper.use_redis_queue(
+        host="redis-cluster.example.com",
+        port=6379,
+        queue_name="crawlo:cluster",
+        max_retries=10,
+        timeout=300
+    )
+
+
+def apply_queue_config(settings_dict: Dict[str, Any], config: Dict[str, Any]) -> None:
+    """
+    将队列配置应用到设置字典
+    
+    Args:
+        settings_dict: 现有的设置字典
+        config: 队列配置字典
+    """
+    settings_dict.update(config)
+
+
+# 使用示例和文档
+USAGE_EXAMPLES = """
+# 使用示例：
+
+# 1. 在 settings.py 中使用内存队列
+from crawlo.utils.queue_helper import QueueHelper
+apply_queue_config(locals(), QueueHelper.use_memory_queue())
+
+# 2. 在 settings.py 中使用 Redis 队列
+apply_queue_config(locals(), QueueHelper.use_redis_queue(
+    host="redis.example.com",
+    password="your_password"
+))
+
+# 3. 使用预定义配置
+from crawlo.utils.queue_helper import QueuePresets
+apply_queue_config(locals(), QueuePresets.PRODUCTION)
+
+# 4. 自动选择队列类型
+apply_queue_config(locals(), QueueHelper.auto_queue(
+    host="127.0.0.1",
+    port=6379
+))
+
+# 5. 直接在 settings 中配置
+QUEUE_TYPE = 'auto'  # 'memory', 'redis', 'auto'
+REDIS_URL = 'redis://127.0.0.1:6379/0'
+SCHEDULER_MAX_QUEUE_SIZE = 2000
 """