crawlo 1.1.3__py3-none-any.whl → 1.1.4__py3-none-any.whl

crawlo/pipelines/redis_dedup_pipeline.py

@@ -1,163 +1,163 @@
-#!/usr/bin/python
-# -*- coding:UTF-8 -*-
-"""
-基于 Redis 的数据项去重管道
-========================
-提供分布式环境下的数据项去重功能，防止保存重复的数据记录。
-
-特点:
-- 分布式支持: 多节点共享去重数据
-- 高性能: 使用 Redis 集合进行快速查找
-- 可配置: 支持自定义 Redis 连接参数
-- 容错设计: 网络异常时不会丢失数据
-"""
-
-import hashlib
-from typing import Dict, Any, Optional
-import redis
-
-from crawlo import Item
-from crawlo.spider import Spider
-from crawlo.utils.log import get_logger
-from crawlo.exceptions import DropItem
-
-
-class RedisDedupPipeline:
-    """基于 Redis 的数据项去重管道"""
-
-    def __init__(
-            self,
-            redis_host: str = 'localhost',
-            redis_port: int = 6379,
-            redis_db: int = 0,
-            redis_password: Optional[str] = None,
-            redis_key: str = 'crawlo:item_fingerprints',
-            log_level: str = "INFO"
-    ):
-        """
-        初始化 Redis 去重管道
-        
-        :param redis_host: Redis 主机地址
-        :param redis_port: Redis 端口
-        :param redis_db: Redis 数据库编号
-        :param redis_password: Redis 密码
-        :param redis_key: 存储指纹的 Redis 键名
-        :param log_level: 日志级别
-        """
-        self.logger = get_logger(self.__class__.__name__, log_level)
-        
-        # 初始化 Redis 连接
-        try:
-            self.redis_client = redis.Redis(
-                host=redis_host,
-                port=redis_port,
-                db=redis_db,
-                password=redis_password,
-                decode_responses=True,
-                socket_connect_timeout=5,
-                socket_timeout=5
-            )
-            # 测试连接
-            self.redis_client.ping()
-            self.logger.info(f"Redis 连接成功: {redis_host}:{redis_port}/{redis_db}")
-        except Exception as e:
-            self.logger.error(f"Redis 连接失败: {e}")
-            raise RuntimeError(f"Redis 连接失败: {e}")
-
-        self.redis_key = redis_key
-        self.dropped_count = 0
-
-    @classmethod
-    def from_crawler(cls, crawler):
-        """从爬虫配置创建管道实例"""
-        settings = crawler.settings
-        
-        return cls(
-            redis_host=settings.get('REDIS_HOST', 'localhost'),
-            redis_port=settings.getint('REDIS_PORT', 6379),
-            redis_db=settings.getint('REDIS_DB', 0),
-            redis_password=settings.get('REDIS_PASSWORD') or None,
-            redis_key=settings.get('REDIS_DEDUP_KEY', 'crawlo:item_fingerprints'),
-            log_level=settings.get('LOG_LEVEL', 'INFO')
-        )
-
-    def process_item(self, item: Item, spider: Spider) -> Item:
-        """
-        处理数据项，进行去重检查
-        
-        :param item: 要处理的数据项
-        :param spider: 爬虫实例
-        :return: 处理后的数据项或抛出 DropItem 异常
-        """
-        try:
-            # 生成数据项指纹
-            fingerprint = self._generate_item_fingerprint(item)
-            
-            # 使用 Redis 的 SADD 命令检查并添加指纹
-            # 如果指纹已存在，SADD 返回 0；如果指纹是新的，SADD 返回 1
-            is_new = self.redis_client.sadd(self.redis_key, fingerprint)
-            
-            if not is_new:
-                # 如果指纹已存在，丢弃这个数据项
-                self.dropped_count += 1
-                self.logger.debug(f"丢弃重复数据项: {fingerprint[:20]}...")
-                raise DropItem(f"重复的数据项: {fingerprint}")
-            else:
-                # 如果是新数据项，继续处理
-                self.logger.debug(f"处理新数据项: {fingerprint[:20]}...")
-                return item
-                
-        except redis.RedisError as e:
-            self.logger.error(f"Redis 错误: {e}")
-            # 在 Redis 错误时继续处理，避免丢失数据
-            return item
-        except Exception as e:
-            self.logger.error(f"处理数据项时出错: {e}")
-            # 在其他错误时继续处理
-            return item
-
-    def _generate_item_fingerprint(self, item: Item) -> str:
-        """
-        生成数据项指纹
-        
-        基于数据项的所有字段生成唯一指纹，用于去重判断。
-        
-        :param item: 数据项
-        :return: 指纹字符串
-        """
-        # 将数据项转换为可序列化的字典
-        try:
-            item_dict = item.to_dict()
-        except AttributeError:
-            # 兼容没有to_dict方法的Item实现
-            item_dict = dict(item)
-        
-        # 对字典进行排序以确保一致性
-        sorted_items = sorted(item_dict.items())
-        
-        # 生成指纹字符串
-        fingerprint_string = '|'.join([f"{k}={v}" for k, v in sorted_items if v is not None])
-        
-        # 使用 SHA256 生成固定长度的指纹
-        return hashlib.sha256(fingerprint_string.encode('utf-8')).hexdigest()
-
-    def close_spider(self, spider: Spider) -> None:
-        """
-        爬虫关闭时的清理工作
-        
-        :param spider: 爬虫实例
-        """
-        try:
-            # 获取去重统计信息
-            total_items = self.redis_client.scard(self.redis_key)
-            self.logger.info(f"爬虫 {spider.name} 关闭:")
-            self.logger.info(f"  - 丢弃的重复数据项: {self.dropped_count}")
-            self.logger.info(f"  - Redis 中存储的指纹数: {total_items}")
-            
-            # 注意：默认情况下不清理 Redis 中的指纹
-            # 如果需要清理，可以在设置中配置
-            if spider.crawler.settings.getbool('REDIS_DEDUP_CLEANUP', False):
-                deleted = self.redis_client.delete(self.redis_key)
-                self.logger.info(f"  - 清理的指纹数: {deleted}")
-        except Exception as e:
+#!/usr/bin/python
+# -*- coding:UTF-8 -*-
+"""
+基于 Redis 的数据项去重管道
+========================
+提供分布式环境下的数据项去重功能，防止保存重复的数据记录。
+
+特点:
+- 分布式支持: 多节点共享去重数据
+- 高性能: 使用 Redis 集合进行快速查找
+- 可配置: 支持自定义 Redis 连接参数
+- 容错设计: 网络异常时不会丢失数据
+"""
+
+import hashlib
+from typing import Dict, Any, Optional
+import redis
+
+from crawlo import Item
+from crawlo.spider import Spider
+from crawlo.utils.log import get_logger
+from crawlo.exceptions import DropItem
+
+
+class RedisDedupPipeline:
+    """基于 Redis 的数据项去重管道"""
+
+    def __init__(
+            self,
+            redis_host: str = 'localhost',
+            redis_port: int = 6379,
+            redis_db: int = 0,
+            redis_password: Optional[str] = None,
+            redis_key: str = 'crawlo:item_fingerprints',
+            log_level: str = "INFO"
+    ):
+        """
+        初始化 Redis 去重管道
+        
+        :param redis_host: Redis 主机地址
+        :param redis_port: Redis 端口
+        :param redis_db: Redis 数据库编号
+        :param redis_password: Redis 密码
+        :param redis_key: 存储指纹的 Redis 键名
+        :param log_level: 日志级别
+        """
+        self.logger = get_logger(self.__class__.__name__, log_level)
+        
+        # 初始化 Redis 连接
+        try:
+            self.redis_client = redis.Redis(
+                host=redis_host,
+                port=redis_port,
+                db=redis_db,
+                password=redis_password,
+                decode_responses=True,
+                socket_connect_timeout=5,
+                socket_timeout=5
+            )
+            # 测试连接
+            self.redis_client.ping()
+            self.logger.info(f"Redis 连接成功: {redis_host}:{redis_port}/{redis_db}")
+        except Exception as e:
+            self.logger.error(f"Redis 连接失败: {e}")
+            raise RuntimeError(f"Redis 连接失败: {e}")
+
+        self.redis_key = redis_key
+        self.dropped_count = 0
+
+    @classmethod
+    def from_crawler(cls, crawler):
+        """从爬虫配置创建管道实例"""
+        settings = crawler.settings
+        
+        return cls(
+            redis_host=settings.get('REDIS_HOST', 'localhost'),
+            redis_port=settings.getint('REDIS_PORT', 6379),
+            redis_db=settings.getint('REDIS_DB', 0),
+            redis_password=settings.get('REDIS_PASSWORD') or None,
+            redis_key=settings.get('REDIS_DEDUP_KEY', 'crawlo:item_fingerprints'),
+            log_level=settings.get('LOG_LEVEL', 'INFO')
+        )
+
+    def process_item(self, item: Item, spider: Spider) -> Item:
+        """
+        处理数据项，进行去重检查
+        
+        :param item: 要处理的数据项
+        :param spider: 爬虫实例
+        :return: 处理后的数据项或抛出 DropItem 异常
+        """
+        try:
+            # 生成数据项指纹
+            fingerprint = self._generate_item_fingerprint(item)
+            
+            # 使用 Redis 的 SADD 命令检查并添加指纹
+            # 如果指纹已存在，SADD 返回 0；如果指纹是新的，SADD 返回 1
+            is_new = self.redis_client.sadd(self.redis_key, fingerprint)
+            
+            if not is_new:
+                # 如果指纹已存在，丢弃这个数据项
+                self.dropped_count += 1
+                self.logger.debug(f"丢弃重复数据项: {fingerprint[:20]}...")
+                raise DropItem(f"重复的数据项: {fingerprint}")
+            else:
+                # 如果是新数据项，继续处理
+                self.logger.debug(f"处理新数据项: {fingerprint[:20]}...")
+                return item
+                
+        except redis.RedisError as e:
+            self.logger.error(f"Redis 错误: {e}")
+            # 在 Redis 错误时继续处理，避免丢失数据
+            return item
+        except Exception as e:
+            self.logger.error(f"处理数据项时出错: {e}")
+            # 在其他错误时继续处理
+            return item
+
+    def _generate_item_fingerprint(self, item: Item) -> str:
+        """
+        生成数据项指纹
+        
+        基于数据项的所有字段生成唯一指纹，用于去重判断。
+        
+        :param item: 数据项
+        :return: 指纹字符串
+        """
+        # 将数据项转换为可序列化的字典
+        try:
+            item_dict = item.to_dict()
+        except AttributeError:
+            # 兼容没有to_dict方法的Item实现
+            item_dict = dict(item)
+        
+        # 对字典进行排序以确保一致性
+        sorted_items = sorted(item_dict.items())
+        
+        # 生成指纹字符串
+        fingerprint_string = '|'.join([f"{k}={v}" for k, v in sorted_items if v is not None])
+        
+        # 使用 SHA256 生成固定长度的指纹
+        return hashlib.sha256(fingerprint_string.encode('utf-8')).hexdigest()
+
+    def close_spider(self, spider: Spider) -> None:
+        """
+        爬虫关闭时的清理工作
+        
+        :param spider: 爬虫实例
+        """
+        try:
+            # 获取去重统计信息
+            total_items = self.redis_client.scard(self.redis_key)
+            self.logger.info(f"爬虫 {spider.name} 关闭:")
+            self.logger.info(f"  - 丢弃的重复数据项: {self.dropped_count}")
+            self.logger.info(f"  - Redis 中存储的指纹数: {total_items}")
+            
+            # 注意：默认情况下不清理 Redis 中的指纹
+            # 如果需要清理，可以在设置中配置
+            if spider.crawler.settings.getbool('REDIS_DEDUP_CLEANUP', False):
+                deleted = self.redis_client.delete(self.redis_key)
+                self.logger.info(f"  - 清理的指纹数: {deleted}")
+        except Exception as e:
             self.logger.error(f"关闭爬虫时出错: {e}")

crawlo/project.py

@@ -1,153 +1,153 @@
-#!/usr/bin/python
-# -*- coding: UTF-8 -*-
-"""
-Crawlo 项目初始化模块
-
-负责：
-1. 向上搜索项目根目录（通过 crawlo.cfg 或 settings.py）
-2. 将项目根目录加入 sys.path
-3. 加载 settings 模块
-4. 返回 SettingManager 实例
-"""
-import os
-import sys
-import configparser
-from importlib import import_module
-from inspect import iscoroutinefunction
-from typing import Callable, Optional, Tuple
-
-from crawlo.utils.log import get_logger
-from crawlo.settings.setting_manager import SettingManager
-
-logger = get_logger(__name__)
-
-
-def _find_project_root(start_path: str = ".") -> Optional[str]:
-    """
-    从指定路径向上查找项目根目录。
-    识别依据：
-        1. 存在 'crawlo.cfg'
-        2. 存在 '__init__.py' 和 'settings.py'（即 Python 包）
-    """
-    path = os.path.abspath(start_path)
-    while True:
-        cfg_file = os.path.join(path, "crawlo.cfg")
-        if os.path.isfile(cfg_file):
-            logger.info(f"✅ 找到项目配置文件: {cfg_file}")
-            return path
-
-        settings_file = os.path.join(path, "settings.py")
-        init_file = os.path.join(path, "__init__.py")
-        if os.path.isfile(settings_file) and os.path.isfile(init_file):
-            logger.info(f"✅ 找到项目模块: {path}")
-            return path
-
-        parent = os.path.dirname(path)
-        if parent == path:
-            break
-        path = parent
-
-    logger.warning("❌ 未找到 Crawlo 项目根目录。请确保在包含 'crawlo.cfg' 或 'settings.py' 的目录运行。")
-    return None
-
-
-def _get_settings_module_from_cfg(cfg_path: str) -> str:
-    """从 crawlo.cfg 读取 settings 模块路径"""
-    config = configparser.ConfigParser()
-    try:
-        config.read(cfg_path, encoding="utf-8")
-        if config.has_section("settings") and config.has_option("settings", "default"):
-            module_path = config.get("settings", "default")
-            logger.info(f"📄 从 crawlo.cfg 加载 settings 模块: {module_path}")
-            return module_path
-        else:
-            raise RuntimeError(f"配置文件缺少 [settings] 或 default 选项: {cfg_path}")
-    except Exception as e:
-        raise RuntimeError(f"解析 crawlo.cfg 失败: {e}")
-
-
-def get_settings(custom_settings: Optional[dict] = None) -> SettingManager:
-    """
-    获取配置管理器实例（主入口函数）
-
-    Args:
-        custom_settings: 运行时自定义配置，会覆盖 settings.py
-
-    Returns:
-        SettingManager: 已加载配置的实例
-    """
-    logger.info("🚀 正在初始化 Crawlo 项目配置...")
-
-    # 1. 查找项目根
-    project_root = _find_project_root()
-    if not project_root:
-        raise RuntimeError("未找到 Crawlo 项目，请检查项目结构")
-
-    # 2. 确定 settings 模块
-    settings_module_path = None
-    cfg_file = os.path.join(project_root, "crawlo.cfg")
-
-    if os.path.isfile(cfg_file):
-        settings_module_path = _get_settings_module_from_cfg(cfg_file)
-    else:
-        # 推断：项目目录名.settings
-        project_name = os.path.basename(project_root)
-        settings_module_path = f"{project_name}.settings"
-        logger.warning(f"⚠️ 未找到 crawlo.cfg，推断 settings 模块为: {settings_module_path}")
-
-    # 3. 注入 sys.path
-    project_root_str = os.path.abspath(project_root)
-    if project_root_str not in sys.path:
-        sys.path.insert(0, project_root_str)
-        logger.info(f"📁 项目根目录已加入 sys.path: {project_root_str}")
-
-    # 4. 加载 SettingManager
-    logger.info(f"⚙️ 正在加载配置模块: {settings_module_path}")
-    settings = SettingManager()
-
-    try:
-        settings.set_settings(settings_module_path)
-        logger.info("✅ settings 模块加载成功")
-    except Exception as e:
-        raise ImportError(f"加载 settings 模块失败 '{settings_module_path}': {e}")
-
-    # 5. 合并运行时配置
-    if custom_settings:
-        settings.update_attributes(custom_settings)
-        logger.info(f"🔧 已应用运行时自定义配置: {list(custom_settings.keys())}")
-
-    logger.info("🎉 Crawlo 项目配置初始化完成！")
-    return settings
-
-
-def load_class(_path):
-    if not isinstance(_path, str):
-        if callable(_path):
-            return _path
-        else:
-            raise TypeError(f"args expect str or object, got {_path}")
-
-    module_name, class_name = _path.rsplit('.', 1)
-    module = import_module(module_name)
-
-    try:
-        cls = getattr(module, class_name)
-    except AttributeError:
-        raise NameError(f"Module {module_name!r} has no class named {class_name!r}")
-    return cls
-
-
-def merge_settings(spider, settings):
-    spider_name = getattr(spider, 'name', 'UnknownSpider')
-    if hasattr(spider, 'custom_settings'):
-        custom_settings = getattr(spider, 'custom_settings')
-        settings.update_attributes(custom_settings)
-    else:
-        logger.debug(f"爬虫 '{spider_name}' 无 custom_settings，跳过合并")  # 添加日志
-
-
-async def common_call(func: Callable, *args, **kwargs):
-    if iscoroutinefunction(func):
-        return await func(*args, **kwargs)
-    else:
-        return func(*args, **kwargs)
+#!/usr/bin/python
+# -*- coding: UTF-8 -*-
+"""
+Crawlo 项目初始化模块
+
+负责：
+1. 向上搜索项目根目录（通过 crawlo.cfg 或 settings.py）
+2. 将项目根目录加入 sys.path
+3. 加载 settings 模块
+4. 返回 SettingManager 实例
+"""
+import os
+import sys
+import configparser
+from importlib import import_module
+from inspect import iscoroutinefunction
+from typing import Callable, Optional, Tuple
+
+from crawlo.utils.log import get_logger
+from crawlo.settings.setting_manager import SettingManager
+
+logger = get_logger(__name__)
+
+
+def _find_project_root(start_path: str = ".") -> Optional[str]:
+    """
+    从指定路径向上查找项目根目录。
+    识别依据：
+        1. 存在 'crawlo.cfg'
+        2. 存在 '__init__.py' 和 'settings.py'（即 Python 包）
+    """
+    path = os.path.abspath(start_path)
+    while True:
+        cfg_file = os.path.join(path, "crawlo.cfg")
+        if os.path.isfile(cfg_file):
+            logger.info(f"✅ 找到项目配置文件: {cfg_file}")
+            return path
+
+        settings_file = os.path.join(path, "settings.py")
+        init_file = os.path.join(path, "__init__.py")
+        if os.path.isfile(settings_file) and os.path.isfile(init_file):
+            logger.info(f"✅ 找到项目模块: {path}")
+            return path
+
+        parent = os.path.dirname(path)
+        if parent == path:
+            break
+        path = parent
+
+    logger.warning("❌ 未找到 Crawlo 项目根目录。请确保在包含 'crawlo.cfg' 或 'settings.py' 的目录运行。")
+    return None
+
+
+def _get_settings_module_from_cfg(cfg_path: str) -> str:
+    """从 crawlo.cfg 读取 settings 模块路径"""
+    config = configparser.ConfigParser()
+    try:
+        config.read(cfg_path, encoding="utf-8")
+        if config.has_section("settings") and config.has_option("settings", "default"):
+            module_path = config.get("settings", "default")
+            logger.info(f"📄 从 crawlo.cfg 加载 settings 模块: {module_path}")
+            return module_path
+        else:
+            raise RuntimeError(f"配置文件缺少 [settings] 或 default 选项: {cfg_path}")
+    except Exception as e:
+        raise RuntimeError(f"解析 crawlo.cfg 失败: {e}")
+
+
+def get_settings(custom_settings: Optional[dict] = None) -> SettingManager:
+    """
+    获取配置管理器实例（主入口函数）
+
+    Args:
+        custom_settings: 运行时自定义配置，会覆盖 settings.py
+
+    Returns:
+        SettingManager: 已加载配置的实例
+    """
+    logger.info("🚀 正在初始化 Crawlo 项目配置...")
+
+    # 1. 查找项目根
+    project_root = _find_project_root()
+    if not project_root:
+        raise RuntimeError("未找到 Crawlo 项目，请检查项目结构")
+
+    # 2. 确定 settings 模块
+    settings_module_path = None
+    cfg_file = os.path.join(project_root, "crawlo.cfg")
+
+    if os.path.isfile(cfg_file):
+        settings_module_path = _get_settings_module_from_cfg(cfg_file)
+    else:
+        # 推断：项目目录名.settings
+        project_name = os.path.basename(project_root)
+        settings_module_path = f"{project_name}.settings"
+        logger.warning(f"⚠️ 未找到 crawlo.cfg，推断 settings 模块为: {settings_module_path}")
+
+    # 3. 注入 sys.path
+    project_root_str = os.path.abspath(project_root)
+    if project_root_str not in sys.path:
+        sys.path.insert(0, project_root_str)
+        logger.info(f"📁 项目根目录已加入 sys.path: {project_root_str}")
+
+    # 4. 加载 SettingManager
+    logger.info(f"⚙️ 正在加载配置模块: {settings_module_path}")
+    settings = SettingManager()
+
+    try:
+        settings.set_settings(settings_module_path)
+        logger.info("✅ settings 模块加载成功")
+    except Exception as e:
+        raise ImportError(f"加载 settings 模块失败 '{settings_module_path}': {e}")
+
+    # 5. 合并运行时配置
+    if custom_settings:
+        settings.update_attributes(custom_settings)
+        logger.info(f"🔧 已应用运行时自定义配置: {list(custom_settings.keys())}")
+
+    logger.info("🎉 Crawlo 项目配置初始化完成！")
+    return settings
+
+
+def load_class(_path):
+    if not isinstance(_path, str):
+        if callable(_path):
+            return _path
+        else:
+            raise TypeError(f"args expect str or object, got {_path}")
+
+    module_name, class_name = _path.rsplit('.', 1)
+    module = import_module(module_name)
+
+    try:
+        cls = getattr(module, class_name)
+    except AttributeError:
+        raise NameError(f"Module {module_name!r} has no class named {class_name!r}")
+    return cls
+
+
+def merge_settings(spider, settings):
+    spider_name = getattr(spider, 'name', 'UnknownSpider')
+    if hasattr(spider, 'custom_settings'):
+        custom_settings = getattr(spider, 'custom_settings')
+        settings.update_attributes(custom_settings)
+    else:
+        logger.debug(f"爬虫 '{spider_name}' 无 custom_settings，跳过合并")  # 添加日志
+
+
+async def common_call(func: Callable, *args, **kwargs):
+    if iscoroutinefunction(func):
+        return await func(*args, **kwargs)
+    else:
+        return func(*args, **kwargs)