crawlo 1.4.0__py3-none-any.whl → 1.4.2__py3-none-any.whl

crawlo/settings/default_settings.py

@@ -6,6 +6,10 @@
 # 添加环境变量配置工具导入
 from crawlo.utils.env_config import get_redis_config, get_runtime_config, get_version
 
+# ===========================================================================
+#                              1. 框架基础配置
+# ===========================================================================
+
 # 框架初始化控制
 FRAMEWORK_INIT_ORDER = [
     'log_system',  # 日志系统
@@ -16,42 +20,26 @@ FRAMEWORK_INIT_ORDER = [
 ]
 FRAMEWORK_INIT_STATE = 'uninitialized'
 
-# ============================== 项目基础配置 ==============================
-
-# 项目名称（用于日志、Redis Key 等标识）
-PROJECT_NAME = get_runtime_config()['PROJECT_NAME']
-
-# 确保项目名称不为空
-if not PROJECT_NAME or PROJECT_NAME == 'None':
-    PROJECT_NAME = 'crawlo'
-
-# 项目版本号 - 从框架的__version__.py文件中读取，如果不存在则使用默认值
-VERSION = get_version()
-
-# 运行模式：standalone/distributed/auto
-RUN_MODE = get_runtime_config()['CRAWLO_MODE']
-
-# 并发数配置 - 优化默认值以提高性能
-CONCURRENCY = get_runtime_config()['CONCURRENCY']
-
-# ============================== 爬虫核心配置 ==============================
-
-# 默认下载器
-DOWNLOADER = "crawlo.downloader.httpx_downloader.HttpXDownloader"
-
-# 请求延迟（秒）- 优化默认值以提高性能
-DOWNLOAD_DELAY = 0.5
-
-# 随机延迟配置
-RANDOMNESS = False  # 是否启用随机延迟
+# 项目基础配置
+runtime_config = get_runtime_config()
+PROJECT_NAME = runtime_config['PROJECT_NAME']  # 项目名称（用于日志、Redis Key 等标识）
+VERSION = get_version()  # 项目版本号 - 从框架的__version__.py文件中读取，如果不存在则使用默认值
+RUN_MODE = runtime_config['CRAWLO_MODE']  # 运行模式：standalone/distributed/auto
+CONCURRENCY = runtime_config['CONCURRENCY']  # 并发数配置
+
+# ===========================================================================
+#                              2. 爬虫核心配置
+# ===========================================================================
+
+# 下载器配置
+DOWNLOADER = "crawlo.downloader.httpx_downloader.HttpXDownloader"  # 默认下载器
+DOWNLOAD_DELAY = 0.5  # 请求延迟（秒）
+RANDOMNESS = True  # 是否启用随机延迟
 RANDOM_RANGE = [0.5, 1.5]  # 随机延迟范围因子，实际延迟 = DOWNLOAD_DELAY * RANDOM_RANGE[0] 到 DOWNLOAD_DELAY * RANDOM_RANGE[1]
 
-# 深度优先级（负数表示深度优先，正数表示广度优先）
-DEPTH_PRIORITY = 1
-
-# 调度器队列最大大小 - 优化默认值以提高性能
-SCHEDULER_MAX_QUEUE_SIZE = 5000
-# 背压控制配置 - 优化默认值以提高性能
+# 调度器配置
+DEPTH_PRIORITY = 1  # 深度优先级（负数表示深度优先，正数表示广度优先）
+SCHEDULER_MAX_QUEUE_SIZE = 5000  # 调度器队列最大大小
 BACKPRESSURE_RATIO = 0.9  # 背压触发阈值（队列大小达到最大容量的90%时触发背压控制）
 
 # 请求生成控制
@@ -59,22 +47,17 @@ REQUEST_GENERATION_BATCH_SIZE = 10  # 请求生成批处理大小
 REQUEST_GENERATION_INTERVAL = 0.01  # 请求生成间隔（秒）
 ENABLE_CONTROLLED_REQUEST_GENERATION = False  # 是否启用受控请求生成
 
-# 调度器队列名称（遵循统一命名规范）
-# 当使用Redis队列时，取消注释并设置此值，或在项目配置文件中设置
-# SCHEDULER_QUEUE_NAME = f"crawlo:{PROJECT_NAME}:queue:requests"
-
-# 队列类型：memory/redis/auto
-QUEUE_TYPE = 'auto'
-
 # 队列配置
+QUEUE_TYPE = 'auto'  # 队列类型：memory/redis/auto
+# SCHEDULER_QUEUE_NAME = f"crawlo:{PROJECT_NAME}:queue:requests"  # 调度器队列名称（遵循统一命名规范）
 QUEUE_MAX_RETRIES = 3  # 队列操作最大重试次数
 QUEUE_TIMEOUT = 300  # 队列操作超时时间（秒）
 
-# 默认使用内存过滤器和去重管道，确保在无Redis环境下也能正常运行
-# 在auto模式下，如果Redis可用，框架会自动更新为Redis实现以提供更好的去重能力
-DEFAULT_DEDUP_PIPELINE = 'crawlo.pipelines.memory_dedup_pipeline.MemoryDedupPipeline'
-FILTER_CLASS = 'crawlo.filters.memory_filter.MemoryFilter'
+# ===========================================================================
+#                            3. 数据库和过滤器配置
+# ===========================================================================
 
+# MySQL配置
 MYSQL_HOST = '127.0.0.1'
 MYSQL_PORT = 3306
 MYSQL_USER = 'root'
@@ -84,8 +67,7 @@ MYSQL_TABLE = 'crawlo'
 MYSQL_BATCH_SIZE = 100
 MYSQL_USE_BATCH = False  # 是否启用批量插入
 
-# --- Redis 过滤器配置 ---
-# 使用环境变量配置工具获取 Redis 配置
+# Redis配置
 redis_config = get_redis_config()
 REDIS_HOST = redis_config['REDIS_HOST']
 REDIS_PORT = redis_config['REDIS_PORT']
@@ -110,7 +92,17 @@ CLEANUP_FP = 0  # 程序结束时是否清理指纹（0=不清理）
 FILTER_DEBUG = True  # 是否开启去重调试日志
 DECODE_RESPONSES = True  # Redis 返回是否解码为字符串
 
-# ============================== 框架默认中间件配置 ==============================
+# 过滤器配置
+DEFAULT_DEDUP_PIPELINE = 'crawlo.pipelines.memory_dedup_pipeline.MemoryDedupPipeline'  # 默认使用内存过滤器和去重管道
+FILTER_CLASS = 'crawlo.filters.memory_filter.MemoryFilter'
+
+# Bloom过滤器配置
+BLOOM_FILTER_CAPACITY = 1000000  # Bloom过滤器容量
+BLOOM_FILTER_ERROR_RATE = 0.001  # Bloom过滤器错误率
+
+# ===========================================================================
+#                              4. 中间件配置
+# ===========================================================================
 
 # 框架中间件列表（框架默认中间件 + 用户自定义中间件）
 MIDDLEWARES = [
@@ -126,14 +118,18 @@ MIDDLEWARES = [
     'crawlo.middleware.response_filter.ResponseFilterMiddleware',  # 8. 响应内容过滤
 ]
 
-# ============================== 框架默认管道配置 ==============================
+# ===========================================================================
+#                              5. 管道配置
+# ===========================================================================
 
 # 框架数据处理管道列表（框架默认管道 + 用户自定义管道）
 PIPELINES = [
     'crawlo.pipelines.console_pipeline.ConsolePipeline',
 ]
 
-# ============================== 框架默认扩展配置 ==============================
+# ===========================================================================
+#                              6. 扩展配置
+# ===========================================================================
 
 # 框架扩展组件列表（框架默认扩展 + 用户自定义扩展）
 EXTENSIONS = [
@@ -142,56 +138,81 @@ EXTENSIONS = [
     'crawlo.extension.logging_extension.CustomLoggerExtension',  # 自定义日志
 ]
 
-# ============================== 日志与监控 ==============================
+# ===========================================================================
+#                            7. 日志与监控配置
+# ===========================================================================
 
+# 日志配置
 LOG_LEVEL = None  # 日志级别: DEBUG/INFO/WARNING/ERROR，默认为None，由用户在项目settings中设置
 STATS_DUMP = True  # 是否周期性输出统计信息
 LOG_FILE = None  # 日志文件路径，将在项目配置中设置
 LOG_FORMAT = '%(asctime)s - [%(name)s] - %(levelname)s: %(message)s'
 LOG_ENCODING = 'utf-8'
 
-# ============================== 代理配置 ==============================
+# 日志间隔配置
+INTERVAL = 60  # 日志输出间隔（秒）
 
-# 代理功能默认不启用，如需使用请在项目配置文件中启用并配置相关参数
-PROXY_ENABLED = False  # 是否启用代理
+# 自定义日志配置
+LOG_ENABLE_CUSTOM = False  # 是否启用自定义日志
 
-# 简化版代理配置（适用于SimpleProxyMiddleware）
-PROXY_LIST = []  # 代理列表，例如: ["http://proxy1:8080", "http://proxy2:8080"]
+# 内存监控配置
+MEMORY_MONITOR_ENABLED = False  # 是否启用内存监控
+MEMORY_MONITOR_INTERVAL = 60  # 内存监控检查间隔（秒）
+MEMORY_WARNING_THRESHOLD = 80.0  # 内存使用率警告阈值（百分比）
+MEMORY_CRITICAL_THRESHOLD = 90.0  # 内存使用率严重阈值（百分比）
 
-# 高级代理配置（适用于ProxyMiddleware）
-PROXY_API_URL = ""  # 代理获取接口（请替换为真实地址）
+# 性能分析配置
+PERFORMANCE_PROFILER_ENABLED = False  # 是否启用性能分析
+PERFORMANCE_PROFILER_OUTPUT_DIR = 'profiling'  # 性能分析输出目录
+PERFORMANCE_PROFILER_INTERVAL = 300  # 性能分析间隔（秒）
+
+# 健康检查配置
+HEALTH_CHECK_ENABLED = True  # 是否启用健康检查
+
+# ===========================================================================
+#                            8. 网络请求配置
+# ===========================================================================
+
+# 默认请求头配置
+DEFAULT_REQUEST_HEADERS = {
+    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
+    'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
+    'Accept-Encoding': 'gzip, deflate, br',
+}  # 默认请求头
 
-# 代理提取方式（支持字段路径或函数）
-# 示例: "proxy" 适用于 {"proxy": "http://1.1.1.1:8080"}
-# 示例: "data.proxy" 适用于 {"data": {"proxy": "http://1.1.1.1:8080"}}
-PROXY_EXTRACTOR = "proxy"
+# 默认User-Agent（使用现代浏览器的User-Agent）
+USER_AGENT = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/136.0.0.0 Safari/537.36"
 
-# 代理刷新控制
+# 是否启用随机User-Agent功能（默认禁用，用户可根据需要启用）
+RANDOM_USER_AGENT_ENABLED = False  # 是否启用随机用户代理
+
+# 站外过滤配置
+ALLOWED_DOMAINS = []  # 允许的域名列表
+
+# 代理配置
+PROXY_ENABLED = False  # 是否启用代理
+PROXY_LIST = []  # 简化版代理配置（适用于SimpleProxyMiddleware）
+PROXY_API_URL = ""  # 高级代理配置（适用于ProxyMiddleware）
+PROXY_EXTRACTOR = "proxy"  # 代理提取方式
 PROXY_REFRESH_INTERVAL = 60  # 代理刷新间隔（秒）
 PROXY_API_TIMEOUT = 10  # 请求代理 API 超时时间
 PROXY_POOL_SIZE = 5  # 代理池大小
 PROXY_HEALTH_CHECK_THRESHOLD = 0.5  # 代理健康检查阈值
 
-# ============================== Curl-Cffi 特有配置 ==============================
-
-# 浏览器指纹模拟（仅 CurlCffi 下载器有效）
-CURL_BROWSER_TYPE = "chrome"  # 可选: chrome, edge, safari, firefox 或版本如 chrome136
-
-# 自定义浏览器版本映射（可覆盖默认行为）
-CURL_BROWSER_VERSION_MAP = {
-    "chrome": "chrome136",
-    "edge": "edge101",
-    "safari": "safari184",
-    "firefox": "firefox135",
-}
-
-# ============================== 下载器优化配置 ==============================
+# 下载器通用配置
+DOWNLOAD_TIMEOUT = 30  # 下载超时时间（秒）
+VERIFY_SSL = True  # 是否验证SSL证书
+CONNECTION_POOL_LIMIT = 100  # 连接池大小限制
+CONNECTION_POOL_LIMIT_PER_HOST = 20  # 每个主机的连接池大小限制
+DOWNLOAD_MAXSIZE = 10 * 1024 * 1024  # 最大下载大小（字节）
+DOWNLOAD_STATS = True  # 是否启用下载统计
+DOWNLOAD_WARN_SIZE = 1024 * 1024  # 下载警告大小（字节）
+DOWNLOAD_RETRY_TIMES = 3  # 下载重试次数
+MAX_RETRY_TIMES = 3  # 最大重试次数
 
 # 下载器健康检查
 DOWNLOADER_HEALTH_CHECK = True  # 是否启用下载器健康检查
 HEALTH_CHECK_INTERVAL = 60  # 健康检查间隔（秒）
-
-# 请求统计配置
 REQUEST_STATS_ENABLED = True  # 是否启用请求统计
 STATS_RESET_ON_START = False  # 启动时是否重置统计
 
@@ -203,20 +224,16 @@ HTTPX_FOLLOW_REDIRECTS = True  # 是否自动跟随重定向
 AIOHTTP_AUTO_DECOMPRESS = True  # 是否自动解压响应
 AIOHTTP_FORCE_CLOSE = False  # 是否强制关闭连接
 
-# 通用下载器配置
-DOWNLOAD_TIMEOUT = 30  # 下载超时时间（秒）
-VERIFY_SSL = True  # 是否验证SSL证书
-CONNECTION_POOL_LIMIT = 100  # 连接池大小限制
-CONNECTION_POOL_LIMIT_PER_HOST = 20  # 每个主机的连接池大小限制
-DOWNLOAD_MAXSIZE = 10 * 1024 * 1024  # 最大下载大小（字节）
-DOWNLOAD_STATS = True  # 是否启用下载统计
-DOWNLOAD_WARN_SIZE = 1024 * 1024  # 下载警告大小（字节）
-DOWNLOAD_RETRY_TIMES = 3  # 下载重试次数
-MAX_RETRY_TIMES = 3  # 最大重试次数
-
-# ============================== Selenium 下载器配置 ==============================
+# Curl-Cffi 特有配置
+CURL_BROWSER_TYPE = "chrome"  # 浏览器指纹模拟（仅 CurlCffi 下载器有效）
+CURL_BROWSER_VERSION_MAP = {  # 自定义浏览器版本映射（可覆盖默认行为）
+    "chrome": "chrome136",
+    "edge": "edge101",
+    "safari": "safari184",
+    "firefox": "firefox135",
+}
 
-# Selenium 基础配置
+# Selenium 下载器配置
 SELENIUM_BROWSER_TYPE = "chrome"  # 浏览器类型: chrome, firefox, edge
 SELENIUM_HEADLESS = True  # 是否无头模式
 SELENIUM_TIMEOUT = 30  # 超时时间（秒）
@@ -229,9 +246,7 @@ SELENIUM_PROXY = None  # 代理设置
 SELENIUM_SINGLE_BROWSER_MODE = True  # 单浏览器多标签页模式
 SELENIUM_MAX_TABS_PER_BROWSER = 10  # 单浏览器最大标签页数量
 
-# ============================== Playwright 下载器配置 ==============================
-
-# Playwright 基础配置
+# Playwright 下载器配置
 PLAYWRIGHT_BROWSER_TYPE = "chromium"  # 浏览器类型: chromium, firefox, webkit
 PLAYWRIGHT_HEADLESS = True  # 是否无头模式
 PLAYWRIGHT_TIMEOUT = 30000  # 超时时间（毫秒）
@@ -247,58 +262,9 @@ PLAYWRIGHT_MAX_PAGES_PER_BROWSER = 10  # 单浏览器最大页面数量
 CONNECTION_TTL_DNS_CACHE = 300  # DNS缓存TTL（秒）
 CONNECTION_KEEPALIVE_TIMEOUT = 15  # Keep-Alive超时（秒）
 
-# ============================== 内存监控配置 ==============================
-
-# 内存监控扩展默认不启用，如需使用请在项目配置文件中启用
-MEMORY_MONITOR_ENABLED = False  # 是否启用内存监控
-MEMORY_MONITOR_INTERVAL = 60  # 内存监控检查间隔（秒）
-MEMORY_WARNING_THRESHOLD = 80.0  # 内存使用率警告阈值（百分比）
-MEMORY_CRITICAL_THRESHOLD = 90.0  # 内存使用率严重阈值（百分比）
-
-# ============================== 性能分析配置 ==============================
-
-# 性能分析扩展默认不启用
-PERFORMANCE_PROFILER_ENABLED = False  # 是否启用性能分析
-PERFORMANCE_PROFILER_OUTPUT_DIR = 'profiling'  # 性能分析输出目录
-PERFORMANCE_PROFILER_INTERVAL = 300  # 性能分析间隔（秒）
-
-# ============================== 健康检查配置 ==============================
-
-# 健康检查扩展默认启用
-HEALTH_CHECK_ENABLED = True  # 是否启用健康检查
-
-# ============================== 日志间隔配置 ==============================
-
-# 日志间隔扩展配置
-INTERVAL = 60  # 日志输出间隔（秒）
-
-# ============================== 自定义日志配置 ==============================
-
-# 自定义日志扩展配置
-LOG_ENABLE_CUSTOM = False  # 是否启用自定义日志
-
-# ============================== 默认请求头配置 ==============================
-
-# 默认请求头配置
-DEFAULT_REQUEST_HEADERS = {}  # 默认请求头
-USER_AGENT = None  # 用户代理
-USER_AGENTS = []  # 用户代理列表
-RANDOM_HEADERS = {}  # 随机请求头
-RANDOM_USER_AGENT_ENABLED = False  # 是否启用随机用户代理
-USER_AGENT_DEVICE_TYPE = "all"  # 用户代理设备类型
-
-# ============================== 站外过滤配置 ==============================
-
-# 站外过滤配置
-ALLOWED_DOMAINS = []  # 允许的域名列表
-
-# ============================== Bloom过滤器配置 ==============================
-
-# Bloom过滤器配置
-BLOOM_FILTER_CAPACITY = 1000000  # Bloom过滤器容量
-BLOOM_FILTER_ERROR_RATE = 0.001  # Bloom过滤器错误率
-
-# ============================== CSV管道配置 ==============================
+# ===========================================================================
+#                            9. 数据存储配置
+# ===========================================================================
 
 # CSV管道配置
 CSV_DELIMITER = ','  # CSV分隔符
@@ -311,11 +277,9 @@ CSV_DICT_FILE = None  # CSV字典文件路径
 CSV_BATCH_SIZE = 100  # CSV批处理大小
 CSV_BATCH_FILE = None  # CSV批处理文件路径
 
-# ============================== 数据库去重管道配置 ==============================
-
 # 数据库去重管道配置
 DB_HOST = 'localhost'  # 数据库主机
 DB_PORT = 3306  # 数据库端口
 DB_USER = 'root'  # 数据库用户
 DB_PASSWORD = ''  # 数据库密码
-DB_NAME = 'crawlo'  # 数据库名称
+DB_NAME = 'crawlo'  # 数据库名称

crawlo/settings/setting_manager.py

@@ -53,15 +53,7 @@ class SettingManager(MutableMapping):
                         merged_pipelines.append(pipeline)
                 self.attributes['PIPELINES'] = merged_pipelines
 
-        # 特殊处理PIPELINES，确保去重管道在最前面
-        dedup_pipeline = self.attributes.get('DEFAULT_DEDUP_PIPELINE')
-        if dedup_pipeline:
-            pipelines = self.attributes.get('PIPELINES', [])
-            # 移除所有去重管道实例（如果存在）
-            pipelines = [item for item in pipelines if item != dedup_pipeline]
-            # 在开头插入去重管道
-            pipelines.insert(0, dedup_pipeline)
-            self.attributes['PIPELINES'] = pipelines
+
 
         # 合并扩展配置
         if 'EXTENSIONS' in user_config:
@@ -82,6 +74,19 @@ class SettingManager(MutableMapping):
         for key, value in user_config.items():
             if key not in ['MIDDLEWARES', 'PIPELINES', 'EXTENSIONS']:
                 self.attributes[key] = value
+        
+        # 特殊处理PIPELINES，确保去重管道在最前面（在所有配置更新后执行）
+        dedup_pipeline = self.attributes.get('DEFAULT_DEDUP_PIPELINE')
+        if dedup_pipeline:
+            pipelines = self.attributes.get('PIPELINES', [])
+            # 移除所有去重管道实例（如果存在）
+            # 移除内存和Redis去重管道
+            pipelines = [item for item in pipelines 
+                       if item not in ('crawlo.pipelines.memory_dedup_pipeline.MemoryDedupPipeline', 
+                                     'crawlo.pipelines.redis_dedup_pipeline.RedisDedupPipeline')]
+            # 在开头插入去重管道
+            pipelines.insert(0, dedup_pipeline)
+            self.attributes['PIPELINES'] = pipelines
 
     def set_settings(self, module):
         if isinstance(module, str):

crawlo/tools/distributed_coordinator.py

@@ -13,6 +13,8 @@ from datetime import datetime
 from typing import Dict, Any, Optional, Tuple, List, Set
 from urllib.parse import urlparse
 
+from crawlo.utils.fingerprint import FingerprintGenerator
+
 
 class TaskDistributor:
     """任务分发工具类"""
@@ -99,15 +101,9 @@ class DeduplicationTool:
             data (Any): 数据
             
         Returns:
-            str: 数据指纹（MD5哈希）
+            str: 数据指纹（SHA256哈希）
         """
-        if isinstance(data, dict):
-            # 对于字典，排序键以确保一致性
-            data_str = str(sorted(data.items()))
-        else:
-            data_str = str(data)
-
-        return hashlib.md5(data_str.encode('utf-8')).hexdigest()
+        return FingerprintGenerator.data_fingerprint(data)
 
     def is_duplicate(self, data: Any) -> bool:
         """

crawlo/utils/fingerprint.py

@@ -0,0 +1,123 @@
+#!/usr/bin/python
+# -*- coding:UTF-8 -*-
+"""
+统一指纹生成工具
+================
+提供一致的指纹生成方法，确保在框架各组件中生成的指纹保持一致。
+
+特点:
+- 算法统一: 所有指纹生成使用相同的算法(SHA256)
+- 格式一致: 相同数据在不同场景下生成相同指纹
+- 高性能: 优化的实现确保高效生成
+- 易扩展: 支持不同类型数据的指纹生成
+"""
+
+import hashlib
+import json
+from typing import Any, Dict, Union
+from collections import namedtuple
+
+
+def generate_data_fingerprint(data: Any) -> str:
+    """
+    生成数据指纹
+    
+    基于数据内容生成唯一指纹，用于去重判断。
+    使用 SHA256 算法确保安全性。
+    
+    :param data: 要生成指纹的数据（支持 dict, Item, namedtuple, str 等类型）
+    :return: 数据指纹（hex string）
+    """
+    # 将数据转换为可序列化的字典
+    if hasattr(data, 'to_dict'):
+        # 支持 Item 等实现了 to_dict 方法的对象
+        data_dict = data.to_dict()
+    elif hasattr(data, '_asdict'):
+        # 支持 namedtuple 对象
+        data_dict = data._asdict()
+    elif isinstance(data, dict):
+        data_dict = data
+    else:
+        # 其他类型转换为字符串处理
+        data_dict = {'__data__': str(data)}
+    
+    # 对字典进行排序以确保一致性
+    sorted_items = sorted(data_dict.items())
+    
+    # 生成指纹字符串
+    fingerprint_string = '|'.join([f"{k}={v}" for k, v in sorted_items if v is not None])
+    
+    # 使用 SHA256 生成固定长度的指纹
+    return hashlib.sha256(fingerprint_string.encode('utf-8')).hexdigest()
+
+
+def generate_request_fingerprint(
+        method: str,
+        url: str,
+        body: bytes = b'',
+        headers: Dict[str, str] = None
+) -> str:
+    """
+    生成请求指纹
+    
+    基于请求的方法、URL、body 和可选的 headers 生成唯一指纹。
+    使用 SHA256 算法确保安全性。
+    
+    :param method: HTTP方法
+    :param url: 请求URL
+    :param body: 请求体
+    :param headers: 请求头
+    :return: 请求指纹（hex string）
+    """
+    hash_func = hashlib.sha256()
+    
+    # 基本字段
+    hash_func.update(method.encode('utf-8'))
+    hash_func.update(url.encode('utf-8'))
+    hash_func.update(body or b'')
+    
+    # 可选的 headers
+    if headers:
+        # 对 headers 进行排序以确保一致性
+        sorted_headers = sorted(headers.items())
+        for name, value in sorted_headers:
+            hash_func.update(f"{name}:{value}".encode('utf-8'))
+    
+    return hash_func.hexdigest()
+
+
+class FingerprintGenerator:
+    """指纹生成器类"""
+    
+    @staticmethod
+    def item_fingerprint(item) -> str:
+        """
+        生成数据项指纹
+        
+        :param item: 数据项
+        :return: 指纹字符串
+        """
+        return generate_data_fingerprint(item)
+    
+    @staticmethod
+    def request_fingerprint(method: str, url: str, body: bytes = b'', headers: Dict[str, str] = None) -> str:
+        """
+        生成请求指纹
+        
+        :param method: HTTP方法
+        :param url: 请求URL
+        :param body: 请求体
+        :param headers: 请求头
+        :return: 指纹字符串
+        """
+        return generate_request_fingerprint(method, url, body, headers)
+    
+    @staticmethod
+    def data_fingerprint(data: Any) -> str:
+        """
+        生成通用数据指纹
+        
+        :param data: 任意数据
+        :return: 指纹字符串
+        """
+        return generate_data_fingerprint(data)

{crawlo-1.4.0.dist-info → crawlo-1.4.2.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: crawlo
-Version: 1.4.0
+Version: 1.4.2
 Summary: Crawlo 是一款基于异步IO的高性能Python爬虫框架，支持分布式抓取。
 Home-page: https://github.com/crawl-coder/Crawlo.git
 Author: crawl-coder