crawlo 1.1.1__py3-none-any.whl → 1.1.3__py3-none-any.whl

crawlo/queue/redis_priority_queue.py

@@ -0,0 +1,209 @@
+import pickle
+import time
+import asyncio
+from typing import Optional
+import redis.asyncio as aioredis
+import traceback
+import os
+
+from crawlo import Request
+from crawlo.utils.log import get_logger
+from crawlo.utils.request_serializer import RequestSerializer
+
+
+logger = get_logger(__name__)
+
+
+class RedisPriorityQueue:
+    """
+    基于 Redis 的分布式异步优先级队列（生产级优化版）
+    """
+
+    def __init__(
+            self,
+            redis_url: str = None,
+            queue_name: str = "crawlo:requests",
+            processing_queue: str = "crawlo:processing",
+            failed_queue: str = "crawlo:failed",
+            max_retries: int = 3,
+            timeout: int = 300,  # 任务处理超时时间（秒）
+            max_connections: int = 10,  # 连接池大小
+    ):
+        # 如果没有提供 redis_url，则从环境变量构造
+        if redis_url is None:
+            redis_host = os.getenv('REDIS_HOST', 'localhost')
+            redis_port = os.getenv('REDIS_PORT', '6379')
+            redis_db = os.getenv('REDIS_DB', '0')
+            redis_password = os.getenv('REDIS_PASSWORD', '')
+            
+            if redis_password:
+                redis_url = f"redis://:{redis_password}@{redis_host}:{redis_port}/{redis_db}"
+            else:
+                redis_url = f"redis://{redis_host}:{redis_port}/{redis_db}"
+        
+        self.redis_url = redis_url
+        self.queue_name = queue_name
+        self.processing_queue = processing_queue
+        self.failed_queue = failed_queue
+        self.max_retries = max_retries
+        self.timeout = timeout
+        self.max_connections = max_connections
+        self._redis = None
+        self._lock = asyncio.Lock()  # 用于连接初始化的锁
+        self.request_serializer = RequestSerializer()  # 处理序列化
+
+    async def connect(self, max_retries=3, delay=1):
+        """异步连接 Redis，支持重试"""
+        async with self._lock:
+            if self._redis is not None:
+                return self._redis
+
+            for attempt in range(max_retries):
+                try:
+                    self._redis = await aioredis.from_url(
+                        self.redis_url,
+                        decode_responses=False,  # pickle 需要 bytes
+                        max_connections=self.max_connections,
+                        socket_connect_timeout=5,
+                        socket_timeout=30,
+                    )
+                    # 测试连接
+                    await self._redis.ping()
+                    logger.info("✅ Redis 连接成功")
+                    return self._redis
+                except Exception as e:
+                    logger.warning(f"⚠️ Redis 连接失败 (尝试 {attempt + 1}/{max_retries}): {e}")
+                    logger.warning(f"详细错误信息:\n{traceback.format_exc()}")
+                    if attempt < max_retries - 1:
+                        await asyncio.sleep(delay)
+                    else:
+                        raise ConnectionError(f"❌ 无法连接 Redis: {e}")
+
+    async def _ensure_connection(self):
+        """确保连接有效"""
+        if self._redis is None:
+            await self.connect()
+        try:
+            await self._redis.ping()
+        except Exception as e:
+            logger.warning(f"🔄 Redis 连接失效，尝试重连...: {e}")
+            self._redis = None
+            await self.connect()
+
+    async def put(self, request: Request, priority: int = 0) -> bool:
+        """放入请求到队列"""
+        await self._ensure_connection()
+        score = -priority
+        key = self._get_request_key(request)
+        try:
+            # 🔥 使用专用的序列化工具清理 Request
+            clean_request = self.request_serializer.prepare_for_serialization(request)
+            
+            serialized = pickle.dumps(clean_request)
+            pipe = self._redis.pipeline()
+            pipe.zadd(self.queue_name, {key: score})
+            pipe.hset(f"{self.queue_name}:data", key, serialized)
+            result = await pipe.execute()
+            
+            if result[0] > 0:
+                logger.debug(f"✅ 成功入队: {request.url}")
+            return result[0] > 0
+        except Exception as e:
+            logger.error(f"❌ 放入队列失败: {e}")
+            logger.error(f"详细错误信息:\n{traceback.format_exc()}")
+            return False
+
+    async def get(self, timeout: float = 5.0) -> Optional[Request]:
+        """
+        获取请求（带超时）
+        :param timeout: 最大等待时间（秒），避免无限轮询
+        """
+        await self._ensure_connection()
+        start_time = asyncio.get_event_loop().time()
+
+        while True:
+            try:
+                # 尝试获取任务
+                result = await self._redis.zpopmin(self.queue_name, count=1)
+                if result:
+                    key, score = result[0]
+                    serialized = await self._redis.hget(f"{self.queue_name}:data", key)
+                    if not serialized:
+                        continue
+
+                    # 移动到 processing
+                    processing_key = f"{key}:{int(time.time())}"
+                    pipe = self._redis.pipeline()
+                    pipe.zadd(self.processing_queue, {processing_key: time.time() + self.timeout})
+                    pipe.hset(f"{self.processing_queue}:data", processing_key, serialized)
+                    pipe.hdel(f"{self.queue_name}:data", key)
+                    await pipe.execute()
+
+                    return pickle.loads(serialized)
+
+                # 检查是否超时
+                if asyncio.get_event_loop().time() - start_time > timeout:
+                    return None
+
+                # 短暂等待，避免空轮询
+                await asyncio.sleep(0.1)
+
+            except Exception as e:
+                logger.error(f"❌ 获取队列任务失败: {e}")
+                logger.error(f"详细错误信息:\n{traceback.format_exc()}")
+                return None
+
+    async def ack(self, request: Request):
+        """确认任务完成"""
+        await self._ensure_connection()
+        key = self._get_request_key(request)
+        cursor = 0
+        while True:
+            cursor, keys = await self._redis.zscan(self.processing_queue, cursor, match=f"{key}:*")
+            if keys:
+                pipe = self._redis.pipeline()
+                for k in keys:
+                    pipe.zrem(self.processing_queue, k)
+                    pipe.hdel(f"{self.processing_queue}:data", k)
+                await pipe.execute()
+            if cursor == 0:
+                break
+
+    async def fail(self, request: Request, reason: str = ""):
+        """标记任务失败"""
+        await self._ensure_connection()
+        key = self._get_request_key(request)
+        await self.ack(request)
+
+        retry_key = f"{self.failed_queue}:retries:{key}"
+        retries = await self._redis.incr(retry_key)
+        await self._redis.expire(retry_key, 86400)
+
+        if retries <= self.max_retries:
+            await self.put(request, priority=request.priority + 1)
+            logger.info(f"🔁 任务重试 [{retries}/{self.max_retries}]: {request.url}")
+        else:
+            failed_data = {
+                "url": request.url,
+                "reason": reason,
+                "retries": retries,
+                "failed_at": time.time(),
+                "request_pickle": pickle.dumps(request).hex(),  # 可选：保存完整请求
+            }
+            await self._redis.lpush(self.failed_queue, pickle.dumps(failed_data))
+            logger.error(f"❌ 任务彻底失败 [{retries}次]: {request.url}")
+
+    def _get_request_key(self, request: Request) -> str:
+        """生成请求唯一键"""
+        return f"url:{hash(request.url)}"
+
+    async def qsize(self) -> int:
+        """获取队列大小"""
+        await self._ensure_connection()
+        return await self._redis.zcard(self.queue_name)
+
+    async def close(self):
+        """关闭连接"""
+        if self._redis:
+            await self._redis.close()
+            self._redis = None

crawlo/settings/__init__.py

@@ -1,7 +1,7 @@
-#!/usr/bin/python
-# -*- coding:UTF-8 -*-
-"""
-# @Time    :    2025-05-11 11:08
-# @Author  :   oscar
-# @Desc    :   None
-"""
+#!/usr/bin/python
+# -*- coding:UTF-8 -*-
+"""
+# @Time    :    2025-05-11 11:08
+# @Author  :   oscar
+# @Desc    :   None
+"""

crawlo/settings/default_settings.py

@@ -1,167 +1,245 @@
-#!/usr/bin/python
-# -*- coding: UTF-8 -*-
-"""
-==================================
-         Crawlo 项目配置文件
-==================================
-说明：
-- 所有配置项均已按功能模块分类。
-- 支持通过环境变量覆盖部分敏感配置（如 Redis、MySQL 密码等）。
-- 可根据需求启用/禁用组件（如 MySQL、Redis、Proxy 等）。
-"""
-import os
-
-# ============================== 核心信息 ==============================
-PROJECT_NAME = 'crawlo'
-
-# ============================== 网络请求配置 ==============================
-
-# 下载器选择（三选一）
-# DOWNLOADER = "crawlo.downloader.aiohttp_downloader.AioHttpDownloader"
-DOWNLOADER = "crawlo.downloader.cffi_downloader.CurlCffiDownloader"  # 支持浏览器指纹
-# DOWNLOADER = "crawlo.downloader.httpx_downloader.HttpXDownloader"
-
-# 请求超时与安全
-DOWNLOAD_TIMEOUT = 30          # 下载超时时间（秒）
-VERIFY_SSL = True              # 是否验证 SSL 证书
-USE_SESSION = True             # 是否使用持久化会话（aiohttp 特有）
-
-# 请求延迟控制
-DOWNLOAD_DELAY = 1.0          # 基础延迟（秒）
-RANDOM_RANGE = (0.8, 1.2)    # 随机延迟系数范围
-RANDOMNESS = True              # 是否启用随机延迟
-
-# 重试策略
-MAX_RETRY_TIMES = 3            # 最大重试次数
-RETRY_PRIORITY = -1            # 重试请求的优先级调整
-RETRY_HTTP_CODES = [408, 429, 500, 502, 503, 504, 522, 524]  # 触发重试的状态码
-IGNORE_HTTP_CODES = [403, 404] # 直接标记成功、不重试的状态码
-ALLOWED_CODES = []             # 允许的状态码（空表示不限制）
-
-# 连接与响应大小限制
-CONNECTION_POOL_LIMIT = 50    # 最大并发连接数（连接池大小）
-DOWNLOAD_MAXSIZE = 10 * 1024 * 1024   # 最大响应体大小（10MB）
-DOWNLOAD_WARN_SIZE = 1024 * 1024      # 响应体警告阈值（1MB）
-DOWNLOAD_RETRY_TIMES = MAX_RETRY_TIMES  # 下载器内部重试次数（复用全局）
-
-# ============================== 并发与调度 ==============================
-
-CONCURRENCY = 8                # 单个爬虫的并发请求数
-INTERVAL = 5                   # 日志统计输出间隔（秒）
-DEPTH_PRIORITY = 1             # 深度优先策略优先级
-MAX_RUNNING_SPIDERS = 3        # 最大同时运行的爬虫数
-
-# ============================== 数据存储配置 ==============================
-
-# --- MySQL 配置 ---
-MYSQL_HOST = '127.0.0.1'
-MYSQL_PORT = 3306
-MYSQL_USER = 'root'
-MYSQL_PASSWORD = '123456'
-MYSQL_DB = 'crawl'
-MYSQL_TABLE = 'crawlo'
-MYSQL_BATCH_SIZE = 100         # 批量插入条数
-
-# MySQL 连接池
-MYSQL_FLUSH_INTERVAL = 5       # 缓存刷新间隔（秒）
-MYSQL_POOL_MIN = 5
-MYSQL_POOL_MAX = 20
-MYSQL_ECHO = False             # 是否打印 SQL 日志
-
-# --- MongoDB 配置 ---
-MONGO_URI = 'mongodb://user:password@host:27017'
-MONGO_DATABASE = 'scrapy_data'
-MONGO_COLLECTION = 'crawled_items'
-MONGO_MAX_POOL_SIZE = 200
-MONGO_MIN_POOL_SIZE = 20
-
-# ============================== 去重过滤配置 ==============================
-
-# 请求指纹存储目录（文件过滤器使用）
-REQUEST_DIR = '.'
-
-# 去重过滤器类（二选一）
-FILTER_CLASS = 'crawlo.filters.memory_filter.MemoryFilter'
-# FILTER_CLASS = 'crawlo.filters.redis_filter.AioRedisFilter'  # 分布式去重
-
-# --- Redis 过滤器配置 ---
-REDIS_HOST = os.getenv('REDIS_HOST', '127.0.0.1')
-REDIS_PORT = int(os.getenv('REDIS_PORT', 6379))
-REDIS_PASSWORD = os.getenv('REDIS_PASSWORD', 'oscar&0503')
-REDIS_URL = f'redis://:{REDIS_PASSWORD or ""}@{REDIS_HOST}:{REDIS_PORT}/0'
-REDIS_KEY = 'request_fingerprint'        # Redis 中存储指纹的键名
-REDIS_TTL = 0                            # 指纹过期时间（0 表示永不过期）
-CLEANUP_FP = 0                           # 程序结束时是否清理指纹（0=不清理）
-FILTER_DEBUG = True                      # 是否开启去重调试日志
-DECODE_RESPONSES = True                  # Redis 返回是否解码为字符串
-
-# ============================== 中间件配置 ==============================
-
-MIDDLEWARES = [
-    # === 请求预处理阶段 ===
-    'crawlo.middleware.request_ignore.RequestIgnoreMiddleware',   # 1. 忽略无效请求
-    'crawlo.middleware.download_delay.DownloadDelayMiddleware',   # 2. 控制请求频率
-    'crawlo.middleware.default_header.DefaultHeaderMiddleware',   # 3. 添加默认请求头
-    'crawlo.middleware.proxy.ProxyMiddleware',                    # 4. 设置代理
-
-    # === 响应处理阶段 ===
-    'crawlo.middleware.retry.RetryMiddleware',                    # 5. 失败请求重试
-    'crawlo.middleware.response_code.ResponseCodeMiddleware',     # 6. 处理特殊状态码
-    'crawlo.middleware.response_filter.ResponseFilterMiddleware', # 7. 响应内容过滤
-]
-
-# ============================== 扩展与管道 ==============================
-
-# 数据处理管道（启用的存储方式）
-PIPELINES = [
-    'crawlo.pipelines.console_pipeline.ConsolePipeline',          # 控制台输出
-    # 'crawlo.pipelines.mysql_pipeline.AsyncmyMySQLPipeline',     # MySQL 存储（可选）
-]
-
-# 扩展组件（监控与日志）
-EXTENSIONS = [
-    'crawlo.extension.log_interval.LogIntervalExtension',         # 定时日志
-    'crawlo.extension.log_stats.LogStats',                        # 统计信息
-    'crawlo.extension.logging_extension.CustomLoggerExtension',   # 自定义日志
-]
-
-# ============================== 日志与监控 ==============================
-
-LOG_LEVEL = 'INFO'                         # 日志级别: DEBUG/INFO/WARNING/ERROR
-STATS_DUMP = True                          # 是否周期性输出统计信息
-LOG_FILE = f'logs/{PROJECT_NAME}.log'      # 日志文件路径
-LOG_FORMAT = '%(asctime)s - [%(name)s] - %(levelname)s： %(message)s'
-LOG_ENCODING = 'utf-8'
-
-# ============================== 代理配置 ==============================
-
-PROXY_ENABLED = False                       # 是否启用代理
-PROXY_API_URL = "https://api.proxyprovider.com/get"  # 代理获取接口（请替换为真实地址）
-
-# 代理提取方式（支持字段路径或函数）
-PROXY_EXTRACTOR = "proxy"                  # 如返回 {"proxy": "http://1.1.1.1:8080"}
-
-# 代理刷新控制
-PROXY_REFRESH_INTERVAL = 60                # 代理刷新间隔（秒）
-PROXY_API_TIMEOUT = 10                     # 请求代理 API 超时时间
-
-# ============================== Curl-Cffi 特有配置 ==============================
-
-# 浏览器指纹模拟（仅 CurlCffi 下载器有效）
-CURL_BROWSER_TYPE = "chrome"               # 可选: chrome, edge, safari, firefox 或版本如 chrome136
-
-# 自定义浏览器版本映射（可覆盖默认行为）
-CURL_BROWSER_VERSION_MAP = {
-    "chrome": "chrome136",
-    "edge": "edge101",
-    "safari": "safari184",
-    "firefox": "firefox135",
-    # 示例：旧版本测试
-    # "chrome_legacy": "chrome110",
-}
-
-# 默认请求头（可被 Spider 覆盖）
-DEFAULT_REQUEST_HEADERS = {
-    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 '
-                  '(KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36',
-}
+#!/usr/bin/python
+# -*- coding: UTF-8 -*-
+"""
+==================================
+         Crawlo 项目配置文件
+==================================
+说明：
+- 所有配置项均已按功能模块分类。
+- 支持通过环境变量覆盖部分敏感配置（如 Redis、MySQL 密码等）。
+- 可根据需求启用/禁用组件（如 MySQL、Redis、Proxy 等）。
+"""
+import os
+
+# ============================== 核心信息 ==============================
+PROJECT_NAME = 'crawlo'
+
+# ============================== 网络请求配置 ==============================
+
+# 下载器选择（支持三种方式）
+# 方式1: 直接指定类路径
+DOWNLOADER = "crawlo.downloader.aiohttp_downloader.AioHttpDownloader"
+# DOWNLOADER = "crawlo.downloader.cffi_downloader.CurlCffiDownloader"  # 支持浏览器指纹
+# DOWNLOADER = "crawlo.downloader.httpx_downloader.HttpXDownloader"    # 支持HTTP/2
+
+# 方式2: 使用简化名称（推荐）
+# DOWNLOADER_TYPE = 'aiohttp'     # 可选: aiohttp, httpx, curl_cffi, cffi
+
+# 方式3: 在Spider中动态选择
+# 可以在Spider类中设置 custom_settings = {'DOWNLOADER_TYPE': 'httpx'}
+
+# 请求超时与安全
+DOWNLOAD_TIMEOUT = 30  # 下载超时时间（秒）
+VERIFY_SSL = True  # 是否验证 SSL 证书
+USE_SESSION = True  # 是否使用持久化会话（aiohttp 特有）
+
+# 请求延迟控制
+DOWNLOAD_DELAY = 1.0  # 基础延迟（秒）
+RANDOM_RANGE = (0.8, 1.2)  # 随机延迟系数范围
+RANDOMNESS = True  # 是否启用随机延迟
+
+# 重试策略
+MAX_RETRY_TIMES = 3  # 最大重试次数
+RETRY_PRIORITY = -1  # 重试请求的优先级调整
+RETRY_HTTP_CODES = [408, 429, 500, 502, 503, 504, 522, 524]  # 触发重试的状态码
+IGNORE_HTTP_CODES = [403, 404]  # 直接标记成功、不重试的状态码
+ALLOWED_CODES = []  # 允许的状态码（空表示不限制）
+
+# 连接与响应大小限制
+CONNECTION_POOL_LIMIT = 50  # 最大并发连接数（连接池大小）
+CONNECTION_POOL_LIMIT_PER_HOST = 20  # 每个主机的连接池大小
+DOWNLOAD_MAXSIZE = 10 * 1024 * 1024  # 最大响应体大小（10MB）
+DOWNLOAD_WARN_SIZE = 1024 * 1024  # 响应体警告阈值（1MB）
+DOWNLOAD_RETRY_TIMES = MAX_RETRY_TIMES  # 下载器内部重试次数（复用全局）
+
+# 下载统计配置
+DOWNLOADER_STATS = True  # 是否启用下载器统计功能
+DOWNLOAD_STATS = True  # 是否记录下载时间和大小统计
+
+# ============================== 并发与调度 ==============================
+
+CONCURRENCY = 8  # 单个爬虫的并发请求数
+INTERVAL = 5  # 日志统计输出间隔（秒）
+DEPTH_PRIORITY = 1  # 深度优先策略优先级
+MAX_RUNNING_SPIDERS = 3  # 最大同时运行的爬虫数
+
+# ============================== 队列配置 ==============================
+
+# 🎯 运行模式选择：'standalone'(单机), 'distributed'(分布式), 'auto'(自动检测)
+RUN_MODE = 'standalone'  # 默认单机模式，简单易用
+
+# 队列类型选择：'memory'(内存), 'redis'(分布式), 'auto'(自动选择)
+QUEUE_TYPE = 'memory'  # 默认内存队列，无需外部依赖
+SCHEDULER_MAX_QUEUE_SIZE = 2000  # 调度器队列最大容量
+SCHEDULER_QUEUE_NAME = 'crawlo:requests'  # Redis 队列名称
+QUEUE_MAX_RETRIES = 3  # 队列操作最大重试次数
+QUEUE_TIMEOUT = 300  # 队列操作超时时间（秒）
+
+# 大规模爬取优化配置
+LARGE_SCALE_BATCH_SIZE = 1000  # 批处理大小
+LARGE_SCALE_CHECKPOINT_INTERVAL = 5000  # 进度保存间隔
+LARGE_SCALE_MAX_MEMORY_USAGE = 500  # 最大内存使用量（MB）
+
+# ============================== 数据存储配置 ==============================
+
+# --- MySQL 配置 ---
+MYSQL_HOST = '127.0.0.1'
+MYSQL_PORT = 3306
+MYSQL_USER = 'root'
+MYSQL_PASSWORD = '123456'
+MYSQL_DB = 'crawl'
+MYSQL_TABLE = 'crawlo'
+MYSQL_BATCH_SIZE = 100  # 批量插入条数
+
+# MySQL 连接池
+MYSQL_FLUSH_INTERVAL = 5  # 缓存刷新间隔（秒）
+MYSQL_POOL_MIN = 5
+MYSQL_POOL_MAX = 20
+MYSQL_ECHO = False  # 是否打印 SQL 日志
+
+# --- MongoDB 配置 ---
+MONGO_URI = 'mongodb://user:password@host:27017'
+MONGO_DATABASE = 'scrapy_data'
+MONGO_COLLECTION = 'crawled_items'
+MONGO_MAX_POOL_SIZE = 200
+MONGO_MIN_POOL_SIZE = 20
+
+# ============================== 去重过滤配置 ==============================
+
+# 请求指纹存储目录（文件过滤器使用）
+REQUEST_DIR = '.'
+
+# 根据运行模式自动选择去重管道
+# 单机模式默认使用内存去重管道
+# 分布式模式默认使用Redis去重管道
+if RUN_MODE == 'distributed':
+    # 分布式模式下默认使用Redis去重管道
+    DEFAULT_DEDUP_PIPELINE = 'crawlo.pipelines.RedisDedupPipeline'
+else:
+    # 单机模式下默认使用内存去重管道
+    DEFAULT_DEDUP_PIPELINE = 'crawlo.pipelines.MemoryDedupPipeline'
+
+# 去重过滤器类（二选一）
+FILTER_CLASS = 'crawlo.filters.memory_filter.MemoryFilter'
+# FILTER_CLASS = 'crawlo.filters.aioredis_filter.AioRedisFilter' # 分布式去重
+
+# --- Redis 过滤器配置 ---
+REDIS_HOST = os.getenv('REDIS_HOST', '127.0.0.1')
+REDIS_PORT = int(os.getenv('REDIS_PORT', 6379))
+REDIS_PASSWORD = os.getenv('REDIS_PASSWORD', '')  # 默认无密码
+REDIS_DB = int(os.getenv('REDIS_DB', 0))  # Redis 数据库编号，默认为 0
+# 🔧 根据是否有密码生成不同的 URL 格式
+if REDIS_PASSWORD:
+    REDIS_URL = f'redis://:{REDIS_PASSWORD}@{REDIS_HOST}:{REDIS_PORT}/{REDIS_DB}'
+else:
+    REDIS_URL = f'redis://{REDIS_HOST}:{REDIS_PORT}/{REDIS_DB}'
+REDIS_KEY = 'request_fingerprint'  # Redis 中存储指纹的键名
+REDIS_TTL = 0  # 指纹过期时间（0 表示永不过期）
+CLEANUP_FP = 0  # 程序结束时是否清理指纹（0=不清理）
+FILTER_DEBUG = True  # 是否开启去重调试日志
+DECODE_RESPONSES = True  # Redis 返回是否解码为字符串
+
+# ============================== 中间件配置 ==============================
+
+MIDDLEWARES = [
+    # === 请求预处理阶段 ===
+    'crawlo.middleware.request_ignore.RequestIgnoreMiddleware',  # 1. 忽略无效请求
+    'crawlo.middleware.download_delay.DownloadDelayMiddleware',  # 2. 控制请求频率
+    'crawlo.middleware.default_header.DefaultHeaderMiddleware',  # 3. 添加默认请求头
+    'crawlo.middleware.proxy.ProxyMiddleware',  # 4. 设置代理
+
+    # === 响应处理阶段 ===
+    'crawlo.middleware.retry.RetryMiddleware',  # 5. 失败请求重试
+    'crawlo.middleware.response_code.ResponseCodeMiddleware',  # 6. 处理特殊状态码
+    'crawlo.middleware.response_filter.ResponseFilterMiddleware',  # 7. 响应内容过滤
+]
+
+# ============================== 扩展与管道 ==============================
+
+# 数据处理管道（启用的存储方式）
+PIPELINES = [
+    'crawlo.pipelines.console_pipeline.ConsolePipeline',  # 控制台输出
+    # 'crawlo.pipelines.mysql_pipeline.AsyncmyMySQLPipeline',     # MySQL 存储（可选）
+]
+
+# 根据运行模式自动配置默认去重管道
+if RUN_MODE == 'distributed':
+    # 分布式模式下添加Redis去重管道
+    PIPELINES.insert(0, DEFAULT_DEDUP_PIPELINE)
+else:
+    # 单机模式下添加内存去重管道
+    PIPELINES.insert(0, DEFAULT_DEDUP_PIPELINE)
+
+# 扩展组件（监控与日志）
+EXTENSIONS = [
+    'crawlo.extension.log_interval.LogIntervalExtension',  # 定时日志
+    'crawlo.extension.log_stats.LogStats',  # 统计信息
+    'crawlo.extension.logging_extension.CustomLoggerExtension',  # 自定义日志
+]
+
+# ============================== 日志与监控 ==============================
+
+LOG_LEVEL = 'INFO'  # 日志级别: DEBUG/INFO/WARNING/ERROR
+STATS_DUMP = True  # 是否周期性输出统计信息
+LOG_FILE = f'logs/{PROJECT_NAME}.log'  # 日志文件路径
+LOG_FORMAT = '%(asctime)s - [%(name)s] - %(levelname)s： %(message)s'
+LOG_ENCODING = 'utf-8'
+
+# ============================== 代理配置 ==============================
+
+PROXY_ENABLED = False  # 是否启用代理
+PROXY_API_URL = "https://api.proxyprovider.com/get"  # 代理获取接口（请替换为真实地址）
+
+# 代理提取方式（支持字段路径或函数）
+PROXY_EXTRACTOR = "proxy"  # 如返回 {"proxy": "http://1.1.1.1:8080"}
+
+# 代理刷新控制
+PROXY_REFRESH_INTERVAL = 60  # 代理刷新间隔（秒）
+PROXY_API_TIMEOUT = 10  # 请求代理 API 超时时间
+
+# ============================== Curl-Cffi 特有配置 ==============================
+
+# 浏览器指纹模拟（仅 CurlCffi 下载器有效）
+CURL_BROWSER_TYPE = "chrome"  # 可选: chrome, edge, safari, firefox 或版本如 chrome136
+
+# 自定义浏览器版本映射（可覆盖默认行为）
+CURL_BROWSER_VERSION_MAP = {
+    "chrome": "chrome136",
+    "edge": "edge101",
+    "safari": "safari184",
+    "firefox": "firefox135",
+    # 示例：旧版本测试
+    # "chrome_legacy": "chrome110",
+}
+
+# Curl-Cffi 优化配置
+CURL_RANDOMIZE_DELAY = False  # 是否启用随机延迟
+CURL_RETRY_BACKOFF = True  # 是否启用指数退避重试
+
+# 默认请求头（可被 Spider 覆盖）
+DEFAULT_REQUEST_HEADERS = {
+    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 '
+                  '(KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36',
+}
+
+# ============================== 下载器优化配置 ==============================
+
+# 下载器健康检查
+DOWNLOADER_HEALTH_CHECK = True  # 是否启用下载器健康检查
+HEALTH_CHECK_INTERVAL = 60  # 健康检查间隔（秒）
+
+# 请求统计配置
+REQUEST_STATS_ENABLED = True  # 是否启用请求统计
+STATS_RESET_ON_START = False  # 启动时是否重置统计
+
+# HttpX 下载器专用配置
+HTTPX_HTTP2 = True  # 是否启用HTTP/2支持
+HTTPX_FOLLOW_REDIRECTS = True  # 是否自动跟随重定向
+
+# AioHttp 下载器专用配置
+AIOHTTP_AUTO_DECOMPRESS = True  # 是否自动解压响应
+AIOHTTP_FORCE_CLOSE = False  # 是否强制关闭连接
+
+# 通用优化配置
+CONNECTION_TTL_DNS_CACHE = 300  # DNS缓存TTL（秒）
+CONNECTION_KEEPALIVE_TIMEOUT = 15  # Keep-Alive超时（秒）