crawlo 1.4.3__tar.gz → 1.4.4__tar.gz

{crawlo-1.4.3/crawlo.egg-info → crawlo-1.4.4}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: crawlo
-Version: 1.4.3
+Version: 1.4.4
 Summary: Crawlo 是一款基于异步IO的高性能Python爬虫框架，支持分布式抓取。
 Home-page: https://github.com/crawl-coder/Crawlo.git
 Author: crawl-coder

crawlo-1.4.4/crawlo/__version__.py

@@ -0,0 +1 @@
+__version__ = '1.4.4'

{crawlo-1.4.3 → crawlo-1.4.4}/crawlo/commands/genspider.py

@@ -6,15 +6,16 @@
 # @Desc    : 命令行入口：crawlo genspider baidu，创建爬虫。
 """
 import sys
+import re
 from pathlib import Path
 import configparser
 import importlib
 from rich.console import Console
 
 from .utils import (
-    get_project_root, 
-    validate_project_environment, 
-    show_error_panel, 
+    get_project_root,
+    validate_project_environment,
+    show_error_panel,
     show_success_panel,
     validate_spider_name,
     is_valid_domain
@@ -35,6 +36,39 @@ def _render_template(tmpl_path, context):
     return content
 
 
+def generate_class_name(spider_name):
+    """
+    根据爬虫名称生成类名
+    规则：蛇形命名 → 大驼峰命名 + 'Spider'
+    示例：
+        'news_spider' → 'NewsSpider'
+        'ofweek_standalone' → 'OfweekStandaloneSpider'
+        'baidu' → 'BaiduSpider'
+    """
+    # 如果名称已包含 'spider' 后缀，先去除
+    name_clean = spider_name
+    
+    # 定义要移除的后缀列表
+    spider_suffixes = ['_spider', 'spider']
+    
+    # 检查并移除后缀
+    for suffix in spider_suffixes:
+        if spider_name.endswith(suffix):
+            name_clean = spider_name[:-len(suffix)]
+            break
+
+    # 按分隔符拆分单词
+    words = re.split(r'[_-]', name_clean)
+
+    # 将每个单词首字母大写
+    capitalized_words = [word.capitalize() for word in words if word]
+
+    # 组合成类名
+    class_name = ''.join(capitalized_words) + 'Spider'
+
+    return class_name
+
+
 def main(args):
     if len(args) < 2:
         console.print("[bold red]错误:[/bold red] 用法: [blue]crawlo genspider[/blue] <爬虫名称> <域名>")
@@ -45,11 +79,11 @@ def main(args):
 
     spider_name = args[0]
     domain = args[1]
-    
+
     # 验证爬虫名称
     if not validate_spider_name(spider_name):
         show_error_panel(
-            "无效的爬虫名称", 
+            "无效的爬虫名称",
             f"爬虫名称 '[cyan]{spider_name}[/cyan]' 无效。\n"
             "爬虫名称应:\n"
             "  • 以小写字母开头\n"
@@ -57,11 +91,11 @@ def main(args):
             "  • 是有效的Python标识符"
         )
         return 1
-    
+
     # 验证域名格式
     if not is_valid_domain(domain):
         show_error_panel(
-            "无效的域名", 
+            "无效的域名",
             f"域名 '[cyan]{domain}[/cyan]' 格式无效。\n"
             "请提供有效的域名，如 'example.com'"
         )
@@ -72,7 +106,7 @@ def main(args):
     if not is_valid:
         show_error_panel("非Crawlo项目", error_msg)
         return 1
-    
+
     project_root = get_project_root()
 
     # 确定 items 模块的路径
@@ -91,7 +125,8 @@ def main(args):
         if item_classes:
             default_item_class = item_classes[0].__name__
         else:
-            console.print("[yellow]警告:[/yellow] 在 [cyan]items.py[/cyan] 中未找到项目类，使用 [green]ExampleItem[/green]。")
+            console.print(
+                "[yellow]警告:[/yellow] 在 [cyan]items.py[/cyan] 中未找到项目类，使用 [green]ExampleItem[/green]。")
 
     except ImportError as e:
         console.print(f"[yellow]警告:[/yellow] 导入 [cyan]{items_module_path}[/cyan] 失败: {e}")
@@ -104,7 +139,7 @@ def main(args):
     spider_file = spiders_dir / f'{spider_name}.py'
     if spider_file.exists():
         show_error_panel(
-            "爬虫已存在", 
+            "爬虫已存在",
             f"爬虫 '[cyan]{spider_name}[/cyan]' 已存在于\n[green]{spider_file}[/green]"
         )
         return 1
@@ -113,13 +148,13 @@ def main(args):
     tmpl_path = TEMPLATES_DIR / 'spider' / 'spider.py.tmpl'
     if not tmpl_path.exists():
         show_error_panel(
-            "模板未找到", 
+            "模板未找到",
             f"模板文件未找到于 [cyan]{tmpl_path}[/cyan]"
         )
         return 1
 
-    # 生成类名
-    class_name = f"{spider_name.replace('_', '').capitalize()}Spider"
+    # 生成类名（使用新的转换函数）
+    class_name = generate_class_name(spider_name)
 
     context = {
         'spider_name': spider_name,
@@ -133,7 +168,7 @@ def main(args):
         content = _render_template(tmpl_path, context)
         with open(spider_file, 'w', encoding='utf-8') as f:
             f.write(content)
-        
+
         console.print(f"[green]爬虫 '[bold]{spider_name}[/bold]' 创建成功！[/green]")
         console.print(f"  → 位置: [cyan]{spider_file}[/cyan]")
         console.print(f"  → 类名: [yellow]{class_name}[/yellow]")
@@ -141,12 +176,12 @@ def main(args):
         console.print("\n[bold]下一步操作:[/bold]")
         console.print(f"  [blue]crawlo run[/blue] {spider_name}")
         console.print(f"  [blue]crawlo check[/blue] {spider_name}")
-        
+
         return 0
-        
+
     except Exception as e:
         show_error_panel(
-            "创建失败", 
+            "创建失败",
             f"创建爬虫失败: {e}"
         )
         return 1

{crawlo-1.4.3 → crawlo-1.4.4}/crawlo/crawler.py

@@ -350,6 +350,12 @@ class CrawlerProcess:
         self._crawlers: List[ModernCrawler] = []
         self._semaphore = asyncio.Semaphore(max_concurrency)
         self._logger = get_logger('crawler.process')
+        
+        # 如果没有显式提供spider_modules，则从settings中获取
+        if spider_modules is None and self._settings:
+            spider_modules = self._settings.get('SPIDER_MODULES')
+            self._logger.debug(f"从settings中获取SPIDER_MODULES: {spider_modules}")
+        
         self._spider_modules = spider_modules  # 保存spider_modules
         
         # 如果提供了spider_modules，自动注册这些模块中的爬虫

{crawlo-1.4.3 → crawlo-1.4.4}/crawlo/queue/pqueue.py

@@ -1,12 +1,8 @@
 # -*- coding:UTF-8 -*-
-import json
-import sys
 import asyncio
+import sys
 from asyncio import PriorityQueue
-from typing import Optional, Tuple, Any
-
-
-from crawlo import Request
+from typing import Optional, Any
 
 
 class SpiderPriorityQueue(PriorityQueue):

{crawlo-1.4.3 → crawlo-1.4.4}/crawlo/queue/queue_manager.py

@@ -5,11 +5,10 @@
 提供简洁、一致的队列接口，自动处理不同队列类型的差异
 """
 import asyncio
+import time
 import traceback
 from enum import Enum
 from typing import Optional, Dict, Any, Union, TYPE_CHECKING
-import time
-import random
 
 if TYPE_CHECKING:
     from crawlo import Request

{crawlo-1.4.3 → crawlo-1.4.4}/crawlo/settings/default_settings.py

@@ -6,9 +6,7 @@
 # 添加环境变量配置工具导入
 from crawlo.utils.env_config import get_redis_config, get_runtime_config, get_version
 
-# ===========================================================================
-#                              1. 框架基础配置
-# ===========================================================================
+# --------------------------------- 1. 框架基础配置 ------------------------------------
 
 # 框架初始化控制
 FRAMEWORK_INIT_ORDER = [
@@ -27,9 +25,7 @@ VERSION = get_version()  # 项目版本号 - 从框架的__version__.py文件中
 RUN_MODE = runtime_config['CRAWLO_MODE']  # 运行模式：standalone/distributed/auto
 CONCURRENCY = runtime_config['CONCURRENCY']  # 并发数配置
 
-# ===========================================================================
-#                              2. 爬虫核心配置
-# ===========================================================================
+# --------------------------------- 2. 爬虫核心配置 ------------------------------------
 
 # 下载器配置
 DOWNLOADER = "crawlo.downloader.httpx_downloader.HttpXDownloader"  # 默认下载器
@@ -53,9 +49,7 @@ QUEUE_TYPE = 'auto'  # 队列类型：memory/redis/auto
 QUEUE_MAX_RETRIES = 3  # 队列操作最大重试次数
 QUEUE_TIMEOUT = 300  # 队列操作超时时间（秒）
 
-# ===========================================================================
-#                            3. 数据库和过滤器配置
-# ===========================================================================
+# --------------------------------- 3. 数据库和过滤器配置 ------------------------------------
 
 # MySQL配置
 MYSQL_HOST = '127.0.0.1'
@@ -100,9 +94,7 @@ FILTER_CLASS = 'crawlo.filters.memory_filter.MemoryFilter'
 BLOOM_FILTER_CAPACITY = 1000000  # Bloom过滤器容量
 BLOOM_FILTER_ERROR_RATE = 0.001  # Bloom过滤器错误率
 
-# ===========================================================================
-#                              4. 中间件配置
-# ===========================================================================
+# --------------------------------- 4. 中间件配置 ------------------------------------
 
 # 框架中间件列表（框架默认中间件 + 用户自定义中间件）
 MIDDLEWARES = [
@@ -118,18 +110,14 @@ MIDDLEWARES = [
     'crawlo.middleware.response_filter.ResponseFilterMiddleware',  # 8. 响应内容过滤
 ]
 
-# ===========================================================================
-#                              5. 管道配置
-# ===========================================================================
+# --------------------------------- 5. 管道配置 ------------------------------------
 
 # 框架数据处理管道列表（框架默认管道 + 用户自定义管道）
 PIPELINES = [
     'crawlo.pipelines.console_pipeline.ConsolePipeline',
 ]
 
-# ===========================================================================
-#                              6. 扩展配置
-# ===========================================================================
+# --------------------------------- 6. 扩展配置 ------------------------------------
 
 # 框架扩展组件列表（框架默认扩展 + 用户自定义扩展）
 EXTENSIONS = [
@@ -138,9 +126,7 @@ EXTENSIONS = [
     'crawlo.extension.logging_extension.CustomLoggerExtension',  # 自定义日志
 ]
 
-# ===========================================================================
-#                            7. 日志与监控配置
-# ===========================================================================
+# --------------------------------- 7. 日志与监控配置 ------------------------------------
 
 # 日志配置
 LOG_LEVEL = None  # 日志级别: DEBUG/INFO/WARNING/ERROR，默认为None，由用户在项目settings中设置
@@ -148,13 +134,12 @@ STATS_DUMP = True  # 是否周期性输出统计信息
 LOG_FILE = None  # 日志文件路径，将在项目配置中设置
 LOG_FORMAT = '%(asctime)s - [%(name)s] - %(levelname)s: %(message)s'
 LOG_ENCODING = 'utf-8'
+LOG_MAX_BYTES = 10 * 1024 * 1024  # 日志轮转大小（字节）
+LOG_BACKUP_COUNT = 5  # 日志备份数量
 
 # 日志间隔配置
 INTERVAL = 60  # 日志输出间隔（秒）
 
-# 自定义日志配置
-LOG_ENABLE_CUSTOM = False  # 是否启用自定义日志
-
 # 内存监控配置
 MEMORY_MONITOR_ENABLED = False  # 是否启用内存监控
 MEMORY_MONITOR_INTERVAL = 60  # 内存监控检查间隔（秒）
@@ -169,9 +154,7 @@ PERFORMANCE_PROFILER_INTERVAL = 300  # 性能分析间隔（秒）
 # 健康检查配置
 HEALTH_CHECK_ENABLED = True  # 是否启用健康检查
 
-# ===========================================================================
-#                            8. 网络请求配置
-# ===========================================================================
+# --------------------------------- 8. 网络请求配置 ------------------------------------
 
 # 默认请求头配置
 DEFAULT_REQUEST_HEADERS = {
@@ -262,9 +245,7 @@ PLAYWRIGHT_MAX_PAGES_PER_BROWSER = 10  # 单浏览器最大页面数量
 CONNECTION_TTL_DNS_CACHE = 300  # DNS缓存TTL（秒）
 CONNECTION_KEEPALIVE_TIMEOUT = 15  # Keep-Alive超时（秒）
 
-# ===========================================================================
-#                            9. 数据存储配置
-# ===========================================================================
+# --------------------------------- 9. 数据存储配置 ------------------------------------
 
 # CSV管道配置
 CSV_DELIMITER = ','  # CSV分隔符

crawlo-1.4.4/crawlo/templates/project/settings.py.tmpl

@@ -0,0 +1,157 @@
+# -*- coding: UTF-8 -*-
+"""
+{{project_name}} 项目配置文件
+=============================
+基于 Crawlo 框架的爬虫项目配置。
+
+此配置使用 CrawloConfig.standalone() 工厂方法创建单机模式配置，
+适用于开发测试和中小规模数据采集任务。
+"""
+
+from crawlo.config import CrawloConfig
+
+# 使用单机模式配置工厂创建配置
+config = CrawloConfig.auto(
+    project_name='{{project_name}}',
+    concurrency=8,
+    download_delay=1.0
+)
+
+# 将配置转换为当前模块的全局变量
+locals().update(config.to_dict())
+
+# =================================== 爬虫配置 ===================================
+
+# 爬虫模块配置
+SPIDER_MODULES = ['{{project_name}}.spiders']
+
+# 默认请求头配置
+# 为DefaultHeaderMiddleware配置默认请求头
+# DEFAULT_REQUEST_HEADERS = {}
+
+# 允许的域名
+# 为OffsiteMiddleware配置允许的域名
+# ALLOWED_DOMAINS = []
+
+# 数据管道
+# 如需添加自定义管道，请取消注释并添加
+# PIPELINES = [
+#     'crawlo.pipelines.mysql_pipeline.AsyncmyMySQLPipeline',  # MySQL 存储（使用asyncmy异步库）
+#     # '{{project_name}}.pipelines.CustomPipeline',  # 用户自定义管道示例
+# ]
+
+# =================================== 系统配置 ===================================
+
+# 扩展组件
+# 如需添加自定义扩展，请取消注释并添加
+# EXTENSIONS = [
+#     # '{{project_name}}.extensions.CustomExtension',  # 用户自定义扩展示例
+# ]
+
+# 中间件
+# 如需添加自定义中间件，请取消注释并添加
+# MIDDLEWARES = [
+#     # '{{project_name}}.middlewares.CustomMiddleware',  # 用户自定义中间件示例
+# ]
+
+# 日志配置
+LOG_LEVEL = 'INFO'
+LOG_FILE = 'logs/{{project_name}}.log'
+LOG_ENCODING = 'utf-8'  # 明确指定日志文件编码
+STATS_DUMP = True
+
+# 输出配置
+OUTPUT_DIR = 'output'
+
+# =================================== 数据库配置 ===================================
+
+# Redis配置
+REDIS_HOST = '127.0.0.1'
+REDIS_PORT = 6379
+REDIS_PASSWORD = ''
+REDIS_DB = 0
+
+# 根据是否有密码生成 URL
+if REDIS_PASSWORD:
+    REDIS_URL = f'redis://:{REDIS_PASSWORD}@{REDIS_HOST}:{REDIS_PORT}/{REDIS_DB}'
+else:
+    REDIS_URL = f'redis://{REDIS_HOST}:{REDIS_PORT}/{REDIS_DB}'
+
+# MySQL配置
+MYSQL_HOST = '127.0.0.1'
+MYSQL_PORT = 3306
+MYSQL_USER = 'root'
+MYSQL_PASSWORD = '123456'
+MYSQL_DB = '{{project_name}}'
+MYSQL_TABLE = '{{project_name}}_data'
+MYSQL_BATCH_SIZE = 100
+MYSQL_USE_BATCH = False  # 是否启用批量插入
+
+# MongoDB配置
+MONGO_URI = 'mongodb://localhost:27017'
+MONGO_DATABASE = '{{project_name}}_db'
+MONGO_COLLECTION = '{{project_name}}_items'
+MONGO_MAX_POOL_SIZE = 200
+MONGO_MIN_POOL_SIZE = 20
+MONGO_BATCH_SIZE = 100  # 批量插入条数
+MONGO_USE_BATCH = False  # 是否启用批量插入
+
+# =================================== 网络配置 ===================================
+
+# 代理配置
+# 代理功能默认不启用，如需使用请在项目配置文件中启用并配置相关参数
+PROXY_ENABLED = False  # 是否启用代理
+
+# 简化版代理配置（适用于SimpleProxyMiddleware）
+PROXY_LIST = []  # 代理列表，例如: ["http://proxy1:8080", "http://proxy2:8080"]
+
+# 高级代理配置（适用于ProxyMiddleware）
+PROXY_API_URL = ""  # 代理获取接口（请替换为真实地址）
+
+# 代理提取方式（支持字段路径或函数）
+# 示例: "proxy" 适用于 {"proxy": "http://1.1.1.1:8080"}
+# 示例: "data.proxy" 适用于 {"data": {"proxy": "http://1.1.1.1:8080"}}
+PROXY_EXTRACTOR = "proxy"
+
+# 代理刷新控制
+PROXY_REFRESH_INTERVAL = 60  # 代理刷新间隔（秒）
+PROXY_API_TIMEOUT = 10  # 请求代理 API 超时时间
+
+# 浏览器指纹模拟（仅 CurlCffi 下载器有效）
+CURL_BROWSER_TYPE = "chrome"  # 可选: chrome, edge, safari, firefox 或版本如 chrome136
+
+# 自定义浏览器版本映射（可覆盖默认行为）
+CURL_BROWSER_VERSION_MAP = {
+    "chrome": "chrome136",
+    "edge": "edge101",
+    "safari": "safari184",
+    "firefox": "firefox135",
+}
+
+# 下载器优化配置
+# 下载器健康检查
+DOWNLOADER_HEALTH_CHECK = True  # 是否启用下载器健康检查
+HEALTH_CHECK_INTERVAL = 60  # 健康检查间隔（秒）
+
+# 请求统计配置
+REQUEST_STATS_ENABLED = True  # 是否启用请求统计
+STATS_RESET_ON_START = False  # 启动时是否重置统计
+
+# HttpX 下载器专用配置
+HTTPX_HTTP2 = True  # 是否启用HTTP/2支持
+HTTPX_FOLLOW_REDIRECTS = True  # 是否自动跟随重定向
+
+# AioHttp 下载器专用配置
+AIOHTTP_AUTO_DECOMPRESS = True  # 是否自动解压响应
+AIOHTTP_FORCE_CLOSE = False  # 是否强制关闭连接
+
+# 通用优化配置
+CONNECTION_TTL_DNS_CACHE = 300  # DNS缓存TTL（秒）
+CONNECTION_KEEPALIVE_TIMEOUT = 15  # Keep-Alive超时（秒）
+
+# 内存监控配置
+# 内存监控扩展默认不启用，如需使用请在项目配置文件中启用
+MEMORY_MONITOR_ENABLED = False  # 是否启用内存监控
+MEMORY_MONITOR_INTERVAL = 60  # 内存监控检查间隔（秒）
+MEMORY_WARNING_THRESHOLD = 80.0  # 内存使用率警告阈值（百分比）
+MEMORY_CRITICAL_THRESHOLD = 90.0  # 内存使用率严重阈值（百分比）

crawlo-1.4.4/crawlo/templates/project/settings_distributed.py.tmpl

@@ -0,0 +1,162 @@
+# -*- coding: UTF-8 -*-
+"""
+{{project_name}} 项目配置文件（分布式版）
+=============================
+基于 Crawlo 框架的分布式爬虫项目配置。
+适合大规模数据采集和多节点部署。
+
+此配置使用 CrawloConfig.distributed() 工厂方法创建分布式模式配置，
+支持多节点协同工作，适用于大规模数据采集任务。
+"""
+
+from crawlo.config import CrawloConfig
+
+# 使用分布式模式配置工厂创建配置
+config = CrawloConfig.distributed(
+    project_name='{{project_name}}',
+    redis_host='127.0.0.1',
+    redis_port=6379,
+    redis_password='',
+    redis_db=0,
+    concurrency=16,
+    download_delay=1.0
+)
+
+# 将配置转换为当前模块的全局变量
+locals().update(config.to_dict())
+
+# =================================== 爬虫配置 ===================================
+
+# 爬虫模块配置
+SPIDER_MODULES = ['{{project_name}}.spiders']
+
+# 默认请求头配置
+# 为DefaultHeaderMiddleware配置默认请求头
+# DEFAULT_REQUEST_HEADERS = {}
+
+# 允许的域名
+# 为OffsiteMiddleware配置允许的域名
+# ALLOWED_DOMAINS = []
+
+# 数据管道
+# 如需添加自定义管道，请取消注释并添加
+# PIPELINES = [
+#     'crawlo.pipelines.mysql_pipeline.AsyncmyMySQLPipeline',  # MySQL 存储（使用asyncmy异步库）
+#     # '{{project_name}}.pipelines.CustomPipeline',  # 用户自定义管道示例
+# ]
+
+# =================================== 系统配置 ===================================
+
+# 扩展组件
+# 如需添加自定义扩展，请取消注释并添加
+# EXTENSIONS = [
+#     # '{{project_name}}.extensions.CustomExtension',  # 用户自定义扩展示例
+# ]
+
+# 中间件
+# 如需添加自定义中间件，请取消注释并添加
+# MIDDLEWARES = [
+#     # '{{project_name}}.middlewares.CustomMiddleware',  # 用户自定义中间件示例
+# ]
+
+# 日志配置
+LOG_LEVEL = 'INFO'
+LOG_FILE = 'logs/{{project_name}}.log'
+LOG_ENCODING = 'utf-8'  # 明确指定日志文件编码
+STATS_DUMP = True
+
+# 输出配置
+OUTPUT_DIR = 'output'
+
+# =================================== 数据库配置 ===================================
+
+# Redis配置
+REDIS_HOST = '127.0.0.1'
+REDIS_PORT = 6379
+REDIS_PASSWORD = ''
+REDIS_DB = 0
+
+# 根据是否有密码生成 URL
+if REDIS_PASSWORD:
+    REDIS_URL = f'redis://:{REDIS_PASSWORD}@{REDIS_HOST}:{REDIS_PORT}/{REDIS_DB}'
+else:
+    REDIS_URL = f'redis://{REDIS_HOST}:{REDIS_PORT}/{REDIS_DB}'
+
+# MySQL配置
+MYSQL_HOST = '127.0.0.1'
+MYSQL_PORT = 3306
+MYSQL_USER = 'root'
+MYSQL_PASSWORD = '123456'
+MYSQL_DB = '{{project_name}}'
+MYSQL_TABLE = '{{project_name}}_data'
+MYSQL_BATCH_SIZE = 100
+MYSQL_USE_BATCH = True  # 是否启用批量插入
+
+# MongoDB配置
+MONGO_URI = 'mongodb://localhost:27017'
+MONGO_DATABASE = '{{project_name}}_db'
+MONGO_COLLECTION = '{{project_name}}_items'
+MONGO_MAX_POOL_SIZE = 200
+MONGO_MIN_POOL_SIZE = 20
+MONGO_BATCH_SIZE = 100  # 批量插入条数
+MONGO_USE_BATCH = True  # 是否启用批量插入
+
+# =================================== 网络配置 ===================================
+
+# 代理配置
+# 代理功能默认不启用，如需使用请在项目配置文件中启用并配置相关参数
+PROXY_ENABLED = False  # 是否启用代理
+
+# 简化版代理配置（适用于SimpleProxyMiddleware）
+PROXY_LIST = []  # 代理列表，例如: ["http://proxy1:8080", "http://proxy2:8080"]
+
+# 高级代理配置（适用于ProxyMiddleware）
+PROXY_API_URL = ""  # 代理获取接口（请替换为真实地址）
+
+# 代理提取方式（支持字段路径或函数）
+# 示例: "proxy" 适用于 {"proxy": "http://1.1.1.1:8080"}
+# 示例: "data.proxy" 适用于 {"data": {"proxy": "http://1.1.1.1:8080"}}
+PROXY_EXTRACTOR = "proxy"
+
+# 代理刷新控制
+PROXY_REFRESH_INTERVAL = 60  # 代理刷新间隔（秒）
+PROXY_API_TIMEOUT = 10  # 请求代理 API 超时时间
+
+# 浏览器指纹模拟（仅 CurlCffi 下载器有效）
+CURL_BROWSER_TYPE = "chrome"  # 可选: chrome, edge, safari, firefox 或版本如 chrome136
+
+# 自定义浏览器版本映射（可覆盖默认行为）
+CURL_BROWSER_VERSION_MAP = {
+    "chrome": "chrome136",
+    "edge": "edge101",
+    "safari": "safari184",
+    "firefox": "firefox135",
+}
+
+# 下载器优化配置
+# 下载器健康检查
+DOWNLOADER_HEALTH_CHECK = True  # 是否启用下载器健康检查
+HEALTH_CHECK_INTERVAL = 60  # 健康检查间隔（秒）
+
+# 请求统计配置
+REQUEST_STATS_ENABLED = True  # 是否启用请求统计
+STATS_RESET_ON_START = False  # 启动时是否重置统计
+
+# HttpX 下载器专用配置
+HTTPX_HTTP2 = True  # 是否启用HTTP/2支持
+HTTPX_FOLLOW_REDIRECTS = True  # 是否自动跟随重定向
+
+# AioHttp 下载器专用配置
+AIOHTTP_AUTO_DECOMPRESS = True  # 是否自动解压响应
+AIOHTTP_FORCE_CLOSE = False  # 是否强制关闭连接
+
+# 通用优化配置
+CONNECTION_TTL_DNS_CACHE = 300  # DNS缓存TTL（秒）
+CONNECTION_KEEPALIVE_TIMEOUT = 15  # Keep-Alive超时（秒）
+
+# 内存监控配置
+# 内存监控扩展默认不启用，如需使用请在项目配置文件中启用
+MEMORY_MONITOR_ENABLED = False  # 是否启用内存监控
+MEMORY_MONITOR_INTERVAL = 60  # 内存监控检查间隔（秒）
+MEMORY_WARNING_THRESHOLD = 80.0  # 内存使用率警告阈值（百分比）
+MEMORY_CRITICAL_THRESHOLD = 90.0  # 内存使用率严重阈值（百分比）