crawlo 1.4.3__py3-none-any.whl → 1.4.5__py3-none-any.whl

crawlo/pipelines/mysql_pipeline.py

@@ -5,7 +5,7 @@ from asyncmy import create_pool
 from typing import Optional, List, Dict
 
 from crawlo.exceptions import ItemDiscard
-from crawlo.utils.db_helper import make_insert_sql, make_batch_sql
+from crawlo.utils.db_helper import SQLBuilder
 from crawlo.utils.log import get_logger
 from . import BasePipeline
 
@@ -88,7 +88,7 @@ class AsyncmyMySQLPipeline:
             try:
                 await self._ensure_pool()
                 item_dict = dict(item)
-                sql = make_insert_sql(table=self.table_name, data=item_dict, **kwargs)
+                sql = SQLBuilder.make_insert(table=self.table_name, data=item_dict, **kwargs)
 
                 rowcount = await self._execute_sql(sql=sql)
                 if rowcount > 1:
@@ -141,7 +141,7 @@ class AsyncmyMySQLPipeline:
             await self._ensure_pool()
             
             # 使用批量SQL生成函数
-            batch_result = make_batch_sql(table=self.table_name, datas=self.batch_buffer)
+            batch_result = SQLBuilder.make_batch(table=self.table_name, datas=self.batch_buffer)
             if batch_result is None:
                 self.logger.warning("批量插入数据为空")
                 self.batch_buffer.clear()
@@ -254,8 +254,8 @@ class AiomysqlMySQLPipeline:
                 await self._init_pool()
 
                 item_dict = dict(item)
-                # 使用make_insert_sql工具函数生成SQL
-                sql = make_insert_sql(table=self.table_name, data=item_dict)
+                # 使用SQLBuilder生成SQL
+                sql = SQLBuilder.make_insert(table=self.table_name, data=item_dict)
 
                 async with self.pool.acquire() as conn:
                     async with conn.cursor() as cursor:
@@ -283,7 +283,7 @@ class AiomysqlMySQLPipeline:
             await self._init_pool()
             
             # 使用批量SQL生成函数
-            batch_result = make_batch_sql(table=self.table_name, datas=self.batch_buffer)
+            batch_result = SQLBuilder.make_batch(table=self.table_name, datas=self.batch_buffer)
             if batch_result is None:
                 self.logger.warning("批量插入数据为空")
                 self.batch_buffer.clear()

crawlo/pipelines/pipeline_manager.py

@@ -6,7 +6,7 @@ from asyncio import create_task
 
 from crawlo.utils.log import get_logger
 from crawlo.event import item_successful, item_discard
-from crawlo.utils.class_loader import load_class
+from crawlo.utils.misc import load_object
 from crawlo.project import common_call
 from crawlo.exceptions import PipelineInitError, ItemDiscard, InvalidOutputError, DropItem
 
@@ -61,7 +61,7 @@ class PipelineManager:
     def _add_pipelines(self, pipelines):
         for pipeline in pipelines:
             try:
-                pipeline_cls = load_class(pipeline)
+                pipeline_cls = load_object(pipeline)
                 if not hasattr(pipeline_cls, 'from_crawler'):
                     raise PipelineInitError(
                         f"Pipeline init failed, must inherit from `BasePipeline` or have a `from_crawler` method"

crawlo/project.py

@@ -1,8 +1,6 @@
+import configparser
 import os
 import sys
-import importlib
-import configparser
-from importlib import import_module
 from inspect import iscoroutinefunction
 from typing import Callable, Optional, Any
 
@@ -42,7 +40,7 @@ def load_class(path: str) -> Any:
         加载的类对象
     """
     # 使用工具模块的实现，避免循环依赖
-    from crawlo.utils.class_loader import load_class as _load_class
+    from crawlo.utils.misc import load_object as _load_class
     return _load_class(path)
 
 

crawlo/queue/pqueue.py

@@ -1,12 +1,8 @@
 # -*- coding:UTF-8 -*-
-import json
-import sys
 import asyncio
+import sys
 from asyncio import PriorityQueue
-from typing import Optional, Tuple, Any
-
-
-from crawlo import Request
+from typing import Optional, Any
 
 
 class SpiderPriorityQueue(PriorityQueue):

crawlo/queue/queue_manager.py

@@ -5,11 +5,10 @@
 提供简洁、一致的队列接口，自动处理不同队列类型的差异
 """
 import asyncio
+import time
 import traceback
 from enum import Enum
 from typing import Optional, Dict, Any, Union, TYPE_CHECKING
-import time
-import random
 
 if TYPE_CHECKING:
     from crawlo import Request

crawlo/settings/default_settings.py

@@ -6,9 +6,7 @@
 # 添加环境变量配置工具导入
 from crawlo.utils.env_config import get_redis_config, get_runtime_config, get_version
 
-# ===========================================================================
-#                              1. 框架基础配置
-# ===========================================================================
+# --------------------------------- 1. 框架基础配置 ------------------------------------
 
 # 框架初始化控制
 FRAMEWORK_INIT_ORDER = [
@@ -27,9 +25,11 @@ VERSION = get_version()  # 项目版本号 - 从框架的__version__.py文件中
 RUN_MODE = runtime_config['CRAWLO_MODE']  # 运行模式：standalone/distributed/auto
 CONCURRENCY = runtime_config['CONCURRENCY']  # 并发数配置
 
-# ===========================================================================
-#                              2. 爬虫核心配置
-# ===========================================================================
+# 爬虫模块配置
+SPIDER_MODULES = []  # 爬虫模块列表
+SPIDER_LOADER_WARN_ONLY = False  # 爬虫加载器是否只警告不报错
+
+# --------------------------------- 2. 爬虫核心配置 ------------------------------------
 
 # 下载器配置
 DOWNLOADER = "crawlo.downloader.httpx_downloader.HttpXDownloader"  # 默认下载器
@@ -53,9 +53,7 @@ QUEUE_TYPE = 'auto'  # 队列类型：memory/redis/auto
 QUEUE_MAX_RETRIES = 3  # 队列操作最大重试次数
 QUEUE_TIMEOUT = 300  # 队列操作超时时间（秒）
 
-# ===========================================================================
-#                            3. 数据库和过滤器配置
-# ===========================================================================
+# --------------------------------- 3. 数据库和过滤器配置 ------------------------------------
 
 # MySQL配置
 MYSQL_HOST = '127.0.0.1'
@@ -100,9 +98,7 @@ FILTER_CLASS = 'crawlo.filters.memory_filter.MemoryFilter'
 BLOOM_FILTER_CAPACITY = 1000000  # Bloom过滤器容量
 BLOOM_FILTER_ERROR_RATE = 0.001  # Bloom过滤器错误率
 
-# ===========================================================================
-#                              4. 中间件配置
-# ===========================================================================
+# --------------------------------- 4. 中间件配置 ------------------------------------
 
 # 框架中间件列表（框架默认中间件 + 用户自定义中间件）
 MIDDLEWARES = [
@@ -118,18 +114,14 @@ MIDDLEWARES = [
     'crawlo.middleware.response_filter.ResponseFilterMiddleware',  # 8. 响应内容过滤
 ]
 
-# ===========================================================================
-#                              5. 管道配置
-# ===========================================================================
+# --------------------------------- 5. 管道配置 ------------------------------------
 
 # 框架数据处理管道列表（框架默认管道 + 用户自定义管道）
 PIPELINES = [
     'crawlo.pipelines.console_pipeline.ConsolePipeline',
 ]
 
-# ===========================================================================
-#                              6. 扩展配置
-# ===========================================================================
+# --------------------------------- 6. 扩展配置 ------------------------------------
 
 # 框架扩展组件列表（框架默认扩展 + 用户自定义扩展）
 EXTENSIONS = [
@@ -138,9 +130,7 @@ EXTENSIONS = [
     'crawlo.extension.logging_extension.CustomLoggerExtension',  # 自定义日志
 ]
 
-# ===========================================================================
-#                            7. 日志与监控配置
-# ===========================================================================
+# --------------------------------- 7. 日志与监控配置 ------------------------------------
 
 # 日志配置
 LOG_LEVEL = None  # 日志级别: DEBUG/INFO/WARNING/ERROR，默认为None，由用户在项目settings中设置
@@ -148,13 +138,12 @@ STATS_DUMP = True  # 是否周期性输出统计信息
 LOG_FILE = None  # 日志文件路径，将在项目配置中设置
 LOG_FORMAT = '%(asctime)s - [%(name)s] - %(levelname)s: %(message)s'
 LOG_ENCODING = 'utf-8'
+LOG_MAX_BYTES = 10 * 1024 * 1024  # 日志轮转大小（字节）
+LOG_BACKUP_COUNT = 5  # 日志备份数量
 
 # 日志间隔配置
 INTERVAL = 60  # 日志输出间隔（秒）
 
-# 自定义日志配置
-LOG_ENABLE_CUSTOM = False  # 是否启用自定义日志
-
 # 内存监控配置
 MEMORY_MONITOR_ENABLED = False  # 是否启用内存监控
 MEMORY_MONITOR_INTERVAL = 60  # 内存监控检查间隔（秒）
@@ -169,9 +158,7 @@ PERFORMANCE_PROFILER_INTERVAL = 300  # 性能分析间隔（秒）
 # 健康检查配置
 HEALTH_CHECK_ENABLED = True  # 是否启用健康检查
 
-# ===========================================================================
-#                            8. 网络请求配置
-# ===========================================================================
+# --------------------------------- 8. 网络请求配置 ------------------------------------
 
 # 默认请求头配置
 DEFAULT_REQUEST_HEADERS = {
@@ -262,9 +249,7 @@ PLAYWRIGHT_MAX_PAGES_PER_BROWSER = 10  # 单浏览器最大页面数量
 CONNECTION_TTL_DNS_CACHE = 300  # DNS缓存TTL（秒）
 CONNECTION_KEEPALIVE_TIMEOUT = 15  # Keep-Alive超时（秒）
 
-# ===========================================================================
-#                            9. 数据存储配置
-# ===========================================================================
+# --------------------------------- 9. 数据存储配置 ------------------------------------
 
 # CSV管道配置
 CSV_DELIMITER = ','  # CSV分隔符

crawlo/task_manager.py

@@ -1,10 +1,10 @@
 #!/usr/bin/python
 # -*- coding:UTF-8 -*-
+import time
 import asyncio
-from asyncio import Task, Future, Semaphore
 from typing import Set, Final
 from collections import deque
-import time
+from asyncio import Task, Future, Semaphore
 from crawlo.utils.log import get_logger
 
 

crawlo/templates/project/items.py.tmpl

@@ -8,9 +8,9 @@
 from crawlo.items import Item, Field
 
 
-class ExampleItem(Item):
+class {{project_name|title}}Item(Item):
     """
-    一个示例数据项。
+    {{project_name}} 项目的数据项。
     """
     id = Field()
     # price = Field()

crawlo/templates/project/middlewares.py.tmpl

@@ -2,118 +2,38 @@
 """
 {{project_name}}.middlewares
 ============================
-自定义中间件，用于在请求/响应/异常处理过程中插入自定义逻辑。
-
-这是一个简单的示例中间件，您可以根据需要添加更多中间件。
+自定义中间件示例
 """
 
-import random
-from crawlo import Request, Response
+from crawlo.network import Request, Response
 from crawlo.utils.log import get_logger
 
 
-class ExampleMiddleware:
+class {{project_name|title}}Middleware:
     """
-    示例中间件，演示如何处理请求、响应和异常。
-    
-    此中间件会：
-    1. 为请求添加随机 User-Agent
-    2. 记录请求和响应信息
-    3. 处理异常情况
+    {{project_name}} 项目的中间件
     """
     
     def __init__(self):
         self.logger = get_logger(self.__class__.__name__)
-        self.user_agents = [
-            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/136.0.0.0 Safari/537.36',
-            'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/136.0.0.0 Safari/537.36',
-            'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:135.0) Gecko/20100101 Firefox/135.0',
-            'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:135.0) Gecko/20100101 Firefox/135.0',
-        ]
 
     def process_request(self, request, spider):
         """
-        在请求被下载器执行前调用。
-        
-        Args:
-            request: 请求对象
-            spider: 爬虫实例
-            
-        Returns:
-            None: 继续处理请求
-            Response: 返回响应对象（短路处理）
-            Request: 返回新请求对象（替换原请求）
+        在请求被下载器执行前调用
         """
-        # 为请求添加随机 User-Agent
-        if 'User-Agent' not in request.headers:
-            ua = random.choice(self.user_agents)
-            request.headers['User-Agent'] = ua
-            self.logger.debug(f"为请求 {request.url} 设置 User-Agent: {ua[:50]}...")
-        
+        self.logger.info(f"处理请求: {request.url}")
         return None
 
     def process_response(self, request, response, spider):
         """
-        在响应被 Spider 处理前调用。
-        
-        Args:
-            request: 原始请求对象
-            response: 响应对象
-            spider: 爬虫实例
-            
-        Returns:
-            Response: 处理后的响应对象
+        在响应被 Spider 处理前调用
         """
-        # 记录响应信息
         self.logger.info(f"收到响应: {request.url} - 状态码: {response.status_code}")
-        
-        # 可以在这里处理特殊状态码
-        if response.status_code == 403:
-            self.logger.warning(f"访问被拒绝: {request.url}")
-        
         return response
 
     def process_exception(self, request, exception, spider):
         """
-        在下载或处理过程中发生异常时调用。
-        
-        Args:
-            request: 请求对象
-            exception: 异常对象
-            spider: 爬虫实例
-            
-        Returns:
-            None: 异常将继续传播
-            Response: 返回响应对象（处理异常）
-            Request: 返回新请求对象（重试请求）
+        在下载或处理过程中发生异常时调用
         """
         self.logger.error(f"请求异常: {request.url} - {exception}")
-        return None
-
-
-# ======================== 使用说明 ========================
-# 
-# 在 settings.py 中启用中间件：
-# MIDDLEWARES = [
-#     '{{project_name}}.middlewares.ExampleMiddleware',
-# ]
-# 
-# 您可以根据需要添加更多中间件，例如：
-# 1. 请求处理中间件（修改请求头、设置代理等）
-# 2. 响应处理中间件（解析、过滤等）
-# 3. 异常处理中间件（重试、记录等）
-# 
-# 每个中间件可以实现以下方法：
-# - process_request: 处理请求
-# - process_response: 处理响应
-# - process_exception: 处理异常
-# 
-# 注意：Crawlo框架提供了许多内置中间件，您可以直接使用：
-# - DownloadDelayMiddleware: 控制请求延迟
-# - ResponseCodeMiddleware: 处理HTTP状态码并记录统计信息
-# - ResponseFilterMiddleware: 过滤特定状态码的响应
-# - DefaultHeaderMiddleware: 添加默认请求头
-# - ProxyMiddleware: 设置代理
-# - RetryMiddleware: 处理重试逻辑
-# - OffsiteMiddleware: 过滤站外请求
-# ======================== 使用说明 ========================
+        return None

crawlo/templates/project/pipelines.py.tmpl

@@ -2,96 +2,36 @@
 """
 {{project_name}}.pipelines
 ==========================
-数据管道，用于处理 Spider 返回的 Item。
-例如：清理、验证、去重、保存到数据库等。
-
-这是一个简单的示例管道，您可以根据需要添加更多管道。
+数据管道示例
 """
 
-from datetime import datetime
 from crawlo.exceptions import DropItem
 from crawlo.utils.log import get_logger
 
 
-class ExamplePipeline:
+class {{project_name|title}}Pipeline:
     """
-    示例管道，演示如何处理数据项。
-    
-    此管道会：
-    1. 验证必要字段
-    2. 清理数据
-    3. 添加时间戳
-    4. 记录处理日志
+    {{project_name}} 项目的数据管道
     """
     
     def __init__(self):
         self.logger = get_logger(self.__class__.__name__)
-        self.item_count = 0
 
     def process_item(self, item, spider):
         """
-        处理数据项。
-        
-        Args:
-            item: 要处理的数据项
-            spider: 爬虫实例
-            
-        Returns:
-            处理后的数据项
-            
-        Raises:
-            DropItem: 如果数据项无效则抛出此异常
+        处理数据项
         """
-        # 验证必要字段
-        if not item.get('title') or not item.get('url'):
-            raise DropItem("缺少必要字段: title 或 url")
-        
-        # 数据清理
-        item['title'] = str(item['title']).strip()
-        
-        # 添加处理时间戳
-        item['processed_at'] = datetime.now().isoformat()
-        
-        # 计数器
-        self.item_count += 1
-        
-        # 记录日志
-        self.logger.info(f"处理第 {self.item_count} 个数据项: {item['title']}")
-        
+        self.logger.info(f"处理数据项: {item}")
         return item
 
     def open_spider(self, spider):
         """
-        爬虫启动时调用。
-        
-        Args:
-            spider: 爬虫实例
+        爬虫启动时调用
         """
         self.logger.info(f"管道已启动，准备处理爬虫 '{spider.name}' 的数据")
 
     def close_spider(self, spider):
         """
-        爬虫关闭时调用。
-        
-        Args:
-            spider: 爬虫实例
+        爬虫关闭时调用
         """
-        self.logger.info(f"管道已关闭，共处理了 {self.item_count} 个数据项")
-
-
-# ======================== 使用说明 ========================
-# 
-# 在 settings.py 中启用管道：
-# PIPELINES = [
-#     '{{project_name}}.pipelines.ExamplePipeline',
-# ]
-# 
-# 您可以根据需要添加更多管道，例如：
-# 1. 数据验证管道
-# 2. 去重管道
-# 3. 数据存储管道（数据库、文件等）
-# 4. 数据转换管道
-# 
-# 每个管道都应该实现 process_item 方法，
-# 可选实现 open_spider 和 close_spider 方法。
-# ======================== 使用说明 ========================
+        self.logger.info("管道已关闭")

crawlo/templates/project/settings.py.tmpl

@@ -3,84 +3,69 @@
 {{project_name}} 项目配置文件
 =============================
 基于 Crawlo 框架的爬虫项目配置。
-"""
-
-import os
-
-# ============================== 项目基本信息 ==============================
-PROJECT_NAME = '{{project_name}}'
-
-# ============================== 运行模式 ==============================
-# 可选值: 'standalone', 'distributed', 'auto'
-RUN_MODE = 'standalone'
 
-# ============================== 并发配置 ==============================
-CONCURRENCY = 8
-MAX_RUNNING_SPIDERS = 1
-DOWNLOAD_DELAY = 1.0
+此配置使用 CrawloConfig.standalone() 工厂方法创建单机模式配置，
+适用于开发测试和中小规模数据采集任务。
+"""
 
-# ============================== 下载器配置 ==============================
-# 可选下载器:
-# DOWNLOADER = 'crawlo.downloader.aiohttp_downloader.AioHttpDownloader'
-# DOWNLOADER = 'crawlo.downloader.httpx_downloader.HttpXDownloader'
-# DOWNLOADER = 'crawlo.downloader.cffi_downloader.CurlCffiDownloader'
-DOWNLOADER = 'crawlo.downloader.aiohttp_downloader.AioHttpDownloader'
+from crawlo.config import CrawloConfig
 
-# ============================== 队列配置 ==============================
-# 队列类型: 'memory', 'redis', 'auto'
-QUEUE_TYPE = 'memory'
-# 当使用Redis队列时，可自定义队列名称
-# 队列名称遵循统一命名规范: crawlo:{PROJECT_NAME}:queue:requests
-# SCHEDULER_QUEUE_NAME = f'crawlo:{PROJECT_NAME}:queue:requests'
+# 使用单机模式配置工厂创建配置
+config = CrawloConfig.auto(
+    project_name='{{project_name}}',
+    concurrency=8,
+    download_delay=1.0
+)
 
-# ============================== 去重过滤器 ==============================
-FILTER_CLASS = 'crawlo.filters.memory_filter.MemoryFilter'
+# 将配置转换为当前模块的全局变量
+locals().update(config.to_dict())
 
-# ============================== 默认去重管道 ==============================
-DEFAULT_DEDUP_PIPELINE = 'crawlo.pipelines.memory_dedup_pipeline.MemoryDedupPipeline'
+# =================================== 爬虫配置 ===================================
 
-# ============================== 爬虫模块配置 ==============================
+# 爬虫模块配置
 SPIDER_MODULES = ['{{project_name}}.spiders']
 
-# ============================== 中间件 ==============================
-# MIDDLEWARES = [
-#     'crawlo.middleware.simple_proxy.SimpleProxyMiddleware',
-# ]
-
-# ============================== 默认请求头配置 ==============================
+# 默认请求头配置
 # 为DefaultHeaderMiddleware配置默认请求头
-DEFAULT_REQUEST_HEADERS = {
-    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
-    'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
-    'Accept-Encoding': 'gzip, deflate, br',
-}
+# DEFAULT_REQUEST_HEADERS = {}
 
-# ============================== 允许的域名 ==============================
+# 允许的域名
 # 为OffsiteMiddleware配置允许的域名
-# ALLOWED_DOMAINS = ['example.com']
+# ALLOWED_DOMAINS = []
 
-# ============================== 数据管道 ==============================
+# 数据管道
+# 如需添加自定义管道，请取消注释并添加
 # PIPELINES = [
-#     'crawlo.pipelines.mysql_pipeline.AsyncmyMySQLPipeline',     # MySQL 存储（使用asyncmy异步库）
+#     'crawlo.pipelines.mysql_pipeline.AsyncmyMySQLPipeline',  # MySQL 存储（使用asyncmy异步库）
+#     # '{{project_name}}.pipelines.CustomPipeline',  # 用户自定义管道示例
 # ]
 
-# ============================== 扩展组件 ==============================
+# =================================== 系统配置 ===================================
+
+# 扩展组件
+# 如需添加自定义扩展，请取消注释并添加
 # EXTENSIONS = [
-#     'crawlo.extension.log_interval.LogIntervalExtension',
-#     'crawlo.extension.log_stats.LogStats',
-#     'crawlo.extension.logging_extension.CustomLoggerExtension',
+#     # '{{project_name}}.extensions.CustomExtension',  # 用户自定义扩展示例
 # ]
 
-# ============================== 日志配置 ==============================
+# 中间件
+# 如需添加自定义中间件，请取消注释并添加
+# MIDDLEWARES = [
+#     # '{{project_name}}.middlewares.CustomMiddleware',  # 用户自定义中间件示例
+# ]
+
+# 日志配置
 LOG_LEVEL = 'INFO'
 LOG_FILE = 'logs/{{project_name}}.log'
 LOG_ENCODING = 'utf-8'  # 明确指定日志文件编码
 STATS_DUMP = True
 
-# ============================== 输出配置 ==============================
+# 输出配置
 OUTPUT_DIR = 'output'
 
-# ============================== Redis配置 ==============================
+# =================================== 数据库配置 ===================================
+
+# Redis配置
 REDIS_HOST = '127.0.0.1'
 REDIS_PORT = 6379
 REDIS_PASSWORD = ''
@@ -92,18 +77,18 @@ if REDIS_PASSWORD:
 else:
     REDIS_URL = f'redis://{REDIS_HOST}:{REDIS_PORT}/{REDIS_DB}'
 
-# ============================== MySQL配置 ==============================
-MYSQL_HOST = os.getenv('MYSQL_HOST', '127.0.0.1')
-MYSQL_PORT = int(os.getenv('MYSQL_PORT', 3306))
-MYSQL_USER = os.getenv('MYSQL_USER', 'root')
-MYSQL_PASSWORD = os.getenv('MYSQL_PASSWORD', '123456')
-MYSQL_DB = os.getenv('MYSQL_DB', '{{project_name}}')
+# MySQL配置
+MYSQL_HOST = '127.0.0.1'
+MYSQL_PORT = 3306
+MYSQL_USER = 'root'
+MYSQL_PASSWORD = '123456'
+MYSQL_DB = '{{project_name}}'
 MYSQL_TABLE = '{{project_name}}_data'
 MYSQL_BATCH_SIZE = 100
 MYSQL_USE_BATCH = False  # 是否启用批量插入
 
-# ============================== MongoDB配置 ==============================
-MONGO_URI = os.getenv('MONGO_URI', 'mongodb://localhost:27017')
+# MongoDB配置
+MONGO_URI = 'mongodb://localhost:27017'
 MONGO_DATABASE = '{{project_name}}_db'
 MONGO_COLLECTION = '{{project_name}}_items'
 MONGO_MAX_POOL_SIZE = 200
@@ -111,7 +96,9 @@ MONGO_MIN_POOL_SIZE = 20
 MONGO_BATCH_SIZE = 100  # 批量插入条数
 MONGO_USE_BATCH = False  # 是否启用批量插入
 
-# ============================== 代理配置 ==============================
+# =================================== 网络配置 ===================================
+
+# 代理配置
 # 代理功能默认不启用，如需使用请在项目配置文件中启用并配置相关参数
 PROXY_ENABLED = False  # 是否启用代理
 
@@ -130,7 +117,6 @@ PROXY_EXTRACTOR = "proxy"
 PROXY_REFRESH_INTERVAL = 60  # 代理刷新间隔（秒）
 PROXY_API_TIMEOUT = 10  # 请求代理 API 超时时间
 
-# ============================== Curl-Cffi 特有配置 ==============================
 # 浏览器指纹模拟（仅 CurlCffi 下载器有效）
 CURL_BROWSER_TYPE = "chrome"  # 可选: chrome, edge, safari, firefox 或版本如 chrome136
 
@@ -142,7 +128,7 @@ CURL_BROWSER_VERSION_MAP = {
     "firefox": "firefox135",
 }
 
-# ============================== 下载器优化配置 ==============================
+# 下载器优化配置
 # 下载器健康检查
 DOWNLOADER_HEALTH_CHECK = True  # 是否启用下载器健康检查
 HEALTH_CHECK_INTERVAL = 60  # 健康检查间隔（秒）
@@ -163,7 +149,7 @@ AIOHTTP_FORCE_CLOSE = False  # 是否强制关闭连接
 CONNECTION_TTL_DNS_CACHE = 300  # DNS缓存TTL（秒）
 CONNECTION_KEEPALIVE_TIMEOUT = 15  # Keep-Alive超时（秒）
 
-# ============================== 内存监控配置 ==============================
+# 内存监控配置
 # 内存监控扩展默认不启用，如需使用请在项目配置文件中启用
 MEMORY_MONITOR_ENABLED = False  # 是否启用内存监控
 MEMORY_MONITOR_INTERVAL = 60  # 内存监控检查间隔（秒）