crawlo 1.4.6__py3-none-any.whl → 1.4.8__py3-none-any.whl

crawlo/templates/project/settings_distributed.py.tmpl

@@ -30,12 +30,10 @@ locals().update(config.to_dict())
 # 爬虫模块配置
 SPIDER_MODULES = ['{{project_name}}.spiders']
 
-# 默认请求头配置
-# 为DefaultHeaderMiddleware配置默认请求头
+# 默认请求头
 # DEFAULT_REQUEST_HEADERS = {}
 
 # 允许的域名
-# 为OffsiteMiddleware配置允许的域名
 # ALLOWED_DOMAINS = []
 
 # 数据管道
@@ -63,6 +61,10 @@ SPIDER_MODULES = ['{{project_name}}.spiders']
 LOG_LEVEL = 'INFO'
 LOG_FILE = 'logs/{{project_name}}.log'
 LOG_ENCODING = 'utf-8'  # 明确指定日志文件编码
+LOG_MAX_BYTES = 20 * 1024 * 1024  # 20MB，推荐值
+LOG_BACKUP_COUNT = 10  # 10个备份文件，推荐值
+# 如果不想要日志轮转，可以设置 LOG_MAX_BYTES = 0
+# 当LOG_MAX_BYTES或LOG_BACKUP_COUNT为0时，日志轮转将被禁用，文件会持续增长
 STATS_DUMP = True
 
 # 输出配置
@@ -108,10 +110,10 @@ MONGO_USE_BATCH = True  # 是否启用批量插入
 
 # =================================== 浏览器指纹模拟 ===================================
 
-# 浏览器指纹模拟（仅 CurlCffi 下载器有效）
-CURL_BROWSER_TYPE = "chrome"  # 可选: chrome, edge, safari, firefox 或版本如 chrome136
+# 浏览器指纹模拟（仅CurlCffiDownloader有效）
+CURL_BROWSER_TYPE = "chrome"  # 可选：chrome/edge/safari/firefox
 
-# 自定义浏览器版本映射（可覆盖默认行为）
+# 自定义浏览器版本映射
 CURL_BROWSER_VERSION_MAP = {
     "chrome": "chrome136",
     "edge": "edge101",
@@ -129,11 +131,11 @@ HEALTH_CHECK_INTERVAL = 60  # 健康检查间隔（秒）
 REQUEST_STATS_ENABLED = True  # 是否启用请求统计
 STATS_RESET_ON_START = False  # 启动时是否重置统计
 
-# HttpX 下载器专用配置
+# HttpX专用配置
 HTTPX_HTTP2 = True  # 是否启用HTTP/2支持
 HTTPX_FOLLOW_REDIRECTS = True  # 是否自动跟随重定向
 
-# AioHttp 下载器专用配置
+# AioHttp专用配置
 AIOHTTP_AUTO_DECOMPRESS = True  # 是否自动解压响应
 AIOHTTP_FORCE_CLOSE = False  # 是否强制关闭连接
 
@@ -143,17 +145,16 @@ CONNECTION_KEEPALIVE_TIMEOUT = 15  # Keep-Alive超时（秒）
 
 # =================================== 代理配置 ===================================
 
-# 简化版代理配置（适用于SimpleProxyMiddleware）
-# 只要配置了代理列表，中间件就会自动启用
+# 简单代理（SimpleProxyMiddleware）
+# 配置代理列表后中间件自动启用
 # PROXY_LIST = ["http://proxy1:8080", "http://proxy2:8080"]
 
-# 高级代理配置（适用于ProxyMiddleware）
-# 只要配置了代理API URL，中间件就会自动启用
+# 动态代理（ProxyMiddleware）
+# 配置代理API URL后中间件自动启用
 # PROXY_API_URL = "http://your-proxy-api.com/get-proxy"
 
 # =================================== 内存监控配置 ===================================
 
-# 内存监控扩展默认不启用，如需使用请在项目配置文件中启用
 MEMORY_MONITOR_ENABLED = False  # 是否启用内存监控
 MEMORY_MONITOR_INTERVAL = 60  # 内存监控检查间隔（秒）
 MEMORY_WARNING_THRESHOLD = 80.0  # 内存使用率警告阈值（百分比）

crawlo/templates/project/settings_gentle.py.tmpl

@@ -11,7 +11,7 @@
 # 项目基本信息
 PROJECT_NAME = '{{project_name}}'
 
-# 运行模式
+# 运行模式：standalone/distributed/auto
 RUN_MODE = 'standalone'
 
 # 并发配置
@@ -23,16 +23,16 @@ RANDOM_RANGE = [0.5, 1.5]  # 随机延迟范围因子
 
 # =================================== 核心组件配置 ===================================
 
-# 下载器配置
+# 下载器：AioHttpDownloader/HttpXDownloader/CurlCffiDownloader
 DOWNLOADER = 'crawlo.downloader.aiohttp_downloader.AioHttpDownloader'
 
-# 队列配置
+# 队列类型：memory/redis/auto
 QUEUE_TYPE = 'memory'
 
-# 去重过滤器
+# 去重过滤器：MemoryFilter/AioRedisFilter
 FILTER_CLASS = 'crawlo.filters.memory_filter.MemoryFilter'
 
-# 默认去重管道
+# 默认去重管道：MemoryDedupPipeline/RedisDedupPipeline
 DEFAULT_DEDUP_PIPELINE = 'crawlo.pipelines.memory_dedup_pipeline.MemoryDedupPipeline'
 
 # =================================== 爬虫配置 ===================================
@@ -40,12 +40,10 @@ DEFAULT_DEDUP_PIPELINE = 'crawlo.pipelines.memory_dedup_pipeline.MemoryDedupPipe
 # 爬虫模块配置
 SPIDER_MODULES = ['{{project_name}}.spiders']
 
-# 默认请求头配置
-# 为DefaultHeaderMiddleware配置默认请求头
+# 默认请求头
 # DEFAULT_REQUEST_HEADERS = {}
 
 # 允许的域名
-# 为OffsiteMiddleware配置允许的域名
 # ALLOWED_DOMAINS = []
 
 # 数据管道
@@ -73,6 +71,10 @@ SPIDER_MODULES = ['{{project_name}}.spiders']
 LOG_LEVEL = 'INFO'
 LOG_FILE = 'logs/{{project_name}}.log'
 LOG_ENCODING = 'utf-8'  # 明确指定日志文件编码
+LOG_MAX_BYTES = 20 * 1024 * 1024  # 20MB，推荐值
+LOG_BACKUP_COUNT = 10  # 10个备份文件，推荐值
+# 如果不想要日志轮转，可以设置 LOG_MAX_BYTES = 0
+# 当LOG_MAX_BYTES或LOG_BACKUP_COUNT为0时，日志轮转将被禁用，文件会持续增长
 STATS_DUMP = True
 
 # 输出配置
@@ -119,28 +121,25 @@ MONGO_USE_BATCH = False  # 是否启用批量插入
 # =================================== 网络配置 ===================================
 
 # 代理配置
-# 代理功能默认不启用，如需使用请在项目配置文件中启用并配置相关参数
 PROXY_ENABLED = False  # 是否启用代理
 
-# 简化版代理配置（适用于SimpleProxyMiddleware）
-PROXY_LIST = []  # 代理列表，例如: ["http://proxy1:8080", "http://proxy2:8080"]
+# 简单代理（SimpleProxyMiddleware）
+PROXY_LIST = []  # 代理列表
 
-# 高级代理配置（适用于ProxyMiddleware）
-PROXY_API_URL = ""  # 代理获取接口（请替换为真实地址）
+# 动态代理（ProxyMiddleware）
+PROXY_API_URL = ""  # 代理API地址
 
-# 代理提取方式（支持字段路径或函数）
-# 示例: "proxy" 适用于 {"proxy": "http://1.1.1.1:8080"}
-# 示例: "data.proxy" 适用于 {"data": {"proxy": "http://1.1.1.1:8080"}}
+# 代理提取方式："proxy" 或 "data.proxy"
 PROXY_EXTRACTOR = "proxy"
 
 # 代理刷新控制
 PROXY_REFRESH_INTERVAL = 60  # 代理刷新间隔（秒）
-PROXY_API_TIMEOUT = 10  # 请求代理 API 超时时间
+PROXY_API_TIMEOUT = 10  # API超时时间
 
-# 浏览器指纹模拟（仅 CurlCffi 下载器有效）
-CURL_BROWSER_TYPE = "chrome"  # 可选: chrome, edge, safari, firefox 或版本如 chrome136
+# 浏览器指纹模拟（仅CurlCffiDownloader有效）
+CURL_BROWSER_TYPE = "chrome"  # 可选：chrome/edge/safari/firefox
 
-# 自定义浏览器版本映射（可覆盖默认行为）
+# 自定义浏览器版本映射
 CURL_BROWSER_VERSION_MAP = {
     "chrome": "chrome136",
     "edge": "edge101",
@@ -157,11 +156,11 @@ HEALTH_CHECK_INTERVAL = 60  # 健康检查间隔（秒）
 REQUEST_STATS_ENABLED = True  # 是否启用请求统计
 STATS_RESET_ON_START = False  # 启动时是否重置统计
 
-# HttpX 下载器专用配置
+# HttpX专用配置
 HTTPX_HTTP2 = True  # 是否启用HTTP/2支持
 HTTPX_FOLLOW_REDIRECTS = True  # 是否自动跟随重定向
 
-# AioHttp 下载器专用配置
+# AioHttp专用配置
 AIOHTTP_AUTO_DECOMPRESS = True  # 是否自动解压响应
 AIOHTTP_FORCE_CLOSE = False  # 是否强制关闭连接
 
@@ -170,7 +169,6 @@ CONNECTION_TTL_DNS_CACHE = 300  # DNS缓存TTL（秒）
 CONNECTION_KEEPALIVE_TIMEOUT = 15  # Keep-Alive超时（秒）
 
 # 内存监控配置
-# 内存监控扩展默认不启用，如需使用请在项目配置文件中启用
 MEMORY_MONITOR_ENABLED = False  # 是否启用内存监控
 MEMORY_MONITOR_INTERVAL = 60  # 内存监控检查间隔（秒）
 MEMORY_WARNING_THRESHOLD = 80.0  # 内存使用率警告阈值（百分比）

crawlo/templates/project/settings_high_performance.py.tmpl

@@ -11,7 +11,7 @@
 # 项目基本信息
 PROJECT_NAME = '{{project_name}}'
 
-# 运行模式
+# 运行模式：standalone/distributed/auto
 RUN_MODE = 'standalone'
 
 # 并发配置
@@ -22,17 +22,17 @@ RANDOMNESS = False  # 禁用随机延迟以保证性能
 
 # =================================== 核心组件配置 ===================================
 
-# 下载器配置
+# 下载器：AioHttpDownloader/HttpXDownloader/CurlCffiDownloader
 DOWNLOADER = 'crawlo.downloader.aiohttp_downloader.AioHttpDownloader'
 
-# 队列配置
+# 队列类型：memory/redis/auto
 QUEUE_TYPE = 'auto'
 
-# 去重过滤器
+# 去重过滤器：MemoryFilter/AioRedisFilter
 # 高性能模式下，如果Redis可用则使用Redis去重，否则使用内存去重
 FILTER_CLASS = 'crawlo.filters.aioredis_filter.AioRedisFilter'
 
-# 默认去重管道
+# 默认去重管道：MemoryDedupPipeline/RedisDedupPipeline
 # 高性能模式下，如果Redis可用则使用Redis去重，否则使用内存去重
 DEFAULT_DEDUP_PIPELINE = 'crawlo.pipelines.redis_dedup_pipeline.RedisDedupPipeline'
 
@@ -41,12 +41,10 @@ DEFAULT_DEDUP_PIPELINE = 'crawlo.pipelines.redis_dedup_pipeline.RedisDedupPipeli
 # 爬虫模块配置
 SPIDER_MODULES = ['{{project_name}}.spiders']
 
-# 默认请求头配置
-# 为DefaultHeaderMiddleware配置默认请求头
+# 默认请求头
 # DEFAULT_REQUEST_HEADERS = {}
 
 # 允许的域名
-# 为OffsiteMiddleware配置允许的域名
 # ALLOWED_DOMAINS = []
 
 # 数据管道
@@ -74,6 +72,10 @@ SPIDER_MODULES = ['{{project_name}}.spiders']
 LOG_LEVEL = 'INFO'
 LOG_FILE = 'logs/{{project_name}}.log'
 LOG_ENCODING = 'utf-8'  # 明确指定日志文件编码
+LOG_MAX_BYTES = 50 * 1024 * 1024  # 50MB，适用于高负载场景
+LOG_BACKUP_COUNT = 20  # 20个备份文件，适用于高负载场景
+# 如果不想要日志轮转，可以设置 LOG_MAX_BYTES = 0
+# 当LOG_MAX_BYTES或LOG_BACKUP_COUNT为0时，日志轮转将被禁用，文件会持续增长
 STATS_DUMP = True
 
 # 输出配置
@@ -120,28 +122,25 @@ MONGO_USE_BATCH = True  # 是否启用批量插入
 # =================================== 网络配置 ===================================
 
 # 代理配置
-# 代理功能默认不启用，如需使用请在项目配置文件中启用并配置相关参数
 PROXY_ENABLED = False  # 是否启用代理
 
-# 简化版代理配置（适用于SimpleProxyMiddleware）
-PROXY_LIST = []  # 代理列表，例如: ["http://proxy1:8080", "http://proxy2:8080"]
+# 简单代理（SimpleProxyMiddleware）
+PROXY_LIST = []  # 代理列表
 
-# 高级代理配置（适用于ProxyMiddleware）
-PROXY_API_URL = ""  # 代理获取接口（请替换为真实地址）
+# 动态代理（ProxyMiddleware）
+PROXY_API_URL = ""  # 代理API地址
 
-# 代理提取方式（支持字段路径或函数）
-# 示例: "proxy" 适用于 {"proxy": "http://1.1.1.1:8080"}
-# 示例: "data.proxy" 适用于 {"data": {"proxy": "http://1.1.1.1:8080"}}
+# 代理提取方式："proxy" 或 "data.proxy"
 PROXY_EXTRACTOR = "proxy"
 
 # 代理刷新控制
 PROXY_REFRESH_INTERVAL = 60  # 代理刷新间隔（秒）
-PROXY_API_TIMEOUT = 10  # 请求代理 API 超时时间
+PROXY_API_TIMEOUT = 10  # API超时时间
 
-# 浏览器指纹模拟（仅 CurlCffi 下载器有效）
-CURL_BROWSER_TYPE = "chrome"  # 可选: chrome, edge, safari, firefox 或版本如 chrome136
+# 浏览器指纹模拟（仅CurlCffiDownloader有效）
+CURL_BROWSER_TYPE = "chrome"  # 可选：chrome/edge/safari/firefox
 
-# 自定义浏览器版本映射（可覆盖默认行为）
+# 自定义浏览器版本映射
 CURL_BROWSER_VERSION_MAP = {
     "chrome": "chrome136",
     "edge": "edge101",
@@ -158,11 +157,11 @@ HEALTH_CHECK_INTERVAL = 30  # 健康检查间隔（秒）
 REQUEST_STATS_ENABLED = True  # 是否启用请求统计
 STATS_RESET_ON_START = False  # 启动时是否重置统计
 
-# HttpX 下载器专用配置
+# HttpX专用配置
 HTTPX_HTTP2 = True  # 是否启用HTTP/2支持
 HTTPX_FOLLOW_REDIRECTS = True  # 是否自动跟随重定向
 
-# AioHttp 下载器专用配置
+# AioHttp专用配置
 AIOHTTP_AUTO_DECOMPRESS = True  # 是否自动解压响应
 AIOHTTP_FORCE_CLOSE = False  # 是否强制关闭连接
 
@@ -171,7 +170,6 @@ CONNECTION_TTL_DNS_CACHE = 300  # DNS缓存TTL（秒）
 CONNECTION_KEEPALIVE_TIMEOUT = 15  # Keep-Alive超时（秒）
 
 # 内存监控配置
-# 内存监控扩展默认不启用，如需使用请在项目配置文件中启用
 MEMORY_MONITOR_ENABLED = False  # 是否启用内存监控
 MEMORY_MONITOR_INTERVAL = 60  # 内存监控检查间隔（秒）
 MEMORY_WARNING_THRESHOLD = 80.0  # 内存使用率警告阈值（百分比）

crawlo/templates/project/settings_minimal.py.tmpl

@@ -11,7 +11,7 @@
 # 项目基本信息
 PROJECT_NAME = '{{project_name}}'
 
-# 运行模式
+# 运行模式：standalone/distributed/auto
 RUN_MODE = 'standalone'
 
 # 并发配置
@@ -21,16 +21,16 @@ DOWNLOAD_DELAY = 1.0
 
 # =================================== 核心组件配置 ===================================
 
-# 下载器配置
+# 下载器：AioHttpDownloader/HttpXDownloader/CurlCffiDownloader
 DOWNLOADER = 'crawlo.downloader.aiohttp_downloader.AioHttpDownloader'
 
-# 队列配置
+# 队列类型：memory/redis/auto
 QUEUE_TYPE = 'memory'
 
-# 去重过滤器
+# 去重过滤器：MemoryFilter/AioRedisFilter
 FILTER_CLASS = 'crawlo.filters.memory_filter.MemoryFilter'
 
-# 默认去重管道
+# 默认去重管道：MemoryDedupPipeline/RedisDedupPipeline
 DEFAULT_DEDUP_PIPELINE = 'crawlo.pipelines.memory_dedup_pipeline.MemoryDedupPipeline'
 
 # =================================== 爬虫配置 ===================================
@@ -38,12 +38,10 @@ DEFAULT_DEDUP_PIPELINE = 'crawlo.pipelines.memory_dedup_pipeline.MemoryDedupPipe
 # 爬虫模块配置
 SPIDER_MODULES = ['{{project_name}}.spiders']
 
-# 默认请求头配置
-# 为DefaultHeaderMiddleware配置默认请求头
+# 默认请求头
 # DEFAULT_REQUEST_HEADERS = {}
 
 # 允许的域名
-# 为OffsiteMiddleware配置允许的域名
 # ALLOWED_DOMAINS = []
 
 # 数据管道
@@ -71,6 +69,10 @@ SPIDER_MODULES = ['{{project_name}}.spiders']
 LOG_LEVEL = 'INFO'
 LOG_FILE = 'logs/{{project_name}}.log'
 LOG_ENCODING = 'utf-8'  # 明确指定日志文件编码
+LOG_MAX_BYTES = 20 * 1024 * 1024  # 20MB，推荐值
+LOG_BACKUP_COUNT = 10  # 10个备份文件，推荐值
+# 如果不想要日志轮转，可以设置 LOG_MAX_BYTES = 0
+# 当LOG_MAX_BYTES或LOG_BACKUP_COUNT为0时，日志轮转将被禁用，文件会持续增长
 STATS_DUMP = True
 
 # 输出配置

crawlo/templates/project/settings_simple.py.tmpl

@@ -11,7 +11,7 @@
 # 项目基本信息
 PROJECT_NAME = '{{project_name}}'
 
-# 运行模式
+# 运行模式：standalone/distributed/auto
 RUN_MODE = 'standalone'
 
 # 并发配置
@@ -21,16 +21,16 @@ DOWNLOAD_DELAY = 1.0
 
 # =================================== 核心组件配置 ===================================
 
-# 下载器配置
+# 下载器：AioHttpDownloader/HttpXDownloader/CurlCffiDownloader
 DOWNLOADER = 'crawlo.downloader.aiohttp_downloader.AioHttpDownloader'
 
-# 队列配置
+# 队列类型：memory/redis/auto
 QUEUE_TYPE = 'memory'
 
-# 去重过滤器
+# 去重过滤器：MemoryFilter/AioRedisFilter
 FILTER_CLASS = 'crawlo.filters.memory_filter.MemoryFilter'
 
-# 默认去重管道
+# 默认去重管道：MemoryDedupPipeline/RedisDedupPipeline
 DEFAULT_DEDUP_PIPELINE = 'crawlo.pipelines.memory_dedup_pipeline.MemoryDedupPipeline'
 
 # =================================== 爬虫配置 ===================================
@@ -38,12 +38,10 @@ DEFAULT_DEDUP_PIPELINE = 'crawlo.pipelines.memory_dedup_pipeline.MemoryDedupPipe
 # 爬虫模块配置
 SPIDER_MODULES = ['{{project_name}}.spiders']
 
-# 默认请求头配置
-# 为DefaultHeaderMiddleware配置默认请求头
+# 默认请求头
 # DEFAULT_REQUEST_HEADERS = {}
 
 # 允许的域名
-# 为OffsiteMiddleware配置允许的域名
 # ALLOWED_DOMAINS = []
 
 # 数据管道
@@ -71,6 +69,10 @@ SPIDER_MODULES = ['{{project_name}}.spiders']
 LOG_LEVEL = 'INFO'
 LOG_FILE = 'logs/{{project_name}}.log'
 LOG_ENCODING = 'utf-8'  # 明确指定日志文件编码
+LOG_MAX_BYTES = 20 * 1024 * 1024  # 20MB，推荐值
+LOG_BACKUP_COUNT = 10  # 10个备份文件，推荐值
+# 如果不想要日志轮转，可以设置 LOG_MAX_BYTES = 0
+# 当LOG_MAX_BYTES或LOG_BACKUP_COUNT为0时，日志轮转将被禁用，文件会持续增长
 STATS_DUMP = True
 
 # 输出配置
@@ -117,28 +119,25 @@ MONGO_USE_BATCH = False  # 是否启用批量插入
 # =================================== 网络配置 ===================================
 
 # 代理配置
-# 代理功能默认不启用，如需使用请在项目配置文件中启用并配置相关参数
 PROXY_ENABLED = False  # 是否启用代理
 
-# 简化版代理配置（适用于SimpleProxyMiddleware）
-PROXY_LIST = []  # 代理列表，例如: ["http://proxy1:8080", "http://proxy2:8080"]
+# 简单代理（SimpleProxyMiddleware）
+PROXY_LIST = []  # 代理列表
 
-# 高级代理配置（适用于ProxyMiddleware）
-PROXY_API_URL = ""  # 代理获取接口（请替换为真实地址）
+# 动态代理（ProxyMiddleware）
+PROXY_API_URL = ""  # 代理API地址
 
-# 代理提取方式（支持字段路径或函数）
-# 示例: "proxy" 适用于 {"proxy": "http://1.1.1.1:8080"}
-# 示例: "data.proxy" 适用于 {"data": {"proxy": "http://1.1.1.1:8080"}}
+# 代理提取方式："proxy" 或 "data.proxy"
 PROXY_EXTRACTOR = "proxy"
 
 # 代理刷新控制
 PROXY_REFRESH_INTERVAL = 60  # 代理刷新间隔（秒）
-PROXY_API_TIMEOUT = 10  # 请求代理 API 超时时间
+PROXY_API_TIMEOUT = 10  # API超时时间
 
-# 浏览器指纹模拟（仅 CurlCffi 下载器有效）
-CURL_BROWSER_TYPE = "chrome"  # 可选: chrome, edge, safari, firefox 或版本如 chrome136
+# 浏览器指纹模拟（仅CurlCffiDownloader有效）
+CURL_BROWSER_TYPE = "chrome"  # 可选：chrome/edge/safari/firefox
 
-# 自定义浏览器版本映射（可覆盖默认行为）
+# 自定义浏览器版本映射
 CURL_BROWSER_VERSION_MAP = {
     "chrome": "chrome136",
     "edge": "edge101",
@@ -155,11 +154,11 @@ HEALTH_CHECK_INTERVAL = 60  # 健康检查间隔（秒）
 REQUEST_STATS_ENABLED = True  # 是否启用请求统计
 STATS_RESET_ON_START = False  # 启动时是否重置统计
 
-# HttpX 下载器专用配置
+# HttpX专用配置
 HTTPX_HTTP2 = True  # 是否启用HTTP/2支持
 HTTPX_FOLLOW_REDIRECTS = True  # 是否自动跟随重定向
 
-# AioHttp 下载器专用配置
+# AioHttp专用配置
 AIOHTTP_AUTO_DECOMPRESS = True  # 是否自动解压响应
 AIOHTTP_FORCE_CLOSE = False  # 是否强制关闭连接
 
@@ -168,7 +167,6 @@ CONNECTION_TTL_DNS_CACHE = 300  # DNS缓存TTL（秒）
 CONNECTION_KEEPALIVE_TIMEOUT = 15  # Keep-Alive超时（秒）
 
 # 内存监控配置
-# 内存监控扩展默认不启用，如需使用请在项目配置文件中启用
 MEMORY_MONITOR_ENABLED = False  # 是否启用内存监控
 MEMORY_MONITOR_INTERVAL = 60  # 内存监控检查间隔（秒）
 MEMORY_WARNING_THRESHOLD = 80.0  # 内存使用率警告阈值（百分比）

crawlo/templates/run.py.tmpl

@@ -8,7 +8,7 @@ from crawlo.crawler import CrawlerProcess
 
 
 def main():
-    """主函数：运行爬虫"""
+    """运行爬虫"""
     try:
         # TODO: 请将 'spider_name' 替换为实际要运行的爬虫名称
         asyncio.run(CrawlerProcess().crawl('spider_name'))

crawlo/templates/spider/spider.py.tmpl

@@ -1,8 +1,6 @@
 # -*- coding: UTF-8 -*-
 """
-{{project_name}}.spiders.{{spider_name}}
-=======================================
-由 `crawlo genspider` 命令生成的爬虫。
+爬虫：{{spider_name}}
 """
 
 from crawlo.spider import Spider
@@ -11,9 +9,7 @@ from ..items import {{item_class}}
 
 
 class {{class_name}}(Spider):
-    """
-    爬虫：{{spider_name}}
-    """
+    """{{spider_name}} 爬虫"""
     name = '{{spider_name}}'
     allowed_domains = ['{{domain}}']
     start_urls = ['https://{{domain}}/']
@@ -22,16 +18,12 @@ class {{class_name}}(Spider):
     custom_settings = {}
 
     def start_requests(self):
-        """
-        生成初始请求。
-        """
+        """生成初始请求"""
         for url in self.start_urls:
             yield Request(url=url, callback=self.parse)
 
     def parse(self, response):
-        """
-        解析响应的主方法。
-        """
+        """解析响应"""
         self.logger.info(f'正在解析页面: {response.url}')
         
         yield {

crawlo/templates/spiders_init.py.tmpl

@@ -1,10 +1,5 @@
 # -*- coding: UTF-8 -*-
 """
-{{project_name}}.spiders
-========================
-存放所有的爬虫。
-
-该文件支持自动导入所有爬虫模块，确保爬虫能被正确注册。
-框架会自动扫描并导入此目录下的所有Python文件（除了__init__.py）。
-"""
-# 框架会自动处理爬虫模块的导入，无需手动导入
+爬虫模块目录
+框架自动扫描并注册此目录下的所有爬虫
+"""

crawlo/tools/__init__.py

@@ -35,60 +35,6 @@ from .text_cleaner import (
     extract_urls
 )
 
-from .data_formatter import (
-    DataFormatter,
-    format_number,
-    format_currency,
-    format_percentage,
-    format_phone_number,
-    format_chinese_id_card,
-    capitalize_words
-)
-
-from .encoding_converter import (
-    EncodingConverter,
-    detect_encoding,
-    to_utf8,
-    convert_encoding
-)
-
-# 数据验证工具封装
-from .data_validator import (
-    DataValidator,
-    validate_email,
-    validate_phone,
-    validate_url,
-    validate_chinese_id_card,
-    validate_date,
-    validate_number_range,
-    check_data_integrity
-)
-
-# 请求处理工具
-from .request_tools import (
-    build_url,
-    add_query_params,
-    merge_headers
-)
-
-# 重试机制封装
-from .retry_mechanism import (
-    RetryMechanism,
-    retry,
-    should_retry,
-    exponential_backoff
-)
-
-# 带认证代理工具
-from .authenticated_proxy import (
-    AuthenticatedProxy,
-    create_proxy_config,
-    format_proxy_for_request,
-    parse_proxy_url,
-    validate_proxy_url,
-    get_proxy_info
-)
-
 # 分布式协调工具
 from .distributed_coordinator import (
     TaskDistributor,
@@ -118,8 +64,6 @@ __all__ = [
     
     # 数据清洗工具
     "TextCleaner",
-    "DataFormatter",
-    "EncodingConverter",
     "remove_html_tags",
     "decode_html_entities",
     "remove_extra_whitespace",
@@ -129,53 +73,6 @@ __all__ = [
     "extract_numbers",
     "extract_emails",
     "extract_urls",
-    "format_number",
-    "format_currency",
-    "format_percentage",
-    "format_phone_number",
-    "format_chinese_id_card",
-    "capitalize_words",
-    "detect_encoding",
-    "to_utf8",
-    "convert_encoding",
-    
-    # 数据验证工具
-    "DataValidator",
-    "validate_email",
-    "validate_phone",
-    "validate_url",
-    "validate_chinese_id_card",
-    "validate_date",
-    "validate_number_range",
-    "check_data_integrity",
-    
-    # 请求处理工具
-    "build_url",
-    "add_query_params",
-    "merge_headers",
-    
-    # 重试机制封装
-    "RetryMechanism",
-    "retry",
-    "should_retry",
-    "exponential_backoff",
-    
-    # 反爬虫应对工具
-    "ProxyPoolManager",
-    "CaptchaHandler",
-    "AntiCrawler",
-    "get_random_user_agent",
-    "rotate_proxy",
-    "handle_captcha",
-    "detect_rate_limiting",
-    
-    # 带认证代理工具
-    "AuthenticatedProxy",
-    "create_proxy_config",
-    "format_proxy_for_request",
-    "parse_proxy_url",
-    "validate_proxy_url",
-    "get_proxy_info",
     
     # 分布式协调工具
     "TaskDistributor",

crawlo/tools/scenario_adapter.py

@@ -24,7 +24,7 @@ import re
 from typing import Dict, Any
 from urllib.parse import urlparse
 
-from crawlo.utils.log import get_logger
+from crawlo.logging import get_logger
 
 
 class DynamicLoadingScenarioAdapter: