crawlo 1.3.2__py3-none-any.whl → 1.3.4__py3-none-any.whl

crawlo/templates/project/settings_gentle.py.tmpl

@@ -1,61 +1,167 @@
-if REDIS_PASSWORD:
-    REDIS_URL = f'redis://:{REDIS_PASSWORD}@{REDIS_HOST}:{REDIS_PORT}/0'
-else:
-    REDIS_URL = f'redis://{REDIS_HOST}:{REDIS_PORT}/0'
+# -*- coding: UTF-8 -*-
+"""
+{{project_name}} 项目配置文件（温和版）
+=============================
+基于 Crawlo 框架的温和爬虫项目配置。
+对目标网站友好，适合长期运行。
+"""
+
+# ============================== 项目基本信息 ==============================
+PROJECT_NAME = '{{project_name}}'
+
+# ============================== 运行模式 ==============================
+RUN_MODE = 'standalone'
 
-# Redis key配置已移至各组件中，使用统一的命名规范
-# crawlo:{project_name}:filter:fingerprint (请求去重)
-# crawlo:{project_name}:item:fingerprint (数据项去重)
-# crawlo:{project_name}:queue:requests (请求队列)
-# crawlo:{project_name}:queue:processing (处理中队列)
-# crawlo:{project_name}:queue:failed (失败队列)
+# ============================== 并发配置 ==============================
+CONCURRENCY = 2
+MAX_RUNNING_SPIDERS = 1
+DOWNLOAD_DELAY = 3.0  # 增加延迟以降低目标网站压力
+RANDOMNESS = True  # 启用随机延迟
+RANDOM_RANGE = [0.5, 1.5]  # 随机延迟范围因子
 
-REDIS_TTL = 0
-CLEANUP_FP = 0
-FILTER_DEBUG = True
-DECODE_RESPONSES = True
+# ============================== 下载器配置 ==============================
+# 可选下载器:
+# DOWNLOADER = 'crawlo.downloader.aiohttp_downloader.AioHttpDownloader'
+# DOWNLOADER = 'crawlo.downloader.httpx_downloader.HttpXDownloader'
+# DOWNLOADER = 'crawlo.downloader.cffi_downloader.CurlCffiDownloader'
+DOWNLOADER = 'crawlo.downloader.aiohttp_downloader.AioHttpDownloader'
 
-# ============================== 域名过滤配置 ==============================
-# OffsiteMiddleware 配置，用于限制爬虫只爬取指定域名的页面
-# 如需启用域名过滤功能，请取消注释并配置允许的域名列表
-# ALLOWED_DOMAINS = ['example.com', 'www.example.com']
+# ============================== 队列配置 ==============================
+QUEUE_TYPE = 'memory'
 
-# ============================== 用户自定义中间件配置 ==============================
-# 注意：框架默认中间件已自动加载，此处可添加或覆盖默认中间件
+# ============================== 去重过滤器 ==============================
+FILTER_CLASS = 'crawlo.filters.memory_filter.MemoryFilter'
 
-# 中间件列表（框架默认中间件 + 用户自定义中间件）
+# ============================== 默认去重管道 ==============================
+DEFAULT_DEDUP_PIPELINE = 'crawlo.pipelines.memory_dedup_pipeline.MemoryDedupPipeline'
+
+# ============================== 爬虫模块配置 ==============================
+SPIDER_MODULES = ['{{project_name}}.spiders']
+
+# ============================== 中间件 ==============================
 # MIDDLEWARES = [
-    # '{{project_name}}.middlewares.CustomMiddleware',  # 示例自定义中间件
+#     'crawlo.middleware.simple_proxy.SimpleProxyMiddleware',
 # ]
 
-# ============================== 用户自定义数据管道配置 ==============================
-# 注意：框架默认管道已自动加载，此处可添加或覆盖默认管道
+# ============================== 默认请求头配置 ==============================
+# 为DefaultHeaderMiddleware配置默认请求头
+DEFAULT_REQUEST_HEADERS = {
+    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
+    'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
+    'Accept-Encoding': 'gzip, deflate, br',
+}
 
-# 数据处理管道列表（框架默认管道 + 用户自定义管道）
+# ============================== 允许的域名 ==============================
+# 为OffsiteMiddleware配置允许的域名
+# ALLOWED_DOMAINS = ['example.com']
+
+# ============================== 数据管道 ==============================
 # PIPELINES = [
-    # '{{project_name}}.pipelines.DatabasePipeline',        # 自定义数据库管道
-    # 'crawlo.pipelines.mysql_pipeline.AsyncmyMySQLPipeline',  # MySQL 存储
-    # 'crawlo.pipelines.mongo_pipeline.MongoPipeline',      # MongoDB 存储
+#     'crawlo.pipelines.mysql_pipeline.AsyncmyMySQLPipeline',     # MySQL 存储（使用asyncmy异步库）
 # ]
 
-# 明确添加默认去重管道到管道列表开头
-# PIPELINES.insert(0, DEFAULT_DEDUP_PIPELINE)
-
-# ============================== 用户自定义扩展组件 ==============================
-# 注意：框架默认扩展已自动加载，此处可添加或覆盖默认扩展
-
-# 扩展组件列表（框架默认扩展 + 用户自定义扩展）
+# ============================== 扩展组件 ==============================
 # EXTENSIONS = [
-    # 'crawlo.extension.memory_monitor.MemoryMonitorExtension',  # 内存监控
-    # 'crawlo.extension.request_recorder.RequestRecorderExtension',  # 请求记录
-    # 'crawlo.extension.performance_profiler.PerformanceProfilerExtension',  # 性能分析
-    # 'crawlo.extension.health_check.HealthCheckExtension',  # 健康检查
+#     'crawlo.extension.log_interval.LogIntervalExtension',
+#     'crawlo.extension.log_stats.LogStats',
+#     'crawlo.extension.logging_extension.CustomLoggerExtension',
 # ]
 
 # ============================== 日志配置 ==============================
-
 LOG_LEVEL = 'INFO'
+LOG_FILE = 'logs/{{project_name}}.log'
+LOG_ENCODING = 'utf-8'  # 明确指定日志文件编码
 STATS_DUMP = True
-LOG_FILE = f'logs/{{project_name}}.log'
-LOG_FORMAT = '%(asctime)s - [%(name)s] - %(levelname)s: %(message)s'
-LOG_ENCODING = 'utf-8'
+
+# ============================== 输出配置 ==============================
+OUTPUT_DIR = 'output'
+
+# ============================== Redis配置 ==============================
+REDIS_HOST = '127.0.0.1'
+REDIS_PORT = 6379
+REDIS_PASSWORD = ''
+REDIS_DB = 0
+
+# 根据是否有密码生成 URL
+if REDIS_PASSWORD:
+    REDIS_URL = f'redis://:{REDIS_PASSWORD}@{REDIS_HOST}:{REDIS_PORT}/{REDIS_DB}'
+else:
+    REDIS_URL = f'redis://{REDIS_HOST}:{REDIS_PORT}/{REDIS_DB}'
+
+# ============================== MySQL配置 ==============================
+MYSQL_HOST = '127.0.0.1'
+MYSQL_PORT = 3306
+MYSQL_USER = 'root'
+MYSQL_PASSWORD = '123456'
+MYSQL_DB = '{{project_name}}'
+MYSQL_TABLE = '{{project_name}}_data'
+MYSQL_BATCH_SIZE = 100
+MYSQL_USE_BATCH = False  # 是否启用批量插入
+
+# ============================== MongoDB配置 ==============================
+MONGO_URI = 'mongodb://localhost:27017'
+MONGO_DATABASE = '{{project_name}}_db'
+MONGO_COLLECTION = '{{project_name}}_items'
+MONGO_MAX_POOL_SIZE = 200
+MONGO_MIN_POOL_SIZE = 20
+MONGO_BATCH_SIZE = 100  # 批量插入条数
+MONGO_USE_BATCH = False  # 是否启用批量插入
+
+# ============================== 代理配置 ==============================
+# 代理功能默认不启用，如需使用请在项目配置文件中启用并配置相关参数
+PROXY_ENABLED = False  # 是否启用代理
+
+# 简化版代理配置（适用于SimpleProxyMiddleware）
+PROXY_LIST = []  # 代理列表，例如: ["http://proxy1:8080", "http://proxy2:8080"]
+
+# 高级代理配置（适用于ProxyMiddleware）
+PROXY_API_URL = ""  # 代理获取接口（请替换为真实地址）
+
+# 代理提取方式（支持字段路径或函数）
+# 示例: "proxy" 适用于 {"proxy": "http://1.1.1.1:8080"}
+# 示例: "data.proxy" 适用于 {"data": {"proxy": "http://1.1.1.1:8080"}}
+PROXY_EXTRACTOR = "proxy"
+
+# 代理刷新控制
+PROXY_REFRESH_INTERVAL = 60  # 代理刷新间隔（秒）
+PROXY_API_TIMEOUT = 10  # 请求代理 API 超时时间
+
+# ============================== Curl-Cffi 特有配置 ==============================
+# 浏览器指纹模拟（仅 CurlCffi 下载器有效）
+CURL_BROWSER_TYPE = "chrome"  # 可选: chrome, edge, safari, firefox 或版本如 chrome136
+
+# 自定义浏览器版本映射（可覆盖默认行为）
+CURL_BROWSER_VERSION_MAP = {
+    "chrome": "chrome136",
+    "edge": "edge101",
+    "safari": "safari184",
+    "firefox": "firefox135",
+}
+
+# ============================== 下载器优化配置 ==============================
+# 下载器健康检查
+DOWNLOADER_HEALTH_CHECK = True  # 是否启用下载器健康检查
+HEALTH_CHECK_INTERVAL = 60  # 健康检查间隔（秒）
+
+# 请求统计配置
+REQUEST_STATS_ENABLED = True  # 是否启用请求统计
+STATS_RESET_ON_START = False  # 启动时是否重置统计
+
+# HttpX 下载器专用配置
+HTTPX_HTTP2 = True  # 是否启用HTTP/2支持
+HTTPX_FOLLOW_REDIRECTS = True  # 是否自动跟随重定向
+
+# AioHttp 下载器专用配置
+AIOHTTP_AUTO_DECOMPRESS = True  # 是否自动解压响应
+AIOHTTP_FORCE_CLOSE = False  # 是否强制关闭连接
+
+# 通用优化配置
+CONNECTION_TTL_DNS_CACHE = 300  # DNS缓存TTL（秒）
+CONNECTION_KEEPALIVE_TIMEOUT = 15  # Keep-Alive超时（秒）
+
+# ============================== 内存监控配置 ==============================
+# 内存监控扩展默认不启用，如需使用请在项目配置文件中启用
+MEMORY_MONITOR_ENABLED = False  # 是否启用内存监控
+MEMORY_MONITOR_INTERVAL = 60  # 内存监控检查间隔（秒）
+MEMORY_WARNING_THRESHOLD = 80.0  # 内存使用率警告阈值（百分比）
+MEMORY_CRITICAL_THRESHOLD = 90.0  # 内存使用率严重阈值（百分比）

crawlo/templates/project/settings_high_performance.py.tmpl

@@ -1,131 +1,168 @@
 # -*- coding: UTF-8 -*-
 """
-高性能模式配置模板
-针对大规模高并发优化
+{{project_name}} 项目配置文件（高性能版）
+=============================
+基于 Crawlo 框架的高性能爬虫项目配置。
+适合大规模高并发场景。
 """
 
 # ============================== 项目基本信息 ==============================
 PROJECT_NAME = '{{project_name}}'
 
-# ============================== 高性能运行模式 ==============================
-# 运行模式：'standalone'(单机), 'distributed'(分布式), 'auto'(自动检测)
-RUN_MODE = 'standalone'  # 单机模式 - 适用于开发和小规模数据采集
+# ============================== 运行模式 ==============================
+RUN_MODE = 'standalone'
 
-# 并发配置
-CONCURRENCY = 32  # 高并发数以充分利用系统资源
-DOWNLOAD_DELAY = 0.1  # 极小延迟以提高吞吐量
+# ============================== 并发配置 ==============================
+CONCURRENCY = 32
+MAX_RUNNING_SPIDERS = 10
+DOWNLOAD_DELAY = 0.1
 RANDOMNESS = False  # 禁用随机延迟以保证性能
 
-# ============================== 队列配置 ==============================
-
-# 队列类型：'auto'（自动选择）, 'memory'（内存队列）, 'redis'（分布式队列）
-QUEUE_TYPE = 'auto'  # 自动检测，如果Redis可用则使用Redis队列
-SCHEDULER_MAX_QUEUE_SIZE = 5000
-SCHEDULER_QUEUE_NAME = f'crawlo:{{project_name}}:queue:requests'
-QUEUE_MAX_RETRIES = 3
-QUEUE_TIMEOUT = 300
+# ============================== 下载器配置 ==============================
+# 可选下载器:
+# DOWNLOADER = 'crawlo.downloader.aiohttp_downloader.AioHttpDownloader'
+# DOWNLOADER = 'crawlo.downloader.httpx_downloader.HttpXDownloader'
+# DOWNLOADER = 'crawlo.downloader.cffi_downloader.CurlCffiDownloader'
+DOWNLOADER = 'crawlo.downloader.aiohttp_downloader.AioHttpDownloader'
 
-# ============================== 去重过滤配置 ==============================
+# ============================== 队列配置 ==============================
+QUEUE_TYPE = 'auto'
 
+# ============================== 去重过滤器 ==============================
 # 高性能模式下，如果Redis可用则使用Redis去重，否则使用内存去重
-DEFAULT_DEDUP_PIPELINE = 'crawlo.pipelines.redis_dedup_pipeline.RedisDedupPipeline'
 FILTER_CLASS = 'crawlo.filters.aioredis_filter.AioRedisFilter'
 
-# --- Redis 配置（用于分布式去重和队列） ---
-REDIS_HOST = '127.0.0.1'
-REDIS_PORT = 6379
-REDIS_PASSWORD = ''  # 如果有密码，请填写
-
-# 根据是否有密码生成 URL
-if REDIS_PASSWORD:
-    REDIS_URL = f'redis://:{REDIS_PASSWORD}@{REDIS_HOST}:{REDIS_PORT}/0'
-else:
-    REDIS_URL = f'redis://{REDIS_HOST}:{REDIS_PORT}/0'
-
-# Redis key配置已移至各组件中，使用统一的命名规范
-# crawlo:{project_name}:filter:fingerprint (请求去重)
-# crawlo:{project_name}:item:fingerprint (数据项去重)
-# crawlo:{project_name}:queue:requests (请求队列)
-# crawlo:{project_name}:queue:processing (处理中队列)
-# crawlo:{project_name}:queue:failed (失败队列)
-
-REDIS_TTL = 0
-CLEANUP_FP = 0
-FILTER_DEBUG = True
-DECODE_RESPONSES = True
+# ============================== 默认去重管道 ==============================
+# 高性能模式下，如果Redis可用则使用Redis去重，否则使用内存去重
+DEFAULT_DEDUP_PIPELINE = 'crawlo.pipelines.redis_dedup_pipeline.RedisDedupPipeline'
 
-# ============================== 用户自定义中间件配置 ==============================
-# 注意：框架默认中间件已自动加载，此处可添加或覆盖默认中间件
+# ============================== 爬虫模块配置 ==============================
+SPIDER_MODULES = ['{{project_name}}.spiders']
 
-# 中间件列表（框架默认中间件 + 用户自定义中间件）
+# ============================== 中间件 ==============================
 # MIDDLEWARES = [
-    # '{{project_name}}.middlewares.CustomMiddleware',  # 示例自定义中间件
+#     'crawlo.middleware.simple_proxy.SimpleProxyMiddleware',
 # ]
 
-# ============================== 用户自定义数据管道配置 ==============================
-# 注意：框架默认管道已自动加载，此处可添加或覆盖默认管道
+# ============================== 默认请求头配置 ==============================
+# 为DefaultHeaderMiddleware配置默认请求头
+DEFAULT_REQUEST_HEADERS = {
+    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
+    'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
+    'Accept-Encoding': 'gzip, deflate, br',
+}
+
+# ============================== 允许的域名 ==============================
+# 为OffsiteMiddleware配置允许的域名
+# ALLOWED_DOMAINS = ['example.com']
 
-# 数据处理管道列表（框架默认管道 + 用户自定义管道）
+# ============================== 数据管道 ==============================
 # PIPELINES = [
-    # '{{project_name}}.pipelines.DatabasePipeline',        # 自定义数据库管道
-    # 'crawlo.pipelines.mysql_pipeline.AsyncmyMySQLPipeline',  # MySQL 存储
-    # 'crawlo.pipelines.mongo_pipeline.MongoPipeline',      # MongoDB 存储
+#     'crawlo.pipelines.mysql_pipeline.AsyncmyMySQLPipeline',     # MySQL 存储（使用asyncmy异步库）
 # ]
 
-# 明确添加默认去重管道到管道列表开头
-# PIPELINES.insert(0, DEFAULT_DEDUP_PIPELINE)
-
-# ============================== 用户自定义扩展组件 ==============================
-# 注意：框架默认扩展已自动加载，此处可添加或覆盖默认扩展
-
-# 扩展组件列表（框架默认扩展 + 用户自定义扩展）
+# ============================== 扩展组件 ==============================
 # EXTENSIONS = [
-    # 'crawlo.extension.memory_monitor.MemoryMonitorExtension',  # 内存监控
-    # 'crawlo.extension.request_recorder.RequestRecorderExtension',  # 请求记录
-    # 'crawlo.extension.performance_profiler.PerformanceProfilerExtension',  # 性能分析
-    # 'crawlo.extension.health_check.HealthCheckExtension',  # 健康检查
+#     'crawlo.extension.log_interval.LogIntervalExtension',
+#     'crawlo.extension.log_stats.LogStats',
+#     'crawlo.extension.logging_extension.CustomLoggerExtension',
 # ]
 
-# ============================== 域名过滤配置 ==============================
-# OffsiteMiddleware 配置，用于限制爬虫只爬取指定域名的页面
-# 如需启用域名过滤功能，请取消注释并配置允许的域名列表
-# ALLOWED_DOMAINS = ['example.com', 'www.example.com']
-
 # ============================== 日志配置 ==============================
-
 LOG_LEVEL = 'INFO'
+LOG_FILE = 'logs/{{project_name}}.log'
+LOG_ENCODING = 'utf-8'  # 明确指定日志文件编码
 STATS_DUMP = True
-LOG_FILE = f'logs/{{project_name}}.log'
-LOG_FORMAT = '%(asctime)s - [%(name)s] - %(levelname)s: %(message)s'
-LOG_ENCODING = 'utf-8'
 
-# ============================== 性能优化配置 ==============================
+# ============================== 输出配置 ==============================
+OUTPUT_DIR = 'output'
 
-# 连接池配置
-CONNECTION_POOL_LIMIT = 100
-DOWNLOAD_MAXSIZE = 10 * 1024 * 1024    # 10MB
-DOWNLOAD_WARN_SIZE = 1024 * 1024       # 1MB
+# ============================== Redis配置 ==============================
+REDIS_HOST = '127.0.0.1'
+REDIS_PORT = 6379
+REDIS_PASSWORD = ''
+REDIS_DB = 0
 
-# 下载器优化配置
-DOWNLOADER_HEALTH_CHECK = True
-HEALTH_CHECK_INTERVAL = 30
+# 根据是否有密码生成 URL
+if REDIS_PASSWORD:
+    REDIS_URL = f'redis://:{REDIS_PASSWORD}@{REDIS_HOST}:{REDIS_PORT}/{REDIS_DB}'
+else:
+    REDIS_URL = f'redis://{REDIS_HOST}:{REDIS_PORT}/{REDIS_DB}'
+
+# ============================== MySQL配置 ==============================
+MYSQL_HOST = '127.0.0.1'
+MYSQL_PORT = 3306
+MYSQL_USER = 'root'
+MYSQL_PASSWORD = '123456'
+MYSQL_DB = '{{project_name}}'
+MYSQL_TABLE = '{{project_name}}_data'
+MYSQL_BATCH_SIZE = 100
+MYSQL_USE_BATCH = True  # 是否启用批量插入
+
+# ============================== MongoDB配置 ==============================
+MONGO_URI = 'mongodb://localhost:27017'
+MONGO_DATABASE = '{{project_name}}_db'
+MONGO_COLLECTION = '{{project_name}}_items'
+MONGO_MAX_POOL_SIZE = 200
+MONGO_MIN_POOL_SIZE = 20
+MONGO_BATCH_SIZE = 100  # 批量插入条数
+MONGO_USE_BATCH = True  # 是否启用批量插入
+
+# ============================== 代理配置 ==============================
+# 代理功能默认不启用，如需使用请在项目配置文件中启用并配置相关参数
+PROXY_ENABLED = False  # 是否启用代理
+
+# 简化版代理配置（适用于SimpleProxyMiddleware）
+PROXY_LIST = []  # 代理列表，例如: ["http://proxy1:8080", "http://proxy2:8080"]
+
+# 高级代理配置（适用于ProxyMiddleware）
+PROXY_API_URL = ""  # 代理获取接口（请替换为真实地址）
+
+# 代理提取方式（支持字段路径或函数）
+# 示例: "proxy" 适用于 {"proxy": "http://1.1.1.1:8080"}
+# 示例: "data.proxy" 适用于 {"data": {"proxy": "http://1.1.1.1:8080"}}
+PROXY_EXTRACTOR = "proxy"
+
+# 代理刷新控制
+PROXY_REFRESH_INTERVAL = 60  # 代理刷新间隔（秒）
+PROXY_API_TIMEOUT = 10  # 请求代理 API 超时时间
+
+# ============================== Curl-Cffi 特有配置 ==============================
+# 浏览器指纹模拟（仅 CurlCffi 下载器有效）
+CURL_BROWSER_TYPE = "chrome"  # 可选: chrome, edge, safari, firefox 或版本如 chrome136
+
+# 自定义浏览器版本映射（可覆盖默认行为）
+CURL_BROWSER_VERSION_MAP = {
+    "chrome": "chrome136",
+    "edge": "edge101",
+    "safari": "safari184",
+    "firefox": "firefox135",
+}
+
+# ============================== 下载器优化配置 ==============================
+# 下载器健康检查
+DOWNLOADER_HEALTH_CHECK = True  # 是否启用下载器健康检查
+HEALTH_CHECK_INTERVAL = 30  # 健康检查间隔（秒）
 
 # 请求统计配置
-REQUEST_STATS_ENABLED = True
-STATS_RESET_ON_START = False
+REQUEST_STATS_ENABLED = True  # 是否启用请求统计
+STATS_RESET_ON_START = False  # 启动时是否重置统计
 
 # HttpX 下载器专用配置
-HTTPX_HTTP2 = True
-HTTPX_FOLLOW_REDIRECTS = True
+HTTPX_HTTP2 = True  # 是否启用HTTP/2支持
+HTTPX_FOLLOW_REDIRECTS = True  # 是否自动跟随重定向
 
 # AioHttp 下载器专用配置
-AIOHTTP_AUTO_DECOMPRESS = True
-AIOHTTP_FORCE_CLOSE = False
+AIOHTTP_AUTO_DECOMPRESS = True  # 是否自动解压响应
+AIOHTTP_FORCE_CLOSE = False  # 是否强制关闭连接
 
 # 通用优化配置
-CONNECTION_TTL_DNS_CACHE = 300
-CONNECTION_KEEPALIVE_TIMEOUT = 15
-
-# 性能监控
-ENABLE_PERFORMANCE_MONITORING = True
-MEMORY_USAGE_WARNING_THRESHOLD = 800  # MB
+CONNECTION_TTL_DNS_CACHE = 300  # DNS缓存TTL（秒）
+CONNECTION_KEEPALIVE_TIMEOUT = 15  # Keep-Alive超时（秒）
+
+# ============================== 内存监控配置 ==============================
+# 内存监控扩展默认不启用，如需使用请在项目配置文件中启用
+MEMORY_MONITOR_ENABLED = False  # 是否启用内存监控
+MEMORY_MONITOR_INTERVAL = 60  # 内存监控检查间隔（秒）
+MEMORY_WARNING_THRESHOLD = 80.0  # 内存使用率警告阈值（百分比）
+MEMORY_CRITICAL_THRESHOLD = 90.0  # 内存使用率严重阈值（百分比）

crawlo/templates/project/settings_minimal.py.tmpl

@@ -1,35 +1,66 @@
 # -*- coding: UTF-8 -*-
 """
-{{project_name}} 最小化配置文件
+{{project_name}} 项目配置文件（最小版）
 =============================
-仅包含最基本和常用的配置项，适合快速开始和简单项目。
+基于 Crawlo 框架的最小爬虫项目配置。
+仅包含最基本和常用的配置项。
 """
 
 # ============================== 项目基本信息 ==============================
 PROJECT_NAME = '{{project_name}}'
 
-# ============================== 核心配置 ==============================
-# 并发数
-CONCURRENCY = 4
+# ============================== 运行模式 ==============================
+RUN_MODE = 'standalone'
 
-# 请求延迟（秒）
+# ============================== 并发配置 ==============================
+CONCURRENCY = 4
+MAX_RUNNING_SPIDERS = 1
 DOWNLOAD_DELAY = 1.0
 
-# ============================== 数据存储 ==============================
-# JSON文件存储（默认启用）
+# ============================== 下载器配置 ==============================
+DOWNLOADER = 'crawlo.downloader.aiohttp_downloader.AioHttpDownloader'
+
+# ============================== 队列配置 ==============================
+QUEUE_TYPE = 'memory'
+
+# ============================== 去重过滤器 ==============================
+FILTER_CLASS = 'crawlo.filters.memory_filter.MemoryFilter'
+
+# ============================== 默认去重管道 ==============================
+DEFAULT_DEDUP_PIPELINE = 'crawlo.pipelines.memory_dedup_pipeline.MemoryDedupPipeline'
+
+# ============================== 爬虫模块配置 ==============================
+SPIDER_MODULES = ['{{project_name}}.spiders']
+
+# ============================== 默认请求头配置 ==============================
+# 为DefaultHeaderMiddleware配置默认请求头
+DEFAULT_REQUEST_HEADERS = {
+    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
+    'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
+    'Accept-Encoding': 'gzip, deflate, br',
+}
+
+# ============================== 允许的域名 ==============================
+# 为OffsiteMiddleware配置允许的域名
+# ALLOWED_DOMAINS = ['example.com']
+
+# ============================== 数据管道 ==============================
 PIPELINES = [
     'crawlo.pipelines.json_pipeline.JsonPipeline',
 ]
 
-# ============================== 域名过滤配置 ==============================
-# OffsiteMiddleware 配置，用于限制爬虫只爬取指定域名的页面
-# 如需启用域名过滤功能，请取消注释并配置允许的域名列表
-# ALLOWED_DOMAINS = ['example.com', 'www.example.com']
+# ============================== 扩展组件 ==============================
+# EXTENSIONS = [
+#     'crawlo.extension.log_interval.LogIntervalExtension',
+#     'crawlo.extension.log_stats.LogStats',
+#     'crawlo.extension.logging_extension.CustomLoggerExtension',
+# ]
 
 # ============================== 日志配置 ==============================
 LOG_LEVEL = 'INFO'
-LOG_FILE = f'logs/{{project_name}}.log'
+LOG_FILE = 'logs/{{project_name}}.log'
+LOG_ENCODING = 'utf-8'  # 明确指定日志文件编码
 STATS_DUMP = True
 
-# ============================== 自定义配置 ==============================
-# 在此处添加项目特定的配置项
+# ============================== 输出配置 ==============================
+OUTPUT_DIR = 'output'