crawlo 1.4.4__py3-none-any.whl → 1.4.6__py3-none-any.whl

crawlo/project.py

@@ -1,8 +1,6 @@
+import configparser
 import os
 import sys
-import importlib
-import configparser
-from importlib import import_module
 from inspect import iscoroutinefunction
 from typing import Callable, Optional, Any
 
@@ -42,7 +40,7 @@ def load_class(path: str) -> Any:
         加载的类对象
     """
     # 使用工具模块的实现，避免循环依赖
-    from crawlo.utils.class_loader import load_class as _load_class
+    from crawlo.utils.misc import load_object as _load_class
     return _load_class(path)
 
 

crawlo/settings/default_settings.py

@@ -25,6 +25,10 @@ VERSION = get_version()  # 项目版本号 - 从框架的__version__.py文件中
 RUN_MODE = runtime_config['CRAWLO_MODE']  # 运行模式：standalone/distributed/auto
 CONCURRENCY = runtime_config['CONCURRENCY']  # 并发数配置
 
+# 爬虫模块配置
+SPIDER_MODULES = []  # 爬虫模块列表
+SPIDER_LOADER_WARN_ONLY = False  # 爬虫加载器是否只警告不报错
+
 # --------------------------------- 2. 爬虫核心配置 ------------------------------------
 
 # 下载器配置
@@ -60,6 +64,10 @@ MYSQL_DB = 'crawl_pro'
 MYSQL_TABLE = 'crawlo'
 MYSQL_BATCH_SIZE = 100
 MYSQL_USE_BATCH = False  # 是否启用批量插入
+# MySQL SQL生成行为控制配置
+MYSQL_AUTO_UPDATE = False  # 是否使用 REPLACE INTO（完全覆盖已存在记录）
+MYSQL_INSERT_IGNORE = False  # 是否使用 INSERT IGNORE（忽略重复数据）
+MYSQL_UPDATE_COLUMNS = ()  # 冲突时需更新的列名；指定后 MYSQL_AUTO_UPDATE 失效
 
 # Redis配置
 redis_config = get_redis_config()
@@ -172,15 +180,39 @@ RANDOM_USER_AGENT_ENABLED = False  # 是否启用随机用户代理
 # 站外过滤配置
 ALLOWED_DOMAINS = []  # 允许的域名列表
 
-# 代理配置
-PROXY_ENABLED = False  # 是否启用代理
-PROXY_LIST = []  # 简化版代理配置（适用于SimpleProxyMiddleware）
-PROXY_API_URL = ""  # 高级代理配置（适用于ProxyMiddleware）
-PROXY_EXTRACTOR = "proxy"  # 代理提取方式
-PROXY_REFRESH_INTERVAL = 60  # 代理刷新间隔（秒）
-PROXY_API_TIMEOUT = 10  # 请求代理 API 超时时间
-PROXY_POOL_SIZE = 5  # 代理池大小
-PROXY_HEALTH_CHECK_THRESHOLD = 0.5  # 代理健康检查阈值
+# 代理配置（通用版，支持静态代理列表和动态代理API两种模式）
+PROXY_LIST = []  # 静态代理列表配置
+PROXY_API_URL = ""  # 动态代理API配置
+# 代理提取配置，用于指定如何从API返回的数据中提取代理地址
+# 可选值：
+# - 字符串：直接作为字段名使用，如 "proxy"（默认值）
+# - 字典：包含type和value字段，支持多种提取方式
+#   - {"type": "field", "value": "data"}：从指定字段提取
+#   - {"type": "jsonpath", "value": "$.data[0].proxy"}：使用JSONPath表达式提取
+#   - {"type": "custom", "function": your_function}：使用自定义函数提取
+PROXY_EXTRACTOR = "proxy"  # 代理提取配置
+# 代理失败处理配置
+PROXY_MAX_FAILED_ATTEMPTS = 3  # 代理最大失败尝试次数，超过此次数将标记为失效
+
+# 代理使用示例：
+# 1. 静态代理列表：
+#    PROXY_LIST = ["http://proxy1:8080", "http://proxy2:8080"]
+#    PROXY_API_URL = ""  # 不使用动态代理
+#
+# 2. 动态代理API（默认字段提取）：
+#    PROXY_LIST = []  # 不使用静态代理
+#    PROXY_API_URL = "http://api.example.com/get_proxy"
+#    PROXY_EXTRACTOR = "proxy"  # 从"proxy"字段提取
+#
+# 3. 动态代理API（自定义字段提取）：
+#    PROXY_LIST = []  # 不使用静态代理
+#    PROXY_API_URL = "http://api.example.com/get_proxy"
+#    PROXY_EXTRACTOR = "data"  # 从"data"字段提取
+#
+# 4. 动态代理API（嵌套字段提取）：
+#    PROXY_LIST = []  # 不使用静态代理
+#    PROXY_API_URL = "http://api.example.com/get_proxy"
+#    PROXY_EXTRACTOR = {"type": "field", "value": "result"}  # 从"result"字段提取
 
 # 下载器通用配置
 DOWNLOAD_TIMEOUT = 30  # 下载超时时间（秒）
@@ -243,24 +275,4 @@ PLAYWRIGHT_MAX_PAGES_PER_BROWSER = 10  # 单浏览器最大页面数量
 
 # 通用优化配置
 CONNECTION_TTL_DNS_CACHE = 300  # DNS缓存TTL（秒）
-CONNECTION_KEEPALIVE_TIMEOUT = 15  # Keep-Alive超时（秒）
-
-# --------------------------------- 9. 数据存储配置 ------------------------------------
-
-# CSV管道配置
-CSV_DELIMITER = ','  # CSV分隔符
-CSV_QUOTECHAR = '"'  # CSV引号字符
-CSV_INCLUDE_HEADERS = True  # 是否包含表头
-CSV_EXTRASACTION = 'ignore'  # 额外字段处理方式：ignore, raise
-CSV_FIELDNAMES = None  # 字段名列表
-CSV_FILE = None  # CSV文件路径
-CSV_DICT_FILE = None  # CSV字典文件路径
-CSV_BATCH_SIZE = 100  # CSV批处理大小
-CSV_BATCH_FILE = None  # CSV批处理文件路径
-
-# 数据库去重管道配置
-DB_HOST = 'localhost'  # 数据库主机
-DB_PORT = 3306  # 数据库端口
-DB_USER = 'root'  # 数据库用户
-DB_PASSWORD = ''  # 数据库密码
-DB_NAME = 'crawlo'  # 数据库名称
+CONNECTION_KEEPALIVE = True  # 是否启用HTTP连接保持

crawlo/stats_collector.py

@@ -69,5 +69,14 @@ class StatsCollector(object):
                     # 同时更新_stats中的spider_name
                     self._stats['spider_name'] = spider_name
             
+            # 对统计信息中的浮点数进行四舍五入处理
+            formatted_stats = {}
+            for key, value in self._stats.items():
+                if isinstance(value, float):
+                    # 对浮点数进行四舍五入，保留2位小数
+                    formatted_stats[key] = round(value, 2)
+                else:
+                    formatted_stats[key] = value
+            
             # 输出统计信息（这是唯一输出统计信息的地方）
-            self.logger.info(f'{spider_name} stats: \n{pformat(self._stats)}')
+            self.logger.info(f'{spider_name} stats: \n{pformat(formatted_stats)}')

crawlo/task_manager.py

@@ -1,10 +1,10 @@
 #!/usr/bin/python
 # -*- coding:UTF-8 -*-
+import time
 import asyncio
-from asyncio import Task, Future, Semaphore
 from typing import Set, Final
 from collections import deque
-import time
+from asyncio import Task, Future, Semaphore
 from crawlo.utils.log import get_logger
 
 

crawlo/templates/project/items.py.tmpl

@@ -8,9 +8,9 @@
 from crawlo.items import Item, Field
 
 
-class ExampleItem(Item):
+class {{project_name|title}}Item(Item):
     """
-    一个示例数据项。
+    {{project_name}} 项目的数据项。
     """
     id = Field()
     # price = Field()

crawlo/templates/project/middlewares.py.tmpl

@@ -2,118 +2,38 @@
 """
 {{project_name}}.middlewares
 ============================
-自定义中间件，用于在请求/响应/异常处理过程中插入自定义逻辑。
-
-这是一个简单的示例中间件，您可以根据需要添加更多中间件。
+自定义中间件示例
 """
 
-import random
-from crawlo import Request, Response
+from crawlo.network import Request, Response
 from crawlo.utils.log import get_logger
 
 
-class ExampleMiddleware:
+class {{project_name|title}}Middleware:
     """
-    示例中间件，演示如何处理请求、响应和异常。
-    
-    此中间件会：
-    1. 为请求添加随机 User-Agent
-    2. 记录请求和响应信息
-    3. 处理异常情况
+    {{project_name}} 项目的中间件
     """
     
     def __init__(self):
         self.logger = get_logger(self.__class__.__name__)
-        self.user_agents = [
-            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/136.0.0.0 Safari/537.36',
-            'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/136.0.0.0 Safari/537.36',
-            'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:135.0) Gecko/20100101 Firefox/135.0',
-            'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:135.0) Gecko/20100101 Firefox/135.0',
-        ]
 
     def process_request(self, request, spider):
         """
-        在请求被下载器执行前调用。
-        
-        Args:
-            request: 请求对象
-            spider: 爬虫实例
-            
-        Returns:
-            None: 继续处理请求
-            Response: 返回响应对象（短路处理）
-            Request: 返回新请求对象（替换原请求）
+        在请求被下载器执行前调用
         """
-        # 为请求添加随机 User-Agent
-        if 'User-Agent' not in request.headers:
-            ua = random.choice(self.user_agents)
-            request.headers['User-Agent'] = ua
-            self.logger.debug(f"为请求 {request.url} 设置 User-Agent: {ua[:50]}...")
-        
+        self.logger.info(f"处理请求: {request.url}")
         return None
 
     def process_response(self, request, response, spider):
         """
-        在响应被 Spider 处理前调用。
-        
-        Args:
-            request: 原始请求对象
-            response: 响应对象
-            spider: 爬虫实例
-            
-        Returns:
-            Response: 处理后的响应对象
+        在响应被 Spider 处理前调用
         """
-        # 记录响应信息
         self.logger.info(f"收到响应: {request.url} - 状态码: {response.status_code}")
-        
-        # 可以在这里处理特殊状态码
-        if response.status_code == 403:
-            self.logger.warning(f"访问被拒绝: {request.url}")
-        
         return response
 
     def process_exception(self, request, exception, spider):
         """
-        在下载或处理过程中发生异常时调用。
-        
-        Args:
-            request: 请求对象
-            exception: 异常对象
-            spider: 爬虫实例
-            
-        Returns:
-            None: 异常将继续传播
-            Response: 返回响应对象（处理异常）
-            Request: 返回新请求对象（重试请求）
+        在下载或处理过程中发生异常时调用
         """
         self.logger.error(f"请求异常: {request.url} - {exception}")
-        return None
-
-
-# ======================== 使用说明 ========================
-# 
-# 在 settings.py 中启用中间件：
-# MIDDLEWARES = [
-#     '{{project_name}}.middlewares.ExampleMiddleware',
-# ]
-# 
-# 您可以根据需要添加更多中间件，例如：
-# 1. 请求处理中间件（修改请求头、设置代理等）
-# 2. 响应处理中间件（解析、过滤等）
-# 3. 异常处理中间件（重试、记录等）
-# 
-# 每个中间件可以实现以下方法：
-# - process_request: 处理请求
-# - process_response: 处理响应
-# - process_exception: 处理异常
-# 
-# 注意：Crawlo框架提供了许多内置中间件，您可以直接使用：
-# - DownloadDelayMiddleware: 控制请求延迟
-# - ResponseCodeMiddleware: 处理HTTP状态码并记录统计信息
-# - ResponseFilterMiddleware: 过滤特定状态码的响应
-# - DefaultHeaderMiddleware: 添加默认请求头
-# - ProxyMiddleware: 设置代理
-# - RetryMiddleware: 处理重试逻辑
-# - OffsiteMiddleware: 过滤站外请求
-# ======================== 使用说明 ========================
+        return None

crawlo/templates/project/pipelines.py.tmpl

@@ -2,96 +2,36 @@
 """
 {{project_name}}.pipelines
 ==========================
-数据管道，用于处理 Spider 返回的 Item。
-例如：清理、验证、去重、保存到数据库等。
-
-这是一个简单的示例管道，您可以根据需要添加更多管道。
+数据管道示例
 """
 
-from datetime import datetime
 from crawlo.exceptions import DropItem
 from crawlo.utils.log import get_logger
 
 
-class ExamplePipeline:
+class {{project_name|title}}Pipeline:
     """
-    示例管道，演示如何处理数据项。
-    
-    此管道会：
-    1. 验证必要字段
-    2. 清理数据
-    3. 添加时间戳
-    4. 记录处理日志
+    {{project_name}} 项目的数据管道
     """
     
     def __init__(self):
         self.logger = get_logger(self.__class__.__name__)
-        self.item_count = 0
 
     def process_item(self, item, spider):
         """
-        处理数据项。
-        
-        Args:
-            item: 要处理的数据项
-            spider: 爬虫实例
-            
-        Returns:
-            处理后的数据项
-            
-        Raises:
-            DropItem: 如果数据项无效则抛出此异常
+        处理数据项
         """
-        # 验证必要字段
-        if not item.get('title') or not item.get('url'):
-            raise DropItem("缺少必要字段: title 或 url")
-        
-        # 数据清理
-        item['title'] = str(item['title']).strip()
-        
-        # 添加处理时间戳
-        item['processed_at'] = datetime.now().isoformat()
-        
-        # 计数器
-        self.item_count += 1
-        
-        # 记录日志
-        self.logger.info(f"处理第 {self.item_count} 个数据项: {item['title']}")
-        
+        self.logger.info(f"处理数据项: {item}")
         return item
 
     def open_spider(self, spider):
         """
-        爬虫启动时调用。
-        
-        Args:
-            spider: 爬虫实例
+        爬虫启动时调用
         """
         self.logger.info(f"管道已启动，准备处理爬虫 '{spider.name}' 的数据")
 
     def close_spider(self, spider):
         """
-        爬虫关闭时调用。
-        
-        Args:
-            spider: 爬虫实例
+        爬虫关闭时调用
         """
-        self.logger.info(f"管道已关闭，共处理了 {self.item_count} 个数据项")
-
-
-# ======================== 使用说明 ========================
-# 
-# 在 settings.py 中启用管道：
-# PIPELINES = [
-#     '{{project_name}}.pipelines.ExamplePipeline',
-# ]
-# 
-# 您可以根据需要添加更多管道，例如：
-# 1. 数据验证管道
-# 2. 去重管道
-# 3. 数据存储管道（数据库、文件等）
-# 4. 数据转换管道
-# 
-# 每个管道都应该实现 process_item 方法，
-# 可选实现 open_spider 和 close_spider 方法。
-# ======================== 使用说明 ========================
+        self.logger.info("管道已关闭")

crawlo/templates/project/settings.py.tmpl

@@ -87,6 +87,11 @@ MYSQL_TABLE = '{{project_name}}_data'
 MYSQL_BATCH_SIZE = 100
 MYSQL_USE_BATCH = False  # 是否启用批量插入
 
+# MySQL SQL生成行为控制配置
+MYSQL_AUTO_UPDATE = False  # 是否使用 REPLACE INTO（完全覆盖已存在记录）
+MYSQL_INSERT_IGNORE = False  # 是否使用 INSERT IGNORE（忽略重复数据）
+MYSQL_UPDATE_COLUMNS = ()  # 冲突时需更新的列名；指定后 MYSQL_AUTO_UPDATE 失效
+
 # MongoDB配置
 MONGO_URI = 'mongodb://localhost:27017'
 MONGO_DATABASE = '{{project_name}}_db'
@@ -96,62 +101,12 @@ MONGO_MIN_POOL_SIZE = 20
 MONGO_BATCH_SIZE = 100  # 批量插入条数
 MONGO_USE_BATCH = False  # 是否启用批量插入
 
-# =================================== 网络配置 ===================================
-
-# 代理配置
-# 代理功能默认不启用，如需使用请在项目配置文件中启用并配置相关参数
-PROXY_ENABLED = False  # 是否启用代理
+# =================================== 代理配置 ===================================
 
 # 简化版代理配置（适用于SimpleProxyMiddleware）
-PROXY_LIST = []  # 代理列表，例如: ["http://proxy1:8080", "http://proxy2:8080"]
+# 只要配置了代理列表，中间件就会自动启用
+# PROXY_LIST = ["http://proxy1:8080", "http://proxy2:8080"]
 
 # 高级代理配置（适用于ProxyMiddleware）
-PROXY_API_URL = ""  # 代理获取接口（请替换为真实地址）
-
-# 代理提取方式（支持字段路径或函数）
-# 示例: "proxy" 适用于 {"proxy": "http://1.1.1.1:8080"}
-# 示例: "data.proxy" 适用于 {"data": {"proxy": "http://1.1.1.1:8080"}}
-PROXY_EXTRACTOR = "proxy"
-
-# 代理刷新控制
-PROXY_REFRESH_INTERVAL = 60  # 代理刷新间隔（秒）
-PROXY_API_TIMEOUT = 10  # 请求代理 API 超时时间
-
-# 浏览器指纹模拟（仅 CurlCffi 下载器有效）
-CURL_BROWSER_TYPE = "chrome"  # 可选: chrome, edge, safari, firefox 或版本如 chrome136
-
-# 自定义浏览器版本映射（可覆盖默认行为）
-CURL_BROWSER_VERSION_MAP = {
-    "chrome": "chrome136",
-    "edge": "edge101",
-    "safari": "safari184",
-    "firefox": "firefox135",
-}
-
-# 下载器优化配置
-# 下载器健康检查
-DOWNLOADER_HEALTH_CHECK = True  # 是否启用下载器健康检查
-HEALTH_CHECK_INTERVAL = 60  # 健康检查间隔（秒）
-
-# 请求统计配置
-REQUEST_STATS_ENABLED = True  # 是否启用请求统计
-STATS_RESET_ON_START = False  # 启动时是否重置统计
-
-# HttpX 下载器专用配置
-HTTPX_HTTP2 = True  # 是否启用HTTP/2支持
-HTTPX_FOLLOW_REDIRECTS = True  # 是否自动跟随重定向
-
-# AioHttp 下载器专用配置
-AIOHTTP_AUTO_DECOMPRESS = True  # 是否自动解压响应
-AIOHTTP_FORCE_CLOSE = False  # 是否强制关闭连接
-
-# 通用优化配置
-CONNECTION_TTL_DNS_CACHE = 300  # DNS缓存TTL（秒）
-CONNECTION_KEEPALIVE_TIMEOUT = 15  # Keep-Alive超时（秒）
-
-# 内存监控配置
-# 内存监控扩展默认不启用，如需使用请在项目配置文件中启用
-MEMORY_MONITOR_ENABLED = False  # 是否启用内存监控
-MEMORY_MONITOR_INTERVAL = 60  # 内存监控检查间隔（秒）
-MEMORY_WARNING_THRESHOLD = 80.0  # 内存使用率警告阈值（百分比）
-MEMORY_CRITICAL_THRESHOLD = 90.0  # 内存使用率严重阈值（百分比）
+# 只要配置了代理API URL，中间件就会自动启用
+# PROXY_API_URL = "http://your-proxy-api.com/get-proxy"

crawlo/templates/project/settings_distributed.py.tmpl

@@ -92,6 +92,11 @@ MYSQL_TABLE = '{{project_name}}_data'
 MYSQL_BATCH_SIZE = 100
 MYSQL_USE_BATCH = True  # 是否启用批量插入
 
+# MySQL SQL生成行为控制配置
+MYSQL_AUTO_UPDATE = False  # 是否使用 REPLACE INTO（完全覆盖已存在记录）
+MYSQL_INSERT_IGNORE = False  # 是否使用 INSERT IGNORE（忽略重复数据）
+MYSQL_UPDATE_COLUMNS = ()  # 冲突时需更新的列名；指定后 MYSQL_AUTO_UPDATE 失效
+
 # MongoDB配置
 MONGO_URI = 'mongodb://localhost:27017'
 MONGO_DATABASE = '{{project_name}}_db'
@@ -101,26 +106,7 @@ MONGO_MIN_POOL_SIZE = 20
 MONGO_BATCH_SIZE = 100  # 批量插入条数
 MONGO_USE_BATCH = True  # 是否启用批量插入
 
-# =================================== 网络配置 ===================================
-
-# 代理配置
-# 代理功能默认不启用，如需使用请在项目配置文件中启用并配置相关参数
-PROXY_ENABLED = False  # 是否启用代理
-
-# 简化版代理配置（适用于SimpleProxyMiddleware）
-PROXY_LIST = []  # 代理列表，例如: ["http://proxy1:8080", "http://proxy2:8080"]
-
-# 高级代理配置（适用于ProxyMiddleware）
-PROXY_API_URL = ""  # 代理获取接口（请替换为真实地址）
-
-# 代理提取方式（支持字段路径或函数）
-# 示例: "proxy" 适用于 {"proxy": "http://1.1.1.1:8080"}
-# 示例: "data.proxy" 适用于 {"data": {"proxy": "http://1.1.1.1:8080"}}
-PROXY_EXTRACTOR = "proxy"
-
-# 代理刷新控制
-PROXY_REFRESH_INTERVAL = 60  # 代理刷新间隔（秒）
-PROXY_API_TIMEOUT = 10  # 请求代理 API 超时时间
+# =================================== 浏览器指纹模拟 ===================================
 
 # 浏览器指纹模拟（仅 CurlCffi 下载器有效）
 CURL_BROWSER_TYPE = "chrome"  # 可选: chrome, edge, safari, firefox 或版本如 chrome136
@@ -133,7 +119,8 @@ CURL_BROWSER_VERSION_MAP = {
     "firefox": "firefox135",
 }
 
-# 下载器优化配置
+# =================================== 下载器优化配置 ===================================
+
 # 下载器健康检查
 DOWNLOADER_HEALTH_CHECK = True  # 是否启用下载器健康检查
 HEALTH_CHECK_INTERVAL = 60  # 健康检查间隔（秒）
@@ -154,7 +141,18 @@ AIOHTTP_FORCE_CLOSE = False  # 是否强制关闭连接
 CONNECTION_TTL_DNS_CACHE = 300  # DNS缓存TTL（秒）
 CONNECTION_KEEPALIVE_TIMEOUT = 15  # Keep-Alive超时（秒）
 
-# 内存监控配置
+# =================================== 代理配置 ===================================
+
+# 简化版代理配置（适用于SimpleProxyMiddleware）
+# 只要配置了代理列表，中间件就会自动启用
+# PROXY_LIST = ["http://proxy1:8080", "http://proxy2:8080"]
+
+# 高级代理配置（适用于ProxyMiddleware）
+# 只要配置了代理API URL，中间件就会自动启用
+# PROXY_API_URL = "http://your-proxy-api.com/get-proxy"
+
+# =================================== 内存监控配置 ===================================
+
 # 内存监控扩展默认不启用，如需使用请在项目配置文件中启用
 MEMORY_MONITOR_ENABLED = False  # 是否启用内存监控
 MEMORY_MONITOR_INTERVAL = 60  # 内存监控检查间隔（秒）

crawlo/templates/project/settings_gentle.py.tmpl

@@ -102,6 +102,11 @@ MYSQL_TABLE = '{{project_name}}_data'
 MYSQL_BATCH_SIZE = 100
 MYSQL_USE_BATCH = False  # 是否启用批量插入
 
+# MySQL SQL生成行为控制配置
+MYSQL_AUTO_UPDATE = False  # 是否使用 REPLACE INTO（完全覆盖已存在记录）
+MYSQL_INSERT_IGNORE = False  # 是否使用 INSERT IGNORE（忽略重复数据）
+MYSQL_UPDATE_COLUMNS = ()  # 冲突时需更新的列名；指定后 MYSQL_AUTO_UPDATE 失效
+
 # MongoDB配置
 MONGO_URI = 'mongodb://localhost:27017'
 MONGO_DATABASE = '{{project_name}}_db'

crawlo/templates/project/settings_high_performance.py.tmpl

@@ -103,6 +103,11 @@ MYSQL_TABLE = '{{project_name}}_data'
 MYSQL_BATCH_SIZE = 100
 MYSQL_USE_BATCH = True  # 是否启用批量插入
 
+# MySQL SQL生成行为控制配置
+MYSQL_AUTO_UPDATE = False  # 是否使用 REPLACE INTO（完全覆盖已存在记录）
+MYSQL_INSERT_IGNORE = False  # 是否使用 INSERT IGNORE（忽略重复数据）
+MYSQL_UPDATE_COLUMNS = ()  # 冲突时需更新的列名；指定后 MYSQL_AUTO_UPDATE 失效
+
 # MongoDB配置
 MONGO_URI = 'mongodb://localhost:27017'
 MONGO_DATABASE = '{{project_name}}_db'

crawlo/templates/project/settings_minimal.py.tmpl

@@ -74,4 +74,28 @@ LOG_ENCODING = 'utf-8'  # 明确指定日志文件编码
 STATS_DUMP = True
 
 # 输出配置
-OUTPUT_DIR = 'output'
+OUTPUT_DIR = 'output'
+
+# =================================== 数据库配置 ===================================
+
+# MySQL配置
+MYSQL_HOST = '127.0.0.1'
+MYSQL_PORT = 3306
+MYSQL_USER = 'root'
+MYSQL_PASSWORD = '123456'
+MYSQL_DB = '{{project_name}}'
+MYSQL_TABLE = '{{project_name}}_data'
+MYSQL_BATCH_SIZE = 100
+MYSQL_USE_BATCH = False  # 是否启用批量插入
+
+# MySQL SQL生成行为控制配置
+MYSQL_AUTO_UPDATE = False  # 是否使用 REPLACE INTO（完全覆盖已存在记录）
+MYSQL_INSERT_IGNORE = False  # 是否使用 INSERT IGNORE（忽略重复数据）
+MYSQL_UPDATE_COLUMNS = ()  # 冲突时需更新的列名；指定后 MYSQL_AUTO_UPDATE 失效
+
+# MongoDB配置
+MONGO_URI = 'mongodb://localhost:27017'
+MONGO_DATABASE = '{{project_name}}_db'
+MONGO_COLLECTION = '{{project_name}}_items'
+MONGO_BATCH_SIZE = 100  # 批量插入条数
+MONGO_USE_BATCH = False  # 是否启用批量插入

crawlo/templates/project/settings_simple.py.tmpl

@@ -100,6 +100,11 @@ MYSQL_TABLE = '{{project_name}}_data'
 MYSQL_BATCH_SIZE = 100
 MYSQL_USE_BATCH = False  # 是否启用批量插入
 
+# MySQL SQL生成行为控制配置
+MYSQL_AUTO_UPDATE = False  # 是否使用 REPLACE INTO（完全覆盖已存在记录）
+MYSQL_INSERT_IGNORE = False  # 是否使用 INSERT IGNORE（忽略重复数据）
+MYSQL_UPDATE_COLUMNS = ()  # 冲突时需更新的列名；指定后 MYSQL_AUTO_UPDATE 失效
+
 # MongoDB配置
 MONGO_URI = 'mongodb://localhost:27017'
 MONGO_DATABASE = '{{project_name}}_db'

crawlo/templates/run.py.tmpl

@@ -1,13 +1,6 @@
-#!/usr/bin/env python3
+#!/usr/bin/python
 # -*- coding: UTF-8 -*-
-"""
-{{project_name}} 项目运行脚本
-============================
-基于 Crawlo 框架的简化爬虫启动器。
 
-框架会自动处理爬虫模块的导入和注册，用户无需手动导入。
-框架会自动从settings.py中读取SPIDER_MODULES配置。
-"""
 import sys
 import asyncio