crawlo 1.4.5__py3-none-any.whl → 1.4.6__py3-none-any.whl

crawlo/settings/default_settings.py

@@ -64,6 +64,10 @@ MYSQL_DB = 'crawl_pro'
 MYSQL_TABLE = 'crawlo'
 MYSQL_BATCH_SIZE = 100
 MYSQL_USE_BATCH = False  # 是否启用批量插入
+# MySQL SQL生成行为控制配置
+MYSQL_AUTO_UPDATE = False  # 是否使用 REPLACE INTO（完全覆盖已存在记录）
+MYSQL_INSERT_IGNORE = False  # 是否使用 INSERT IGNORE（忽略重复数据）
+MYSQL_UPDATE_COLUMNS = ()  # 冲突时需更新的列名；指定后 MYSQL_AUTO_UPDATE 失效
 
 # Redis配置
 redis_config = get_redis_config()
@@ -176,15 +180,39 @@ RANDOM_USER_AGENT_ENABLED = False  # 是否启用随机用户代理
 # 站外过滤配置
 ALLOWED_DOMAINS = []  # 允许的域名列表
 
-# 代理配置
-PROXY_ENABLED = False  # 是否启用代理
-PROXY_LIST = []  # 简化版代理配置（适用于SimpleProxyMiddleware）
-PROXY_API_URL = ""  # 高级代理配置（适用于ProxyMiddleware）
-PROXY_EXTRACTOR = "proxy"  # 代理提取方式
-PROXY_REFRESH_INTERVAL = 60  # 代理刷新间隔（秒）
-PROXY_API_TIMEOUT = 10  # 请求代理 API 超时时间
-PROXY_POOL_SIZE = 5  # 代理池大小
-PROXY_HEALTH_CHECK_THRESHOLD = 0.5  # 代理健康检查阈值
+# 代理配置（通用版，支持静态代理列表和动态代理API两种模式）
+PROXY_LIST = []  # 静态代理列表配置
+PROXY_API_URL = ""  # 动态代理API配置
+# 代理提取配置，用于指定如何从API返回的数据中提取代理地址
+# 可选值：
+# - 字符串：直接作为字段名使用，如 "proxy"（默认值）
+# - 字典：包含type和value字段，支持多种提取方式
+#   - {"type": "field", "value": "data"}：从指定字段提取
+#   - {"type": "jsonpath", "value": "$.data[0].proxy"}：使用JSONPath表达式提取
+#   - {"type": "custom", "function": your_function}：使用自定义函数提取
+PROXY_EXTRACTOR = "proxy"  # 代理提取配置
+# 代理失败处理配置
+PROXY_MAX_FAILED_ATTEMPTS = 3  # 代理最大失败尝试次数，超过此次数将标记为失效
+
+# 代理使用示例：
+# 1. 静态代理列表：
+#    PROXY_LIST = ["http://proxy1:8080", "http://proxy2:8080"]
+#    PROXY_API_URL = ""  # 不使用动态代理
+#
+# 2. 动态代理API（默认字段提取）：
+#    PROXY_LIST = []  # 不使用静态代理
+#    PROXY_API_URL = "http://api.example.com/get_proxy"
+#    PROXY_EXTRACTOR = "proxy"  # 从"proxy"字段提取
+#
+# 3. 动态代理API（自定义字段提取）：
+#    PROXY_LIST = []  # 不使用静态代理
+#    PROXY_API_URL = "http://api.example.com/get_proxy"
+#    PROXY_EXTRACTOR = "data"  # 从"data"字段提取
+#
+# 4. 动态代理API（嵌套字段提取）：
+#    PROXY_LIST = []  # 不使用静态代理
+#    PROXY_API_URL = "http://api.example.com/get_proxy"
+#    PROXY_EXTRACTOR = {"type": "field", "value": "result"}  # 从"result"字段提取
 
 # 下载器通用配置
 DOWNLOAD_TIMEOUT = 30  # 下载超时时间（秒）
@@ -247,24 +275,4 @@ PLAYWRIGHT_MAX_PAGES_PER_BROWSER = 10  # 单浏览器最大页面数量
 
 # 通用优化配置
 CONNECTION_TTL_DNS_CACHE = 300  # DNS缓存TTL（秒）
-CONNECTION_KEEPALIVE_TIMEOUT = 15  # Keep-Alive超时（秒）
-
-# --------------------------------- 9. 数据存储配置 ------------------------------------
-
-# CSV管道配置
-CSV_DELIMITER = ','  # CSV分隔符
-CSV_QUOTECHAR = '"'  # CSV引号字符
-CSV_INCLUDE_HEADERS = True  # 是否包含表头
-CSV_EXTRASACTION = 'ignore'  # 额外字段处理方式：ignore, raise
-CSV_FIELDNAMES = None  # 字段名列表
-CSV_FILE = None  # CSV文件路径
-CSV_DICT_FILE = None  # CSV字典文件路径
-CSV_BATCH_SIZE = 100  # CSV批处理大小
-CSV_BATCH_FILE = None  # CSV批处理文件路径
-
-# 数据库去重管道配置
-DB_HOST = 'localhost'  # 数据库主机
-DB_PORT = 3306  # 数据库端口
-DB_USER = 'root'  # 数据库用户
-DB_PASSWORD = ''  # 数据库密码
-DB_NAME = 'crawlo'  # 数据库名称
+CONNECTION_KEEPALIVE = True  # 是否启用HTTP连接保持

crawlo/stats_collector.py

@@ -69,5 +69,14 @@ class StatsCollector(object):
                     # 同时更新_stats中的spider_name
                     self._stats['spider_name'] = spider_name
             
+            # 对统计信息中的浮点数进行四舍五入处理
+            formatted_stats = {}
+            for key, value in self._stats.items():
+                if isinstance(value, float):
+                    # 对浮点数进行四舍五入，保留2位小数
+                    formatted_stats[key] = round(value, 2)
+                else:
+                    formatted_stats[key] = value
+            
             # 输出统计信息（这是唯一输出统计信息的地方）
-            self.logger.info(f'{spider_name} stats: \n{pformat(self._stats)}')
+            self.logger.info(f'{spider_name} stats: \n{pformat(formatted_stats)}')

crawlo/templates/project/settings.py.tmpl

@@ -87,6 +87,11 @@ MYSQL_TABLE = '{{project_name}}_data'
 MYSQL_BATCH_SIZE = 100
 MYSQL_USE_BATCH = False  # 是否启用批量插入
 
+# MySQL SQL生成行为控制配置
+MYSQL_AUTO_UPDATE = False  # 是否使用 REPLACE INTO（完全覆盖已存在记录）
+MYSQL_INSERT_IGNORE = False  # 是否使用 INSERT IGNORE（忽略重复数据）
+MYSQL_UPDATE_COLUMNS = ()  # 冲突时需更新的列名；指定后 MYSQL_AUTO_UPDATE 失效
+
 # MongoDB配置
 MONGO_URI = 'mongodb://localhost:27017'
 MONGO_DATABASE = '{{project_name}}_db'
@@ -96,62 +101,12 @@ MONGO_MIN_POOL_SIZE = 20
 MONGO_BATCH_SIZE = 100  # 批量插入条数
 MONGO_USE_BATCH = False  # 是否启用批量插入
 
-# =================================== 网络配置 ===================================
-
-# 代理配置
-# 代理功能默认不启用，如需使用请在项目配置文件中启用并配置相关参数
-PROXY_ENABLED = False  # 是否启用代理
+# =================================== 代理配置 ===================================
 
 # 简化版代理配置（适用于SimpleProxyMiddleware）
-PROXY_LIST = []  # 代理列表，例如: ["http://proxy1:8080", "http://proxy2:8080"]
+# 只要配置了代理列表，中间件就会自动启用
+# PROXY_LIST = ["http://proxy1:8080", "http://proxy2:8080"]
 
 # 高级代理配置（适用于ProxyMiddleware）
-PROXY_API_URL = ""  # 代理获取接口（请替换为真实地址）
-
-# 代理提取方式（支持字段路径或函数）
-# 示例: "proxy" 适用于 {"proxy": "http://1.1.1.1:8080"}
-# 示例: "data.proxy" 适用于 {"data": {"proxy": "http://1.1.1.1:8080"}}
-PROXY_EXTRACTOR = "proxy"
-
-# 代理刷新控制
-PROXY_REFRESH_INTERVAL = 60  # 代理刷新间隔（秒）
-PROXY_API_TIMEOUT = 10  # 请求代理 API 超时时间
-
-# 浏览器指纹模拟（仅 CurlCffi 下载器有效）
-CURL_BROWSER_TYPE = "chrome"  # 可选: chrome, edge, safari, firefox 或版本如 chrome136
-
-# 自定义浏览器版本映射（可覆盖默认行为）
-CURL_BROWSER_VERSION_MAP = {
-    "chrome": "chrome136",
-    "edge": "edge101",
-    "safari": "safari184",
-    "firefox": "firefox135",
-}
-
-# 下载器优化配置
-# 下载器健康检查
-DOWNLOADER_HEALTH_CHECK = True  # 是否启用下载器健康检查
-HEALTH_CHECK_INTERVAL = 60  # 健康检查间隔（秒）
-
-# 请求统计配置
-REQUEST_STATS_ENABLED = True  # 是否启用请求统计
-STATS_RESET_ON_START = False  # 启动时是否重置统计
-
-# HttpX 下载器专用配置
-HTTPX_HTTP2 = True  # 是否启用HTTP/2支持
-HTTPX_FOLLOW_REDIRECTS = True  # 是否自动跟随重定向
-
-# AioHttp 下载器专用配置
-AIOHTTP_AUTO_DECOMPRESS = True  # 是否自动解压响应
-AIOHTTP_FORCE_CLOSE = False  # 是否强制关闭连接
-
-# 通用优化配置
-CONNECTION_TTL_DNS_CACHE = 300  # DNS缓存TTL（秒）
-CONNECTION_KEEPALIVE_TIMEOUT = 15  # Keep-Alive超时（秒）
-
-# 内存监控配置
-# 内存监控扩展默认不启用，如需使用请在项目配置文件中启用
-MEMORY_MONITOR_ENABLED = False  # 是否启用内存监控
-MEMORY_MONITOR_INTERVAL = 60  # 内存监控检查间隔（秒）
-MEMORY_WARNING_THRESHOLD = 80.0  # 内存使用率警告阈值（百分比）
-MEMORY_CRITICAL_THRESHOLD = 90.0  # 内存使用率严重阈值（百分比）
+# 只要配置了代理API URL，中间件就会自动启用
+# PROXY_API_URL = "http://your-proxy-api.com/get-proxy"

crawlo/templates/project/settings_distributed.py.tmpl

@@ -92,6 +92,11 @@ MYSQL_TABLE = '{{project_name}}_data'
 MYSQL_BATCH_SIZE = 100
 MYSQL_USE_BATCH = True  # 是否启用批量插入
 
+# MySQL SQL生成行为控制配置
+MYSQL_AUTO_UPDATE = False  # 是否使用 REPLACE INTO（完全覆盖已存在记录）
+MYSQL_INSERT_IGNORE = False  # 是否使用 INSERT IGNORE（忽略重复数据）
+MYSQL_UPDATE_COLUMNS = ()  # 冲突时需更新的列名；指定后 MYSQL_AUTO_UPDATE 失效
+
 # MongoDB配置
 MONGO_URI = 'mongodb://localhost:27017'
 MONGO_DATABASE = '{{project_name}}_db'
@@ -101,26 +106,7 @@ MONGO_MIN_POOL_SIZE = 20
 MONGO_BATCH_SIZE = 100  # 批量插入条数
 MONGO_USE_BATCH = True  # 是否启用批量插入
 
-# =================================== 网络配置 ===================================
-
-# 代理配置
-# 代理功能默认不启用，如需使用请在项目配置文件中启用并配置相关参数
-PROXY_ENABLED = False  # 是否启用代理
-
-# 简化版代理配置（适用于SimpleProxyMiddleware）
-PROXY_LIST = []  # 代理列表，例如: ["http://proxy1:8080", "http://proxy2:8080"]
-
-# 高级代理配置（适用于ProxyMiddleware）
-PROXY_API_URL = ""  # 代理获取接口（请替换为真实地址）
-
-# 代理提取方式（支持字段路径或函数）
-# 示例: "proxy" 适用于 {"proxy": "http://1.1.1.1:8080"}
-# 示例: "data.proxy" 适用于 {"data": {"proxy": "http://1.1.1.1:8080"}}
-PROXY_EXTRACTOR = "proxy"
-
-# 代理刷新控制
-PROXY_REFRESH_INTERVAL = 60  # 代理刷新间隔（秒）
-PROXY_API_TIMEOUT = 10  # 请求代理 API 超时时间
+# =================================== 浏览器指纹模拟 ===================================
 
 # 浏览器指纹模拟（仅 CurlCffi 下载器有效）
 CURL_BROWSER_TYPE = "chrome"  # 可选: chrome, edge, safari, firefox 或版本如 chrome136
@@ -133,7 +119,8 @@ CURL_BROWSER_VERSION_MAP = {
     "firefox": "firefox135",
 }
 
-# 下载器优化配置
+# =================================== 下载器优化配置 ===================================
+
 # 下载器健康检查
 DOWNLOADER_HEALTH_CHECK = True  # 是否启用下载器健康检查
 HEALTH_CHECK_INTERVAL = 60  # 健康检查间隔（秒）
@@ -154,7 +141,18 @@ AIOHTTP_FORCE_CLOSE = False  # 是否强制关闭连接
 CONNECTION_TTL_DNS_CACHE = 300  # DNS缓存TTL（秒）
 CONNECTION_KEEPALIVE_TIMEOUT = 15  # Keep-Alive超时（秒）
 
-# 内存监控配置
+# =================================== 代理配置 ===================================
+
+# 简化版代理配置（适用于SimpleProxyMiddleware）
+# 只要配置了代理列表，中间件就会自动启用
+# PROXY_LIST = ["http://proxy1:8080", "http://proxy2:8080"]
+
+# 高级代理配置（适用于ProxyMiddleware）
+# 只要配置了代理API URL，中间件就会自动启用
+# PROXY_API_URL = "http://your-proxy-api.com/get-proxy"
+
+# =================================== 内存监控配置 ===================================
+
 # 内存监控扩展默认不启用，如需使用请在项目配置文件中启用
 MEMORY_MONITOR_ENABLED = False  # 是否启用内存监控
 MEMORY_MONITOR_INTERVAL = 60  # 内存监控检查间隔（秒）

crawlo/templates/project/settings_gentle.py.tmpl

@@ -102,6 +102,11 @@ MYSQL_TABLE = '{{project_name}}_data'
 MYSQL_BATCH_SIZE = 100
 MYSQL_USE_BATCH = False  # 是否启用批量插入
 
+# MySQL SQL生成行为控制配置
+MYSQL_AUTO_UPDATE = False  # 是否使用 REPLACE INTO（完全覆盖已存在记录）
+MYSQL_INSERT_IGNORE = False  # 是否使用 INSERT IGNORE（忽略重复数据）
+MYSQL_UPDATE_COLUMNS = ()  # 冲突时需更新的列名；指定后 MYSQL_AUTO_UPDATE 失效
+
 # MongoDB配置
 MONGO_URI = 'mongodb://localhost:27017'
 MONGO_DATABASE = '{{project_name}}_db'

crawlo/templates/project/settings_high_performance.py.tmpl

@@ -103,6 +103,11 @@ MYSQL_TABLE = '{{project_name}}_data'
 MYSQL_BATCH_SIZE = 100
 MYSQL_USE_BATCH = True  # 是否启用批量插入
 
+# MySQL SQL生成行为控制配置
+MYSQL_AUTO_UPDATE = False  # 是否使用 REPLACE INTO（完全覆盖已存在记录）
+MYSQL_INSERT_IGNORE = False  # 是否使用 INSERT IGNORE（忽略重复数据）
+MYSQL_UPDATE_COLUMNS = ()  # 冲突时需更新的列名；指定后 MYSQL_AUTO_UPDATE 失效
+
 # MongoDB配置
 MONGO_URI = 'mongodb://localhost:27017'
 MONGO_DATABASE = '{{project_name}}_db'

crawlo/templates/project/settings_minimal.py.tmpl

@@ -74,4 +74,28 @@ LOG_ENCODING = 'utf-8'  # 明确指定日志文件编码
 STATS_DUMP = True
 
 # 输出配置
-OUTPUT_DIR = 'output'
+OUTPUT_DIR = 'output'
+
+# =================================== 数据库配置 ===================================
+
+# MySQL配置
+MYSQL_HOST = '127.0.0.1'
+MYSQL_PORT = 3306
+MYSQL_USER = 'root'
+MYSQL_PASSWORD = '123456'
+MYSQL_DB = '{{project_name}}'
+MYSQL_TABLE = '{{project_name}}_data'
+MYSQL_BATCH_SIZE = 100
+MYSQL_USE_BATCH = False  # 是否启用批量插入
+
+# MySQL SQL生成行为控制配置
+MYSQL_AUTO_UPDATE = False  # 是否使用 REPLACE INTO（完全覆盖已存在记录）
+MYSQL_INSERT_IGNORE = False  # 是否使用 INSERT IGNORE（忽略重复数据）
+MYSQL_UPDATE_COLUMNS = ()  # 冲突时需更新的列名；指定后 MYSQL_AUTO_UPDATE 失效
+
+# MongoDB配置
+MONGO_URI = 'mongodb://localhost:27017'
+MONGO_DATABASE = '{{project_name}}_db'
+MONGO_COLLECTION = '{{project_name}}_items'
+MONGO_BATCH_SIZE = 100  # 批量插入条数
+MONGO_USE_BATCH = False  # 是否启用批量插入

crawlo/templates/project/settings_simple.py.tmpl

@@ -100,6 +100,11 @@ MYSQL_TABLE = '{{project_name}}_data'
 MYSQL_BATCH_SIZE = 100
 MYSQL_USE_BATCH = False  # 是否启用批量插入
 
+# MySQL SQL生成行为控制配置
+MYSQL_AUTO_UPDATE = False  # 是否使用 REPLACE INTO（完全覆盖已存在记录）
+MYSQL_INSERT_IGNORE = False  # 是否使用 INSERT IGNORE（忽略重复数据）
+MYSQL_UPDATE_COLUMNS = ()  # 冲突时需更新的列名；指定后 MYSQL_AUTO_UPDATE 失效
+
 # MongoDB配置
 MONGO_URI = 'mongodb://localhost:27017'
 MONGO_DATABASE = '{{project_name}}_db'

crawlo/templates/run.py.tmpl

@@ -1,13 +1,6 @@
-#!/usr/bin/env python3
+#!/usr/bin/python
 # -*- coding: UTF-8 -*-
-"""
-{{project_name}} 项目运行脚本
-============================
-基于 Crawlo 框架的简化爬虫启动器。
 
-框架会自动处理爬虫模块的导入和注册，用户无需手动导入。
-框架会自动从settings.py中读取SPIDER_MODULES配置。
-"""
 import sys
 import asyncio
 

crawlo/templates/spider/spider.py.tmpl

@@ -3,142 +3,39 @@
 {{project_name}}.spiders.{{spider_name}}
 =======================================
 由 `crawlo genspider` 命令生成的爬虫。
-基于 Crawlo 框架，支持异步并发、分布式爬取等功能。
-
-使用示例：
-    crawlo crawl {{spider_name}}
 """
 
 from crawlo.spider import Spider
 from crawlo import Request
-from ..items import ExampleItem
+from ..items import {{item_class}}
 
 
 class {{class_name}}(Spider):
     """
     爬虫：{{spider_name}}
-    
-    功能说明：
-    - 支持并发爬取
-    - 自动去重过滤
-    - 错误重试机制
-    - 数据管道处理
     """
     name = '{{spider_name}}'
     allowed_domains = ['{{domain}}']
     start_urls = ['https://{{domain}}/']
     
-    # 高级配置（可选）
-    # custom_settings = {
-    #     'DOWNLOAD_DELAY': 2.0,
-    #     'CONCURRENCY': 4,
-    #     'RETRY_HTTP_CODES': [500, 502, 503, 504, 408, 429],
-    #     'ALLOWED_RESPONSE_CODES': [200, 301, 302],  # 只允许特定状态码
-    #     'DENIED_RESPONSE_CODES': [403, 404],        # 拒绝特定状态码
-    # }
+    # 自定义设置（可选）
+    custom_settings = {}
 
     def start_requests(self):
         """
         生成初始请求。
-        
-        支持自定义请求头、代理、优先级等。
         """
-        headers = {
-            'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
-            'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
-        }
-        
         for url in self.start_urls:
-            yield Request(
-                url=url,
-                callback=self.parse,
-                headers=headers,
-                # meta={'proxy': 'http://proxy.example.com:8080'},  # 自定义代理
-                # priority=10,  # 请求优先级（数字越大优先级越高）
-            )
+            yield Request(url=url, callback=self.parse)
 
     def parse(self, response):
         """
         解析响应的主方法。
-        
-        Args:
-            response: 响应对象，包含页面内容和元数据
-            
-        Yields:
-            Request: 新的请求对象（用于深度爬取）
-            Item: 数据项对象（用于数据存储）
         """
         self.logger.info(f'正在解析页面: {response.url}')
         
-        # ================== 数据提取示例 ==================
-        
-        # 提取数据并创建 Item
-        # item = {{item_class}}()
-        # item['title'] = response.xpath('//title/text()').get(default='')
-        # item['url'] = response.url
-        # item['content'] = response.xpath('//div[@class="content"]//text()').getall()
-        # yield item
-        
-        # 直接返回字典（简单数据）
         yield {
             'title': response.xpath('//title/text()').get(default=''),
             'url': response.url,
             'status_code': response.status_code,
-            # 'description': response.xpath('//meta[@name="description"]/@content').get(),
-            # 'keywords': response.xpath('//meta[@name="keywords"]/@content').get(),
-        }
-        
-        # ================== 链接提取示例 ==================
-        
-        # 提取并跟进链接
-        # links = response.xpath('//a/@href').getall()
-        # for link in links:
-        #     # 过滤有效链接
-        #     if link and not link.startswith(('javascript:', 'mailto:', '#')):
-        #         yield response.follow(
-        #             link,
-        #             callback=self.parse_detail,  # 或者 self.parse 继续递归
-        #             meta={'parent_url': response.url}  # 传递父页面信息
-        #         )
-        
-        # 用 CSS 选择器提取链接
-        # for link in response.css('a.item-link::attr(href)').getall():
-        #     yield response.follow(link, callback=self.parse_detail)
-        
-        # ================== 分页处理示例 ==================
-        
-        # 处理分页
-        # next_page = response.xpath('//a[@class="next"]/@href').get()
-        # if next_page:
-        #     yield response.follow(next_page, callback=self.parse)
-        
-        # 数字分页
-        # current_page = int(response.meta.get('page', 1))
-        # max_pages = 100  # 设置最大页数
-        # if current_page < max_pages:
-        #     next_url = f'https://{{domain}}/page/{current_page + 1}'
-        #     yield Request(
-        #         url=next_url,
-        #         callback=self.parse,
-        #         meta={'page': current_page + 1}
-        #     )
-
-    def parse_detail(self, response):
-        """
-        解析详情页面的方法（可选）。
-        
-        用于处理从列表页跳转而来的详情页。
-        """
-        self.logger.info(f'正在解析详情页: {response.url}')
-        
-        # parent_url = response.meta.get('parent_url', '')
-        # 
-        # yield {
-        #     'title': response.xpath('//h1/text()').get(default=''),
-        #     'content': '\n'.join(response.xpath('//div[@class="content"]//text()').getall()),
-        #     'url': response.url,
-        #     'parent_url': parent_url,
-        #     'publish_time': response.xpath('//time/@datetime').get(),
-        # }
-        
-        pass
+        }

crawlo/utils/db_helper.py

@@ -93,7 +93,7 @@ class SQLBuilder:
     @staticmethod
     def _build_update_clause(update_columns: Union[Tuple, List]) -> str:
         """
-        构建更新子句
+        构建更新子句，使用新的 MySQL 语法避免 VALUES() 函数弃用警告
 
         Args:
             update_columns (tuple or list): 更新列名
@@ -103,7 +103,9 @@ class SQLBuilder:
         """
         if not isinstance(update_columns, (tuple, list)):
             update_columns = (update_columns,)
-        return ", ".join(f"`{key}`=VALUES(`{key}`)" for key in update_columns)
+        # 使用新的语法：INSERT ... VALUES (...) AS alias ... UPDATE ... alias.col
+        # 确保使用 excluded 别名而不是 VALUES() 函数
+        return ", ".join(f"`{key}`=`excluded`.`{key}`" for key in update_columns)
 
     @staticmethod
     def make_insert(
@@ -133,7 +135,8 @@ class SQLBuilder:
         if update_columns:
             update_clause = SQLBuilder._build_update_clause(update_columns)
             ignore_flag = " IGNORE" if insert_ignore else ""
-            sql = f"INSERT{ignore_flag} INTO `{table}` {keys_str} VALUES {values_str} ON DUPLICATE KEY UPDATE {update_clause}"
+            # 使用新的语法避免 VALUES() 函数弃用警告
+            sql = f"INSERT{ignore_flag} INTO `{table}` {keys_str} VALUES {values_str} AS `excluded` ON DUPLICATE KEY UPDATE {update_clause}"
 
         elif auto_update:
             sql = f"REPLACE INTO `{table}` {keys_str} VALUES {values_str}"
@@ -225,16 +228,19 @@ class SQLBuilder:
                 update_columns = (update_columns,)
 
             if update_columns_value:
+                # 当提供了固定值时，使用这些值进行更新
                 update_pairs = [
                     f"`{key}`={value}"
                     for key, value in zip(update_columns, update_columns_value)
                 ]
             else:
+                # 使用新的语法避免 VALUES() 函数弃用警告
+                # INSERT ... VALUES (...) AS excluded ... ON DUPLICATE KEY UPDATE col=excluded.col
                 update_pairs = [
-                    f"`{key}`=VALUES(`{key}`)" for key in update_columns
+                    f"`{key}`=`excluded`.`{key}`" for key in update_columns
                 ]
             update_clause = ", ".join(update_pairs)
-            sql = f"INSERT INTO `{table}` ({keys_str}) VALUES ({placeholders_str}) ON DUPLICATE KEY UPDATE {update_clause}"
+            sql = f"INSERT INTO `{table}` ({keys_str}) VALUES ({placeholders_str}) AS `excluded` ON DUPLICATE KEY UPDATE {update_clause}"
 
         elif auto_update:
             sql = f"REPLACE INTO `{table}` ({keys_str}) VALUES ({placeholders_str})"

{crawlo-1.4.5.dist-info → crawlo-1.4.6.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: crawlo
-Version: 1.4.5
+Version: 1.4.6
 Summary: Crawlo 是一款基于异步IO的高性能Python爬虫框架，支持分布式抓取。
 Home-page: https://github.com/crawl-coder/Crawlo.git
 Author: crawl-coder