crawlo 1.4.5__py3-none-any.whl → 1.4.7__py3-none-any.whl

tests/simulate_mysql_update_test.py

@@ -0,0 +1,140 @@
+# -*- coding: utf-8 -*-
+"""
+模拟 MySQL ON DUPLICATE KEY UPDATE 行为测试
+演示不同情况下的影响行数
+"""
+import sys
+import os
+
+# 添加项目根目录到 Python 路径
+sys.path.insert(0, os.path.join(os.path.dirname(__file__), '..'))
+
+from crawlo.utils.db_helper import SQLBuilder
+
+
+def simulate_mysql_scenarios():
+    """模拟不同的 MySQL 场景"""
+    print("=== MySQL 场景模拟测试 ===\n")
+    
+    table = "news_items"
+    
+    # 场景1: 新记录插入
+    print("场景1: 插入新记录")
+    new_data = {
+        'title': '新文章标题',
+        'publish_time': '2025-10-09 10:00',
+        'url': 'https://example.com/new-article',
+        'source': '新来源',
+        'content': '新文章内容'
+    }
+    
+    sql1 = SQLBuilder.make_insert(
+        table=table,
+        data=new_data,
+        auto_update=False,
+        update_columns=('title', 'publish_time'),
+        insert_ignore=False
+    )
+    
+    print(f"SQL: {sql1[:100]}...")
+    print("预期行为: 正常插入，影响行数 = 1")
+    print()
+    
+    # 场景2: 冲突但字段值相同
+    print("场景2: 主键冲突，更新字段值相同")
+    duplicate_data = {
+        'title': '已有文章标题',  # 假设数据库中已存在相同标题的记录
+        'publish_time': '2025-10-09 09:00',  # 与数据库中记录相同的发布时间
+        'url': 'https://example.com/existing-article',
+        'source': '来源',
+        'content': '文章内容'
+    }
+    
+    sql2 = SQLBuilder.make_insert(
+        table=table,
+        data=duplicate_data,
+        auto_update=False,
+        update_columns=('title', 'publish_time'),
+        insert_ignore=False
+    )
+    
+    print(f"SQL: {sql2[:100]}...")
+    print("预期行为: 触发 ON DUPLICATE KEY UPDATE，但字段值未变化，影响行数 = 0")
+    print()
+    
+    # 场景3: 冲突且字段值不同
+    print("场景3: 主键冲突，更新字段值不同")
+    updated_data = {
+        'title': '已有文章标题',  # 与数据库中记录相同
+        'publish_time': '2025-10-09 11:00',  # 与数据库中记录不同的发布时间
+        'url': 'https://example.com/existing-article',
+        'source': '来源',
+        'content': '文章内容'
+    }
+    
+    sql3 = SQLBuilder.make_insert(
+        table=table,
+        data=updated_data,
+        auto_update=False,
+        update_columns=('title', 'publish_time'),
+        insert_ignore=False
+    )
+    
+    print(f"SQL: {sql3[:100]}...")
+    print("预期行为: 触发 ON DUPLICATE KEY UPDATE，字段值变化，影响行数 = 2")
+    print("(MySQL 5.7+ 版本中，更新操作返回的影响行数为 2)")
+    print()
+    
+    # 场景4: 使用 INSERT IGNORE
+    print("场景4: 使用 INSERT IGNORE")
+    ignore_data = {
+        'title': '忽略重复标题',  # 假设数据库中已存在相同标题的记录
+        'publish_time': '2025-10-09 12:00',
+        'url': 'https://example.com/ignore-article',
+        'source': '忽略来源',
+        'content': '忽略内容'
+    }
+    
+    sql4 = SQLBuilder.make_insert(
+        table=table,
+        data=ignore_data,
+        auto_update=False,
+        update_columns=(),
+        insert_ignore=True
+    )
+    
+    print(f"SQL: {sql4[:100]}...")
+    print("预期行为: 遇到重复记录时忽略插入，影响行数 = 0")
+    print()
+    
+    # 场景5: 使用 REPLACE INTO
+    print("场景5: 使用 REPLACE INTO")
+    replace_data = {
+        'title': '替换文章标题',  # 假设数据库中已存在相同标题的记录
+        'publish_time': '2025-10-09 13:00',
+        'url': 'https://example.com/replace-article',
+        'source': '替换来源',
+        'content': '替换内容'
+    }
+    
+    sql5 = SQLBuilder.make_insert(
+        table=table,
+        data=replace_data,
+        auto_update=True,  # 使用 REPLACE INTO
+        update_columns=(),
+        insert_ignore=False
+    )
+    
+    print(f"SQL: {sql5[:100]}...")
+    print("预期行为: 删除旧记录并插入新记录，影响行数 = 2")
+    print()
+    
+    print("=== 总结 ===")
+    print("1. 当使用 MYSQL_UPDATE_COLUMNS 时，影响行数为 0 并不表示错误")
+    print("2. 这可能意味着更新的字段值与现有记录相同")
+    print("3. 如果需要确保更新，可以在 update_columns 中包含更多字段")
+    print("4. 如果需要完全替换记录，使用 MYSQL_AUTO_UPDATE = True")
+
+
+if __name__ == "__main__":
+    simulate_mysql_scenarios()

tests/spider_log_timing_test.py

@@ -1,178 +1,178 @@
-#!/usr/bin/env python
-# -*- coding: UTF-8 -*-
-"""
-模拟爬虫场景测试日志文件生成时机
-"""
-
-import os
-import sys
-import time
-import asyncio
-from pathlib import Path
-
-# 添加项目根目录到Python路径
-project_root = Path(__file__).parent.parent
-sys.path.insert(0, str(project_root))
-
-from crawlo.logging import configure_logging as configure, get_logger
-
-
-class MockSpider:
-    """模拟爬虫类"""
-    
-    def __init__(self, name):
-        self.name = name
-        self.logger = get_logger(f'spider.{name}')
-    
-    async def start_requests(self):
-        """开始请求"""
-        self.logger.info(f"Spider {self.name} 开始请求")
-        # 模拟一些网络请求
-        for i in range(3):
-            self.logger.info(f"Spider {self.name} 发送请求 {i+1}")
-            await asyncio.sleep(0.1)
-    
-    async def parse(self, response):
-        """解析响应"""
-        self.logger.info(f"Spider {self.name} 解析响应")
-        # 模拟解析过程
-        await asyncio.sleep(0.05)
-        self.logger.info(f"Spider {self.name} 提取数据")
-        return {"data": f"item from {self.name}"}
-    
-    async def crawl(self):
-        """执行爬取"""
-        self.logger.info(f"Spider {self.name} 开始爬取")
-        await self.start_requests()
-        await self.parse("mock_response")
-        self.logger.info(f"Spider {self.name} 爬取完成")
-
-
-async def test_spider_logging_timing():
-    """测试爬虫日志记录时机"""
-    print("=== 测试爬虫日志记录时机 ===")
-    
-    # 设置日志文件路径
-    log_file = "logs/spider_timing_test.log"
-    
-    # 删除可能存在的旧日志文件
-    if os.path.exists(log_file):
-        os.remove(log_file)
-    
-    # 配置日志系统
-    print("1. 配置日志系统...")
-    configure(
-        level='INFO',
-        file_path=log_file,
-        console_enabled=True,
-        file_enabled=True
-    )
-    
-    print(f"   配置后日志文件是否存在: {os.path.exists(log_file)}")
-    
-    # 创建爬虫实例
-    print("\n2. 创建爬虫实例...")
-    spider = MockSpider("test_spider")
-    print(f"   创建爬虫后日志文件是否存在: {os.path.exists(log_file)}")
-    
-    # 检查文件内容
-    if os.path.exists(log_file):
-        with open(log_file, 'r', encoding='utf-8') as f:
-            content = f.read()
-            print(f"   日志文件行数: {len(content.splitlines())}")
-    
-    # 执行爬取
-    print("\n3. 执行爬取...")
-    await spider.crawl()
-    
-    print(f"   爬取完成后日志文件是否存在: {os.path.exists(log_file)}")
-    
-    # 检查最终文件内容
-    if os.path.exists(log_file):
-        with open(log_file, 'r', encoding='utf-8') as f:
-            lines = f.readlines()
-            print(f"\n最终日志文件内容:")
-            print(f"  总行数: {len(lines)}")
-            print(f"  文件大小: {os.path.getsize(log_file)} 字节")
-            if lines:
-                print(f"  第一行: {lines[0].strip()}")
-                print(f"  最后一行: {lines[-1].strip()}")
-    
-    # 等待一段时间后再次检查
-    print("\n4. 等待2秒后再次检查...")
-    time.sleep(2)
-    
-    if os.path.exists(log_file):
-        with open(log_file, 'r', encoding='utf-8') as f:
-            lines = f.readlines()
-            print(f"  等待后总行数: {len(lines)}")
-
-
-async def test_multiple_spiders():
-    """测试多个爬虫的日志记录"""
-    print("\n=== 测试多个爬虫的日志记录 ===")
-    
-    # 设置日志文件路径
-    log_file = "logs/multi_spider_test.log"
-    
-    # 删除可能存在的旧日志文件
-    if os.path.exists(log_file):
-        os.remove(log_file)
-    
-    # 配置日志系统
-    configure(
-        level='INFO',
-        file_path=log_file,
-        console_enabled=True,
-        file_enabled=True
-    )
-    
-    # 创建多个爬虫实例
-    spiders = [MockSpider(f"spider_{i}") for i in range(3)]
-    
-    print("1. 顺序执行多个爬虫...")
-    for i, spider in enumerate(spiders):
-        print(f"   执行爬虫 {i+1}...")
-        await spider.crawl()
-        
-        # 检查当前日志文件状态
-        if os.path.exists(log_file):
-            with open(log_file, 'r', encoding='utf-8') as f:
-                lines = f.readlines()
-                print(f"     当前日志行数: {len(lines)}")
-    
-    print(f"\n   所有爬虫执行完成后日志文件是否存在: {os.path.exists(log_file)}")
-    
-    # 检查最终文件内容
-    if os.path.exists(log_file):
-        with open(log_file, 'r', encoding='utf-8') as f:
-            lines = f.readlines()
-            print(f"\n最终日志文件内容:")
-            print(f"  总行数: {len(lines)}")
-            print(f"  文件大小: {os.path.getsize(log_file)} 字节")
-            if lines:
-                print(f"  第一行: {lines[0].strip()}")
-                print(f"  最后一行: {lines[-1].strip()}")
-
-
-async def main():
-    """主函数"""
-    print("开始测试爬虫日志记录时机...")
-    
-    try:
-        await test_spider_logging_timing()
-        await test_multiple_spiders()
-        
-        print("\n=== 所有测试完成 ===")
-        
-    except Exception as e:
-        print(f"\n测试过程中出现错误: {e}")
-        import traceback
-        traceback.print_exc()
-        return 1
-    
-    return 0
-
-
-if __name__ == '__main__':
+#!/usr/bin/env python
+# -*- coding: UTF-8 -*-
+"""
+模拟爬虫场景测试日志文件生成时机
+"""
+
+import os
+import sys
+import time
+import asyncio
+from pathlib import Path
+
+# 添加项目根目录到Python路径
+project_root = Path(__file__).parent.parent
+sys.path.insert(0, str(project_root))
+
+from crawlo.logging import configure_logging as configure, get_logger
+
+
+class MockSpider:
+    """模拟爬虫类"""
+    
+    def __init__(self, name):
+        self.name = name
+        self.logger = get_logger(f'spider.{name}')
+    
+    async def start_requests(self):
+        """开始请求"""
+        self.logger.info(f"Spider {self.name} 开始请求")
+        # 模拟一些网络请求
+        for i in range(3):
+            self.logger.info(f"Spider {self.name} 发送请求 {i+1}")
+            await asyncio.sleep(0.1)
+    
+    async def parse(self, response):
+        """解析响应"""
+        self.logger.info(f"Spider {self.name} 解析响应")
+        # 模拟解析过程
+        await asyncio.sleep(0.05)
+        self.logger.info(f"Spider {self.name} 提取数据")
+        return {"data": f"item from {self.name}"}
+    
+    async def crawl(self):
+        """执行爬取"""
+        self.logger.info(f"Spider {self.name} 开始爬取")
+        await self.start_requests()
+        await self.parse("mock_response")
+        self.logger.info(f"Spider {self.name} 爬取完成")
+
+
+async def test_spider_logging_timing():
+    """测试爬虫日志记录时机"""
+    print("=== 测试爬虫日志记录时机 ===")
+    
+    # 设置日志文件路径
+    log_file = "logs/spider_timing_test.log"
+    
+    # 删除可能存在的旧日志文件
+    if os.path.exists(log_file):
+        os.remove(log_file)
+    
+    # 配置日志系统
+    print("1. 配置日志系统...")
+    configure(
+        level='INFO',
+        file_path=log_file,
+        console_enabled=True,
+        file_enabled=True
+    )
+    
+    print(f"   配置后日志文件是否存在: {os.path.exists(log_file)}")
+    
+    # 创建爬虫实例
+    print("\n2. 创建爬虫实例...")
+    spider = MockSpider("test_spider")
+    print(f"   创建爬虫后日志文件是否存在: {os.path.exists(log_file)}")
+    
+    # 检查文件内容
+    if os.path.exists(log_file):
+        with open(log_file, 'r', encoding='utf-8') as f:
+            content = f.read()
+            print(f"   日志文件行数: {len(content.splitlines())}")
+    
+    # 执行爬取
+    print("\n3. 执行爬取...")
+    await spider.crawl()
+    
+    print(f"   爬取完成后日志文件是否存在: {os.path.exists(log_file)}")
+    
+    # 检查最终文件内容
+    if os.path.exists(log_file):
+        with open(log_file, 'r', encoding='utf-8') as f:
+            lines = f.readlines()
+            print(f"\n最终日志文件内容:")
+            print(f"  总行数: {len(lines)}")
+            print(f"  文件大小: {os.path.getsize(log_file)} 字节")
+            if lines:
+                print(f"  第一行: {lines[0].strip()}")
+                print(f"  最后一行: {lines[-1].strip()}")
+    
+    # 等待一段时间后再次检查
+    print("\n4. 等待2秒后再次检查...")
+    time.sleep(2)
+    
+    if os.path.exists(log_file):
+        with open(log_file, 'r', encoding='utf-8') as f:
+            lines = f.readlines()
+            print(f"  等待后总行数: {len(lines)}")
+
+
+async def test_multiple_spiders():
+    """测试多个爬虫的日志记录"""
+    print("\n=== 测试多个爬虫的日志记录 ===")
+    
+    # 设置日志文件路径
+    log_file = "logs/multi_spider_test.log"
+    
+    # 删除可能存在的旧日志文件
+    if os.path.exists(log_file):
+        os.remove(log_file)
+    
+    # 配置日志系统
+    configure(
+        level='INFO',
+        file_path=log_file,
+        console_enabled=True,
+        file_enabled=True
+    )
+    
+    # 创建多个爬虫实例
+    spiders = [MockSpider(f"spider_{i}") for i in range(3)]
+    
+    print("1. 顺序执行多个爬虫...")
+    for i, spider in enumerate(spiders):
+        print(f"   执行爬虫 {i+1}...")
+        await spider.crawl()
+        
+        # 检查当前日志文件状态
+        if os.path.exists(log_file):
+            with open(log_file, 'r', encoding='utf-8') as f:
+                lines = f.readlines()
+                print(f"     当前日志行数: {len(lines)}")
+    
+    print(f"\n   所有爬虫执行完成后日志文件是否存在: {os.path.exists(log_file)}")
+    
+    # 检查最终文件内容
+    if os.path.exists(log_file):
+        with open(log_file, 'r', encoding='utf-8') as f:
+            lines = f.readlines()
+            print(f"\n最终日志文件内容:")
+            print(f"  总行数: {len(lines)}")
+            print(f"  文件大小: {os.path.getsize(log_file)} 字节")
+            if lines:
+                print(f"  第一行: {lines[0].strip()}")
+                print(f"  最后一行: {lines[-1].strip()}")
+
+
+async def main():
+    """主函数"""
+    print("开始测试爬虫日志记录时机...")
+    
+    try:
+        await test_spider_logging_timing()
+        await test_multiple_spiders()
+        
+        print("\n=== 所有测试完成 ===")
+        
+    except Exception as e:
+        print(f"\n测试过程中出现错误: {e}")
+        import traceback
+        traceback.print_exc()
+        return 1
+    
+    return 0
+
+
+if __name__ == '__main__':
     asyncio.run(main())