crawlo 1.4.7__py3-none-any.whl → 1.4.8__py3-none-any.whl

tests/explain_mysql_update_behavior.py

@@ -1,77 +1,77 @@
-# -*- coding: utf-8 -*-
-"""
-解释 MySQL ON DUPLICATE KEY UPDATE 行为
-帮助理解为什么在使用 MYSQL_UPDATE_COLUMNS 时可能显示"未插入新记录"
-"""
-import sys
-import os
-
-# 添加项目根目录到 Python 路径
-sys.path.insert(0, os.path.join(os.path.dirname(__file__), '..'))
-
-from crawlo.utils.db_helper import SQLBuilder
-
-
-def explain_mysql_behavior():
-    """解释 MySQL ON DUPLICATE KEY UPDATE 的行为"""
-    print("=== MySQL ON DUPLICATE KEY UPDATE 行为解释 ===\n")
-    
-    # 模拟实际使用的数据
-    table = "news_items"
-    item_data = {
-        'title': '新一代OLED屏下光谱颜色传感技术：解锁显示新密码，重塑视觉新体验',
-        'publish_time': '2025-10-09 09:57',
-        'url': 'https://ee.ofweek.com/2025-10/ART-8460-2806-30671544.html',
-        'source': '',
-        'content': '在全球智能手机市场竞争日趋白热化的当下，消费者对手机屏幕显示效果的要求愈发严苛...'
-    }
-    
-    print("当使用 MYSQL_UPDATE_COLUMNS 配置时:")
-    print("MYSQL_UPDATE_COLUMNS = ('title', 'publish_time')")
-    print()
-    
-    # 生成 SQL
-    sql = SQLBuilder.make_insert(
-        table=table,
-        data=item_data,
-        auto_update=False,
-        update_columns=('title', 'publish_time'),
-        insert_ignore=False
-    )
-    
-    print("生成的 SQL 语句:")
-    print(sql)
-    print()
-    
-    print("MySQL 行为说明:")
-    print("1. 如果这是一条新记录（没有主键或唯一键冲突）:")
-    print("   - MySQL 会正常插入记录")
-    print("   - 返回影响行数为 1")
-    print()
-    print("2. 如果遇到主键或唯一键冲突:")
-    print("   - MySQL 会执行 ON DUPLICATE KEY UPDATE 子句")
-    print("   - 更新指定的字段: title 和 publish_time")
-    print()
-    print("3. 关键点 - 如果更新的字段值与现有记录完全相同:")
-    print("   - MySQL 不会实际更新任何数据")
-    print("   - 返回影响行数为 0")
-    print("   - 这就是你看到 'SQL执行成功但未插入新记录' 的原因")
-    print()
-    
-    print("如何验证是否真的更新了数据:")
-    print("1. 检查数据库中的记录是否发生变化")
-    print("2. 如果内容字段有变化但未在 update_columns 中指定，则不会更新")
-    print("3. 可以在 update_columns 中添加更多字段以确保更新")
-    print()
-    
-    print("建议的配置:")
-    print("# 如果希望在冲突时更新更多字段，可以这样配置:")
-    print("MYSQL_UPDATE_COLUMNS = ('title', 'publish_time', 'content')")
-    print()
-    print("# 或者如果希望完全替换记录:")
-    print("MYSQL_AUTO_UPDATE = True")
-    print("MYSQL_UPDATE_COLUMNS = ()  # 空元组")
-
-
-if __name__ == "__main__":
+# -*- coding: utf-8 -*-
+"""
+解释 MySQL ON DUPLICATE KEY UPDATE 行为
+帮助理解为什么在使用 MYSQL_UPDATE_COLUMNS 时可能显示"未插入新记录"
+"""
+import sys
+import os
+
+# 添加项目根目录到 Python 路径
+sys.path.insert(0, os.path.join(os.path.dirname(__file__), '..'))
+
+from crawlo.utils.db_helper import SQLBuilder
+
+
+def explain_mysql_behavior():
+    """解释 MySQL ON DUPLICATE KEY UPDATE 的行为"""
+    print("=== MySQL ON DUPLICATE KEY UPDATE 行为解释 ===\n")
+    
+    # 模拟实际使用的数据
+    table = "news_items"
+    item_data = {
+        'title': '新一代OLED屏下光谱颜色传感技术：解锁显示新密码，重塑视觉新体验',
+        'publish_time': '2025-10-09 09:57',
+        'url': 'https://ee.ofweek.com/2025-10/ART-8460-2806-30671544.html',
+        'source': '',
+        'content': '在全球智能手机市场竞争日趋白热化的当下，消费者对手机屏幕显示效果的要求愈发严苛...'
+    }
+    
+    print("当使用 MYSQL_UPDATE_COLUMNS 配置时:")
+    print("MYSQL_UPDATE_COLUMNS = ('title', 'publish_time')")
+    print()
+    
+    # 生成 SQL
+    sql = SQLBuilder.make_insert(
+        table=table,
+        data=item_data,
+        auto_update=False,
+        update_columns=('title', 'publish_time'),
+        insert_ignore=False
+    )
+    
+    print("生成的 SQL 语句:")
+    print(sql)
+    print()
+    
+    print("MySQL 行为说明:")
+    print("1. 如果这是一条新记录（没有主键或唯一键冲突）:")
+    print("   - MySQL 会正常插入记录")
+    print("   - 返回影响行数为 1")
+    print()
+    print("2. 如果遇到主键或唯一键冲突:")
+    print("   - MySQL 会执行 ON DUPLICATE KEY UPDATE 子句")
+    print("   - 更新指定的字段: title 和 publish_time")
+    print()
+    print("3. 关键点 - 如果更新的字段值与现有记录完全相同:")
+    print("   - MySQL 不会实际更新任何数据")
+    print("   - 返回影响行数为 0")
+    print("   - 这就是你看到 'SQL执行成功但未插入新记录' 的原因")
+    print()
+    
+    print("如何验证是否真的更新了数据:")
+    print("1. 检查数据库中的记录是否发生变化")
+    print("2. 如果内容字段有变化但未在 update_columns 中指定，则不会更新")
+    print("3. 可以在 update_columns 中添加更多字段以确保更新")
+    print()
+    
+    print("建议的配置:")
+    print("# 如果希望在冲突时更新更多字段，可以这样配置:")
+    print("MYSQL_UPDATE_COLUMNS = ('title', 'publish_time', 'content')")
+    print()
+    print("# 或者如果希望完全替换记录:")
+    print("MYSQL_AUTO_UPDATE = True")
+    print("MYSQL_UPDATE_COLUMNS = ()  # 空元组")
+
+
+if __name__ == "__main__":
     explain_mysql_behavior()

tests/final_comprehensive_test.py

@@ -1,152 +1,152 @@
-#!/usr/bin/env python
-# -*- coding: utf-8 -*-
-"""
-最终综合测试脚本
-全面测试框架的所有核心功能，特别是我们修改的部分
-"""
-
-import sys
-import os
-import asyncio
-import time
-sys.path.insert(0, os.path.join(os.path.dirname(__file__), '..'))
-
-from crawlo.spider import Spider
-from crawlo import Request
-
-
-class TestSpider(Spider):
-    """测试爬虫"""
-    name = 'final_test_spider'
-    
-    def start_requests(self):
-        """发起测试请求"""
-        # 生成一些测试请求
-        for i in range(5):
-            yield Request(f'https://httpbin.org/get?page={i}', callback=self.parse)
-    
-    def parse(self, response):
-        """解析响应"""
-        print(f"成功获取响应: {response.url}")
-        print(f"状态码: {response.status_code}")
-        return []
-
-
-async def test_queue_blocking_behavior():
-    """测试队列阻塞行为"""
-    print("测试队列阻塞行为...")
-    
-    from crawlo.queue.queue_manager import QueueConfig, QueueManager
-    
-    # 创建小队列配置
-    queue_config = QueueConfig(
-        queue_type='memory',
-        max_queue_size=3  # 非常小的队列
-    )
-    
-    # 创建队列管理器
-    queue_manager = QueueManager(queue_config)
-    await queue_manager.initialize()
-    
-    # 测试添加超过队列大小的请求
-    print("添加6个请求到大小为3的队列...")
-    start_time = time.time()
-    
-    # 创建生产者任务
-    async def producer():
-        for i in range(6):
-            request = Request(f'https://example.com/test{i}')
-            await queue_manager.put(request)
-            print(f"添加请求 {i}")
-    
-    # 创建消费者任务
-    async def consumer():
-        retrieved = 0
-        while retrieved < 6:
-            request = await queue_manager.get(timeout=2.0)
-            if request:
-                print(f"获取请求: {request.url}")
-                retrieved += 1
-                await asyncio.sleep(0.1)  # 模拟处理时间
-    
-    # 并发运行生产者和消费者
-    await asyncio.gather(producer(), consumer())
-    
-    end_time = time.time()
-    print(f"队列测试完成，耗时 {end_time - start_time:.2f} 秒")
-    
-    # 关闭队列
-    await queue_manager.close()
-
-
-async def test_framework_initialization():
-    """测试框架初始化"""
-    print("测试框架初始化...")
-    
-    from crawlo.initialization import initialize_framework
-    
-    # 测试默认配置
-    settings = initialize_framework()
-    print(f"默认配置 - RUN_MODE: {settings.get('RUN_MODE')}")
-    print(f"默认配置 - QUEUE_TYPE: {settings.get('QUEUE_TYPE')}")
-    
-    # 测试自定义配置
-    custom_settings = {
-        'PROJECT_NAME': 'final_test',
-        'SCHEDULER_MAX_QUEUE_SIZE': 100
-    }
-    
-    settings = initialize_framework(custom_settings)
-    print(f"自定义配置 - PROJECT_NAME: {settings.get('PROJECT_NAME')}")
-    print(f"自定义配置 - SCHEDULER_MAX_QUEUE_SIZE: {settings.get('SCHEDULER_MAX_QUEUE_SIZE')}")
-
-
-async def test_crawler_execution():
-    """测试爬虫执行"""
-    print("测试爬虫执行...")
-    
-    from crawlo.initialization import initialize_framework
-    from crawlo.crawler import CrawlerProcess
-    
-    # 初始化框架
-    settings = initialize_framework({
-        'PROJECT_NAME': 'final_test'
-    })
-    
-    # 创建爬虫进程
-    process = CrawlerProcess(settings=settings)
-    
-    # 运行爬虫
-    await process.crawl(TestSpider)
-
-
-async def main():
-    """主函数"""
-    print("开始最终综合测试...")
-    print("=" * 50)
-    
-    try:
-        # 1. 测试框架初始化
-        await test_framework_initialization()
-        print()
-        
-        # 2. 测试队列阻塞行为
-        await test_queue_blocking_behavior()
-        print()
-        
-        # 3. 测试爬虫执行
-        await test_crawler_execution()
-        print()
-        
-        print("=" * 50)
-        print("所有测试通过！框架工作正常。")
-        
-    except Exception as e:
-        print("=" * 50)
-        print(f"测试失败: {e}")
-        import traceback
-        traceback.print_exc()
-
-
-if __name__ == "__main__":
+#!/usr/bin/env python
+# -*- coding: utf-8 -*-
+"""
+最终综合测试脚本
+全面测试框架的所有核心功能，特别是我们修改的部分
+"""
+
+import sys
+import os
+import asyncio
+import time
+sys.path.insert(0, os.path.join(os.path.dirname(__file__), '..'))
+
+from crawlo.spider import Spider
+from crawlo import Request
+
+
+class TestSpider(Spider):
+    """测试爬虫"""
+    name = 'final_test_spider'
+    
+    def start_requests(self):
+        """发起测试请求"""
+        # 生成一些测试请求
+        for i in range(5):
+            yield Request(f'https://httpbin.org/get?page={i}', callback=self.parse)
+    
+    def parse(self, response):
+        """解析响应"""
+        print(f"成功获取响应: {response.url}")
+        print(f"状态码: {response.status_code}")
+        return []
+
+
+async def test_queue_blocking_behavior():
+    """测试队列阻塞行为"""
+    print("测试队列阻塞行为...")
+    
+    from crawlo.queue.queue_manager import QueueConfig, QueueManager
+    
+    # 创建小队列配置
+    queue_config = QueueConfig(
+        queue_type='memory',
+        max_queue_size=3  # 非常小的队列
+    )
+    
+    # 创建队列管理器
+    queue_manager = QueueManager(queue_config)
+    await queue_manager.initialize()
+    
+    # 测试添加超过队列大小的请求
+    print("添加6个请求到大小为3的队列...")
+    start_time = time.time()
+    
+    # 创建生产者任务
+    async def producer():
+        for i in range(6):
+            request = Request(f'https://example.com/test{i}')
+            await queue_manager.put(request)
+            print(f"添加请求 {i}")
+    
+    # 创建消费者任务
+    async def consumer():
+        retrieved = 0
+        while retrieved < 6:
+            request = await queue_manager.get(timeout=2.0)
+            if request:
+                print(f"获取请求: {request.url}")
+                retrieved += 1
+                await asyncio.sleep(0.1)  # 模拟处理时间
+    
+    # 并发运行生产者和消费者
+    await asyncio.gather(producer(), consumer())
+    
+    end_time = time.time()
+    print(f"队列测试完成，耗时 {end_time - start_time:.2f} 秒")
+    
+    # 关闭队列
+    await queue_manager.close()
+
+
+async def test_framework_initialization():
+    """测试框架初始化"""
+    print("测试框架初始化...")
+    
+    from crawlo.initialization import initialize_framework
+    
+    # 测试默认配置
+    settings = initialize_framework()
+    print(f"默认配置 - RUN_MODE: {settings.get('RUN_MODE')}")
+    print(f"默认配置 - QUEUE_TYPE: {settings.get('QUEUE_TYPE')}")
+    
+    # 测试自定义配置
+    custom_settings = {
+        'PROJECT_NAME': 'final_test',
+        'SCHEDULER_MAX_QUEUE_SIZE': 100
+    }
+    
+    settings = initialize_framework(custom_settings)
+    print(f"自定义配置 - PROJECT_NAME: {settings.get('PROJECT_NAME')}")
+    print(f"自定义配置 - SCHEDULER_MAX_QUEUE_SIZE: {settings.get('SCHEDULER_MAX_QUEUE_SIZE')}")
+
+
+async def test_crawler_execution():
+    """测试爬虫执行"""
+    print("测试爬虫执行...")
+    
+    from crawlo.initialization import initialize_framework
+    from crawlo.crawler import CrawlerProcess
+    
+    # 初始化框架
+    settings = initialize_framework({
+        'PROJECT_NAME': 'final_test'
+    })
+    
+    # 创建爬虫进程
+    process = CrawlerProcess(settings=settings)
+    
+    # 运行爬虫
+    await process.crawl(TestSpider)
+
+
+async def main():
+    """主函数"""
+    print("开始最终综合测试...")
+    print("=" * 50)
+    
+    try:
+        # 1. 测试框架初始化
+        await test_framework_initialization()
+        print()
+        
+        # 2. 测试队列阻塞行为
+        await test_queue_blocking_behavior()
+        print()
+        
+        # 3. 测试爬虫执行
+        await test_crawler_execution()
+        print()
+        
+        print("=" * 50)
+        print("所有测试通过！框架工作正常。")
+        
+    except Exception as e:
+        print("=" * 50)
+        print(f"测试失败: {e}")
+        import traceback
+        traceback.print_exc()
+
+
+if __name__ == "__main__":
     asyncio.run(main())