crawlo 1.4.6__py3-none-any.whl → 1.4.7__py3-none-any.whl

tests/verify_log_fix.py

@@ -1,112 +1,112 @@
-#!/usr/bin/python
-# -*- coding: UTF-8 -*-
-"""
-验证日志级别修复效果
-创建一个简化的测试来验证控制台和日志文件级别的一致性
-"""
-import sys
-import os
-import tempfile
-
-# 添加项目根目录到Python路径
-sys.path.insert(0, '/')
-
-from crawlo.utils.log import LoggerManager, get_logger
-
-
-def main():
-    """验证日志级别修复效果"""
-    print("🔧 验证日志级别修复效果")
-    print("=" * 50)
-    
-    # 创建临时日志文件
-    temp_log = tempfile.NamedTemporaryFile(mode='w+', suffix='.log', delete=False)
-    temp_log_path = temp_log.name
-    temp_log.close()
-    
-    try:
-        # 重置LoggerManager状态
-        LoggerManager.reset()
-        
-        # 使用INFO级别配置
-        LoggerManager.configure(
-            LOG_LEVEL='INFO',
-            LOG_FILE=temp_log_path,
-            LOG_FORMAT='%(asctime)s - [%(name)s] - %(levelname)s: %(message)s'
-        )
-        
-        print(f"✅ 配置完成:")
-        print(f"   默认级别: {LoggerManager._default_level}")
-        print(f"   控制台级别: {LoggerManager._default_console_level}")
-        print(f"   文件级别: {LoggerManager._default_file_level}")
-        print(f"   日志文件: {temp_log_path}")
-        
-        # 创建测试logger
-        test_logger = get_logger('crawlo.test')
-        
-        # 检查handler配置
-        print(f"\n📋 Handler配置:")
-        for i, handler in enumerate(test_logger.handlers):
-            handler_type = type(handler).__name__
-            handler_level = handler.level
-            print(f"   Handler {i} ({handler_type}): 级别 {handler_level}")
-        
-        # 测试日志输出
-        print(f"\n📝 测试日志输出（控制台）:")
-        test_logger.debug("这是DEBUG级别日志 - 不应该显示")
-        test_logger.info("这是INFO级别日志 - 应该显示")
-        test_logger.warning("这是WARNING级别日志 - 应该显示")
-        test_logger.error("这是ERROR级别日志 - 应该显示")
-        
-        # 检查日志文件内容
-        print(f"\n📄 检查日志文件内容:")
-        with open(temp_log_path, 'r', encoding='utf-8') as f:
-            log_content = f.read()
-            if log_content:
-                print("日志文件内容:")
-                print(log_content)
-            else:
-                print("❌ 日志文件为空")
-        
-        # 分析结果
-        lines = log_content.strip().split('\n') if log_content.strip() else []
-        debug_lines = [line for line in lines if '- DEBUG:' in line]
-        info_lines = [line for line in lines if '- INFO:' in line]
-        warning_lines = [line for line in lines if '- WARNING:' in line]
-        error_lines = [line for line in lines if '- ERROR:' in line]
-        
-        print(f"\n📊 分析结果:")
-        print(f"   DEBUG级别日志: {len(debug_lines)}条 {'✅ 正确' if len(debug_lines) == 0 else '❌ 错误'}")
-        print(f"   INFO级别日志: {len(info_lines)}条 {'✅ 正确' if len(info_lines) >= 1 else '❌ 错误'}")
-        print(f"   WARNING级别日志: {len(warning_lines)}条 {'✅ 正确' if len(warning_lines) >= 1 else '❌ 错误'}")
-        print(f"   ERROR级别日志: {len(error_lines)}条 {'✅ 正确' if len(error_lines) >= 1 else '❌ 错误'}")
-        
-        # 判断修复是否成功
-        success = (len(debug_lines) == 0 and len(info_lines) >= 1 and 
-                  len(warning_lines) >= 1 and len(error_lines) >= 1)
-        
-        print(f"\n🎯 修复结果: {'✅ 成功' if success else '❌ 失败'}")
-        
-        if success:
-            print("📋 控制台和日志文件现在使用相同的INFO级别")
-            print("🎉 日志级别一致性问题已解决")
-        else:
-            print("❌ 仍存在日志级别不一致问题，需要进一步调试")
-            
-    except Exception as e:
-        print(f"❌ 验证过程中发生错误: {e}")
-        import traceback
-        traceback.print_exc()
-        return 1
-    finally:
-        # 清理临时文件
-        try:
-            os.unlink(temp_log_path)
-        except:
-            pass
-            
-    return 0 if success else 1
-
-
-if __name__ == '__main__':
+#!/usr/bin/python
+# -*- coding: UTF-8 -*-
+"""
+验证日志级别修复效果
+创建一个简化的测试来验证控制台和日志文件级别的一致性
+"""
+import sys
+import os
+import tempfile
+
+# 添加项目根目录到Python路径
+sys.path.insert(0, '/')
+
+from crawlo.utils.log import LoggerManager, get_logger
+
+
+def main():
+    """验证日志级别修复效果"""
+    print("🔧 验证日志级别修复效果")
+    print("=" * 50)
+    
+    # 创建临时日志文件
+    temp_log = tempfile.NamedTemporaryFile(mode='w+', suffix='.log', delete=False)
+    temp_log_path = temp_log.name
+    temp_log.close()
+    
+    try:
+        # 重置LoggerManager状态
+        LoggerManager.reset()
+        
+        # 使用INFO级别配置
+        LoggerManager.configure(
+            LOG_LEVEL='INFO',
+            LOG_FILE=temp_log_path,
+            LOG_FORMAT='%(asctime)s - [%(name)s] - %(levelname)s: %(message)s'
+        )
+        
+        print(f"✅ 配置完成:")
+        print(f"   默认级别: {LoggerManager._default_level}")
+        print(f"   控制台级别: {LoggerManager._default_console_level}")
+        print(f"   文件级别: {LoggerManager._default_file_level}")
+        print(f"   日志文件: {temp_log_path}")
+        
+        # 创建测试logger
+        test_logger = get_logger('crawlo.test')
+        
+        # 检查handler配置
+        print(f"\n📋 Handler配置:")
+        for i, handler in enumerate(test_logger.handlers):
+            handler_type = type(handler).__name__
+            handler_level = handler.level
+            print(f"   Handler {i} ({handler_type}): 级别 {handler_level}")
+        
+        # 测试日志输出
+        print(f"\n📝 测试日志输出（控制台）:")
+        test_logger.debug("这是DEBUG级别日志 - 不应该显示")
+        test_logger.info("这是INFO级别日志 - 应该显示")
+        test_logger.warning("这是WARNING级别日志 - 应该显示")
+        test_logger.error("这是ERROR级别日志 - 应该显示")
+        
+        # 检查日志文件内容
+        print(f"\n📄 检查日志文件内容:")
+        with open(temp_log_path, 'r', encoding='utf-8') as f:
+            log_content = f.read()
+            if log_content:
+                print("日志文件内容:")
+                print(log_content)
+            else:
+                print("❌ 日志文件为空")
+        
+        # 分析结果
+        lines = log_content.strip().split('\n') if log_content.strip() else []
+        debug_lines = [line for line in lines if '- DEBUG:' in line]
+        info_lines = [line for line in lines if '- INFO:' in line]
+        warning_lines = [line for line in lines if '- WARNING:' in line]
+        error_lines = [line for line in lines if '- ERROR:' in line]
+        
+        print(f"\n📊 分析结果:")
+        print(f"   DEBUG级别日志: {len(debug_lines)}条 {'✅ 正确' if len(debug_lines) == 0 else '❌ 错误'}")
+        print(f"   INFO级别日志: {len(info_lines)}条 {'✅ 正确' if len(info_lines) >= 1 else '❌ 错误'}")
+        print(f"   WARNING级别日志: {len(warning_lines)}条 {'✅ 正确' if len(warning_lines) >= 1 else '❌ 错误'}")
+        print(f"   ERROR级别日志: {len(error_lines)}条 {'✅ 正确' if len(error_lines) >= 1 else '❌ 错误'}")
+        
+        # 判断修复是否成功
+        success = (len(debug_lines) == 0 and len(info_lines) >= 1 and 
+                  len(warning_lines) >= 1 and len(error_lines) >= 1)
+        
+        print(f"\n🎯 修复结果: {'✅ 成功' if success else '❌ 失败'}")
+        
+        if success:
+            print("📋 控制台和日志文件现在使用相同的INFO级别")
+            print("🎉 日志级别一致性问题已解决")
+        else:
+            print("❌ 仍存在日志级别不一致问题，需要进一步调试")
+            
+    except Exception as e:
+        print(f"❌ 验证过程中发生错误: {e}")
+        import traceback
+        traceback.print_exc()
+        return 1
+    finally:
+        # 清理临时文件
+        try:
+            os.unlink(temp_log_path)
+        except:
+            pass
+            
+    return 0 if success else 1
+
+
+if __name__ == '__main__':
     sys.exit(main())

tests/verify_mysql_warnings.py

@@ -1,110 +1,110 @@
-# -*- coding: utf-8 -*-
-"""
-验证 MySQL 警告是否已解决
-通过模拟实际运行环境来检查
-"""
-import asyncio
-import sys
-import os
-
-# 添加项目根目录到 Python 路径
-sys.path.insert(0, os.path.join(os.path.dirname(__file__), '..'))
-
-from crawlo.utils.db_helper import SQLBuilder
-from crawlo.pipelines.mysql_pipeline import BaseMySQLPipeline, AsyncmyMySQLPipeline, AiomysqlMySQLPipeline
-
-
-def verify_mysql_syntax():
-    """验证 MySQL 语法是否正确，不会产生警告"""
-    print("=== 验证 MySQL 语法是否正确 ===\n")
-    
-    # 模拟实际使用的数据
-    test_data = {
-        'title': '新一代OLED屏下光谱颜色传感技术：解锁显示新密码，重塑视觉新体验',
-        'publish_time': '2025-10-09 09:57',
-        'url': 'https://ee.ofweek.com/2025-10/ART-8460-2806-30671544.html',
-        'source': '',
-        'content': '在全球智能手机市场竞争日趋白热化的当下，消费者对手机屏幕显示效果的要求愈发严苛...'
-    }
-    
-    # 模拟 ofweek_standalone 项目的配置
-    update_columns = ('title', 'publish_time')
-    
-    print("1. 检查 SQLBuilder 生成的语法...")
-    sql = SQLBuilder.make_insert(
-        table="news_items",
-        data=test_data,
-        auto_update=False,
-        update_columns=update_columns,
-        insert_ignore=False
-    )
-    
-    print("生成的 SQL:")
-    print(sql[:200] + "..." if len(sql) > 200 else sql)
-    print()
-    
-    # 检查是否包含弃用的 VALUES() 函数用法
-    if "VALUES(`title`)" in sql or "VALUES(`publish_time`)" in sql:
-        print("✗ 发现弃用的 VALUES() 函数用法，会产生警告")
-        return False
-    else:
-        print("✓ 未发现弃用的 VALUES() 函数用法")
-    
-    if "AS `excluded`" in sql and "ON DUPLICATE KEY UPDATE" in sql:
-        print("✓ 正确使用了新的 MySQL 语法")
-    else:
-        print("✗ 未正确使用新的 MySQL 语法")
-        return False
-    
-    # 检查更新子句
-    if "`title`=`excluded`.`title`" in sql and "`publish_time`=`excluded`.`publish_time`" in sql:
-        print("✓ 更新子句正确使用了 excluded 别名")
-    else:
-        print("✗ 更新子句语法不正确")
-        return False
-    
-    print("\n2. 检查批量插入语法...")
-    batch_result = SQLBuilder.make_batch(
-        table="news_items",
-        datas=[test_data, test_data],
-        auto_update=False,
-        update_columns=update_columns
-    )
-    
-    if batch_result:
-        batch_sql, _ = batch_result
-        print("生成的批量 SQL:")
-        print(batch_sql[:200] + "..." if len(batch_sql) > 200 else batch_sql)
-        print()
-        
-        # 检查批量插入语法
-        if "VALUES(`title`)" in batch_sql or "VALUES(`publish_time`)" in batch_sql:
-            print("✗ 批量插入中发现弃用的 VALUES() 函数用法，会产生警告")
-            return False
-        else:
-            print("✓ 批量插入未发现弃用的 VALUES() 函数用法")
-        
-        if "AS `excluded`" in batch_sql and "ON DUPLICATE KEY UPDATE" in batch_sql:
-            print("✓ 批量插入正确使用了新的 MySQL 语法")
-        else:
-            print("✗ 批量插入未正确使用新的 MySQL 语法")
-            return False
-        
-        # 检查批量更新子句
-        if "`title`=`excluded`.`title`" in batch_sql and "`publish_time`=`excluded`.`publish_time`" in batch_sql:
-            print("✓ 批量插入更新子句正确使用了 excluded 别名")
-        else:
-            print("✗ 批量插入更新子句语法不正确")
-            return False
-    
-    print("\n=== 验证完成 ===")
-    print("✓ 所有语法检查通过，应该不会再出现 MySQL 的 VALUES() 函数弃用警告")
-    return True
-
-
-if __name__ == "__main__":
-    success = verify_mysql_syntax()
-    if success:
-        print("\n🎉 MySQL 语法问题已解决！")
-    else:
+# -*- coding: utf-8 -*-
+"""
+验证 MySQL 警告是否已解决
+通过模拟实际运行环境来检查
+"""
+import asyncio
+import sys
+import os
+
+# 添加项目根目录到 Python 路径
+sys.path.insert(0, os.path.join(os.path.dirname(__file__), '..'))
+
+from crawlo.utils.db_helper import SQLBuilder
+from crawlo.pipelines.mysql_pipeline import BaseMySQLPipeline, AsyncmyMySQLPipeline, AiomysqlMySQLPipeline
+
+
+def verify_mysql_syntax():
+    """验证 MySQL 语法是否正确，不会产生警告"""
+    print("=== 验证 MySQL 语法是否正确 ===\n")
+    
+    # 模拟实际使用的数据
+    test_data = {
+        'title': '新一代OLED屏下光谱颜色传感技术：解锁显示新密码，重塑视觉新体验',
+        'publish_time': '2025-10-09 09:57',
+        'url': 'https://ee.ofweek.com/2025-10/ART-8460-2806-30671544.html',
+        'source': '',
+        'content': '在全球智能手机市场竞争日趋白热化的当下，消费者对手机屏幕显示效果的要求愈发严苛...'
+    }
+    
+    # 模拟 ofweek_standalone 项目的配置
+    update_columns = ('title', 'publish_time')
+    
+    print("1. 检查 SQLBuilder 生成的语法...")
+    sql = SQLBuilder.make_insert(
+        table="news_items",
+        data=test_data,
+        auto_update=False,
+        update_columns=update_columns,
+        insert_ignore=False
+    )
+    
+    print("生成的 SQL:")
+    print(sql[:200] + "..." if len(sql) > 200 else sql)
+    print()
+    
+    # 检查是否包含弃用的 VALUES() 函数用法
+    if "VALUES(`title`)" in sql or "VALUES(`publish_time`)" in sql:
+        print("✗ 发现弃用的 VALUES() 函数用法，会产生警告")
+        return False
+    else:
+        print("✓ 未发现弃用的 VALUES() 函数用法")
+    
+    if "AS `excluded`" in sql and "ON DUPLICATE KEY UPDATE" in sql:
+        print("✓ 正确使用了新的 MySQL 语法")
+    else:
+        print("✗ 未正确使用新的 MySQL 语法")
+        return False
+    
+    # 检查更新子句
+    if "`title`=`excluded`.`title`" in sql and "`publish_time`=`excluded`.`publish_time`" in sql:
+        print("✓ 更新子句正确使用了 excluded 别名")
+    else:
+        print("✗ 更新子句语法不正确")
+        return False
+    
+    print("\n2. 检查批量插入语法...")
+    batch_result = SQLBuilder.make_batch(
+        table="news_items",
+        datas=[test_data, test_data],
+        auto_update=False,
+        update_columns=update_columns
+    )
+    
+    if batch_result:
+        batch_sql, _ = batch_result
+        print("生成的批量 SQL:")
+        print(batch_sql[:200] + "..." if len(batch_sql) > 200 else batch_sql)
+        print()
+        
+        # 检查批量插入语法
+        if "VALUES(`title`)" in batch_sql or "VALUES(`publish_time`)" in batch_sql:
+            print("✗ 批量插入中发现弃用的 VALUES() 函数用法，会产生警告")
+            return False
+        else:
+            print("✓ 批量插入未发现弃用的 VALUES() 函数用法")
+        
+        if "AS `excluded`" in batch_sql and "ON DUPLICATE KEY UPDATE" in batch_sql:
+            print("✓ 批量插入正确使用了新的 MySQL 语法")
+        else:
+            print("✗ 批量插入未正确使用新的 MySQL 语法")
+            return False
+        
+        # 检查批量更新子句
+        if "`title`=`excluded`.`title`" in batch_sql and "`publish_time`=`excluded`.`publish_time`" in batch_sql:
+            print("✓ 批量插入更新子句正确使用了 excluded 别名")
+        else:
+            print("✗ 批量插入更新子句语法不正确")
+            return False
+    
+    print("\n=== 验证完成 ===")
+    print("✓ 所有语法检查通过，应该不会再出现 MySQL 的 VALUES() 函数弃用警告")
+    return True
+
+
+if __name__ == "__main__":
+    success = verify_mysql_syntax()
+    if success:
+        print("\n🎉 MySQL 语法问题已解决！")
+    else:
         print("\n❌ 仍存在 MySQL 语法问题需要修复")

crawlo/logging/async_handler.py

@@ -1,181 +0,0 @@
-#!/usr/bin/python
-# -*- coding: UTF-8 -*-
-"""
-异步日志处理器
-用于提高日志写入性能
-"""
-
-import asyncio
-import logging
-import threading
-import queue
-from typing import Optional
-from concurrent_log_handler import ConcurrentRotatingFileHandler
-
-
-class AsyncLogHandler(logging.Handler):
-    """
-    异步日志处理器
-    将日志记录放入队列中，由后台线程异步处理
-    """
-    
-    def __init__(self, handler: logging.Handler, queue_size: int = 10000):
-        """
-        初始化异步日志处理器
-        
-        Args:
-            handler: 实际的日志处理器
-            queue_size: 队列大小
-        """
-        super().__init__()
-        self._handler = handler
-        self._queue = queue.Queue(maxsize=queue_size)
-        self._thread: Optional[threading.Thread] = None
-        self._stop_event = threading.Event()
-        self._started = False
-        
-    def start(self):
-        """启动异步处理线程"""
-        if self._started:
-            return
-            
-        self._started = True
-        self._stop_event.clear()
-        self._thread = threading.Thread(target=self._worker, daemon=True)
-        self._thread.start()
-        
-    def stop(self):
-        """停止异步处理线程"""
-        if not self._started:
-            return
-            
-        self._started = False
-        self._stop_event.set()
-        
-        # 发送一个哨兵消息来唤醒工作线程
-        try:
-            self._queue.put_nowait(None)
-        except queue.Full:
-            pass
-            
-        # 等待线程结束
-        if self._thread and self._thread.is_alive():
-            self._thread.join(timeout=5.0)
-            
-        # 关闭底层处理器
-        if self._handler:
-            self._handler.close()
-            
-    def _worker(self):
-        """工作线程函数"""
-        while not self._stop_event.is_set():
-            try:
-                # 从队列中获取日志记录
-                record = self._queue.get(timeout=1.0)
-                
-                # 哨兵消息，表示停止
-                if record is None:
-                    break
-                    
-                # 处理日志记录
-                try:
-                    self._handler.emit(record)
-                except Exception:
-                    pass  # 忽略处理错误
-                    
-                self._queue.task_done()
-                
-            except queue.Empty:
-                continue
-            except Exception:
-                if not self._stop_event.is_set():
-                    continue
-                else:
-                    break
-                    
-    def emit(self, record):
-        """
-        发出日志记录
-        
-        Args:
-            record: 日志记录
-        """
-        if not self._started:
-            self.start()
-            
-        # 将日志记录放入队列
-        try:
-            self._queue.put_nowait(record)
-        except queue.Full:
-            # 队列满时丢弃日志记录
-            pass
-            
-    def flush(self):
-        """刷新日志处理器"""
-        if self._handler:
-            self._handler.flush()
-            
-    def close(self):
-        """关闭日志处理器"""
-        self.stop()
-        super().close()
-
-
-class AsyncConcurrentRotatingFileHandler(AsyncLogHandler):
-    """
-    异步并发轮转文件处理器
-    结合了异步处理和并发轮转文件的功能
-    """
-    
-    def __init__(self, filename, mode='a', maxBytes=0, backupCount=0, 
-                 encoding=None, delay=False, queue_size: int = 10000):
-        """
-        初始化异步并发轮转文件处理器
-        
-        Args:
-            filename: 日志文件名
-            mode: 文件打开模式
-            maxBytes: 最大文件大小
-            backupCount: 备份文件数量
-            encoding: 文件编码
-            delay: 是否延迟打开文件
-            queue_size: 队列大小
-        """
-        handler = ConcurrentRotatingFileHandler(
-            filename=filename,
-            mode=mode,
-            maxBytes=maxBytes,
-            backupCount=backupCount,
-            encoding=encoding,
-            delay=delay
-        )
-        super().__init__(handler, queue_size)
-        
-    @property
-    def baseFilename(self):
-        """获取基础文件名"""
-        return self._handler.baseFilename if self._handler else None
-        
-    @property
-    def maxBytes(self):
-        """获取最大字节数"""
-        return self._handler.maxBytes if self._handler else 0
-        
-    @property
-    def backupCount(self):
-        """获取备份计数"""
-        return self._handler.backupCount if self._handler else 0
-
-
-def wrap_handler_async(handler: logging.Handler, queue_size: int = 10000) -> AsyncLogHandler:
-    """
-    将现有的日志处理器包装为异步处理器
-    
-    Args:
-        handler: 要包装的日志处理器
-        queue_size: 队列大小
-        
-    Returns:
-        异步日志处理器
-    """
-    return AsyncLogHandler(handler, queue_size)