crawlo 1.4.7__py3-none-any.whl → 1.4.8__py3-none-any.whl

tests/verify_log_fix.py

@@ -1,112 +1,112 @@
-#!/usr/bin/python
-# -*- coding: UTF-8 -*-
-"""
-验证日志级别修复效果
-创建一个简化的测试来验证控制台和日志文件级别的一致性
-"""
-import sys
-import os
-import tempfile
-
-# 添加项目根目录到Python路径
-sys.path.insert(0, '/')
-
-from crawlo.utils.log import LoggerManager, get_logger
-
-
-def main():
-    """验证日志级别修复效果"""
-    print("🔧 验证日志级别修复效果")
-    print("=" * 50)
-    
-    # 创建临时日志文件
-    temp_log = tempfile.NamedTemporaryFile(mode='w+', suffix='.log', delete=False)
-    temp_log_path = temp_log.name
-    temp_log.close()
-    
-    try:
-        # 重置LoggerManager状态
-        LoggerManager.reset()
-        
-        # 使用INFO级别配置
-        LoggerManager.configure(
-            LOG_LEVEL='INFO',
-            LOG_FILE=temp_log_path,
-            LOG_FORMAT='%(asctime)s - [%(name)s] - %(levelname)s: %(message)s'
-        )
-        
-        print(f"✅ 配置完成:")
-        print(f"   默认级别: {LoggerManager._default_level}")
-        print(f"   控制台级别: {LoggerManager._default_console_level}")
-        print(f"   文件级别: {LoggerManager._default_file_level}")
-        print(f"   日志文件: {temp_log_path}")
-        
-        # 创建测试logger
-        test_logger = get_logger('crawlo.test')
-        
-        # 检查handler配置
-        print(f"\n📋 Handler配置:")
-        for i, handler in enumerate(test_logger.handlers):
-            handler_type = type(handler).__name__
-            handler_level = handler.level
-            print(f"   Handler {i} ({handler_type}): 级别 {handler_level}")
-        
-        # 测试日志输出
-        print(f"\n📝 测试日志输出（控制台）:")
-        test_logger.debug("这是DEBUG级别日志 - 不应该显示")
-        test_logger.info("这是INFO级别日志 - 应该显示")
-        test_logger.warning("这是WARNING级别日志 - 应该显示")
-        test_logger.error("这是ERROR级别日志 - 应该显示")
-        
-        # 检查日志文件内容
-        print(f"\n📄 检查日志文件内容:")
-        with open(temp_log_path, 'r', encoding='utf-8') as f:
-            log_content = f.read()
-            if log_content:
-                print("日志文件内容:")
-                print(log_content)
-            else:
-                print("❌ 日志文件为空")
-        
-        # 分析结果
-        lines = log_content.strip().split('\n') if log_content.strip() else []
-        debug_lines = [line for line in lines if '- DEBUG:' in line]
-        info_lines = [line for line in lines if '- INFO:' in line]
-        warning_lines = [line for line in lines if '- WARNING:' in line]
-        error_lines = [line for line in lines if '- ERROR:' in line]
-        
-        print(f"\n📊 分析结果:")
-        print(f"   DEBUG级别日志: {len(debug_lines)}条 {'✅ 正确' if len(debug_lines) == 0 else '❌ 错误'}")
-        print(f"   INFO级别日志: {len(info_lines)}条 {'✅ 正确' if len(info_lines) >= 1 else '❌ 错误'}")
-        print(f"   WARNING级别日志: {len(warning_lines)}条 {'✅ 正确' if len(warning_lines) >= 1 else '❌ 错误'}")
-        print(f"   ERROR级别日志: {len(error_lines)}条 {'✅ 正确' if len(error_lines) >= 1 else '❌ 错误'}")
-        
-        # 判断修复是否成功
-        success = (len(debug_lines) == 0 and len(info_lines) >= 1 and 
-                  len(warning_lines) >= 1 and len(error_lines) >= 1)
-        
-        print(f"\n🎯 修复结果: {'✅ 成功' if success else '❌ 失败'}")
-        
-        if success:
-            print("📋 控制台和日志文件现在使用相同的INFO级别")
-            print("🎉 日志级别一致性问题已解决")
-        else:
-            print("❌ 仍存在日志级别不一致问题，需要进一步调试")
-            
-    except Exception as e:
-        print(f"❌ 验证过程中发生错误: {e}")
-        import traceback
-        traceback.print_exc()
-        return 1
-    finally:
-        # 清理临时文件
-        try:
-            os.unlink(temp_log_path)
-        except:
-            pass
-            
-    return 0 if success else 1
-
-
-if __name__ == '__main__':
+#!/usr/bin/python
+# -*- coding: UTF-8 -*-
+"""
+验证日志级别修复效果
+创建一个简化的测试来验证控制台和日志文件级别的一致性
+"""
+import sys
+import os
+import tempfile
+
+# 添加项目根目录到Python路径
+sys.path.insert(0, '/')
+
+from crawlo.utils.log import LoggerManager, get_logger
+
+
+def main():
+    """验证日志级别修复效果"""
+    print("🔧 验证日志级别修复效果")
+    print("=" * 50)
+    
+    # 创建临时日志文件
+    temp_log = tempfile.NamedTemporaryFile(mode='w+', suffix='.log', delete=False)
+    temp_log_path = temp_log.name
+    temp_log.close()
+    
+    try:
+        # 重置LoggerManager状态
+        LoggerManager.reset()
+        
+        # 使用INFO级别配置
+        LoggerManager.configure(
+            LOG_LEVEL='INFO',
+            LOG_FILE=temp_log_path,
+            LOG_FORMAT='%(asctime)s - [%(name)s] - %(levelname)s: %(message)s'
+        )
+        
+        print(f"✅ 配置完成:")
+        print(f"   默认级别: {LoggerManager._default_level}")
+        print(f"   控制台级别: {LoggerManager._default_console_level}")
+        print(f"   文件级别: {LoggerManager._default_file_level}")
+        print(f"   日志文件: {temp_log_path}")
+        
+        # 创建测试logger
+        test_logger = get_logger('crawlo.test')
+        
+        # 检查handler配置
+        print(f"\n📋 Handler配置:")
+        for i, handler in enumerate(test_logger.handlers):
+            handler_type = type(handler).__name__
+            handler_level = handler.level
+            print(f"   Handler {i} ({handler_type}): 级别 {handler_level}")
+        
+        # 测试日志输出
+        print(f"\n📝 测试日志输出（控制台）:")
+        test_logger.debug("这是DEBUG级别日志 - 不应该显示")
+        test_logger.info("这是INFO级别日志 - 应该显示")
+        test_logger.warning("这是WARNING级别日志 - 应该显示")
+        test_logger.error("这是ERROR级别日志 - 应该显示")
+        
+        # 检查日志文件内容
+        print(f"\n📄 检查日志文件内容:")
+        with open(temp_log_path, 'r', encoding='utf-8') as f:
+            log_content = f.read()
+            if log_content:
+                print("日志文件内容:")
+                print(log_content)
+            else:
+                print("❌ 日志文件为空")
+        
+        # 分析结果
+        lines = log_content.strip().split('\n') if log_content.strip() else []
+        debug_lines = [line for line in lines if '- DEBUG:' in line]
+        info_lines = [line for line in lines if '- INFO:' in line]
+        warning_lines = [line for line in lines if '- WARNING:' in line]
+        error_lines = [line for line in lines if '- ERROR:' in line]
+        
+        print(f"\n📊 分析结果:")
+        print(f"   DEBUG级别日志: {len(debug_lines)}条 {'✅ 正确' if len(debug_lines) == 0 else '❌ 错误'}")
+        print(f"   INFO级别日志: {len(info_lines)}条 {'✅ 正确' if len(info_lines) >= 1 else '❌ 错误'}")
+        print(f"   WARNING级别日志: {len(warning_lines)}条 {'✅ 正确' if len(warning_lines) >= 1 else '❌ 错误'}")
+        print(f"   ERROR级别日志: {len(error_lines)}条 {'✅ 正确' if len(error_lines) >= 1 else '❌ 错误'}")
+        
+        # 判断修复是否成功
+        success = (len(debug_lines) == 0 and len(info_lines) >= 1 and 
+                  len(warning_lines) >= 1 and len(error_lines) >= 1)
+        
+        print(f"\n🎯 修复结果: {'✅ 成功' if success else '❌ 失败'}")
+        
+        if success:
+            print("📋 控制台和日志文件现在使用相同的INFO级别")
+            print("🎉 日志级别一致性问题已解决")
+        else:
+            print("❌ 仍存在日志级别不一致问题，需要进一步调试")
+            
+    except Exception as e:
+        print(f"❌ 验证过程中发生错误: {e}")
+        import traceback
+        traceback.print_exc()
+        return 1
+    finally:
+        # 清理临时文件
+        try:
+            os.unlink(temp_log_path)
+        except:
+            pass
+            
+    return 0 if success else 1
+
+
+if __name__ == '__main__':
     sys.exit(main())

tests/verify_mysql_warnings.py

@@ -1,110 +1,110 @@
-# -*- coding: utf-8 -*-
-"""
-验证 MySQL 警告是否已解决
-通过模拟实际运行环境来检查
-"""
-import asyncio
-import sys
-import os
-
-# 添加项目根目录到 Python 路径
-sys.path.insert(0, os.path.join(os.path.dirname(__file__), '..'))
-
-from crawlo.utils.db_helper import SQLBuilder
-from crawlo.pipelines.mysql_pipeline import BaseMySQLPipeline, AsyncmyMySQLPipeline, AiomysqlMySQLPipeline
-
-
-def verify_mysql_syntax():
-    """验证 MySQL 语法是否正确，不会产生警告"""
-    print("=== 验证 MySQL 语法是否正确 ===\n")
-    
-    # 模拟实际使用的数据
-    test_data = {
-        'title': '新一代OLED屏下光谱颜色传感技术：解锁显示新密码，重塑视觉新体验',
-        'publish_time': '2025-10-09 09:57',
-        'url': 'https://ee.ofweek.com/2025-10/ART-8460-2806-30671544.html',
-        'source': '',
-        'content': '在全球智能手机市场竞争日趋白热化的当下，消费者对手机屏幕显示效果的要求愈发严苛...'
-    }
-    
-    # 模拟 ofweek_standalone 项目的配置
-    update_columns = ('title', 'publish_time')
-    
-    print("1. 检查 SQLBuilder 生成的语法...")
-    sql = SQLBuilder.make_insert(
-        table="news_items",
-        data=test_data,
-        auto_update=False,
-        update_columns=update_columns,
-        insert_ignore=False
-    )
-    
-    print("生成的 SQL:")
-    print(sql[:200] + "..." if len(sql) > 200 else sql)
-    print()
-    
-    # 检查是否包含弃用的 VALUES() 函数用法
-    if "VALUES(`title`)" in sql or "VALUES(`publish_time`)" in sql:
-        print("✗ 发现弃用的 VALUES() 函数用法，会产生警告")
-        return False
-    else:
-        print("✓ 未发现弃用的 VALUES() 函数用法")
-    
-    if "AS `excluded`" in sql and "ON DUPLICATE KEY UPDATE" in sql:
-        print("✓ 正确使用了新的 MySQL 语法")
-    else:
-        print("✗ 未正确使用新的 MySQL 语法")
-        return False
-    
-    # 检查更新子句
-    if "`title`=`excluded`.`title`" in sql and "`publish_time`=`excluded`.`publish_time`" in sql:
-        print("✓ 更新子句正确使用了 excluded 别名")
-    else:
-        print("✗ 更新子句语法不正确")
-        return False
-    
-    print("\n2. 检查批量插入语法...")
-    batch_result = SQLBuilder.make_batch(
-        table="news_items",
-        datas=[test_data, test_data],
-        auto_update=False,
-        update_columns=update_columns
-    )
-    
-    if batch_result:
-        batch_sql, _ = batch_result
-        print("生成的批量 SQL:")
-        print(batch_sql[:200] + "..." if len(batch_sql) > 200 else batch_sql)
-        print()
-        
-        # 检查批量插入语法
-        if "VALUES(`title`)" in batch_sql or "VALUES(`publish_time`)" in batch_sql:
-            print("✗ 批量插入中发现弃用的 VALUES() 函数用法，会产生警告")
-            return False
-        else:
-            print("✓ 批量插入未发现弃用的 VALUES() 函数用法")
-        
-        if "AS `excluded`" in batch_sql and "ON DUPLICATE KEY UPDATE" in batch_sql:
-            print("✓ 批量插入正确使用了新的 MySQL 语法")
-        else:
-            print("✗ 批量插入未正确使用新的 MySQL 语法")
-            return False
-        
-        # 检查批量更新子句
-        if "`title`=`excluded`.`title`" in batch_sql and "`publish_time`=`excluded`.`publish_time`" in batch_sql:
-            print("✓ 批量插入更新子句正确使用了 excluded 别名")
-        else:
-            print("✗ 批量插入更新子句语法不正确")
-            return False
-    
-    print("\n=== 验证完成 ===")
-    print("✓ 所有语法检查通过，应该不会再出现 MySQL 的 VALUES() 函数弃用警告")
-    return True
-
-
-if __name__ == "__main__":
-    success = verify_mysql_syntax()
-    if success:
-        print("\n🎉 MySQL 语法问题已解决！")
-    else:
+# -*- coding: utf-8 -*-
+"""
+验证 MySQL 警告是否已解决
+通过模拟实际运行环境来检查
+"""
+import asyncio
+import sys
+import os
+
+# 添加项目根目录到 Python 路径
+sys.path.insert(0, os.path.join(os.path.dirname(__file__), '..'))
+
+from crawlo.utils.db_helper import SQLBuilder
+from crawlo.pipelines.mysql_pipeline import BaseMySQLPipeline, AsyncmyMySQLPipeline, AiomysqlMySQLPipeline
+
+
+def verify_mysql_syntax():
+    """验证 MySQL 语法是否正确，不会产生警告"""
+    print("=== 验证 MySQL 语法是否正确 ===\n")
+    
+    # 模拟实际使用的数据
+    test_data = {
+        'title': '新一代OLED屏下光谱颜色传感技术：解锁显示新密码，重塑视觉新体验',
+        'publish_time': '2025-10-09 09:57',
+        'url': 'https://ee.ofweek.com/2025-10/ART-8460-2806-30671544.html',
+        'source': '',
+        'content': '在全球智能手机市场竞争日趋白热化的当下，消费者对手机屏幕显示效果的要求愈发严苛...'
+    }
+    
+    # 模拟 ofweek_standalone 项目的配置
+    update_columns = ('title', 'publish_time')
+    
+    print("1. 检查 SQLBuilder 生成的语法...")
+    sql = SQLBuilder.make_insert(
+        table="news_items",
+        data=test_data,
+        auto_update=False,
+        update_columns=update_columns,
+        insert_ignore=False
+    )
+    
+    print("生成的 SQL:")
+    print(sql[:200] + "..." if len(sql) > 200 else sql)
+    print()
+    
+    # 检查是否包含弃用的 VALUES() 函数用法
+    if "VALUES(`title`)" in sql or "VALUES(`publish_time`)" in sql:
+        print("✗ 发现弃用的 VALUES() 函数用法，会产生警告")
+        return False
+    else:
+        print("✓ 未发现弃用的 VALUES() 函数用法")
+    
+    if "AS `excluded`" in sql and "ON DUPLICATE KEY UPDATE" in sql:
+        print("✓ 正确使用了新的 MySQL 语法")
+    else:
+        print("✗ 未正确使用新的 MySQL 语法")
+        return False
+    
+    # 检查更新子句
+    if "`title`=`excluded`.`title`" in sql and "`publish_time`=`excluded`.`publish_time`" in sql:
+        print("✓ 更新子句正确使用了 excluded 别名")
+    else:
+        print("✗ 更新子句语法不正确")
+        return False
+    
+    print("\n2. 检查批量插入语法...")
+    batch_result = SQLBuilder.make_batch(
+        table="news_items",
+        datas=[test_data, test_data],
+        auto_update=False,
+        update_columns=update_columns
+    )
+    
+    if batch_result:
+        batch_sql, _ = batch_result
+        print("生成的批量 SQL:")
+        print(batch_sql[:200] + "..." if len(batch_sql) > 200 else batch_sql)
+        print()
+        
+        # 检查批量插入语法
+        if "VALUES(`title`)" in batch_sql or "VALUES(`publish_time`)" in batch_sql:
+            print("✗ 批量插入中发现弃用的 VALUES() 函数用法，会产生警告")
+            return False
+        else:
+            print("✓ 批量插入未发现弃用的 VALUES() 函数用法")
+        
+        if "AS `excluded`" in batch_sql and "ON DUPLICATE KEY UPDATE" in batch_sql:
+            print("✓ 批量插入正确使用了新的 MySQL 语法")
+        else:
+            print("✗ 批量插入未正确使用新的 MySQL 语法")
+            return False
+        
+        # 检查批量更新子句
+        if "`title`=`excluded`.`title`" in batch_sql and "`publish_time`=`excluded`.`publish_time`" in batch_sql:
+            print("✓ 批量插入更新子句正确使用了 excluded 别名")
+        else:
+            print("✗ 批量插入更新子句语法不正确")
+            return False
+    
+    print("\n=== 验证完成 ===")
+    print("✓ 所有语法检查通过，应该不会再出现 MySQL 的 VALUES() 函数弃用警告")
+    return True
+
+
+if __name__ == "__main__":
+    success = verify_mysql_syntax()
+    if success:
+        print("\n🎉 MySQL 语法问题已解决！")
+    else:
         print("\n❌ 仍存在 MySQL 语法问题需要修复")

crawlo/utils/log.py

@@ -1,80 +0,0 @@
-# ==================== 向后兼容的日志接口 ====================
-# 主要功能已迁移到 crawlo.logging 模块
-# 本文件提供向后兼容接口，同时支持新的日志系统功能
-
-import logging
-from typing import Optional, Any
-
-# 向后兼容：导入新的日志系统
-try:
-    from crawlo.logging import get_logger as new_get_logger, configure_logging
-
-    _NEW_LOGGING_AVAILABLE = True
-except ImportError:
-    _NEW_LOGGING_AVAILABLE = False
-    new_get_logger = None
-    configure_logging = None
-
-LOG_FORMAT = '%(asctime)s - [%(name)s] - %(levelname)s: %(message)s'
-
-
-# 向后兼容的日志函数
-def get_logger(name: str = 'default', level: Optional[int] = None):
-    """获取Logger实例 - 向后兼容函数"""
-    if _NEW_LOGGING_AVAILABLE and new_get_logger:
-        # 使用新的日志系统
-        return new_get_logger(name)
-    else:
-        # 降级到基本的Python logging
-        logger = logging.getLogger(name)
-        if not logger.handlers:
-            handler = logging.StreamHandler()
-            formatter = logging.Formatter(LOG_FORMAT)
-            handler.setFormatter(formatter)
-            logger.addHandler(handler)
-            logger.setLevel(level or logging.INFO)
-        return logger
-
-
-def get_component_logger(component_class: Any, settings: Optional[Any] = None, level: Optional[str] = None):
-    """
-    获取组件Logger - 推荐的组件日志创建方式
-    
-    Args:
-        component_class: 组件类
-        settings: 配置对象，用于读取日志级别配置
-        level: 日志级别（优先级低于settings中的配置）
-        
-    Returns:
-        logging.Logger: 配置好的Logger实例
-    """
-    # 获取组件名称
-    if hasattr(component_class, '__name__'):
-        component_name = component_class.__name__
-    else:
-        component_name = str(component_class)
-    
-    # 如果新日志系统可用，使用新系统
-    if _NEW_LOGGING_AVAILABLE and new_get_logger:
-        return new_get_logger(component_name)
-    
-    # 否则使用向后兼容方式
-    # 从settings中获取日志级别（如果提供）
-    if settings is not None:
-        # 尝试从settings获取组件特定的日志级别
-        if hasattr(settings, 'get'):
-            # 检查是否有组件特定的日志级别配置
-            component_level = settings.get(f'LOG_LEVEL_{component_name}')
-            if component_level is not None:
-                level = component_level
-            else:
-                # 检查通用日志级别
-                general_level = settings.get('LOG_LEVEL')
-                if general_level is not None:
-                    level = general_level
-    
-    # 转换日志级别
-    if isinstance(level, str):
-        level = getattr(logging, level.upper(), logging.INFO)
-    
-    return get_logger(component_name, level)

crawlo/utils/url_utils.py

@@ -1,40 +0,0 @@
-from urllib.parse import urldefrag
-from w3lib.url import add_or_replace_parameter
-
-
-def escape_ajax(url: str) -> str:
-    """
-    根据Google AJAX爬取规范转换URL（处理哈希片段#!）：
-    https://developers.google.com/webmasters/ajax-crawling/docs/getting-started
-
-    规则说明：
-    1. 仅当URL包含 `#!` 时才转换（表示这是AJAX可爬取页面）
-    2. 将 `#!key=value` 转换为 `?_escaped_fragment_=key%3Dvalue`
-    3. 保留原始查询参数（如果有）
-
-    示例：
-    >>> escape_ajax("www.example.com/ajax.html#!key=value")
-    'www.example.com/ajax.html?_escaped_fragment_=key%3Dvalue'
-    >>> escape_ajax("www.example.com/ajax.html?k1=v1#!key=value")
-    'www.example.com/ajax.html?k1=v1&_escaped_fragment_=key%3Dvalue'
-    >>> escape_ajax("www.example.com/ajax.html#!")
-    'www.example.com/ajax.html?_escaped_fragment_='
-
-    非AJAX可爬取的URL（无#!）原样返回：
-    >>> escape_ajax("www.example.com/ajax.html#normal")
-    'www.example.com/ajax.html#normal'
-    """
-    # 分离URL的基础部分和哈希片段
-    de_frag, frag = urldefrag(url)
-
-    # 仅处理以"!"开头的哈希片段（Google规范）
-    if not frag.startswith("!"):
-        return url  # 不符合规则则原样返回
-
-    # 调用辅助函数添加 `_escaped_fragment_` 参数
-    return add_or_replace_parameter(de_frag, "_escaped_fragment_", frag[1:])
-
-
-if __name__ == '__main__':
-    f = escape_ajax('http://example.com/page#!')
-    print(f)