crawlo 1.3.4__py3-none-any.whl → 1.3.5__py3-none-any.whl

tests/simple_log_test2.py

@@ -0,0 +1,138 @@
+#!/usr/bin/env python
+# -*- coding: UTF-8 -*-
+"""
+简单的日志系统测试
+"""
+
+import os
+import sys
+import tempfile
+import shutil
+from pathlib import Path
+
+# 添加项目根目录到Python路径
+project_root = Path(__file__).parent.parent
+sys.path.insert(0, str(project_root))
+
+from crawlo.logging import configure_logging as configure, get_logger, LogManager
+from crawlo.logging.config import LogConfig
+
+
+def test_file_logging_simple():
+    """简单测试文件日志功能"""
+    print("=== 简单测试文件日志功能 ===")
+    
+    # 创建临时目录
+    temp_dir = tempfile.mkdtemp()
+    log_file = os.path.join(temp_dir, 'simple_test.log')
+    
+    try:
+        print(f"日志文件路径: {log_file}")
+        
+        # 配置文件日志
+        configure(
+            LOG_LEVEL='INFO',
+            LOG_FILE=log_file,
+            LOG_FILE_ENABLED=True
+        )
+        
+        config = LogManager().config
+        print(f"配置文件路径: {config.file_path}")
+        print(f"文件启用: {config.file_enabled}")
+        
+        # 获取logger并测试输出
+        logger = get_logger('test.simple')
+        print(f"Logger handlers数量: {len(logger.handlers)}")
+        
+        for handler in logger.handlers:
+            print(f"Handler类型: {type(handler).__name__}")
+            if hasattr(handler, 'baseFilename'):
+                print(f"Handler文件名: {handler.baseFilename}")
+        
+        logger.info("这是一条测试日志")
+        logger.warning("这是一条警告日志")
+        
+        # 检查日志文件
+        print("检查日志文件...")
+        if os.path.exists(log_file):
+            with open(log_file, 'r', encoding='utf-8') as f:
+                content = f.read()
+                print(f"日志文件内容:\n{content}")
+        else:
+            print("日志文件不存在!")
+            
+    finally:
+        # 清理临时目录
+        shutil.rmtree(temp_dir, ignore_errors=True)
+
+
+def test_console_only():
+    """测试仅控制台日志"""
+    print("\n=== 测试仅控制台日志 ===")
+    
+    # 配置仅控制台日志
+    configure(
+        LOG_LEVEL='INFO',
+        LOG_CONSOLE_ENABLED=True,
+        LOG_FILE_ENABLED=False
+    )
+    
+    config = LogManager().config
+    print(f"控制台启用: {config.console_enabled}")
+    print(f"文件启用: {config.file_enabled}")
+    
+    # 获取logger并测试输出
+    logger = get_logger('test.console_only')
+    logger.info("这条日志应该只在控制台显示")
+
+
+def test_module_levels():
+    """测试模块级别日志"""
+    print("\n=== 测试模块级别日志 ===")
+    
+    # 配置模块级别
+    configure(
+        LOG_LEVEL='WARNING',
+        LOG_LEVELS={
+            'module.debug': 'DEBUG',
+            'module.error': 'ERROR'
+        }
+    )
+    
+    config = LogManager().config
+    print(f"默认级别: {config.level}")
+    print(f"模块级别: {config.module_levels}")
+    
+    # 测试不同模块的日志级别
+    debug_logger = get_logger('module.debug')
+    debug_logger.debug("这条DEBUG日志应该显示")
+    debug_logger.info("这条INFO日志应该显示")
+    
+    error_logger = get_logger('module.error')
+    error_logger.info("这条INFO日志不应该显示")
+    error_logger.error("这条ERROR日志应该显示")
+
+
+def main():
+    """主测试函数"""
+    print("开始简单测试Crawlo框架日志系统...")
+    
+    try:
+        # 运行测试
+        test_file_logging_simple()
+        test_console_only()
+        test_module_levels()
+        
+        print("\n=== 简单测试完成 ===")
+        
+    except Exception as e:
+        print(f"\n测试过程中出现错误: {e}")
+        import traceback
+        traceback.print_exc()
+        return 1
+    
+    return 0
+
+
+if __name__ == '__main__':
+    sys.exit(main())

tests/spider_log_timing_test.py

@@ -0,0 +1,178 @@
+#!/usr/bin/env python
+# -*- coding: UTF-8 -*-
+"""
+模拟爬虫场景测试日志文件生成时机
+"""
+
+import os
+import sys
+import time
+import asyncio
+from pathlib import Path
+
+# 添加项目根目录到Python路径
+project_root = Path(__file__).parent.parent
+sys.path.insert(0, str(project_root))
+
+from crawlo.logging import configure_logging as configure, get_logger
+
+
+class MockSpider:
+    """模拟爬虫类"""
+    
+    def __init__(self, name):
+        self.name = name
+        self.logger = get_logger(f'spider.{name}')
+    
+    async def start_requests(self):
+        """开始请求"""
+        self.logger.info(f"Spider {self.name} 开始请求")
+        # 模拟一些网络请求
+        for i in range(3):
+            self.logger.info(f"Spider {self.name} 发送请求 {i+1}")
+            await asyncio.sleep(0.1)
+    
+    async def parse(self, response):
+        """解析响应"""
+        self.logger.info(f"Spider {self.name} 解析响应")
+        # 模拟解析过程
+        await asyncio.sleep(0.05)
+        self.logger.info(f"Spider {self.name} 提取数据")
+        return {"data": f"item from {self.name}"}
+    
+    async def crawl(self):
+        """执行爬取"""
+        self.logger.info(f"Spider {self.name} 开始爬取")
+        await self.start_requests()
+        await self.parse("mock_response")
+        self.logger.info(f"Spider {self.name} 爬取完成")
+
+
+async def test_spider_logging_timing():
+    """测试爬虫日志记录时机"""
+    print("=== 测试爬虫日志记录时机 ===")
+    
+    # 设置日志文件路径
+    log_file = "logs/spider_timing_test.log"
+    
+    # 删除可能存在的旧日志文件
+    if os.path.exists(log_file):
+        os.remove(log_file)
+    
+    # 配置日志系统
+    print("1. 配置日志系统...")
+    configure(
+        level='INFO',
+        file_path=log_file,
+        console_enabled=True,
+        file_enabled=True
+    )
+    
+    print(f"   配置后日志文件是否存在: {os.path.exists(log_file)}")
+    
+    # 创建爬虫实例
+    print("\n2. 创建爬虫实例...")
+    spider = MockSpider("test_spider")
+    print(f"   创建爬虫后日志文件是否存在: {os.path.exists(log_file)}")
+    
+    # 检查文件内容
+    if os.path.exists(log_file):
+        with open(log_file, 'r', encoding='utf-8') as f:
+            content = f.read()
+            print(f"   日志文件行数: {len(content.splitlines())}")
+    
+    # 执行爬取
+    print("\n3. 执行爬取...")
+    await spider.crawl()
+    
+    print(f"   爬取完成后日志文件是否存在: {os.path.exists(log_file)}")
+    
+    # 检查最终文件内容
+    if os.path.exists(log_file):
+        with open(log_file, 'r', encoding='utf-8') as f:
+            lines = f.readlines()
+            print(f"\n最终日志文件内容:")
+            print(f"  总行数: {len(lines)}")
+            print(f"  文件大小: {os.path.getsize(log_file)} 字节")
+            if lines:
+                print(f"  第一行: {lines[0].strip()}")
+                print(f"  最后一行: {lines[-1].strip()}")
+    
+    # 等待一段时间后再次检查
+    print("\n4. 等待2秒后再次检查...")
+    time.sleep(2)
+    
+    if os.path.exists(log_file):
+        with open(log_file, 'r', encoding='utf-8') as f:
+            lines = f.readlines()
+            print(f"  等待后总行数: {len(lines)}")
+
+
+async def test_multiple_spiders():
+    """测试多个爬虫的日志记录"""
+    print("\n=== 测试多个爬虫的日志记录 ===")
+    
+    # 设置日志文件路径
+    log_file = "logs/multi_spider_test.log"
+    
+    # 删除可能存在的旧日志文件
+    if os.path.exists(log_file):
+        os.remove(log_file)
+    
+    # 配置日志系统
+    configure(
+        level='INFO',
+        file_path=log_file,
+        console_enabled=True,
+        file_enabled=True
+    )
+    
+    # 创建多个爬虫实例
+    spiders = [MockSpider(f"spider_{i}") for i in range(3)]
+    
+    print("1. 顺序执行多个爬虫...")
+    for i, spider in enumerate(spiders):
+        print(f"   执行爬虫 {i+1}...")
+        await spider.crawl()
+        
+        # 检查当前日志文件状态
+        if os.path.exists(log_file):
+            with open(log_file, 'r', encoding='utf-8') as f:
+                lines = f.readlines()
+                print(f"     当前日志行数: {len(lines)}")
+    
+    print(f"\n   所有爬虫执行完成后日志文件是否存在: {os.path.exists(log_file)}")
+    
+    # 检查最终文件内容
+    if os.path.exists(log_file):
+        with open(log_file, 'r', encoding='utf-8') as f:
+            lines = f.readlines()
+            print(f"\n最终日志文件内容:")
+            print(f"  总行数: {len(lines)}")
+            print(f"  文件大小: {os.path.getsize(log_file)} 字节")
+            if lines:
+                print(f"  第一行: {lines[0].strip()}")
+                print(f"  最后一行: {lines[-1].strip()}")
+
+
+async def main():
+    """主函数"""
+    print("开始测试爬虫日志记录时机...")
+    
+    try:
+        await test_spider_logging_timing()
+        await test_multiple_spiders()
+        
+        print("\n=== 所有测试完成 ===")
+        
+    except Exception as e:
+        print(f"\n测试过程中出现错误: {e}")
+        import traceback
+        traceback.print_exc()
+        return 1
+    
+    return 0
+
+
+if __name__ == '__main__':
+    asyncio.run(main())

tests/test_get_component_logger.py

@@ -0,0 +1,84 @@
+#!/usr/bin/env python
+# -*- coding: UTF-8 -*-
+"""
+测试增强后的 get_component_logger 函数
+"""
+
+import os
+import sys
+from pathlib import Path
+
+# 添加项目根目录到Python路径
+project_root = Path(__file__).parent.parent
+sys.path.insert(0, str(project_root))
+
+from crawlo.utils.log import get_component_logger
+
+
+class MockComponent:
+    """模拟组件类"""
+    pass
+
+
+class MockSettings:
+    """模拟设置类"""
+    def __init__(self):
+        self.LOG_LEVEL = 'DEBUG'
+        self.LOG_LEVEL_MockComponent = 'WARNING'
+    
+    def get(self, key, default=None):
+        return getattr(self, key, default)
+
+
+def test_get_component_logger():
+    """测试 get_component_logger 函数"""
+    print("=== 测试 get_component_logger 函数 ===")
+    
+    # 1. 测试基本用法
+    print("1. 测试基本用法...")
+    logger1 = get_component_logger(MockComponent)
+    print(f"   Logger名称: {logger1.name}")
+    print(f"   Logger级别: {logger1.level}")
+    
+    # 2. 测试带settings的用法
+    print("2. 测试带settings的用法...")
+    settings = MockSettings()
+    logger2 = get_component_logger(MockComponent, settings)
+    print(f"   Logger名称: {logger2.name}")
+    print(f"   Logger级别: {logger2.level}")
+    
+    # 3. 测试带level参数的用法
+    print("3. 测试带level参数的用法...")
+    logger3 = get_component_logger(MockComponent, level='ERROR')
+    print(f"   Logger名称: {logger3.name}")
+    print(f"   Logger级别: {logger3.level}")
+    
+    # 4. 测试日志输出
+    print("4. 测试日志输出...")
+    logger1.info("这是info级别的测试消息")
+    logger1.warning("这是warning级别的测试消息")
+    logger1.error("这是error级别的测试消息")
+    
+    print("\n=== 测试完成 ===")
+
+
+def main():
+    """主函数"""
+    print("开始测试增强后的 get_component_logger 函数...")
+    
+    try:
+        test_get_component_logger()
+        
+        print("\n=== 所有测试完成 ===")
+        
+    except Exception as e:
+        print(f"\n测试过程中出现错误: {e}")
+        import traceback
+        traceback.print_exc()
+        return 1
+    
+    return 0
+
+
+if __name__ == '__main__':
+    sys.exit(main())

tests/test_logging_system.py

@@ -0,0 +1,283 @@
+#!/usr/bin/env python
+# -*- coding: UTF-8 -*-
+"""
+全面测试Crawlo框架日志系统的所有功能
+"""
+
+import os
+import sys
+import tempfile
+import shutil
+from pathlib import Path
+
+# 添加项目根目录到Python路径
+project_root = Path(__file__).parent.parent
+sys.path.insert(0, str(project_root))
+
+from crawlo.logging import configure_logging as configure, get_logger, LogManager
+from crawlo.logging.config import LogConfig
+
+
+def test_basic_logging():
+    """测试基本日志功能"""
+    print("=== 测试基本日志功能 ===")
+    
+    # 1. 测试默认配置
+    print("1. 测试默认配置...")
+    configure()
+    config = LogManager().config
+    print(f"   默认级别: {config.level}")
+    print(f"   默认格式: {config.format}")
+    
+    # 2. 测试获取logger
+    logger = get_logger('test.basic')
+    print(f"   Logger名称: {logger.name}")
+    print(f"   Handlers数量: {len(logger.handlers)}")
+    
+    # 3. 测试日志输出
+    logger.info("这是一条INFO级别日志")
+    logger.warning("这是一条WARNING级别日志")
+    logger.error("这是一条ERROR级别日志")
+    print("   日志输出完成")
+
+
+def test_file_logging():
+    """测试文件日志功能"""
+    print("\n=== 测试文件日志功能 ===")
+    
+    # 创建临时目录
+    temp_dir = tempfile.mkdtemp()
+    log_file = os.path.join(temp_dir, 'test.log')
+    
+    try:
+        # 1. 配置文件日志
+        print("1. 配置文件日志...")
+        configure(
+            LOG_LEVEL='DEBUG',
+            LOG_FILE=log_file,
+            LOG_MAX_BYTES=1024,  # 小的轮转大小用于测试
+            LOG_BACKUP_COUNT=3
+        )
+        
+        config = LogManager().config
+        print(f"   日志文件: {config.file_path}")
+        print(f"   轮转大小: {config.max_bytes}")
+        print(f"   备份数量: {config.backup_count}")
+        
+        # 2. 获取logger并测试输出
+        logger = get_logger('test.file')
+        print("2. 测试日志输出...")
+        
+        # 输出多条日志以触发轮转
+        for i in range(50):
+            logger.debug(f"这是第{i+1}条DEBUG日志，用于测试轮转功能")
+            logger.info(f"这是第{i+1}条INFO日志，用于测试轮转功能")
+        
+        # 3. 检查日志文件
+        print("3. 检查日志文件...")
+        if os.path.exists(log_file):
+            file_size = os.path.getsize(log_file)
+            print(f"   主日志文件大小: {file_size} 字节")
+        else:
+            print("   主日志文件不存在!")
+            
+        # 检查备份文件
+        for i in range(1, 4):
+            backup_file = f"{log_file}.{i}"
+            if os.path.exists(backup_file):
+                backup_size = os.path.getsize(backup_file)
+                print(f"   备份文件 {i} 大小: {backup_size} 字节")
+            else:
+                print(f"   备份文件 {i} 不存在")
+                
+    finally:
+        # 清理临时目录
+        shutil.rmtree(temp_dir, ignore_errors=True)
+
+
+def test_console_logging():
+    """测试控制台日志功能"""
+    print("\n=== 测试控制台日志功能 ===")
+    
+    # 1. 配置仅控制台日志
+    print("1. 配置仅控制台日志...")
+    configure(
+        LOG_LEVEL='INFO',
+        LOG_CONSOLE_ENABLED=True,
+        LOG_FILE_ENABLED=False
+    )
+    
+    config = LogManager().config
+    print(f"   控制台启用: {config.console_enabled}")
+    print(f"   文件日志启用: {config.file_enabled}")
+    
+    # 2. 测试日志输出
+    logger = get_logger('test.console')
+    print("2. 测试日志输出...")
+    logger.info("这条日志应该只在控制台显示")
+    logger.debug("这条DEBUG日志不应该显示（级别低于INFO）")
+
+
+def test_module_level_logging():
+    """测试模块级别日志功能"""
+    print("\n=== 测试模块级别日志功能 ===")
+    
+    # 1. 配置模块级别
+    print("1. 配置模块级别...")
+    configure(
+        LOG_LEVEL='WARNING',
+        LOG_LEVELS={
+            'test.module.high': 'DEBUG',
+            'test.module.low': 'ERROR'
+        }
+    )
+    
+    config = LogManager().config
+    print(f"   默认级别: {config.level}")
+    print(f"   模块级别配置: {config.module_levels}")
+    
+    # 2. 测试不同模块的日志级别
+    print("2. 测试不同模块的日志级别...")
+    
+    # 高级别模块（DEBUG）
+    high_logger = get_logger('test.module.high')
+    print(f"   high_logger 级别: {logging.getLevelName(high_logger.handlers[0].level)}")
+    high_logger.debug("这条DEBUG日志应该显示")
+    high_logger.info("这条INFO日志应该显示")
+    
+    # 低级别模块（ERROR）
+    low_logger = get_logger('test.module.low')
+    print(f"   low_logger 级别: {logging.getLevelName(low_logger.handlers[0].level)}")
+    low_logger.info("这条INFO日志不应该显示")
+    low_logger.error("这条ERROR日志应该显示")
+    
+    # 默认级别模块（WARNING）
+    default_logger = get_logger('test.module.default')
+    print(f"   default_logger 级别: {logging.getLevelName(default_logger.handlers[0].level)}")
+    default_logger.info("这条INFO日志不应该显示")
+    default_logger.warning("这条WARNING日志应该显示")
+
+
+def test_log_config_from_settings():
+    """测试从settings对象创建配置"""
+    print("\n=== 测试从settings对象创建配置 ===")
+    
+    # 1. 创建模拟settings对象
+    class MockSettings:
+        def __init__(self):
+            self.LOG_LEVEL = 'DEBUG'
+            self.LOG_FILE = 'test_settings.log'
+            self.LOG_MAX_BYTES = 5 * 1024 * 1024
+            self.LOG_BACKUP_COUNT = 2
+            self.LOG_ENCODING = 'utf-8'
+            self.LOG_CONSOLE_ENABLED = True
+            self.LOG_FILE_ENABLED = True
+            self.LOG_LEVELS = {'test.custom': 'INFO'}
+    
+    # 2. 从settings创建配置
+    print("2. 从settings创建配置...")
+    settings = MockSettings()
+    config = LogConfig.from_settings(settings)
+    
+    print(f"   级别: {config.level}")
+    print(f"   文件: {config.file_path}")
+    print(f"   轮转大小: {config.max_bytes}")
+    print(f"   备份数量: {config.backup_count}")
+    print(f"   编码: {config.encoding}")
+    print(f"   控制台启用: {config.console_enabled}")
+    print(f"   文件启用: {config.file_enabled}")
+    print(f"   模块级别: {config.module_levels}")
+
+
+def test_log_config_validation():
+    """测试日志配置验证功能"""
+    print("\n=== 测试日志配置验证功能 ===")
+    
+    # 1. 测试有效配置
+    print("1. 测试有效配置...")
+    valid_config = LogConfig(
+        level='INFO',
+        file_path='test_valid.log'
+    )
+    is_valid = valid_config.validate()
+    print(f"   有效配置验证结果: {is_valid}")
+    
+    # 2. 测试无效级别
+    print("2. 测试无效级别...")
+    invalid_config = LogConfig(
+        level='INVALID',
+        file_path='test_invalid.log'
+    )
+    is_valid = invalid_config.validate()
+    print(f"   无效级别验证结果: {is_valid}")
+    
+    # 3. 测试目录创建
+    print("3. 测试目录创建...")
+    temp_dir = tempfile.mkdtemp()
+    nested_log_file = os.path.join(temp_dir, 'subdir', 'test.log')
+    
+    config = LogConfig(
+        level='INFO',
+        file_path=nested_log_file
+    )
+    is_valid = config.validate()
+    print(f"   目录创建验证结果: {is_valid}")
+    
+    # 清理
+    shutil.rmtree(temp_dir, ignore_errors=True)
+
+
+def test_logger_caching():
+    """测试Logger缓存功能"""
+    print("\n=== 测试Logger缓存功能 ===")
+    
+    # 重置配置以确保测试环境干净
+    LogManager().reset()
+    
+    # 1. 获取同一个logger多次
+    print("1. 测试缓存...")
+    logger1 = get_logger('test.cache')
+    logger2 = get_logger('test.cache')
+    
+    print(f"   第一次获取: {id(logger1)}")
+    print(f"   第二次获取: {id(logger2)}")
+    print(f"   是否为同一对象: {logger1 is logger2}")
+    
+    # 2. 测试配置更新后缓存刷新
+    print("2. 测试配置更新...")
+    configure(LOG_LEVEL='ERROR')
+    logger3 = get_logger('test.cache')
+    print(f"   更新配置后获取: {id(logger3)}")
+    print(f"   是否与之前相同: {logger1 is logger3}")
+
+
+def main():
+    """主测试函数"""
+    print("开始全面测试Crawlo框架日志系统...")
+    
+    try:
+        # 运行所有测试
+        test_basic_logging()
+        test_file_logging()
+        test_console_logging()
+        test_module_level_logging()
+        test_log_config_from_settings()
+        test_log_config_validation()
+        test_logger_caching()
+        
+        print("\n=== 所有测试完成 ===")
+        
+    except Exception as e:
+        print(f"\n测试过程中出现错误: {e}")
+        import traceback
+        traceback.print_exc()
+        return 1
+    
+    return 0
+
+
+# 导入logging模块用于测试
+import logging
+
+if __name__ == '__main__':
+    sys.exit(main())