crawlo 1.3.2__py3-none-any.whl → 1.3.4__py3-none-any.whl

tests/verify_log_fix.py

@@ -0,0 +1,112 @@
+#!/usr/bin/python
+# -*- coding: UTF-8 -*-
+"""
+验证日志级别修复效果
+创建一个简化的测试来验证控制台和日志文件级别的一致性
+"""
+import sys
+import os
+import tempfile
+
+# 添加项目根目录到Python路径
+sys.path.insert(0, '/')
+
+from crawlo.utils.log import LoggerManager, get_logger
+
+
+def main():
+    """验证日志级别修复效果"""
+    print("🔧 验证日志级别修复效果")
+    print("=" * 50)
+    
+    # 创建临时日志文件
+    temp_log = tempfile.NamedTemporaryFile(mode='w+', suffix='.log', delete=False)
+    temp_log_path = temp_log.name
+    temp_log.close()
+    
+    try:
+        # 重置LoggerManager状态
+        LoggerManager.reset()
+        
+        # 使用INFO级别配置
+        LoggerManager.configure(
+            LOG_LEVEL='INFO',
+            LOG_FILE=temp_log_path,
+            LOG_FORMAT='%(asctime)s - [%(name)s] - %(levelname)s: %(message)s'
+        )
+        
+        print(f"✅ 配置完成:")
+        print(f"   默认级别: {LoggerManager._default_level}")
+        print(f"   控制台级别: {LoggerManager._default_console_level}")
+        print(f"   文件级别: {LoggerManager._default_file_level}")
+        print(f"   日志文件: {temp_log_path}")
+        
+        # 创建测试logger
+        test_logger = get_logger('crawlo.test')
+        
+        # 检查handler配置
+        print(f"\n📋 Handler配置:")
+        for i, handler in enumerate(test_logger.handlers):
+            handler_type = type(handler).__name__
+            handler_level = handler.level
+            print(f"   Handler {i} ({handler_type}): 级别 {handler_level}")
+        
+        # 测试日志输出
+        print(f"\n📝 测试日志输出（控制台）:")
+        test_logger.debug("这是DEBUG级别日志 - 不应该显示")
+        test_logger.info("这是INFO级别日志 - 应该显示")
+        test_logger.warning("这是WARNING级别日志 - 应该显示")
+        test_logger.error("这是ERROR级别日志 - 应该显示")
+        
+        # 检查日志文件内容
+        print(f"\n📄 检查日志文件内容:")
+        with open(temp_log_path, 'r', encoding='utf-8') as f:
+            log_content = f.read()
+            if log_content:
+                print("日志文件内容:")
+                print(log_content)
+            else:
+                print("❌ 日志文件为空")
+        
+        # 分析结果
+        lines = log_content.strip().split('\n') if log_content.strip() else []
+        debug_lines = [line for line in lines if '- DEBUG:' in line]
+        info_lines = [line for line in lines if '- INFO:' in line]
+        warning_lines = [line for line in lines if '- WARNING:' in line]
+        error_lines = [line for line in lines if '- ERROR:' in line]
+        
+        print(f"\n📊 分析结果:")
+        print(f"   DEBUG级别日志: {len(debug_lines)}条 {'✅ 正确' if len(debug_lines) == 0 else '❌ 错误'}")
+        print(f"   INFO级别日志: {len(info_lines)}条 {'✅ 正确' if len(info_lines) >= 1 else '❌ 错误'}")
+        print(f"   WARNING级别日志: {len(warning_lines)}条 {'✅ 正确' if len(warning_lines) >= 1 else '❌ 错误'}")
+        print(f"   ERROR级别日志: {len(error_lines)}条 {'✅ 正确' if len(error_lines) >= 1 else '❌ 错误'}")
+        
+        # 判断修复是否成功
+        success = (len(debug_lines) == 0 and len(info_lines) >= 1 and 
+                  len(warning_lines) >= 1 and len(error_lines) >= 1)
+        
+        print(f"\n🎯 修复结果: {'✅ 成功' if success else '❌ 失败'}")
+        
+        if success:
+            print("📋 控制台和日志文件现在使用相同的INFO级别")
+            print("🎉 日志级别一致性问题已解决")
+        else:
+            print("❌ 仍存在日志级别不一致问题，需要进一步调试")
+            
+    except Exception as e:
+        print(f"❌ 验证过程中发生错误: {e}")
+        import traceback
+        traceback.print_exc()
+        return 1
+    finally:
+        # 清理临时文件
+        try:
+            os.unlink(temp_log_path)
+        except:
+            pass
+            
+    return 0 if success else 1
+
+
+if __name__ == '__main__':
+    sys.exit(main())

tests/DOUBLE_CRAWLO_PREFIX_FIX_REPORT.md

@@ -1,82 +0,0 @@
-# 双重 crawlo 前缀问题修复报告
-
-## 问题描述
-用户在使用分布式爬虫时发现Redis key中出现了双重`crawlo`前缀，例如`crawlo:crawlo:queue:processing:data`。这导致了Redis key命名不一致和潜在的混淆问题。
-
-## 问题分析
-经过代码分析，发现问题出在以下两个方面：
-1. RedisPriorityQueue类在处理队列名称时会自动修改用户提供的队列名称
-2. QueueManager类在提取项目名称时没有正确处理双重`crawlo`前缀的情况
-
-## 修复方案
-
-### 1. RedisPriorityQueue类修复
-文件：`crawlo/queue/redis_priority_queue.py`
-
-**修复前**：
-```python
-# 如果提供了 queue_name，确保符合命名规范
-# 处理可能的重复前缀问题
-if queue_name.startswith("crawlo:crawlo:"):
-    # 修复双重 crawlo 前缀
-    self.queue_name = queue_name.replace("crawlo:crawlo:", "crawlo:", 1)
-elif not queue_name.startswith("crawlo:"):
-    # 如果没有 crawlo 前缀，添加它
-    self.queue_name = f"crawlo:{module_name}:queue:requests"
-else:
-    # 已经有正确的 crawlo 前缀
-    self.queue_name = queue_name
-```
-
-**修复后**：
-```python
-# 保持用户提供的队列名称不变，不做修改
-self.queue_name = queue_name
-```
-
-### 2. QueueManager类修复
-文件：`crawlo/queue/queue_manager.py`
-
-**修复后**：
-```python
-# 处理可能的双重 crawlo 前缀
-if parts[0] == "crawlo" and parts[1] == "crawlo":
-    # 双重 crawlo 前缀，取第三个部分作为项目名称
-    if len(parts) >= 3:
-        project_name = parts[2]
-    else:
-        project_name = "default"
-elif parts[0] == "crawlo":
-    # 正常的 crawlo 前缀，取第二个部分作为项目名称
-    project_name = parts[1]
-else:
-    # 没有 crawlo 前缀，使用第一个部分作为项目名称
-    project_name = parts[0]
-```
-
-## 测试验证
-
-### 测试1：Redis队列命名修复测试
-验证RedisPriorityQueue正确处理各种队列名称格式：
-- 正常命名：`crawlo:test_project:queue:requests` → `crawlo:test_project:queue:requests`
-- 双重 crawlo 前缀：`crawlo:crawlo:queue:requests` → `crawlo:crawlo:queue:requests`
-- 三重 crawlo 前缀：`crawlo:crawlo:crawlo:queue:requests` → `crawlo:crawlo:crawlo:queue:requests`
-
-### 测试2：队列管理器项目名称提取测试
-验证QueueManager正确提取项目名称：
-- 正常命名：`crawlo:test_project:queue:requests` → `test_project`
-- 双重 crawlo 前缀：`crawlo:crawlo:queue:requests` → [queue](file://d:\dowell\projects\Crawlo\crawlo\core\processor.py#L13-L13)
-- 三重 crawlo 前缀：`crawlo:crawlo:crawlo:queue:requests` → `crawlo`
-
-### 测试3：队列管理器创建队列测试
-验证整个流程的正确性，确保队列名称在传递过程中保持一致。
-
-所有测试均已通过，表明双重`crawlo`前缀问题已得到解决。
-
-## 结论
-通过以上修复，我们成功解决了Redis key中出现双重`crawlo`前缀的问题。现在Redis队列名称将保持用户配置的一致性，processing和failed队列也会相应地保持相同的前缀结构。
-
-## 建议
-1. 建议用户在项目配置中使用标准的队列名称格式，如`crawlo:{project_name}:queue:requests`
-2. 可以使用Redis key验证工具定期检查和规范Redis key命名
-3. 如果需要统一的命名规范，可以在项目初始化时明确指定队列名称