crawlo 1.4.1__py3-none-any.whl → 1.4.3__py3-none-any.whl

tests/untested_features_report.md

@@ -1,139 +1,139 @@
-# 未测试功能报告
-
-## 概述
-
-在对Crawlo框架进行全面分析后，发现以下功能模块缺乏专门的测试用例。这些模块虽然部分功能在其他测试中可能有间接覆盖，但缺乏针对性的单元测试和集成测试。
-
-## 已完成测试的功能模块
-
-### 1. 工厂模式相关模块
-
-**模块路径**: `crawlo/factories/`
-
-**测试文件**: `tests/test_factories.py`
-
-**已测试组件**:
-- `ComponentRegistry` - 组件注册表
-- `ComponentFactory` - 组件工厂基类
-- `DefaultComponentFactory` - 默认组件工厂
-- `CrawlerComponentFactory` - Crawler组件工厂
-
-### 2. 批处理工具
-
-**模块路径**: `crawlo/utils/batch_processor.py`
-
-**测试文件**: `tests/test_batch_processor.py`
-
-**已测试组件**:
-- `BatchProcessor` - 批处理处理器
-- `RedisBatchProcessor` - Redis批处理处理器
-- `batch_process` - 便捷批处理函数
-
-### 3. 受控爬虫混入类
-
-**模块路径**: `crawlo/utils/controlled_spider_mixin.py`
-
-**测试文件**: `tests/test_controlled_spider_mixin.py`
-
-**已测试组件**:
-- `ControlledRequestMixin` - 受控请求生成混入类
-- `AsyncControlledRequestMixin` - 异步受控请求混入类
-
-### 4. 大规模配置工具
-
-**模块路径**: `crawlo/utils/large_scale_config.py`
-
-**测试文件**: `tests/test_large_scale_config.py`
-
-**已测试组件**:
-- `LargeScaleConfig` - 大规模爬虫配置类
-- `apply_large_scale_config` - 应用大规模配置函数
-
-### 5. 大规模爬虫辅助工具
-
-**模块路径**: `crawlo/utils/large_scale_helper.py`
-
-**测试文件**: `tests/test_large_scale_helper.py`
-
-**已测试组件**:
-- `LargeScaleHelper` - 大规模爬虫辅助类
-- `ProgressManager` - 进度管理器
-- `MemoryOptimizer` - 内存优化器
-- `DataSourceAdapter` - 数据源适配器
-- `LargeScaleSpiderMixin` - 大规模爬虫混入类
-
-### 6. 增强错误处理工具
-
-**模块路径**: `crawlo/utils/enhanced_error_handler.py`
-
-**测试文件**: 
-- `tests/test_enhanced_error_handler.py` (基础测试)
-- `tests/test_enhanced_error_handler_comprehensive.py` (综合测试)
-
-**已测试组件**:
-- `ErrorContext` - 错误上下文信息
-- `DetailedException` - 详细异常基类
-- `EnhancedErrorHandler` - 增强错误处理器
-- `handle_exception` 装饰器
-
-## 未测试的功能模块
-
-### 1. 性能监控工具
-
-**模块路径**: `crawlo/utils/performance_monitor.py`
-
-**测试文件**: `tests/test_performance_monitor.py` (部分测试，依赖psutil)
-
-**未充分测试组件**:
-- `PerformanceMonitor` - 性能监控器
-- `PerformanceTimer` - 性能计时器
-- `performance_monitor_decorator` - 性能监控装饰器
-
-**风险**: 性能监控是优化和诊断的重要工具，缺乏测试可能导致监控数据不准确或监控功能失效。
-
-## 建议的测试策略
-
-### 1. 优先级排序
-
-**高优先级** (直接影响核心功能):
-- (已完成)
-
-**中优先级** (影响性能和稳定性):
-- 性能监控工具
-
-**低优先级** (辅助功能):
-- (已完成)
-
-### 2. 测试类型建议
-
-**单元测试**:
-- 针对每个类的方法进行独立测试
-- 验证边界条件和异常情况
-- 测试配置参数的有效性
-
-**集成测试**:
-- 测试模块间的协作
-- 验证与Redis等外部服务的交互
-- 测试在真实爬虫场景中的表现
-
-**性能测试**:
-- 验证批处理工具的性能优势
-- 测试大规模处理工具的内存使用情况
-- 验证性能监控工具的准确性
-
-### 3. 测试覆盖建议
-
-**核心功能覆盖**:
-- 正常流程测试
-- 异常流程测试
-- 边界条件测试
-- 并发安全测试
-
-**配置覆盖**:
-- 不同配置参数的测试
-- 默认配置与自定义配置的对比
-- 配置更新的动态测试
-
-## 结论
-
+# 未测试功能报告
+
+## 概述
+
+在对Crawlo框架进行全面分析后，发现以下功能模块缺乏专门的测试用例。这些模块虽然部分功能在其他测试中可能有间接覆盖，但缺乏针对性的单元测试和集成测试。
+
+## 已完成测试的功能模块
+
+### 1. 工厂模式相关模块
+
+**模块路径**: `crawlo/factories/`
+
+**测试文件**: `tests/test_factories.py`
+
+**已测试组件**:
+- `ComponentRegistry` - 组件注册表
+- `ComponentFactory` - 组件工厂基类
+- `DefaultComponentFactory` - 默认组件工厂
+- `CrawlerComponentFactory` - Crawler组件工厂
+
+### 2. 批处理工具
+
+**模块路径**: `crawlo/utils/batch_processor.py`
+
+**测试文件**: `tests/test_batch_processor.py`
+
+**已测试组件**:
+- `BatchProcessor` - 批处理处理器
+- `RedisBatchProcessor` - Redis批处理处理器
+- `batch_process` - 便捷批处理函数
+
+### 3. 受控爬虫混入类
+
+**模块路径**: `crawlo/utils/controlled_spider_mixin.py`
+
+**测试文件**: `tests/test_controlled_spider_mixin.py`
+
+**已测试组件**:
+- `ControlledRequestMixin` - 受控请求生成混入类
+- `AsyncControlledRequestMixin` - 异步受控请求混入类
+
+### 4. 大规模配置工具
+
+**模块路径**: `crawlo/utils/large_scale_config.py`
+
+**测试文件**: `tests/test_large_scale_config.py`
+
+**已测试组件**:
+- `LargeScaleConfig` - 大规模爬虫配置类
+- `apply_large_scale_config` - 应用大规模配置函数
+
+### 5. 大规模爬虫辅助工具
+
+**模块路径**: `crawlo/utils/large_scale_helper.py`
+
+**测试文件**: `tests/test_large_scale_helper.py`
+
+**已测试组件**:
+- `LargeScaleHelper` - 大规模爬虫辅助类
+- `ProgressManager` - 进度管理器
+- `MemoryOptimizer` - 内存优化器
+- `DataSourceAdapter` - 数据源适配器
+- `LargeScaleSpiderMixin` - 大规模爬虫混入类
+
+### 6. 增强错误处理工具
+
+**模块路径**: `crawlo/utils/enhanced_error_handler.py`
+
+**测试文件**: 
+- `tests/test_enhanced_error_handler.py` (基础测试)
+- `tests/test_enhanced_error_handler_comprehensive.py` (综合测试)
+
+**已测试组件**:
+- `ErrorContext` - 错误上下文信息
+- `DetailedException` - 详细异常基类
+- `EnhancedErrorHandler` - 增强错误处理器
+- `handle_exception` 装饰器
+
+## 未测试的功能模块
+
+### 1. 性能监控工具
+
+**模块路径**: `crawlo/utils/performance_monitor.py`
+
+**测试文件**: `tests/test_performance_monitor.py` (部分测试，依赖psutil)
+
+**未充分测试组件**:
+- `PerformanceMonitor` - 性能监控器
+- `PerformanceTimer` - 性能计时器
+- `performance_monitor_decorator` - 性能监控装饰器
+
+**风险**: 性能监控是优化和诊断的重要工具，缺乏测试可能导致监控数据不准确或监控功能失效。
+
+## 建议的测试策略
+
+### 1. 优先级排序
+
+**高优先级** (直接影响核心功能):
+- (已完成)
+
+**中优先级** (影响性能和稳定性):
+- 性能监控工具
+
+**低优先级** (辅助功能):
+- (已完成)
+
+### 2. 测试类型建议
+
+**单元测试**:
+- 针对每个类的方法进行独立测试
+- 验证边界条件和异常情况
+- 测试配置参数的有效性
+
+**集成测试**:
+- 测试模块间的协作
+- 验证与Redis等外部服务的交互
+- 测试在真实爬虫场景中的表现
+
+**性能测试**:
+- 验证批处理工具的性能优势
+- 测试大规模处理工具的内存使用情况
+- 验证性能监控工具的准确性
+
+### 3. 测试覆盖建议
+
+**核心功能覆盖**:
+- 正常流程测试
+- 异常流程测试
+- 边界条件测试
+- 并发安全测试
+
+**配置覆盖**:
+- 不同配置参数的测试
+- 默认配置与自定义配置的对比
+- 配置更新的动态测试
+
+## 结论
+
 已为工厂模式、批处理工具、受控爬虫混入类、大规模配置工具、大规模爬虫辅助工具和增强错误处理工具创建了测试用例，这些核心组件现在有了基本的测试覆盖。建议继续为性能监控工具补充测试用例（在安装psutil后），以确保框架的完整性和稳定性。

tests/verify_debug.py

@@ -1,52 +1,52 @@
-#!/usr/bin/env python
-# -*- coding: utf-8 -*-
-"""
-验证运行模式日志级别修改的简单测试
-"""
-import os
-
-# 删除旧日志文件
-log_file = 'verify_debug.log'
-if os.path.exists(log_file):
-    os.remove(log_file)
-
-# 简单测试日志级别
-from crawlo.utils.log import LoggerManager
-
-# 配置日志系统
-LoggerManager.configure(
-    LOG_LEVEL='INFO',
-    LOG_FILE=log_file
-)
-
-from crawlo.utils.log import get_logger
-
-# 创建测试logger
-test_logger = get_logger('crawlo.framework')
-
-# 测试输出
-test_logger.info("这是INFO级别的测试信息")
-test_logger.debug("这是DEBUG级别的测试信息（不应该在INFO级别的日志中出现）")
-test_logger.debug("使用单机模式 - 简单快速，适合开发和中小规模爬取")
-
-print("测试完成")
-
-# 检查日志文件
-if os.path.exists(log_file):
-    with open(log_file, 'r', encoding='utf-8') as f:
-        content = f.read()
-        print(f"日志文件内容（{len(content)} 字符）:")
-        print(content)
-        
-        # 检查是否包含不应该出现的DEBUG信息
-        if "DEBUG" in content:
-            print("❌ 发现DEBUG级别信息（不应该出现）")
-        else:
-            print("✅ 没有发现DEBUG级别信息（正确）")
-            
-        if "使用单机模式" in content:
-            print("❌ 发现运行模式信息（不应该出现在INFO级别）")
-        else:
-            print("✅ 没有发现运行模式信息（正确）")
-else:
+#!/usr/bin/env python
+# -*- coding: utf-8 -*-
+"""
+验证运行模式日志级别修改的简单测试
+"""
+import os
+
+# 删除旧日志文件
+log_file = 'verify_debug.log'
+if os.path.exists(log_file):
+    os.remove(log_file)
+
+# 简单测试日志级别
+from crawlo.utils.log import LoggerManager
+
+# 配置日志系统
+LoggerManager.configure(
+    LOG_LEVEL='INFO',
+    LOG_FILE=log_file
+)
+
+from crawlo.utils.log import get_logger
+
+# 创建测试logger
+test_logger = get_logger('crawlo.framework')
+
+# 测试输出
+test_logger.info("这是INFO级别的测试信息")
+test_logger.debug("这是DEBUG级别的测试信息（不应该在INFO级别的日志中出现）")
+test_logger.debug("使用单机模式 - 简单快速，适合开发和中小规模爬取")
+
+print("测试完成")
+
+# 检查日志文件
+if os.path.exists(log_file):
+    with open(log_file, 'r', encoding='utf-8') as f:
+        content = f.read()
+        print(f"日志文件内容（{len(content)} 字符）:")
+        print(content)
+        
+        # 检查是否包含不应该出现的DEBUG信息
+        if "DEBUG" in content:
+            print("❌ 发现DEBUG级别信息（不应该出现）")
+        else:
+            print("✅ 没有发现DEBUG级别信息（正确）")
+            
+        if "使用单机模式" in content:
+            print("❌ 发现运行模式信息（不应该出现在INFO级别）")
+        else:
+            print("✅ 没有发现运行模式信息（正确）")
+else:
     print("❌ 日志文件未创建")

tests/verify_distributed.py

@@ -1,117 +1,117 @@
-#!/usr/bin/env python
-# -*- coding: UTF-8 -*-
-"""
-分布式采集功能验证脚本
-验证Crawlo框架的分布式采集功能是否正常工作
-"""
-
-import redis
-import json
-import os
-import sys
-
-# 添加项目根目录到 Python 路径
-project_root = os.path.dirname(os.path.abspath(__file__))
-sys.path.insert(0, project_root)
-
-
-def verify_distributed_functionality():
-    """验证分布式采集功能"""
-    print("=== Crawlo分布式采集功能验证 ===\n")
-
-    # 1. 连接Redis
-    try:
-        r = redis.Redis(host='localhost', port=6379, db=2, decode_responses=False)
-        r.ping()
-        print("✓ Redis连接成功")
-    except Exception as e:
-        print(f"✗ Redis连接失败: {e}")
-        return False
-
-    # 2. 检查项目配置
-    try:
-        with open('../examples/ofweek_distributed/crawlo.cfg', 'r') as f:
-            config_content = f.read()
-            if 'ofweek_distributed.settings' in config_content:
-                print("✓ 项目配置文件正确")
-            else:
-                print("✗ 项目配置文件不正确")
-                return False
-    except Exception as e:
-        print(f"✗ 无法读取配置文件: {e}")
-        return False
-
-    # 3. 检查设置文件
-    try:
-        with open('../examples/ofweek_distributed/ofweek_distributed/settings.py', 'r') as f:
-            settings_content = f.read()
-            checks = [
-                ('RUN_MODE = \'distributed\'', '运行模式设置为分布式'),
-                ('QUEUE_TYPE = \'redis\'', '队列类型设置为Redis'),
-                ('FILTER_CLASS = \'crawlo.filters.aioredis_filter.AioRedisFilter\'', '过滤器设置为Redis过滤器'),
-                ('REDIS_HOST = \'127.0.0.1\'', 'Redis主机配置正确'),
-            ]
-
-            all_passed = True
-            for check, description in checks:
-                if check in settings_content:
-                    print(f"✓ {description}")
-                else:
-                    print(f"✗ {description}")
-                    all_passed = False
-
-            if not all_passed:
-                return False
-    except Exception as e:
-        print(f"✗ 无法读取设置文件: {e}")
-        return False
-
-    # 4. 检查Redis中的数据
-    try:
-        # 检查请求去重指纹
-        request_fingerprints = r.scard("crawlo:ofweek_distributed:filter:fingerprint")
-        print(f"✓ 请求去重指纹数量: {request_fingerprints}")
-
-        # 检查数据项去重指纹
-        item_fingerprints = r.scard("crawlo:ofweek_distributed:item:fingerprint")
-        print(f"✓ 数据项去重指纹数量: {item_fingerprints}")
-
-        # 检查请求队列
-        queue_size = r.zcard("crawlo:ofweek_distributed:queue:requests")
-        print(f"✓ 请求队列大小: {queue_size}")
-
-        # 验证数据是否存在
-        if request_fingerprints > 0 and item_fingerprints > 0:
-            print("✓ Redis中存在分布式采集数据")
-        else:
-            print("⚠ Redis中分布式采集数据为空")
-
-    except Exception as e:
-        print(f"✗ Redis数据检查失败: {e}")
-        return False
-
-    # 5. 检查输出文件
-    try:
-        import glob
-        json_files = glob.glob("output/*.json")
-        if json_files:
-            latest_file = max(json_files, key=os.path.getctime)
-            file_size = os.path.getsize(latest_file)
-            print(f"✓ 输出文件存在: {latest_file} ({file_size} bytes)")
-        else:
-            print("⚠ 未找到输出文件")
-    except Exception as e:
-        print(f"✗ 输出文件检查失败: {e}")
-
-    print("\n=== 验证结果 ===")
-    print("✓ Crawlo分布式采集功能正常工作!")
-    print("  - Redis连接正常")
-    print("  - 分布式配置正确")
-    print("  - Redis数据存储正常")
-    print("  - 采集任务执行正常")
-
-    return True
-
-
-if __name__ == '__main__':
-    verify_distributed_functionality()
+#!/usr/bin/env python
+# -*- coding: UTF-8 -*-
+"""
+分布式采集功能验证脚本
+验证Crawlo框架的分布式采集功能是否正常工作
+"""
+
+import redis
+import json
+import os
+import sys
+
+# 添加项目根目录到 Python 路径
+project_root = os.path.dirname(os.path.abspath(__file__))
+sys.path.insert(0, project_root)
+
+
+def verify_distributed_functionality():
+    """验证分布式采集功能"""
+    print("=== Crawlo分布式采集功能验证 ===\n")
+
+    # 1. 连接Redis
+    try:
+        r = redis.Redis(host='localhost', port=6379, db=2, decode_responses=False)
+        r.ping()
+        print("✓ Redis连接成功")
+    except Exception as e:
+        print(f"✗ Redis连接失败: {e}")
+        return False
+
+    # 2. 检查项目配置
+    try:
+        with open('../examples/ofweek_distributed/crawlo.cfg', 'r') as f:
+            config_content = f.read()
+            if 'ofweek_distributed.settings' in config_content:
+                print("✓ 项目配置文件正确")
+            else:
+                print("✗ 项目配置文件不正确")
+                return False
+    except Exception as e:
+        print(f"✗ 无法读取配置文件: {e}")
+        return False
+
+    # 3. 检查设置文件
+    try:
+        with open('../examples/ofweek_distributed/ofweek_distributed/settings.py', 'r') as f:
+            settings_content = f.read()
+            checks = [
+                ('RUN_MODE = \'distributed\'', '运行模式设置为分布式'),
+                ('QUEUE_TYPE = \'redis\'', '队列类型设置为Redis'),
+                ('FILTER_CLASS = \'crawlo.filters.aioredis_filter.AioRedisFilter\'', '过滤器设置为Redis过滤器'),
+                ('REDIS_HOST = \'127.0.0.1\'', 'Redis主机配置正确'),
+            ]
+
+            all_passed = True
+            for check, description in checks:
+                if check in settings_content:
+                    print(f"✓ {description}")
+                else:
+                    print(f"✗ {description}")
+                    all_passed = False
+
+            if not all_passed:
+                return False
+    except Exception as e:
+        print(f"✗ 无法读取设置文件: {e}")
+        return False
+
+    # 4. 检查Redis中的数据
+    try:
+        # 检查请求去重指纹
+        request_fingerprints = r.scard("crawlo:ofweek_distributed:filter:fingerprint")
+        print(f"✓ 请求去重指纹数量: {request_fingerprints}")
+
+        # 检查数据项去重指纹
+        item_fingerprints = r.scard("crawlo:ofweek_distributed:item:fingerprint")
+        print(f"✓ 数据项去重指纹数量: {item_fingerprints}")
+
+        # 检查请求队列
+        queue_size = r.zcard("crawlo:ofweek_distributed:queue:requests")
+        print(f"✓ 请求队列大小: {queue_size}")
+
+        # 验证数据是否存在
+        if request_fingerprints > 0 and item_fingerprints > 0:
+            print("✓ Redis中存在分布式采集数据")
+        else:
+            print("⚠ Redis中分布式采集数据为空")
+
+    except Exception as e:
+        print(f"✗ Redis数据检查失败: {e}")
+        return False
+
+    # 5. 检查输出文件
+    try:
+        import glob
+        json_files = glob.glob("output/*.json")
+        if json_files:
+            latest_file = max(json_files, key=os.path.getctime)
+            file_size = os.path.getsize(latest_file)
+            print(f"✓ 输出文件存在: {latest_file} ({file_size} bytes)")
+        else:
+            print("⚠ 未找到输出文件")
+    except Exception as e:
+        print(f"✗ 输出文件检查失败: {e}")
+
+    print("\n=== 验证结果 ===")
+    print("✓ Crawlo分布式采集功能正常工作!")
+    print("  - Redis连接正常")
+    print("  - 分布式配置正确")
+    print("  - Redis数据存储正常")
+    print("  - 采集任务执行正常")
+
+    return True
+
+
+if __name__ == '__main__':
+    verify_distributed_functionality()