crawlo 1.4.4__py3-none-any.whl → 1.4.5__py3-none-any.whl

crawlo-1.4.4.dist-info/METADATA

@@ -1,190 +0,0 @@
-Metadata-Version: 2.4
-Name: crawlo
-Version: 1.4.4
-Summary: Crawlo 是一款基于异步IO的高性能Python爬虫框架，支持分布式抓取。
-Home-page: https://github.com/crawl-coder/Crawlo.git
-Author: crawl-coder
-Author-email: crawlo@qq.com
-License: MIT
-Classifier: Programming Language :: Python :: 3
-Classifier: License :: OSI Approved :: MIT License
-Classifier: Operating System :: OS Independent
-Requires-Python: >=3.6
-Description-Content-Type: text/markdown
-Requires-Dist: aiohttp>=3.12.14
-Requires-Dist: aiomysql>=0.2.0
-Requires-Dist: aioredis>=2.0.1
-Requires-Dist: asyncmy>=0.2.10
-Requires-Dist: cssselect>=1.2.0
-Requires-Dist: dateparser>=1.2.2
-Requires-Dist: httpx[http2]>=0.27.0
-Requires-Dist: curl-cffi>=0.13.0
-Requires-Dist: lxml>=5.2.1
-Requires-Dist: motor>=3.7.0
-Requires-Dist: parsel>=1.9.1
-Requires-Dist: pydantic>=2.11.7
-Requires-Dist: pymongo>=4.11
-Requires-Dist: PyMySQL>=1.1.1
-Requires-Dist: python-dateutil>=2.9.0.post0
-Requires-Dist: redis>=6.2.0
-Requires-Dist: requests>=2.32.4
-Requires-Dist: six>=1.17.0
-Requires-Dist: ujson>=5.9.0
-Requires-Dist: urllib3>=2.5.0
-Requires-Dist: w3lib>=2.1.2
-Requires-Dist: rich>=14.1.0
-Requires-Dist: astor>=0.8.1
-Requires-Dist: watchdog>=6.0.0
-Provides-Extra: render
-Requires-Dist: webdriver-manager>=4.0.0; extra == "render"
-Requires-Dist: playwright; extra == "render"
-Requires-Dist: selenium>=3.141.0; extra == "render"
-Provides-Extra: all
-Requires-Dist: bitarray>=1.5.3; extra == "all"
-Requires-Dist: PyExecJS>=1.5.1; extra == "all"
-Requires-Dist: pymongo>=3.10.1; extra == "all"
-Requires-Dist: redis-py-cluster>=2.1.0; extra == "all"
-Requires-Dist: webdriver-manager>=4.0.0; extra == "all"
-Requires-Dist: playwright; extra == "all"
-Requires-Dist: selenium>=3.141.0; extra == "all"
-
-# Crawlo 爬虫框架
-
-Crawlo 是一个高性能、可扩展的 Python 爬虫框架，支持单机和分布式部署。
-
-## 特性
-
-- 高性能异步爬取
-- 支持多种下载器 (aiohttp, httpx, curl-cffi)
-- 内置数据清洗和验证
-- 分布式爬取支持
-- 灵活的中间件系统
-- 强大的配置管理系统
-- 详细的日志记录和监控
-- Windows 和 Linux 兼容
-
-## 安装
-
-```bash
-pip install crawlo
-```
-
-或者从源码安装：
-
-```bash
-git clone https://github.com/your-username/crawlo.git
-cd crawlo
-pip install -r requirements.txt
-pip install .
-```
-
-## 快速开始
-
-```python
-from crawlo import Spider
-
-class MySpider(Spider):
-    name = 'example'
-    
-    def parse(self, response):
-        # 解析逻辑
-        pass
-
-# 运行爬虫
-# crawlo run example
-```
-
-## 日志系统
-
-Crawlo 拥有一个功能强大的日志系统，支持多种配置选项：
-
-### 基本配置
-
-```python
-from crawlo.logging import configure_logging, get_logger
-
-# 配置日志系统
-configure_logging(
-    LOG_LEVEL='INFO',
-    LOG_FILE='logs/app.log',
-    LOG_MAX_BYTES=10*1024*1024,  # 10MB
-    LOG_BACKUP_COUNT=5
-)
-
-# 获取logger
-logger = get_logger('my_module')
-logger.info('这是一条日志消息')
-```
-
-### 高级配置
-
-```python
-# 分别配置控制台和文件日志级别
-configure_logging(
-    LOG_LEVEL='INFO',
-    LOG_CONSOLE_LEVEL='WARNING',  # 控制台只显示WARNING及以上级别
-    LOG_FILE_LEVEL='DEBUG',       # 文件记录DEBUG及以上级别
-    LOG_FILE='logs/app.log',
-    LOG_INCLUDE_THREAD_ID=True,   # 包含线程ID
-    LOG_INCLUDE_PROCESS_ID=True   # 包含进程ID
-)
-
-# 模块特定日志级别
-configure_logging(
-    LOG_LEVEL='WARNING',
-    LOG_LEVELS={
-        'my_module.debug': 'DEBUG',
-        'my_module.info': 'INFO'
-    }
-)
-```
-
-### 性能监控
-
-```python
-from crawlo.logging import get_monitor
-
-# 启用日志性能监控
-monitor = get_monitor()
-monitor.enable_monitoring()
-
-# 获取性能报告
-report = monitor.get_performance_report()
-print(report)
-```
-
-### 日志采样
-
-```python
-from crawlo.logging import get_sampler
-
-# 设置采样率（只记录30%的日志）
-sampler = get_sampler()
-sampler.set_sample_rate('my_module', 0.3)
-
-# 设置速率限制（每秒最多100条日志）
-sampler.set_rate_limit('my_module', 100)
-```
-
-## Windows 兼容性说明
-
-在 Windows 系统上使用日志轮转功能时，可能会遇到文件锁定问题。为了解决这个问题，建议安装 `concurrent-log-handler` 库：
-
-```bash
-pip install concurrent-log-handler
-```
-
-Crawlo 框架会自动检测并使用这个库来提供更好的 Windows 兼容性。
-
-如果未安装 `concurrent-log-handler`，在 Windows 上运行时可能会出现以下错误：
-```
-PermissionError: [WinError 32] 另一个程序正在使用此文件，进程无法访问。
-```
-
-## 文档
-
-请查看 [文档](https://your-docs-url.com) 获取更多信息。
-
-## 许可证
-
-MIT

tests/simple_log_test.py

@@ -1,58 +0,0 @@
-#!/usr/bin/env python
-# -*- coding: UTF-8 -*-
-"""
-简单的日志系统测试
-"""
-import sys
-import os
-sys.path.insert(0, '/')
-
-# 确保日志目录存在
-os.makedirs('/examples/ofweek_standalone/logs', exist_ok=True)
-
-# 测试日志系统
-from crawlo.utils.log import LoggerManager, get_logger
-
-print("=== 简单日志系统测试 ===")
-
-# 1. 直接配置日志系统
-print("1. 配置日志系统...")
-LoggerManager.configure(
-    LOG_LEVEL='INFO',
-    LOG_FILE='/Users/oscar/projects/Crawlo/examples/ofweek_standalone/logs/simple_test.log'
-)
-
-# 2. 创建logger
-print("2. 创建logger...")
-logger = get_logger('test.logger')
-print(f"   Logger: {logger}")
-print(f"   Handlers: {len(logger.handlers)}")
-
-for i, handler in enumerate(logger.handlers):
-    handler_type = type(handler).__name__
-    print(f"     Handler {i}: {handler_type}")
-    if hasattr(handler, 'baseFilename'):
-        print(f"       File: {handler.baseFilename}")
-
-# 3. 测试日志输出
-print("3. 测试日志输出...")
-logger.info("这是一条测试INFO日志")
-logger.debug("这是一条测试DEBUG日志")
-logger.warning("这是一条测试WARNING日志")
-
-print("4. 检查日志文件...")
-log_file = '/Users/oscar/projects/Crawlo/examples/ofweek_standalone/logs/simple_test.log'
-if os.path.exists(log_file):
-    print(f"   日志文件存在: {log_file}")
-    with open(log_file, 'r', encoding='utf-8') as f:
-        content = f.read()
-        print(f"   文件内容长度: {len(content)} 字符")
-        if content:
-            print("   文件内容:")
-            print(content)
-        else:
-            print("   文件为空")
-else:
-    print(f"   日志文件不存在: {log_file}")
-
-print("=== 测试完成 ===")

tests/simple_test.py

@@ -1,48 +0,0 @@
-#!/usr/bin/env python
-# -*- coding: utf-8 -*-
-"""
-简化的框架测试
-"""
-import os
-import sys
-sys.path.insert(0, '/')
-
-# 设置基本配置
-test_log_file = '/Users/oscar/projects/Crawlo/simple_test.log'
-if os.path.exists(test_log_file):
-    os.remove(test_log_file)
-
-# 最简单的测试
-try:
-    from crawlo.utils.log import LoggerManager
-    
-    print("配置日志系统...")
-    LoggerManager.configure(
-        LOG_LEVEL='INFO',
-        LOG_FILE=test_log_file
-    )
-    
-    from crawlo.utils.log import get_logger
-    logger = get_logger('test.simple')
-    
-    print("测试日志输出...")
-    logger.info("这是一条测试信息")
-    logger.info("Crawlo框架初始化完成")
-    logger.info("Crawlo Framework Started 1.3.3")
-    
-    print("检查日志文件...")
-    if os.path.exists(test_log_file):
-        with open(test_log_file, 'r', encoding='utf-8') as f:
-            content = f.read()
-            print(f"日志文件内容: {len(content)} 字符")
-            print("内容:")
-            print(content)
-    else:
-        print("日志文件未创建")
-        
-except Exception as e:
-    print(f"错误: {e}")
-    import traceback
-    traceback.print_exc()
-
-print("测试完成")

tests/test_framework_logger.py

@@ -1,67 +0,0 @@
-#!/usr/bin/env python
-# -*- coding: UTF-8 -*-
-"""
-测试框架日志系统
-"""
-import sys
-import os
-sys.path.insert(0, '/')
-
-from crawlo.initialization import initialize_framework, get_framework_initializer
-from crawlo.utils.log import get_logger, LoggerManager
-
-def test_framework_logger():
-    print("=== 测试框架日志系统 ===")
-    
-    # 1. 初始化框架，传入基本配置
-    print("1. 初始化框架...")
-    custom_settings = {
-        'LOG_LEVEL': 'INFO',
-        'LOG_FILE': 'test_framework.log',
-        'PROJECT_NAME': 'test_framework',
-        'RUN_MODE': 'standalone'
-    }
-    settings = initialize_framework(custom_settings)
-    print(f"   LOG_LEVEL: {settings.get('LOG_LEVEL')}")
-    print(f"   LOG_FILE: {settings.get('LOG_FILE')}")
-    
-    # 2. 获取框架初始化管理器
-    init_manager = get_framework_initializer()
-    print(f"   框架是否就绪: {init_manager.is_ready}")
-    print(f"   初始化阶段: {init_manager.phase}")
-    
-    # 3. 测试框架logger
-    framework_logger = init_manager.logger
-    if framework_logger:
-        print(f"   框架logger名称: {framework_logger.name}")
-        print(f"   框架logger级别: {framework_logger.level}")
-        print(f"   框架logger处理器数量: {len(framework_logger.handlers)}")
-        
-        for i, handler in enumerate(framework_logger.handlers):
-            handler_type = type(handler).__name__
-            print(f"     处理器{i}: {handler_type}, 级别: {handler.level}")
-    else:
-        print("   框架logger为None!")
-        framework_logger = get_logger('crawlo.framework')
-        print(f"   手动创建的框架logger: {framework_logger.name}")
-    
-    # 4. 测试日志输出
-    print("2. 测试日志输出...")
-    framework_logger.info("Crawlo框架初始化完成")
-    framework_logger.info("Crawlo Framework Started 1.3.3")
-    framework_logger.info("使用单机模式 - 简单快速，适合开发和中小规模爬取")
-    framework_logger.info("Run Mode: standalone")
-    framework_logger.info("Starting running test_spider")
-    
-    # 5. 测试其他logger
-    print("3. 测试其他组件logger...")
-    queue_logger = get_logger('QueueManager')
-    queue_logger.info("Queue initialized successfully Type: memory")
-    
-    scheduler_logger = get_logger('Scheduler')
-    scheduler_logger.info("enabled filters: crawlo.filters.memory_filter.MemoryFilter")
-    
-    print("=== 测试完成 ===")
-
-if __name__ == "__main__":
-    test_framework_logger()

tests/test_framework_startup.py

@@ -1,65 +0,0 @@
-#!/usr/bin/env python
-# -*- coding: utf-8 -*-
-"""
-测试框架启动信息是否正确输出到日志文件
-"""
-import sys
-import os
-sys.path.insert(0, '/')
-
-def test_framework_startup():
-    print("=== 测试框架启动信息输出 ===")
-    
-    # 删除旧的日志文件
-    test_log_file = '/Users/oscar/projects/Crawlo/test_startup.log'
-    if os.path.exists(test_log_file):
-        os.remove(test_log_file)
-    
-    # 准备测试设置
-    test_settings = {
-        'PROJECT_NAME': 'test_startup',
-        'LOG_LEVEL': 'INFO',
-        'LOG_FILE': test_log_file,
-        'RUN_MODE': 'standalone'
-    }
-    
-    # 初始化框架
-    from crawlo.initialization import initialize_framework
-    settings = initialize_framework(test_settings)
-    
-    print(f"设置初始化完成: {settings.get('PROJECT_NAME')}")
-    
-    # 检查日志文件是否包含框架启动信息
-    if os.path.exists(test_log_file):
-        with open(test_log_file, 'r', encoding='utf-8') as f:
-            content = f.read()
-            print(f"日志文件内容长度: {len(content)} 字符")
-            
-            # 检查关键的框架启动信息
-            if "Crawlo框架初始化完成" in content:
-                print("✅ 发现: Crawlo框架初始化完成")
-            else:
-                print("❌ 未找到: Crawlo框架初始化完成")
-                
-            if "Crawlo Framework Started" in content:
-                print("✅ 发现: Crawlo Framework Started")
-            else:
-                print("❌ 未找到: Crawlo Framework Started")
-                
-            if "使用单机模式" in content:
-                print("✅ 发现: 使用单机模式")
-            else:
-                print("❌ 未找到: 使用单机模式")
-                
-            print("\n前50行日志内容:")
-            lines = content.split('\n')[:50]
-            for i, line in enumerate(lines, 1):
-                if any(keyword in line for keyword in ["框架", "Framework", "Started"]):
-                    print(f"{i:3d}: {line}")
-    else:
-        print("❌ 日志文件未创建")
-    
-    print("=== 测试完成 ===")
-
-if __name__ == "__main__":
-    test_framework_startup()

tests/test_mode_change.py

@@ -1,73 +0,0 @@
-#!/usr/bin/env python
-# -*- coding: utf-8 -*-
-"""
-测试运行模式日志级别修改
-"""
-import sys
-import os
-sys.path.insert(0, '/')
-
-def test_mode_log_level():
-    print("=== 测试运行模式日志级别修改 ===")
-    
-    # 删除旧的日志文件
-    test_log_file = '/Users/oscar/projects/Crawlo/test_mode_change.log'
-    if os.path.exists(test_log_file):
-        os.remove(test_log_file)
-    
-    # 准备测试设置
-    test_settings = {
-        'PROJECT_NAME': 'test_mode_change',
-        'LOG_LEVEL': 'INFO',
-        'LOG_FILE': test_log_file,
-        'RUN_MODE': 'standalone'
-    }
-    
-    try:
-        # 初始化框架
-        from crawlo.initialization import initialize_framework
-        settings = initialize_framework(test_settings)
-        
-        print(f"设置初始化完成: {settings.get('PROJECT_NAME')}")
-        
-        # 检查日志文件是否包含运行模式信息
-        if os.path.exists(test_log_file):
-            with open(test_log_file, 'r', encoding='utf-8') as f:
-                content = f.read()
-                print(f"日志文件内容长度: {len(content)} 字符")
-                
-                # 检查是否还有INFO级别的运行模式信息
-                info_lines = [line for line in content.split('\n') if 'INFO' in line and '使用单机模式' in line]
-                debug_lines = [line for line in content.split('\n') if 'DEBUG' in line and '使用单机模式' in line]
-                
-                if info_lines:
-                    print("❌ 仍然发现INFO级别的运行模式信息:")
-                    for line in info_lines:
-                        print(f"   {line}")
-                else:
-                    print("✅ 没有发现INFO级别的运行模式信息")
-                
-                if debug_lines:
-                    print("✅ 发现DEBUG级别的运行模式信息:")
-                    for line in debug_lines:
-                        print(f"   {line}")
-                else:
-                    print("❌ 没有发现DEBUG级别的运行模式信息")
-                    
-                print("\n所有日志内容:")
-                lines = content.split('\n')
-                for i, line in enumerate(lines, 1):
-                    if line.strip():
-                        print(f"{i:3d}: {line}")
-        else:
-            print("❌ 日志文件未创建")
-    
-    except Exception as e:
-        print(f"错误: {e}")
-        import traceback
-        traceback.print_exc()
-    
-    print("=== 测试完成 ===")
-
-if __name__ == "__main__":
-    test_mode_log_level()