crawlo 1.1.5__py3-none-any.whl → 1.1.8__py3-none-any.whl

crawlo/queue/queue_manager.py

@@ -267,7 +267,21 @@ class QueueManager:
             if ':' in self.config.queue_name:
                 parts = self.config.queue_name.split(':')
                 if len(parts) >= 2:
-                    project_name = parts[1]  # 取第二个部分作为项目名称
+                    # 处理可能的双重 crawlo 前缀
+                    if parts[0] == "crawlo" and parts[1] == "crawlo":
+                        # 双重 crawlo 前缀，取第三个部分作为项目名称
+                        if len(parts) >= 3:
+                            project_name = parts[2]
+                        else:
+                            project_name = "default"
+                    elif parts[0] == "crawlo":
+                        # 正常的 crawlo 前缀，取第二个部分作为项目名称
+                        project_name = parts[1]
+                    else:
+                        # 没有 crawlo 前缀，使用第一个部分作为项目名称
+                        project_name = parts[0]
+                else:
+                    project_name = self.config.queue_name or "default"
             else:
                 project_name = self.config.queue_name or "default"
             

crawlo/queue/redis_priority_queue.py

@@ -1,17 +1,16 @@
+import asyncio
 import pickle
 import time
-import asyncio
+import traceback
 from typing import Optional
+
 import redis.asyncio as aioredis
-import traceback
-import os
 
 from crawlo import Request
-from crawlo.utils.log import get_logger
-from crawlo.utils.request_serializer import RequestSerializer
 from crawlo.utils.error_handler import ErrorHandler
+from crawlo.utils.log import get_logger
 from crawlo.utils.redis_connection_pool import get_redis_pool, OptimizedRedisConnectionPool
-
+from crawlo.utils.request_serializer import RequestSerializer
 
 logger = get_logger(__name__)
 error_handler = ErrorHandler(__name__)
@@ -45,11 +44,8 @@ class RedisPriorityQueue:
         if queue_name is None:
             self.queue_name = f"crawlo:{module_name}:queue:requests"
         else:
-            # 如果提供了 queue_name，但不符合规范格式，则转换为规范格式
-            if not queue_name.startswith("crawlo:"):
-                self.queue_name = f"crawlo:{module_name}:queue:requests"
-            else:
-                self.queue_name = queue_name
+            # 保持用户提供的队列名称不变，不做修改
+            self.queue_name = queue_name
         
         # 如果未提供 processing_queue，则根据 queue_name 自动生成
         if processing_queue is None:
@@ -85,14 +81,16 @@ class RedisPriorityQueue:
 
             for attempt in range(max_retries):
                 try:
-                    # 使用优化的连接池
+                    # 使用优化的连接池，确保 decode_responses=False 以避免编码问题
                     self._redis_pool = get_redis_pool(
                         self.redis_url,
                         max_connections=self.max_connections,
                         socket_connect_timeout=5,
                         socket_timeout=30,
                         health_check_interval=30,
-                        retry_on_timeout=True
+                        retry_on_timeout=True,
+                        decode_responses=False,  # 确保不自动解码响应
+                        encoding='utf-8'
                     )
                     
                     self._redis = await self._redis_pool.get_connection()
@@ -131,7 +129,15 @@ class RedisPriorityQueue:
             # 🔥 使用专用的序列化工具清理 Request
             clean_request = self.request_serializer.prepare_for_serialization(request)
             
-            serialized = pickle.dumps(clean_request)
+            # 确保序列化后的数据可以被正确反序列化
+            try:
+                serialized = pickle.dumps(clean_request)
+                # 验证序列化数据可以被反序列化
+                pickle.loads(serialized)
+            except Exception as serialize_error:
+                logger.error(f"❌ 请求序列化验证失败 (Module: {self.module_name}): {serialize_error}")
+                return False
+            
             pipe = self._redis.pipeline()
             pipe.zadd(self.queue_name, {key: score})
             pipe.hset(f"{self.queue_name}:data", key, serialized)
@@ -174,7 +180,23 @@ class RedisPriorityQueue:
                     pipe.hdel(f"{self.queue_name}:data", key)
                     await pipe.execute()
 
-                    return pickle.loads(serialized)
+                    # 更安全的反序列化方式
+                    try:
+                        # 首先尝试标准的 pickle 反序列化
+                        request = pickle.loads(serialized)
+                        return request
+                    except UnicodeDecodeError:
+                        # 如果出现编码错误，尝试使用 latin1 解码
+                        request = pickle.loads(serialized, encoding='latin1')
+                        return request
+                    except Exception as pickle_error:
+                        # 如果pickle反序列化失败，记录错误并跳过这个任务
+                        logger.error(f"❌ 无法反序列化请求数据 (Module: {self.module_name}): {pickle_error}")
+                        # 从processing队列中移除这个无效的任务
+                        await self._redis.zrem(self.processing_queue, processing_key)
+                        await self._redis.hdel(f"{self.processing_queue}:data", processing_key)
+                        # 继续尝试下一个任务
+                        continue
 
                 # 检查是否超时
                 if asyncio.get_event_loop().time() - start_time > timeout:

crawlo/settings/default_settings.py

@@ -25,6 +25,9 @@ CONCURRENCY = get_runtime_config()['CONCURRENCY']
 
 # ============================== 爬虫核心配置 ==============================
 
+# 默认下载器
+DOWNLOADER = 'crawlo.downloader.aiohttp_downloader.AioHttpDownloader'
+
 # 请求延迟（秒）
 DOWNLOAD_DELAY = 1
 

crawlo/settings/setting_manager.py

@@ -97,4 +97,27 @@ class SettingManager(MutableMapping):
                 self.set(key, value)
 
     def copy(self):
-        return deepcopy(self)
+        return deepcopy(self)
+
+    def __deepcopy__(self, memo):
+        """
+        自定义深度复制方法，避免复制logger等不可pickle的对象
+        """
+        # 创建一个新的实例
+        cls = self.__class__
+        new_instance = cls.__new__(cls)
+        
+        # 复制attributes字典，但排除不可pickle的对象
+        new_attributes = {}
+        for key, value in self.attributes.items():
+            try:
+                # 尝试深度复制值
+                new_attributes[key] = deepcopy(value, memo)
+            except Exception:
+                # 如果复制失败，保留原始引用（对于logger等对象）
+                new_attributes[key] = value
+        
+        # 设置新实例的attributes
+        new_instance.attributes = new_attributes
+        
+        return new_instance

crawlo/templates/project/middlewares.py.tmpl

@@ -10,7 +10,6 @@
 import random
 from crawlo import Request, Response
 from crawlo.utils.log import get_logger
-from crawlo.exceptions import IgnoreRequest
 
 
 class ExampleMiddleware:

crawlo/templates/project/pipelines.py.tmpl

@@ -8,7 +8,6 @@
 这是一个简单的示例管道，您可以根据需要添加更多管道。
 """
 
-import json
 from datetime import datetime
 from crawlo.exceptions import DropItem
 from crawlo.utils.log import get_logger

crawlo/templates/project/run.py.tmpl

@@ -3,250 +3,44 @@
 """
 {{project_name}} 项目运行脚本
 ============================
-基于 Crawlo 框架的智能爬虫启动器。
-支持单机/分布式模式，灵活配置，开箱即用。
-
-🎯 快速使用:
-    python run.py spider_name                     # 单机模式运行
-    python run.py spider_name --distributed       # 分布式模式运行
-    python run.py spider_name --env production    # 使用预设配置
-    python run.py all                             # 运行所有爬虫
-
-🔧 高级选项:
-    python run.py spider_name --dry-run           # 干运行（不执行实际爬取）
-    python run.py spider_name --concurrency 16    # 自定义并发数
-    python run.py spider_name --mode gentle       # 温和模式（低负载）
-    python run.py spider1 spider2 --distributed   # 多爬虫分布式运行
-
-📦 配置模式:
-    --standalone     单机模式（默认）- 内存队列，无需外部依赖
-    --distributed    分布式模式 - Redis队列，支持多节点
-    --auto          自动模式 - 智能检测Redis可用性
-
-🎛️ 预设配置:
-    --env development    开发环境（调试友好）
-    --env production     生产环境（高性能）
-    --env large-scale    大规模爬取（优化内存）
-    --env gentle         温和模式（低负载）
+基于 Crawlo 框架的简化爬虫启动器。
 """
 
-import os
 import sys
+import os
 import asyncio
-import argparse
-from pathlib import Path
-from crawlo.crawler import CrawlerProcess
-from crawlo.config import CrawloConfig
-from crawlo.mode_manager import standalone_mode, distributed_mode, auto_mode
-
-
-def create_parser():
-    """创建命令行参数解析器"""
-    parser = argparse.ArgumentParser(
-        description='{{project_name}} 爬虫启动器 - 基于 Crawlo 框架',
-        formatter_class=argparse.RawDescriptionHelpFormatter,
-        epilog="""
-示例用法:
-  python run.py my_spider                    # 默认单机模式
-  python run.py my_spider --distributed      # 分布式模式
-  python run.py my_spider --env production   # 生产环境配置
-  python run.py spider1 spider2              # 运行多个爬虫
-  python run.py all                          # 运行所有爬虫
-  python run.py my_spider --dry-run          # 测试模式
-        """
-    )
-    
-    # 爬虫名称（位置参数）
-    parser.add_argument(
-        'spiders', 
-        nargs='*',
-        help='要运行的爬虫名称（可指定多个，"all"表示运行所有爬虫）'
-    )
-    
-    # 运行模式选择
-    mode_group = parser.add_mutually_exclusive_group()
-    mode_group.add_argument(
-        '--standalone', 
-        action='store_true',
-        help='单机模式（默认）- 使用内存队列，无需外部依赖'
-    )
-    mode_group.add_argument(
-        '--distributed', 
-        action='store_true',
-        help='分布式模式 - 使用 Redis 队列，支持多节点爬取'
-    )
-    mode_group.add_argument(
-        '--auto', 
-        action='store_true',
-        help='自动模式 - 智能检测 Redis 可用性选择队列类型'
-    )
-    
-    # 预设环境配置
-    parser.add_argument(
-        '--env', 
-        choices=['development', 'production', 'large-scale', 'gentle'],
-        help='预设环境配置（优先级高于模式选择）'
-    )
-    
-    # 性能调优选项
-    parser.add_argument(
-        '--concurrency', 
-        type=int,
-        help='并发请求数（覆盖默认设置）'
-    )
-    
-    parser.add_argument(
-        '--delay', 
-        type=float,
-        help='请求延迟时间（秒）'
-    )
-    
-    # 功能选项
-    parser.add_argument(
-        '--dry-run', 
-        action='store_true',
-        help='干运行模式 - 解析页面但不执行实际爬取操作'
-    )
-    
-    parser.add_argument(
-        '--debug', 
-        action='store_true',
-        help='启用调试模式 - 详细日志输出'
-    )
-    
-    parser.add_argument(
-        '--config-file', 
-        type=str,
-        help='自定义配置文件路径'
-    )
-    
-    # 环境变量支持
-    parser.add_argument(
-        '--from-env', 
-        action='store_true',
-        help='从环境变量加载配置（CRAWLO_*）'
-    )
-    
-    return parser
 
+# 添加项目根目录到 Python 路径
+project_root = os.path.dirname(os.path.abspath(__file__))
+sys.path.insert(0, project_root)
 
-def build_config(args):
-    """根据命令行参数构建配置"""
-    config = None
-    
-    # 1. 优先使用环境变量配置
-    if args.from_env:
-        config = CrawloConfig.from_env()
-        print("📋 使用环境变量配置")
-    
-    # 2. 使用预设环境配置
-    elif args.env:
-        presets = {
-            'development': CrawloConfig.presets().development(),
-            'production': CrawloConfig.presets().production(),
-            'large-scale': CrawloConfig.presets().large_scale(),
-            'gentle': CrawloConfig.presets().gentle()
-        }
-        config = presets[args.env]
-        print(f"🎛️  使用预设配置: {args.env}")
-    
-    # 3. 使用模式配置
-    elif args.distributed:
-        config = CrawloConfig.distributed()
-        print("🌐 启用分布式模式")
-    elif args.auto:
-        config = CrawloConfig.auto()
-        print("🤖 启用自动检测模式")
-    else:
-        # 默认单机模式
-        config = CrawloConfig.standalone()
-        print("💻 使用单机模式（默认）")
-    
-    # 4. 应用命令行参数覆盖
-    if args.concurrency:
-        config.set('CONCURRENCY', args.concurrency)
-        print(f"⚡ 设置并发数: {args.concurrency}")
-    
-    if args.delay:
-        config.set('DOWNLOAD_DELAY', args.delay)
-        print(f"⏱️  设置请求延迟: {args.delay}秒")
-    
-    if args.debug:
-        config.set('LOG_LEVEL', 'DEBUG')
-        print("🐛 启用调试模式")
-    
-    if args.dry_run:
-        # 干运行模式的配置（可根据需要调整）
-        config.set('DOWNLOAD_DELAY', 0.1)  # 加快速度
-        config.set('CONCURRENCY', 1)       # 降低并发
-        print("🧪 启用干运行模式")
-    
-    return config
+# 切换到项目根目录
+os.chdir(project_root)
 
+from crawlo.crawler import CrawlerProcess
 
-async def main():
-    """主函数：解析参数，构建配置，启动爬虫"""
-    
-    # 解析命令行参数
-    parser = create_parser()
-    args = parser.parse_args()
-    
-    # 检查是否指定了爬虫
-    if not args.spiders:
-        print("❌ 请指定要运行的爬虫名称")
-        print("\n可用的爬虫:")
-        print("   # TODO: 在这里列出你的爬虫")
-        print("   # from {{project_name}}.spiders import MySpider")
-        print("\n使用方法: python run.py <spider_name>")
-        parser.print_help()
-        return
-    
-    # 构建配置
-    config = build_config(args)
-    
-    # 创建爬虫进程
-    print(f"\n🚀 正在启动爬虫: {', '.join(args.spiders)}")
-    
-    if args.dry_run:
-        print("   🧪 [干运行模式] 将解析页面但不执行实际爬取")
+def main():
+    """主函数：运行固定的爬虫"""
+    print("🚀 启动 {{project_name}} 爬虫")
     
+    # 创建爬虫进程（自动加载默认配置）
     try:
-        # 应用配置并启动
-        process = CrawlerProcess(settings=config.to_dict())
+        # 确保 spider 模块被正确导入
+        spider_modules = ['{{project_name}}.spiders']
+        process = CrawlerProcess(spider_modules=spider_modules)
+        print("✅ 爬虫进程初始化成功")
         
-        # 检查是否要运行所有爬虫
-        if 'all' in [s.lower() for s in args.spiders]:
-            # 获取所有已注册的爬虫名称
-            spider_names = process.get_spider_names()
-            if not spider_names:
-                print("❌ 未找到任何爬虫")
-                print("💡 请确保:")
-                print("  • 爬虫定义在 'spiders/' 目录中")
-                print("  • 爬虫类有 'name' 属性")
-                return 1
-            
-            print(f"📋 找到 {len(spider_names)} 个爬虫: {', '.join(spider_names)}")
-            # 运行所有爬虫
-            await process.crawl(spider_names)
-        else:
-            # 运行指定爬虫
-            await process.crawl(args.spiders)
+        # 运行固定的爬虫
+        # TODO: 请将 'your_spider_name' 替换为实际的爬虫名称
+        asyncio.run(process.crawl('your_spider_name'))
         
-        print("\n✅ 所有爬虫执行完成")
+        print("✅ 爬虫运行完成")
         
-    except ImportError as e:
-        print(f"❌ 无法导入爬虫: {e}")
-        print("   请检查爬虫文件是否存在，并更新 run.py 中的导入语句")
     except Exception as e:
-        print(f"❌ 运行错误: {e}")
-        raise
-
+        print(f"❌ 运行失败: {e}")
+        import traceback
+        traceback.print_exc()
+        sys.exit(1)
 
 if __name__ == '__main__':
-    try:
-        asyncio.run(main())
-    except KeyboardInterrupt:
-        print("\n⏹️  用户中断爬虫执行")
-    except Exception as e:
-        print(f"❌ 运行错误: {e}")
-        sys.exit(1)
+    main()

crawlo/templates/project/settings.py.tmpl

@@ -149,10 +149,10 @@ REQUEST_DIR = '.'
 # 分布式模式默认使用Redis去重管道
 if RUN_MODE == 'distributed':
     # 分布式模式下默认使用Redis去重管道
-    DEFAULT_DEDUP_PIPELINE = 'crawlo.pipelines.RedisDedupPipeline'
+    DEFAULT_DEDUP_PIPELINE = 'crawlo.pipelines.redis_dedup_pipeline.RedisDedupPipeline'
 else:
     # 单机模式下默认使用内存去重管道
-    DEFAULT_DEDUP_PIPELINE = 'crawlo.pipelines.MemoryDedupPipeline'
+    DEFAULT_DEDUP_PIPELINE = 'crawlo.pipelines.memory_dedup_pipeline.MemoryDedupPipeline'
 
 # 去重过滤器（推荐分布式项目使用 Redis 过滤器）
 FILTER_CLASS = 'crawlo.filters.memory_filter.MemoryFilter'