crawlo 1.1.6__py3-none-any.whl → 1.1.9__py3-none-any.whl

crawlo/templates/project/run.py.tmpl

@@ -1,252 +1,46 @@
-#!/usr/bin/env python
-# -*- coding: UTF-8 -*-
-"""
-{{project_name}} 项目运行脚本
-============================
-基于 Crawlo 框架的智能爬虫启动器。
-支持单机/分布式模式，灵活配置，开箱即用。
-
-🎯 快速使用:
-    python run.py spider_name                     # 单机模式运行
-    python run.py spider_name --distributed       # 分布式模式运行
-    python run.py spider_name --env production    # 使用预设配置
-    python run.py all                             # 运行所有爬虫
-
-🔧 高级选项:
-    python run.py spider_name --dry-run           # 干运行（不执行实际爬取）
-    python run.py spider_name --concurrency 16    # 自定义并发数
-    python run.py spider_name --mode gentle       # 温和模式（低负载）
-    python run.py spider1 spider2 --distributed   # 多爬虫分布式运行
-
-📦 配置模式:
-    --standalone     单机模式（默认）- 内存队列，无需外部依赖
-    --distributed    分布式模式 - Redis队列，支持多节点
-    --auto          自动模式 - 智能检测Redis可用性
-
-🎛️ 预设配置:
-    --env development    开发环境（调试友好）
-    --env production     生产环境（高性能）
-    --env large-scale    大规模爬取（优化内存）
-    --env gentle         温和模式（低负载）
-"""
-
-import os
-import sys
-import asyncio
-import argparse
-from pathlib import Path
-from crawlo.crawler import CrawlerProcess
-from crawlo.config import CrawloConfig
-from crawlo.mode_manager import standalone_mode, distributed_mode, auto_mode
-
-
-def create_parser():
-    """创建命令行参数解析器"""
-    parser = argparse.ArgumentParser(
-        description='{{project_name}} 爬虫启动器 - 基于 Crawlo 框架',
-        formatter_class=argparse.RawDescriptionHelpFormatter,
-        epilog="""
-示例用法:
-  python run.py my_spider                    # 默认单机模式
-  python run.py my_spider --distributed      # 分布式模式
-  python run.py my_spider --env production   # 生产环境配置
-  python run.py spider1 spider2              # 运行多个爬虫
-  python run.py all                          # 运行所有爬虫
-  python run.py my_spider --dry-run          # 测试模式
-        """
-    )
-    
-    # 爬虫名称（位置参数）
-    parser.add_argument(
-        'spiders', 
-        nargs='*',
-        help='要运行的爬虫名称（可指定多个，"all"表示运行所有爬虫）'
-    )
-    
-    # 运行模式选择
-    mode_group = parser.add_mutually_exclusive_group()
-    mode_group.add_argument(
-        '--standalone', 
-        action='store_true',
-        help='单机模式（默认）- 使用内存队列，无需外部依赖'
-    )
-    mode_group.add_argument(
-        '--distributed', 
-        action='store_true',
-        help='分布式模式 - 使用 Redis 队列，支持多节点爬取'
-    )
-    mode_group.add_argument(
-        '--auto', 
-        action='store_true',
-        help='自动模式 - 智能检测 Redis 可用性选择队列类型'
-    )
-    
-    # 预设环境配置
-    parser.add_argument(
-        '--env', 
-        choices=['development', 'production', 'large-scale', 'gentle'],
-        help='预设环境配置（优先级高于模式选择）'
-    )
-    
-    # 性能调优选项
-    parser.add_argument(
-        '--concurrency', 
-        type=int,
-        help='并发请求数（覆盖默认设置）'
-    )
-    
-    parser.add_argument(
-        '--delay', 
-        type=float,
-        help='请求延迟时间（秒）'
-    )
-    
-    # 功能选项
-    parser.add_argument(
-        '--dry-run', 
-        action='store_true',
-        help='干运行模式 - 解析页面但不执行实际爬取操作'
-    )
-    
-    parser.add_argument(
-        '--debug', 
-        action='store_true',
-        help='启用调试模式 - 详细日志输出'
-    )
-    
-    parser.add_argument(
-        '--config-file', 
-        type=str,
-        help='自定义配置文件路径'
-    )
-    
-    # 环境变量支持
-    parser.add_argument(
-        '--from-env', 
-        action='store_true',
-        help='从环境变量加载配置（CRAWLO_*）'
-    )
-    
-    return parser
-
-
-def build_config(args):
-    """根据命令行参数构建配置"""
-    config = None
-    
-    # 1. 优先使用环境变量配置
-    if args.from_env:
-        config = CrawloConfig.from_env()
-        print("📋 使用环境变量配置")
-    
-    # 2. 使用预设环境配置
-    elif args.env:
-        presets = {
-            'development': CrawloConfig.presets().development(),
-            'production': CrawloConfig.presets().production(),
-            'large-scale': CrawloConfig.presets().large_scale(),
-            'gentle': CrawloConfig.presets().gentle()
-        }
-        config = presets[args.env]
-        print(f"🎛️  使用预设配置: {args.env}")
-    
-    # 3. 使用模式配置
-    elif args.distributed:
-        config = CrawloConfig.distributed()
-        print("🌐 启用分布式模式")
-    elif args.auto:
-        config = CrawloConfig.auto()
-        print("🤖 启用自动检测模式")
-    else:
-        # 默认单机模式
-        config = CrawloConfig.standalone()
-        print("💻 使用单机模式（默认）")
-    
-    # 4. 应用命令行参数覆盖
-    if args.concurrency:
-        config.set('CONCURRENCY', args.concurrency)
-        print(f"⚡ 设置并发数: {args.concurrency}")
-    
-    if args.delay:
-        config.set('DOWNLOAD_DELAY', args.delay)
-        print(f"⏱️  设置请求延迟: {args.delay}秒")
-    
-    if args.debug:
-        config.set('LOG_LEVEL', 'DEBUG')
-        print("🐛 启用调试模式")
-    
-    if args.dry_run:
-        # 干运行模式的配置（可根据需要调整）
-        config.set('DOWNLOAD_DELAY', 0.1)  # 加快速度
-        config.set('CONCURRENCY', 1)       # 降低并发
-        print("🧪 启用干运行模式")
-    
-    return config
-
-
-async def main():
-    """主函数：解析参数，构建配置，启动爬虫"""
-    
-    # 解析命令行参数
-    parser = create_parser()
-    args = parser.parse_args()
-    
-    # 检查是否指定了爬虫
-    if not args.spiders:
-        print("❌ 请指定要运行的爬虫名称")
-        print("\n可用的爬虫:")
-        print("   # TODO: 在这里列出你的爬虫")
-        print("   # from {{project_name}}.spiders import MySpider")
-        print("\n使用方法: python run.py <spider_name>")
-        parser.print_help()
-        return
-    
-    # 构建配置
-    config = build_config(args)
-    
-    # 创建爬虫进程
-    print(f"\n🚀 正在启动爬虫: {', '.join(args.spiders)}")
-    
-    if args.dry_run:
-        print("   🧪 [干运行模式] 将解析页面但不执行实际爬取")
-    
-    try:
-        # 应用配置并启动
-        process = CrawlerProcess(settings=config.to_dict())
-        
-        # 检查是否要运行所有爬虫
-        if 'all' in [s.lower() for s in args.spiders]:
-            # 获取所有已注册的爬虫名称
-            spider_names = process.get_spider_names()
-            if not spider_names:
-                print("❌ 未找到任何爬虫")
-                print("💡 请确保:")
-                print("  • 爬虫定义在 'spiders/' 目录中")
-                print("  • 爬虫类有 'name' 属性")
-                return 1
-            
-            print(f"📋 找到 {len(spider_names)} 个爬虫: {', '.join(spider_names)}")
-            # 运行所有爬虫
-            await process.crawl(spider_names)
-        else:
-            # 运行指定爬虫
-            await process.crawl(args.spiders)
-        
-        print("\n✅ 所有爬虫执行完成")
-        
-    except ImportError as e:
-        print(f"❌ 无法导入爬虫: {e}")
-        print("   请检查爬虫文件是否存在，并更新 run.py 中的导入语句")
-    except Exception as e:
-        print(f"❌ 运行错误: {e}")
-        raise
-
-
-if __name__ == '__main__':
-    try:
-        asyncio.run(main())
-    except KeyboardInterrupt:
-        print("\n⏹️  用户中断爬虫执行")
-    except Exception as e:
-        print(f"❌ 运行错误: {e}")
-        sys.exit(1)
+#!/usr/bin/env python
+# -*- coding: UTF-8 -*-
+"""
+{{project_name}} 项目运行脚本
+============================
+基于 Crawlo 框架的简化爬虫启动器。
+"""
+
+import sys
+import os
+import asyncio
+
+# 添加项目根目录到 Python 路径
+project_root = os.path.dirname(os.path.abspath(__file__))
+sys.path.insert(0, project_root)
+
+# 切换到项目根目录
+os.chdir(project_root)
+
+from crawlo.crawler import CrawlerProcess
+
+def main():
+    """主函数：运行固定的爬虫"""
+    print("🚀 启动 {{project_name}} 爬虫")
+    
+    # 创建爬虫进程（自动加载默认配置）
+    try:
+        # 确保 spider 模块被正确导入
+        spider_modules = ['{{project_name}}.spiders']
+        process = CrawlerProcess(spider_modules=spider_modules)
+        print("✅ 爬虫进程初始化成功")
+        
+        # 运行固定的爬虫
+        # TODO: 请将 'your_spider_name' 替换为实际的爬虫名称
+        asyncio.run(process.crawl('your_spider_name'))
+        
+        print("✅ 爬虫运行完成")
+        
+    except Exception as e:
+        print(f"❌ 运行失败: {e}")
+        import traceback
+        traceback.print_exc()
+        sys.exit(1)
+
+if __name__ == '__main__':
+    main()