crawlo 1.2.9__tar.gz → 1.3.1__tar.gz

{crawlo-1.2.9/crawlo.egg-info → crawlo-1.3.1}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: crawlo
-Version: 1.2.9
+Version: 1.3.1
 Summary: Crawlo 是一款基于异步IO的高性能Python爬虫框架，支持分布式抓取。
 Home-page: https://github.com/crawl-coder/Crawlo.git
 Author: crawl-coder
@@ -56,7 +56,7 @@ Requires-Dist: selenium>=3.141.0; extra == "all"
   
   <p align="center">
     <a href="https://www.python.org/downloads/">
-      <img src="https://img.shields.io/badge/python-3.8%2B-blue" alt="Python Version">
+      <img src="https://img.shields.io/badge/python-%3C%3D3.12-blue" alt="Python Version">
     </a>
     <a href="LICENSE">
       <img src="https://img.shields.io/badge/license-MIT-green" alt="License">
@@ -429,13 +429,22 @@ Crawlo框架的中间件、管道和扩展组件采用模块化设计，框架
 
 用户可以通过`CUSTOM_MIDDLEWARES`配置自定义中间件：
 
-```python
+``python
 # settings.py
 CUSTOM_MIDDLEWARES = [
     'myproject.middlewares.CustomMiddleware',
 ]
 ```
 
+> **注意**：DefaultHeaderMiddleware 和 OffsiteMiddleware 需要相应的配置才能启用：
+> - DefaultHeaderMiddleware 需要配置 `DEFAULT_REQUEST_HEADERS` 或 `USER_AGENT` 参数
+> - OffsiteMiddleware 需要配置 `ALLOWED_DOMAINS` 参数
+> 
+> 如果未配置相应参数，这些中间件会因为 NotConfiguredError 而被禁用。
+
+> **注意**：中间件的顺序很重要。SimpleProxyMiddleware 通常放在列表末尾，
+> 这样可以在所有默认中间件处理后再应用代理设置。
+
 #### 管道配置
 
 框架默认加载以下管道：
@@ -930,7 +939,7 @@ Crawlo框架内置了多种中间件，其中代理中间件有两种实现：
 
 如果需要使用简化版代理中间件，可以在配置文件中替换默认的代理中间件：
 
-```python
+``python
 # settings.py
 MIDDLEWARES = [
     # 注释掉复杂版代理中间件

{crawlo-1.2.9 → crawlo-1.3.1}/README.md

@@ -6,7 +6,7 @@
   
   <p align="center">
     <a href="https://www.python.org/downloads/">
-      <img src="https://img.shields.io/badge/python-3.8%2B-blue" alt="Python Version">
+      <img src="https://img.shields.io/badge/python-%3C%3D3.12-blue" alt="Python Version">
     </a>
     <a href="LICENSE">
       <img src="https://img.shields.io/badge/license-MIT-green" alt="License">
@@ -379,13 +379,22 @@ Crawlo框架的中间件、管道和扩展组件采用模块化设计，框架
 
 用户可以通过`CUSTOM_MIDDLEWARES`配置自定义中间件：
 
-```python
+``python
 # settings.py
 CUSTOM_MIDDLEWARES = [
     'myproject.middlewares.CustomMiddleware',
 ]
 ```
 
+> **注意**：DefaultHeaderMiddleware 和 OffsiteMiddleware 需要相应的配置才能启用：
+> - DefaultHeaderMiddleware 需要配置 `DEFAULT_REQUEST_HEADERS` 或 `USER_AGENT` 参数
+> - OffsiteMiddleware 需要配置 `ALLOWED_DOMAINS` 参数
+> 
+> 如果未配置相应参数，这些中间件会因为 NotConfiguredError 而被禁用。
+
+> **注意**：中间件的顺序很重要。SimpleProxyMiddleware 通常放在列表末尾，
+> 这样可以在所有默认中间件处理后再应用代理设置。
+
 #### 管道配置
 
 框架默认加载以下管道：
@@ -880,7 +889,7 @@ Crawlo框架内置了多种中间件，其中代理中间件有两种实现：
 
 如果需要使用简化版代理中间件，可以在配置文件中替换默认的代理中间件：
 
-```python
+``python
 # settings.py
 MIDDLEWARES = [
     # 注释掉复杂版代理中间件

crawlo-1.3.1/crawlo/__version__.py

@@ -0,0 +1 @@
+__version__ = '1.3.1'

{crawlo-1.2.9 → crawlo-1.3.1}/crawlo/commands/run.py

@@ -5,26 +5,27 @@
 # @Author  : crawl-coder
 # @Desc    : 命令行入口：crawlo run <spider_name>|all，用于运行指定爬虫。
 """
+import os
 import sys
 import asyncio
 import configparser
-import os
-from pathlib import Path
 from importlib import import_module
 
+from rich import box
 from rich.console import Console
 from rich.panel import Panel
+from rich.progress import Progress, SpinnerColumn, TextColumn
 from rich.table import Table
 from rich.text import Text
-from rich import box
-from rich.progress import Progress, SpinnerColumn, TextColumn
 
+from crawlo.commands.stats import record_stats
 from crawlo.crawler import CrawlerProcess
-from crawlo.utils.log import get_logger
 from crawlo.project import get_settings, _find_project_root
-from crawlo.commands.stats import record_stats
+# 使用自定义日志系统
+from crawlo.utils.log import get_logger
 
 logger = get_logger(__name__)
+
 console = Console()
 
 
@@ -77,6 +78,9 @@ def main(args):
     用法:
         crawlo run <spider_name>|all [--json] [--no-stats]
     """
+    # 添加调试信息
+    logger.debug("DEBUG: 进入main函数")
+    
     if len(args) < 1:
         console.print("[bold red]用法:[/bold red] [blue]crawlo run[/blue] <爬虫名称>|all [bold yellow][--json] [--no-stats][/bold yellow]")
         console.print("示例:")
@@ -187,21 +191,7 @@ def main(args):
                     return 1
 
             # 显示即将运行的爬虫列表
-            table = Table(
-                title=f"启动全部 {len(spider_names)} 个爬虫",
-                box=box.ROUNDED,
-                show_header=True,
-                header_style="bold magenta"
-            )
-            table.add_column("名称", style="cyan")
-            table.add_column("类名", style="green")
-
-            for name in sorted(spider_names):
-                cls = process.get_spider_class(name)
-                table.add_row(name, cls.__name__)
-
-            console.print(table)
-            console.print()
+            # 根据用户要求，不再显示详细的爬虫列表信息
 
             # 注册 stats 记录（除非 --no-stats）
             if not no_stats:
@@ -260,20 +250,21 @@ def main(args):
         spider_class = process.get_spider_class(spider_name)
 
         # 显示启动信息
-        if not show_json:
-            info_table = Table(
-                title=f"启动爬虫: [bold cyan]{spider_name}[/bold cyan]",
-                box=box.SIMPLE,
-                show_header=False,
-                title_style="bold green"
-            )
-            info_table.add_column("Key", style="yellow")
-            info_table.add_column("Value", style="cyan")
-            info_table.add_row("Project", project_package)
-            info_table.add_row("Class", spider_class.__name__)
-            info_table.add_row("Module", spider_class.__module__)
-            console.print(info_table)
-            console.print()
+        # 根据用户要求，不再显示项目启动信息
+        # if not show_json:
+        #     info_table = Table(
+        #         title=f"启动爬虫: [bold cyan]{spider_name}[/bold cyan]",
+        #         box=box.SIMPLE,
+        #         show_header=False,
+        #         title_style="bold green"
+        #     )
+        #     info_table.add_column("Key", style="yellow")
+        #     info_table.add_column("Value", style="cyan")
+        #     info_table.add_row("Project", project_package)
+        #     info_table.add_row("Class", spider_class.__name__)
+        #     info_table.add_row("Module", spider_class.__module__)
+        #     console.print(info_table)
+        #     console.print()
 
         # 注册 stats 记录
         if not no_stats:

{crawlo-1.2.9 → crawlo-1.3.1}/crawlo/commands/utils.py

@@ -133,8 +133,11 @@ def validate_spider_name(spider_name: str) -> bool:
         bool: 是否有效
     """
     import re
+    # 清理爬虫名称中的不可见字符
+    cleaned_name = ''.join(c for c in spider_name if not unicodedata.category(c).startswith('C'))
+    
     # 爬虫名称应该是有效的Python标识符
-    return spider_name.isidentifier() and re.match(r'^[a-z][a-z0-9_]*$', spider_name)
+    return cleaned_name.isidentifier() and re.match(r'^[a-z][a-z0-9_]*$', cleaned_name)
 
 
 def format_file_size(size_bytes: int) -> str:
@@ -181,7 +184,14 @@ def is_valid_domain(domain: str) -> bool:
         bool: 是否有效
     """
     import re
+    # 清理域名中的不可见字符
+    cleaned_domain = ''.join(c for c in domain if not unicodedata.category(c).startswith('C'))
+    
     pattern = re.compile(
         r'^(?:[a-zA-Z0-9](?:[a-zA-Z0-9-]{0,61}[a-zA-Z0-9])?\.)*[a-zA-Z0-9](?:[a-zA-Z0-9-]{0,61}[a-zA-Z0-9])?$'
     )
-    return bool(pattern.match(domain))
+    return bool(pattern.match(cleaned_domain))
+
+
+# 添加导入
+import unicodedata

{crawlo-1.2.9 → crawlo-1.3.1}/crawlo/core/engine.py

@@ -75,8 +75,7 @@ class Engine(object):
             version = '1.0.0'
         # Change INFO level log to DEBUG level to avoid duplication with CrawlerProcess startup log
         self.logger.debug(
-            f"Crawlo Started version {version} . "
-            # f"(project name : {self.settings.get('PROJECT_NAME')})"
+            f"Crawlo Started version {version}"
         )
 
     async def start_spider(self, spider):