hello-datap-component-base 0.2.2__tar.gz → 0.2.4__tar.gz

{hello_datap_component_base-0.2.2 → hello_datap_component_base-0.2.4}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: hello-datap-component-base
-Version: 0.2.2
+Version: 0.2.4
 Summary: A unified server management framework for data processing component
 Author-email: zhaohaidong <zhaohaidong389@hellobike.com>
 License: MIT

{hello_datap_component_base-0.2.2 → hello_datap_component_base-0.2.4}/hello_datap_component_base/__init__.py

@@ -13,7 +13,7 @@ from .discover import find_service_classes, get_single_service_class
 # 导入 logger 实例
 from .logger import logger
 
-__version__ = "0.1.9"
+__version__ = "0.2.3"
 __author__ = "zhaohaidong"
 __email__ = "zhaohaidong389@hellobike.com"
 

{hello_datap_component_base-0.2.2 → hello_datap_component_base-0.2.4}/hello_datap_component_base/cli.py

@@ -11,7 +11,7 @@ from .config import ServerConfig
 
 
 @click.group()
-@click.version_option(version="0.1.9")
+@click.version_option(version="0.2.4")
 def cli():
     """数据处理平台组件基类 - 统一的服务管理框架"""
     pass
@@ -19,13 +19,29 @@ def cli():
 
 @cli.command()
 @click.argument("config_path")
-@click.option("--class-name", "-c", help="指定要使用的服务类名")
+@click.option(
+    "--class-name", "-c", 
+    help="指定要使用的服务类名或完整路径。支持格式: ClassName, module.ClassName, path/to/module.ClassName"
+)
 def start(config_path: str, class_name: Optional[str] = None):
     """
     启动服务并执行一次处理（支持本地文件路径或HTTP URL）
     
     输入数据从配置文件的 params.input_data 中获取。
     如果 params.input_data 不存在，将使用默认测试数据。
+    
+    \b
+    --class-name 支持的格式:
+      - ClassName                    仅类名
+      - module.ClassName             模块名.类名
+      - path/to/module.ClassName     相对路径/模块名.类名
+      - path.to.module.ClassName     点分隔的完整路径
+    
+    \b
+    示例:
+      component_manager start config.json -c MyService
+      component_manager start config.json -c example_service.MyService
+      component_manager start config.json -c services/my_service.MyService
     """
     runner = ServiceRunner(config_path, class_name)
     runner.run()

{hello_datap_component_base-0.2.2 → hello_datap_component_base-0.2.4}/hello_datap_component_base/discover.py

@@ -122,6 +122,100 @@ def find_service_classes(
     return service_classes
 
 
+def _load_class_by_path(class_path: str, search_path: str = ".") -> Type[BaseService]:
+    """
+    根据相对路径加载服务类
+    
+    支持的格式:
+        - "ClassName" - 仅类名，从所有发现的服务中查找
+        - "module.ClassName" - 模块名.类名
+        - "path/to/module.ClassName" - 相对路径/模块名.类名
+        - "path.to.module.ClassName" - 点分隔的完整路径
+    
+    Args:
+        class_path: 类的路径，支持多种格式
+        search_path: 搜索的根路径
+        
+    Returns:
+        服务类
+        
+    Raises:
+        ValueError: 如果找不到指定的类
+    """
+    import sys
+    import os
+    
+    # 确保搜索路径在 Python 路径中
+    search_path_obj = Path(search_path).resolve()
+    search_path_str = str(search_path_obj)
+    
+    current_dir = os.getcwd()
+    if current_dir not in sys.path:
+        sys.path.insert(0, current_dir)
+    if search_path_str not in sys.path:
+        sys.path.insert(0, search_path_str)
+    if '.' not in sys.path:
+        sys.path.insert(0, '.')
+    
+    # 解析 class_path
+    # 如果不包含 '.' 则认为只是类名
+    if '.' not in class_path and '/' not in class_path:
+        # 仅类名，返回 None 表示需要从发现的服务中查找
+        return None
+    
+    # 将路径分隔符统一转换为点分隔
+    # 例如: "path/to/module.ClassName" -> "path.to.module.ClassName"
+    normalized_path = class_path.replace('/', '.').replace('\\', '.')
+    
+    # 去掉 .py 后缀（如果有）
+    if '.py.' in normalized_path:
+        normalized_path = normalized_path.replace('.py.', '.')
+    elif normalized_path.endswith('.py'):
+        normalized_path = normalized_path[:-3]
+    
+    # 分离模块路径和类名
+    # 最后一个点之后的是类名
+    parts = normalized_path.rsplit('.', 1)
+    if len(parts) != 2:
+        raise ValueError(
+            f"Invalid class path format: '{class_path}'. "
+            f"Expected format: 'module.ClassName' or 'path/to/module.ClassName'"
+        )
+    
+    module_path, class_name = parts
+    
+    try:
+        # 动态导入模块
+        module = importlib.import_module(module_path)
+        
+        # 获取类
+        if not hasattr(module, class_name):
+            raise ValueError(
+                f"Class '{class_name}' not found in module '{module_path}'"
+            )
+        
+        cls = getattr(module, class_name)
+        
+        # 验证是否是 BaseService 的子类
+        if not (inspect.isclass(cls) and issubclass(cls, BaseService)):
+            raise ValueError(
+                f"Class '{class_name}' is not a subclass of BaseService"
+            )
+        
+        if inspect.isabstract(cls):
+            raise ValueError(
+                f"Class '{class_name}' is abstract and cannot be instantiated"
+            )
+        
+        return cls
+        
+    except ImportError as e:
+        raise ValueError(
+            f"Failed to import module '{module_path}': {e}\n"
+            f"Make sure the module path is correct and all dependencies are installed."
+        )
+
+
 def get_single_service_class(
         search_path: str = ".",
         class_name: Optional[str] = None
@@ -131,7 +225,12 @@ def get_single_service_class(
 
     Args:
         search_path: 搜索路径
-        class_name: 指定的类名（可选）
+        class_name: 指定的类名或完整路径（可选）
+            支持的格式:
+            - "ClassName" - 仅类名，从所有发现的服务中查找
+            - "module.ClassName" - 模块名.类名
+            - "path/to/module.ClassName" - 相对路径/模块名.类名
+            - "path.to.module.ClassName" - 点分隔的完整路径
 
     Returns:
         服务类
@@ -139,6 +238,13 @@ def get_single_service_class(
     Raises:
         ValueError: 如果找到0个或多个服务类
     """
+    # 如果指定了包含路径的类名，尝试直接加载
+    if class_name:
+        direct_class = _load_class_by_path(class_name, search_path)
+        if direct_class is not None:
+            return direct_class
+        # 如果返回 None，说明只是类名，继续使用发现机制
+    
     service_classes = find_service_classes(search_path)
 
     if not service_classes:
@@ -166,11 +272,15 @@ def get_single_service_class(
             for f in possible_files:
                 error_msg += f"  - {f}\n"
             error_msg += f"\nTry using --class-name to specify the service class name."
+            error_msg += f"\nSupported formats:"
+            error_msg += f"\n  - --class-name ClassName"
+            error_msg += f"\n  - --class-name module.ClassName"
+            error_msg += f"\n  - --class-name path/to/module.ClassName"
         
         raise ValueError(error_msg)
 
     if class_name:
-        # 查找指定类名的服务
+        # 查找指定类名的服务（此时 class_name 只是类名，不包含路径）
         for module_path, cls in service_classes:
             if cls.__name__ == class_name:
                 return cls
@@ -181,7 +291,11 @@ def get_single_service_class(
         class_list = [f"{module}.{cls.__name__}" for module, cls in service_classes]
         raise ValueError(
             f"Multiple service classes found: {class_list}. "
-            f"Please specify which one to use with --class-name."
+            f"Please specify which one to use with --class-name.\n"
+            f"Supported formats:\n"
+            f"  - --class-name ClassName\n"
+            f"  - --class-name module.ClassName\n"
+            f"  - --class-name path/to/module.ClassName"
         )
 
     return service_classes[0][1]

{hello_datap_component_base-0.2.2 → hello_datap_component_base-0.2.4}/hello_datap_component_base/mns_client.py

@@ -9,6 +9,11 @@ import logging
 
 logger = logging.getLogger(__name__)
 
+# MNS 消息体最大长度（64KB），预留一些空间给 JSON 结构
+MNS_MAX_MESSAGE_SIZE = 64 * 1024
+# 错误消息最大长度（预留空间给其他字段）
+MAX_ERROR_MESSAGE_LENGTH = 8 * 1024  # 8KB
+
 
 class MNSClient:
     """阿里云 MNS 消息队列客户端"""
@@ -145,6 +150,49 @@ class MNSClient:
         self._queue.send_message(msg)
         return True
     
+    def _truncate_message(self, message: Dict[str, Any]) -> Dict[str, Any]:
+        """
+        截断消息中过长的字段，确保消息体不超过 MNS 限制
+        
+        Args:
+            message: 原始消息字典
+            
+        Returns:
+            截断后的消息字典
+        """
+        # 深拷贝，避免修改原始数据
+        import copy
+        truncated = copy.deepcopy(message)
+        
+        # 截断 message 字段（错误信息）
+        if 'message' in truncated and isinstance(truncated['message'], str):
+            original_len = len(truncated['message'])
+            if original_len > MAX_ERROR_MESSAGE_LENGTH:
+                truncated['message'] = (
+                    truncated['message'][:MAX_ERROR_MESSAGE_LENGTH] + 
+                    f"\n... [truncated, original length: {original_len}]"
+                )
+                logger.warning(
+                    f"消息的 message 字段过长（{original_len} 字符），已截断至 {MAX_ERROR_MESSAGE_LENGTH} 字符"
+                )
+        
+        # 检查整体消息大小，如果仍然过大，进一步截断 out_put
+        message_body = json.dumps(truncated, ensure_ascii=False)
+        if len(message_body.encode('utf-8')) > MNS_MAX_MESSAGE_SIZE:
+            if 'data' in truncated and isinstance(truncated['data'], dict):
+                if 'out_put' in truncated['data'] and truncated['data']['out_put'] is not None:
+                    out_put_str = json.dumps(truncated['data']['out_put'], ensure_ascii=False)
+                    if len(out_put_str) > MAX_ERROR_MESSAGE_LENGTH:
+                        truncated['data']['out_put'] = {
+                            '_truncated': True,
+                            '_message': f'Output too large ({len(out_put_str)} chars), truncated'
+                        }
+                        logger.warning(
+                            f"消息的 out_put 字段过大（{len(out_put_str)} 字符），已截断"
+                        )
+        
+        return truncated
+
     def send_message(self, message: Dict[str, Any]) -> bool:
         """
         发送消息到队列（带重试逻辑）
@@ -161,8 +209,11 @@ class MNSClient:
             logger.warning("MNS 队列未初始化，跳过消息发送")
             return False
         
+        # 截断过长的消息字段
+        truncated_message = self._truncate_message(message)
+        
         # 将消息转换为 JSON 字符串
-        message_body = json.dumps(message, ensure_ascii=False)
+        message_body = json.dumps(truncated_message, ensure_ascii=False)
         
         # 重试逻辑
         last_exception = None

{hello_datap_component_base-0.2.2 → hello_datap_component_base-0.2.4}/hello_datap_component_base.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: hello-datap-component-base
-Version: 0.2.2
+Version: 0.2.4
 Summary: A unified server management framework for data processing component
 Author-email: zhaohaidong <zhaohaidong389@hellobike.com>
 License: MIT

{hello_datap_component_base-0.2.2 → hello_datap_component_base-0.2.4}/pyproject.toml

@@ -4,7 +4,7 @@ build-backend = "setuptools.build_meta"
 
 [project]
 name = "hello-datap-component-base"
-version = "0.2.2"
+version = "0.2.4"
 description = "A unified server management framework for data processing component"
 readme = "README.md"
 requires-python = ">=3.8"