hello-datap-component-base 0.2.4__py3-none-any.whl → 0.2.5__py3-none-any.whl

hello_datap_component_base/__init__.py

@@ -13,9 +13,11 @@ from .discover import find_service_classes, get_single_service_class
 # 导入 logger 实例
 from .logger import logger
 
-__version__ = "0.2.3"
-__author__ = "zhaohaidong"
-__email__ = "zhaohaidong389@hellobike.com"
+# 导入数据服务
+from .data import BagDataService, BagJsonResult
+
+__version__ = "0.2.5"
+__author__ = "Data Processing Team"
 
 __all__ = [
     "BaseService",
@@ -28,4 +30,7 @@ __all__ = [
     "logger",
     "find_service_classes",
     "get_single_service_class",
+    # 数据服务
+    "BagDataService",
+    "BagJsonResult",
 ]

hello_datap_component_base/data/__init__.py

@@ -0,0 +1,12 @@
+"""
+数据服务模块
+
+提供数据获取相关的服务类
+"""
+
+from .bag_data_service import BagDataService, BagJsonResult
+
+__all__ = [
+    "BagDataService",
+    "BagJsonResult",
+]

hello_datap_component_base/data/bag_data_service.py

@@ -0,0 +1,422 @@
+"""
+BagData 服务 - 获取 Bag 数据的 OSS 地址
+
+环境变量配置：
+    - BAG_DATA_APP_KEY: API 密钥（必需）
+    - BAG_DATA_API_URL: API 地址（必需）
+    - SKIP_SSL_VERIFY: 是否跳过 SSL 验证（可选，默认 false）
+"""
+
+import json
+import logging
+import os
+from typing import Optional
+from dataclasses import dataclass
+
+import requests
+
+logger = logging.getLogger(__name__)
+
+
+def _get_env_or_raise(key: str, default: Optional[str] = None) -> str:
+    """获取环境变量，如果未设置且无默认值则抛出异常"""
+    value = os.environ.get(key, default)
+    if value is None:
+        raise ValueError(
+            f"环境变量 {key} 未设置。请设置该环境变量后重试。\n"
+            f"示例: export {key}=your_value"
+        )
+    return value
+
+
+# 从环境变量获取配置（延迟加载，在实际使用时才读取）
+def _get_app_key() -> str:
+    """获取 API 密钥"""
+    return _get_env_or_raise("BAG_DATA_APP_KEY")
+
+
+def _get_api_url() -> str:
+    """获取 API 地址"""
+    return _get_env_or_raise("BAG_DATA_API_URL")
+
+
+# 目标 OSS 配置（固定值）
+TARGET_OSS_BUCKET = "infra-hads-artifacts"
+TARGET_OSS_PREFIX = "bag_essential"
+
+# JSON 文件类型（相对路径，不含敏感信息）
+JSON_TYPES = {
+    "camera_forward_wide": "camera_forward_wide/camera_forward_wide.json",
+    "localization": "localization/localization.json",
+}
+
+
+# SSL 验证配置
+def _skip_ssl_verify() -> bool:
+    """是否跳过 SSL 验证"""
+    return os.environ.get("SKIP_SSL_VERIFY", "").lower() in ("true", "1", "yes")
+
+
+@dataclass
+class BagJsonResult:
+    """Bag JSON 结果 - 只包含 OSS 地址"""
+    bag_name: str
+    camera_forward_wide_url: Optional[str] = None
+    localization_url: Optional[str] = None
+    errors: Optional[list] = None
+    
+    def to_dict(self) -> dict:
+        return {
+            "bag_name": self.bag_name,
+            "camera_forward_wide_url": self.camera_forward_wide_url,
+            "localization_url": self.localization_url,
+            "errors": self.errors,
+        }
+
+
+class BagDataService:
+    """
+    Bag 数据服务
+    
+    用于根据 bag_name 获取对应的 JSON 文件 OSS 地址
+    
+    环境变量配置：
+        - BAG_DATA_APP_KEY: API 密钥（必需）
+        - BAG_DATA_API_URL: API 地址（必需）
+        - SKIP_SSL_VERIFY: 是否跳过 SSL 验证（可选，默认 false）
+    
+    使用示例:
+        # 首先设置环境变量
+        # export BAG_DATA_APP_KEY=your_app_key
+        # export BAG_DATA_API_URL=https://your-api-url.com
+        
+        from hello_datap_component_base.data import BagDataService
+        
+        service = BagDataService()
+        
+        # 获取单个 bag 的 OSS 地址
+        result = service.get_bag_json("2_033_20260123-225631_0")
+        print(result.camera_forward_wide_url)  # OSS 地址
+        print(result.localization_url)         # OSS 地址
+        
+        # 批量获取
+        results = service.get_bag_json_batch(["bag1", "bag2"])
+    """
+    
+    def __init__(self, app_key: Optional[str] = None, api_url: Optional[str] = None):
+        """
+        初始化服务
+        
+        Args:
+            app_key: API 密钥（可选，默认从环境变量 BAG_DATA_APP_KEY 获取）
+            api_url: API 地址（可选，默认从环境变量 BAG_DATA_API_URL 获取）
+        """
+        # 延迟验证：只有在实际使用时才验证环境变量
+        self._app_key = app_key
+        self._api_url = api_url
+        self._initialized = False
+    
+    def _ensure_initialized(self):
+        """确保服务已初始化（延迟加载配置）"""
+        if self._initialized:
+            return
+        
+        # 从环境变量获取配置
+        if self._app_key is None:
+            self._app_key = _get_app_key()
+        if self._api_url is None:
+            self._api_url = _get_api_url()
+        
+        self._initialized = True
+    
+    @property
+    def app_key(self) -> str:
+        """获取 API 密钥"""
+        self._ensure_initialized()
+        return self._app_key
+    
+    @property
+    def _api_base_url(self) -> str:
+        """获取 API 地址"""
+        self._ensure_initialized()
+        return self._api_url
+    
+    def _query_rawdata_by_bag_name(self, bag_name: str) -> Optional[dict]:
+        """通过 bag_name 查询原始数据信息"""
+        url = f"{self._api_base_url}/api/rawdata/query"
+        headers = {
+            "Content-Type": "application/json",
+            "x-data-appkey": self.app_key,
+        }
+        payload = {
+            "pageNum": 1,
+            "pageSize": 10,
+            "bagName": bag_name,
+            "sortDesc": True,
+            "returnQualityField": True,
+            "status": 1,
+        }
+        
+        try:
+            verify = not _skip_ssl_verify()
+            response = requests.post(url, json=payload, headers=headers, timeout=30, verify=verify)
+            response.raise_for_status()
+            result = response.json()
+            
+            data_list = result.get("data", {}).get("dataList", [])
+            if data_list:
+                return data_list[0]
+            return None
+        except Exception as e:
+            logger.error(f"查询 rawdata 失败: {e}")
+            return None
+    
+    def _parse_bag_info(self, bag_oss_url: str, bag_name: str) -> dict:
+        """
+        从 bagOssUrl 解析出日期和车辆信息
+        """
+        # 从 bag_name 解析：格式为 {车辆}_{日期}-{时间}_{序号}，如 2_033_20260123-225631_0
+        parts = bag_name.split("_")
+        if len(parts) >= 4:
+            # 车辆号：前两部分，如 2_033
+            car_name = f"{parts[0]}_{parts[1]}"
+            # 日期：第三部分的前8位，如 20260123
+            date_time_part = parts[2]
+            dt = date_time_part.split("-")[0] if "-" in date_time_part else date_time_part[:8]
+            return {"dt": dt, "car_name": car_name}
+        
+        # 备用：从 URL 解析
+        try:
+            # 移除协议前缀
+            path = bag_oss_url.replace("s3://", "").replace("oss://", "")
+            path_parts = path.split("/")
+            # 查找日期格式的部分（8位数字）
+            for part in path_parts:
+                if len(part) == 8 and part.isdigit():
+                    dt = part
+                    # 日期后面通常是车辆号
+                    idx = path_parts.index(part)
+                    if idx + 1 < len(path_parts):
+                        car_name = path_parts[idx + 1]
+                        return {"dt": dt, "car_name": car_name}
+        except Exception as e:
+            logger.warning(f"解析 bag_oss_url 失败: {e}")
+        
+        return {}
+    
+    def _build_target_oss_urls(self, bag_name: str, dt: str, car_name: str) -> dict:
+        """
+        构建目标 OSS 地址
+        
+        目标路径格式: oss://{bucket}/{prefix}/{日期}/{车辆}/{bag_name}/{json文件}
+        """
+        base_path = f"oss://{TARGET_OSS_BUCKET}/{TARGET_OSS_PREFIX}/{dt}/{car_name}/{bag_name}"
+        
+        return {
+            "camera_forward_wide": f"{base_path}/camera_forward_wide/camera_forward_wide.json",
+            "localization": f"{base_path}/localization/localization.json",
+        }
+    
+    def get_bag_json(
+        self,
+        bag_name: str,
+        output_dir: Optional[str] = None,
+        print_output: bool = False,
+    ) -> BagJsonResult:
+        """
+        根据 bag_name 获取对应的 JSON 文件 OSS 地址
+        
+        Args:
+            bag_name: 数据包名称，如 "2_033_20260123-225631_0"
+            output_dir: 输出目录，如果指定则保存 JSON 文件到该目录
+            print_output: 是否打印输出
+            
+        Returns:
+            BagJsonResult 对象，包含 camera_forward_wide_url 和 localization_url
+        """
+        errors = []
+        
+        # 查询 bag 信息
+        raw_data = self._query_rawdata_by_bag_name(bag_name)
+        if not raw_data:
+            errors.append(f"未找到 bag: {bag_name}")
+            return BagJsonResult(bag_name=bag_name, errors=errors)
+        
+        bag_oss_url = raw_data.get("bagOssUrl") or raw_data.get("bagS3Path")
+        
+        # 解析日期和车辆信息
+        bag_info = self._parse_bag_info(bag_oss_url or "", bag_name)
+        dt = bag_info.get("dt") or raw_data.get("dt")
+        car_name = bag_info.get("car_name") or raw_data.get("carName")
+        
+        if not dt or not car_name:
+            errors.append(f"无法解析 bag 信息: dt={dt}, car_name={car_name}")
+            return BagJsonResult(bag_name=bag_name, errors=errors)
+        
+        # 构建目标 OSS 地址
+        oss_urls = self._build_target_oss_urls(bag_name, dt, car_name)
+        
+        result = BagJsonResult(
+            bag_name=bag_name,
+            camera_forward_wide_url=oss_urls["camera_forward_wide"],
+            localization_url=oss_urls["localization"],
+            errors=errors if errors else None,
+        )
+        
+        # 打印输出
+        if print_output:
+            print(json.dumps(result.to_dict(), ensure_ascii=False, indent=2))
+        
+        # 保存到文件
+        if output_dir:
+            os.makedirs(output_dir, exist_ok=True)
+            output_file = os.path.join(output_dir, f"{bag_name}.json")
+            with open(output_file, "w", encoding="utf-8") as f:
+                json.dump(result.to_dict(), f, ensure_ascii=False, indent=2)
+        
+        return result
+    
+    def get_bag_json_batch(
+        self,
+        bag_names: list[str],
+        output_dir: Optional[str] = None,
+        print_output: bool = False,
+    ) -> dict[str, BagJsonResult]:
+        """
+        批量获取多个 bag 的 JSON 文件 OSS 地址
+        
+        Args:
+            bag_names: 数据包名称列表
+            output_dir: 输出目录
+            print_output: 是否打印输出
+            
+        Returns:
+            字典，key 为 bag_name，value 为 BagJsonResult
+        """
+        results = {}
+        for bag_name in bag_names:
+            results[bag_name] = self.get_bag_json(
+                bag_name,
+                output_dir=output_dir,
+                print_output=print_output,
+            )
+        return results
+    
+    def get_bag_info(self, bag_name: str) -> Optional[dict]:
+        """获取 bag 的基本信息"""
+        raw_data = self._query_rawdata_by_bag_name(bag_name)
+        if not raw_data:
+            return None
+        
+        bag_oss_url = raw_data.get("bagOssUrl") or raw_data.get("bagS3Path")
+        bag_info = self._parse_bag_info(bag_oss_url or "", bag_name)
+        dt = bag_info.get("dt") or raw_data.get("dt")
+        car_name = bag_info.get("car_name") or raw_data.get("carName")
+        
+        oss_urls = self._build_target_oss_urls(bag_name, dt, car_name) if dt and car_name else {}
+        
+        return {
+            "bag_name": bag_name,
+            "bag_key": raw_data.get("bagKey"),
+            "car_name": raw_data.get("carName"),
+            "city_name": raw_data.get("cityName"),
+            "dt": raw_data.get("dt"),
+            "bag_oss_url": bag_oss_url,
+            "target_oss_urls": oss_urls,
+        }
+
+    def query_and_export(
+        self,
+        output_dir: Optional[str] = None,
+        page_num: int = 1,
+        page_size: int = 20,
+        car_nos: Optional[list[str]] = None,
+        data_version: Optional[str] = None,
+        begin_time_from: Optional[int] = None,
+        begin_time_to: Optional[int] = None,
+        **kwargs,
+    ) -> dict:
+        """
+        查询 Bag 数据并获取 OSS 地址
+        
+        Args:
+            output_dir: 输出目录，如果指定则保存 JSON 文件
+            page_num: 页码
+            page_size: 每页数量
+            car_nos: 车辆号列表，如 ["1_023", "1_036"]
+            data_version: 数据版本，如 "V1.4.1"
+            begin_time_from: 开始时间（毫秒时间戳）
+            begin_time_to: 结束时间（毫秒时间戳）
+            **kwargs: 其他查询参数
+            
+        Returns:
+            字典，包含 query_result（查询结果）和 export_results（导出结果）
+            
+        Example:
+            service = BagDataService()
+            
+            result = service.query_and_export(
+                output_dir="./output",
+                car_nos=["2_033"],
+                page_size=10,
+            )
+            
+            for bag_name, data in result['export_results'].items():
+                print(f"{bag_name}:")
+                print(f"  前广角: {data.camera_forward_wide_url}")
+                print(f"  定位: {data.localization_url}")
+        """
+        # 构建查询参数
+        query_params = {
+            "pageNum": page_num,
+            "pageSize": page_size,
+            "sortDesc": True,
+            "returnQualityField": True,
+            "status": 1,
+        }
+        
+        if car_nos:
+            query_params["carNos"] = car_nos
+        if data_version:
+            query_params["dataVersion"] = data_version
+        if begin_time_from:
+            query_params["beginTimeFrom"] = begin_time_from
+        if begin_time_to:
+            query_params["beginTimeTo"] = begin_time_to
+        query_params.update(kwargs)
+        
+        # 执行查询
+        url = f"{self._api_base_url}/api/rawdata/query"
+        headers = {
+            "Content-Type": "application/json",
+            "x-data-appkey": self.app_key,
+        }
+        
+        verify = not _skip_ssl_verify()
+        response = requests.post(url, json=query_params, headers=headers, timeout=30, verify=verify)
+        response.raise_for_status()
+        api_result = response.json()
+        
+        data_list = api_result.get("data", {}).get("dataList", [])
+        total_count = api_result.get("data", {}).get("totalCount", -1)
+        
+        # 获取 OSS 地址
+        export_results = {}
+        
+        if output_dir:
+            os.makedirs(output_dir, exist_ok=True)
+        
+        for item in data_list:
+            bag_name = item.get("bagName")
+            if not bag_name:
+                continue
+            
+            result = self.get_bag_json(bag_name, output_dir=output_dir, print_output=False)
+            export_results[bag_name] = result
+        
+        return {
+            "query_result": data_list,
+            "total_count": total_count,
+            "export_results": export_results,
+            "output_dir": output_dir,
+        }

{hello_datap_component_base-0.2.4.dist-info → hello_datap_component_base-0.2.5.dist-info}/METADATA

@@ -1,10 +1,9 @@
 Metadata-Version: 2.4
 Name: hello-datap-component-base
-Version: 0.2.4
+Version: 0.2.5
 Summary: A unified server management framework for data processing component
-Author-email: zhaohaidong <zhaohaidong389@hellobike.com>
+Author: Data Processing Team
 License: MIT
-Project-URL: Homepage, https://gitlab.hellorobotaxi.top/hdata/hello-datap-component-base
 Keywords: data,hello,management,microservice
 Classifier: Development Status :: 4 - Beta
 Classifier: Intended Audience :: Developers
@@ -24,6 +23,7 @@ Requires-Dist: python-json-logger>=2.0.0
 Requires-Dist: pyyaml>=6.0.0
 Requires-Dist: aliyun-mns>=1.1.5
 Requires-Dist: oss2>=2.18.0
+Requires-Dist: requests>=2.28.0
 Provides-Extra: dev
 Requires-Dist: pytest>=7.0.0; extra == "dev"
 Requires-Dist: black>=23.0.0; extra == "dev"
@@ -380,7 +380,11 @@ hello-datap-component-base/
 │   ├── cli.py               # 命令行工具
 │   ├── discover.py          # 服务发现
 │   ├── logger.py            # 日志管理
-│   └── mns_client.py        # MNS 队列客户端
+│   ├── mns_client.py        # MNS 队列客户端
+│   ├── oss_client.py        # OSS 客户端
+│   └── data/                # 数据服务模块
+│       ├── __init__.py
+│       └── bag_data_service.py  # Bag 数据服务
 ├── example_service.py        # 使用示例
 ├── example_config.json      # 示例配置
 ├── README.md                # 本文档
@@ -641,6 +645,27 @@ A: 在配置文件的 `runtime_env.env_vars` 中设置 OSS 相关环境变量：
 
 **向下兼容**：如果未配置 OSS 环境变量，保持现状（不上传），不影响主流程。
 
+**Q: 如何使用 BagDataService 获取 Bag 数据？**
+
+A: BagDataService 用于根据 bag_name 获取对应的 JSON 文件 OSS 地址。首先配置环境变量，然后使用服务：
+
+```bash
+# 设置环境变量
+export BAG_DATA_APP_KEY=your_app_key
+export BAG_DATA_API_URL=https://your-api-url.com
+```
+
+```python
+from hello_datap_component_base import BagDataService
+
+service = BagDataService()
+result = service.get_bag_json("2_033_20260123-225631_0")
+print(result.camera_forward_wide_url)  # OSS 地址
+print(result.localization_url)         # OSS 地址
+```
+
+详细用法请参考下方 "BagDataService 数据服务" 章节。
+
 **Q: 返回结果格式是什么？**
 
 A: `handle_request` 方法会自动封装返回结果：
@@ -648,11 +673,83 @@ A: `handle_request` 方法会自动封装返回结果：
 - 异常情况：`code=-1, message=错误消息, data.out_put=null`
 - 所有结果都包含 `work_flow_id`、`work_flow_instance_id`、`task_id`
 
+## BagDataService 数据服务
+
+BagDataService 用于根据 bag_name 获取对应的 JSON 文件 OSS 地址。
+
+### 环境变量配置
+
+使用 BagDataService 前，必须设置以下环境变量：
+
+| 环境变量 | 说明 | 必需 |
+|---------|------|------|
+| `BAG_DATA_APP_KEY` | API 密钥 | 是 |
+| `BAG_DATA_API_URL` | API 服务地址 | 是 |
+| `SKIP_SSL_VERIFY` | 是否跳过 SSL 验证（可选，默认 false） | 否 |
+
+```bash
+# 设置环境变量
+export BAG_DATA_APP_KEY=your_app_key
+export BAG_DATA_API_URL=https://your-api-url.com
+
+# 可选：跳过 SSL 验证（仅在内部服务使用）
+export SKIP_SSL_VERIFY=true
+```
+
+### 使用示例
+
+```python
+from hello_datap_component_base import BagDataService
+
+# 创建服务实例（配置从环境变量读取）
+service = BagDataService()
+
+# 获取单个 bag 的 OSS 地址
+result = service.get_bag_json("2_033_20260123-225631_0")
+print(result.camera_forward_wide_url)  # OSS 地址
+print(result.localization_url)         # OSS 地址
+
+# 批量获取
+results = service.get_bag_json_batch(["bag1", "bag2"])
+for bag_name, data in results.items():
+    print(f"{bag_name}: {data.camera_forward_wide_url}")
+
+# 查询并导出
+result = service.query_and_export(
+    output_dir="./output",
+    car_nos=["2_033"],
+    page_size=10,
+)
+```
+
+### 返回结果
+
+`BagJsonResult` 对象包含以下字段：
+
+- `bag_name`: 数据包名称
+- `camera_forward_wide_url`: 前广角相机 JSON 文件 OSS 地址
+- `localization_url`: 定位 JSON 文件 OSS 地址
+- `errors`: 错误信息列表（如有）
+
+### 在配置文件中使用
+
+如果在服务运行时需要使用 BagDataService，可以在配置文件中设置环境变量：
+
+```json
+{
+  "runtime_env": {
+    "env_vars": {
+      "BAG_DATA_APP_KEY": "your_app_key",
+      "BAG_DATA_API_URL": "https://your-api-url.com"
+    }
+  }
+}
+```
+
 ## 许可证
 
 MIT License
 
 ## 作者
 
-zhaohaidong (zhaohaidong389@hellobike.com)
-
+Data Processing Team

{hello_datap_component_base-0.2.4.dist-info → hello_datap_component_base-0.2.5.dist-info}/RECORD

@@ -1,4 +1,4 @@
-hello_datap_component_base/__init__.py,sha256=5bGlAUivYRN9_H91I9tYoUrokl6YJJgJGtlM4PkLU_A,811
+hello_datap_component_base/__init__.py,sha256=Biy9-ElF10_cJCQNYRxHHx9NC_zrOzEQ4YjG6-HGxTA,909
 hello_datap_component_base/base.py,sha256=jkjoUx9QQ4IqiwR0WZrb2-ZX9KEKF1_fOF_415qwsxc,6436
 hello_datap_component_base/cli.py,sha256=T_rcmjhZMuMhi7av-MwE3d06XwX_TGLsYs-WzKTLQk4,8758
 hello_datap_component_base/config.py,sha256=XV4OY0iCEjVf0PNxLRdWLgOB5pPB0OvASdkysZXukms,6992
@@ -7,8 +7,10 @@ hello_datap_component_base/logger.py,sha256=JIvy_gctDf0Vpe_itSQCwf-ZhVigMdDFwpwb
 hello_datap_component_base/mns_client.py,sha256=uaWb4P99iRk8vpREqEDqjD9HqaKwlhOYEtHfaW_Y2Pg,12521
 hello_datap_component_base/oss_client.py,sha256=C4Dajeey3JBKh_EgGJzzNMMdpzkm85Z6tpO1kC1wU_s,5057
 hello_datap_component_base/runner.py,sha256=korZY_Qoa-ZzwIFsWK4zaetLF17BE9oT-IRDueoaSbs,11576
-hello_datap_component_base-0.2.4.dist-info/METADATA,sha256=j76VTdE5QmnTxrEg-eAd2nJgnDUg89aP9N7GuiRh11I,19865
-hello_datap_component_base-0.2.4.dist-info/WHEEL,sha256=wUyA8OaulRlbfwMtmQsvNngGrxQHAvkKcvRmdizlJi0,92
-hello_datap_component_base-0.2.4.dist-info/entry_points.txt,sha256=Q2YteaAVN0UW9MEBfPZ3EY6FI6dRaoCmQZpcvAzmSVQ,74
-hello_datap_component_base-0.2.4.dist-info/top_level.txt,sha256=V4aKCkt0lrJbO4RBPymJ6dz5mXo6vjYy02kusdWKGqM,27
-hello_datap_component_base-0.2.4.dist-info/RECORD,,
+hello_datap_component_base/data/__init__.py,sha256=3A6giCgxL-s0zWluDzPvh3HiAzriPQUzHgGPjayowsk,184
+hello_datap_component_base/data/bag_data_service.py,sha256=h8oU4okqDd6mkovbIGkW6lRsEswyAGHCz9DsFQQX8s8,14503
+hello_datap_component_base-0.2.5.dist-info/METADATA,sha256=g8gkv5aAXAueEaQRiHy_E_qlSskoVoJlu7P7yozaZeM,22438
+hello_datap_component_base-0.2.5.dist-info/WHEEL,sha256=wUyA8OaulRlbfwMtmQsvNngGrxQHAvkKcvRmdizlJi0,92
+hello_datap_component_base-0.2.5.dist-info/entry_points.txt,sha256=Q2YteaAVN0UW9MEBfPZ3EY6FI6dRaoCmQZpcvAzmSVQ,74
+hello_datap_component_base-0.2.5.dist-info/top_level.txt,sha256=V4aKCkt0lrJbO4RBPymJ6dz5mXo6vjYy02kusdWKGqM,27
+hello_datap_component_base-0.2.5.dist-info/RECORD,,