astron-eval 0.0.1

package/skills/model-evaluation/scripts/clients/api_client.py

@@ -0,0 +1,97 @@
+# -*- coding: utf-8 -*-
+"""
+评测服务 API 客户端模块
+
+继承 BaseHttpClient，添加 Bearer Token 注入
+"""
+import logging
+from typing import Dict, Any
+
+import requests
+
+from .http_client import BaseHttpClient
+from utils.constants import DEFAULT_TIMEOUT
+from utils.errors import (
+    AuthExpiredError,
+    ApiError,
+)
+from .token_manager import TokenManager
+
+logger = logging.getLogger(__name__)
+
+
+# ============================================================================
+# 评测服务 API 客户端
+# ============================================================================
+
+class ApiClient(BaseHttpClient):
+    """
+    评测服务 API 客户端
+
+    继承 BaseHttpClient，添加：
+    - Bearer Token 认证注入
+    - 评测服务特定的响应处理
+    - Token 过期检测
+
+    D-05: RequestBuilder 负责构建请求、注入 header、处理响应
+    D-08: 只重试瞬态故障: 502, 503, 504
+    D-09: 3 次重试 + 指数退避 (1s, 2s, 4s)
+    D-10: 透传远程服务错误，保留原 code
+    D-12: 简洁日志 - URL + 方法 + 状态码 + 耗时
+    D-13: 分级日志 - INFO/WARNING/ERROR
+    """
+
+    def __init__(
+        self,
+        token_manager: TokenManager,
+        base_url: str,
+        timeout: int = DEFAULT_TIMEOUT
+    ):
+        """
+        初始化评测服务客户端
+
+        Args:
+            token_manager: Token 管理器
+            base_url: 评测服务基础 URL
+            timeout: 请求超时时间（秒）
+        """
+        # 保存 token_manager
+        self.token_manager = token_manager
+
+        # 调用父类初始化
+        super().__init__(
+            base_url=base_url,
+            timeout=timeout,
+            verify_ssl=False  # 跳过SSL验证（部分服务器证书异常）
+        )
+
+    def _inject_auth(self, headers: Dict[str, str]) -> Dict[str, str]:
+        """注入 Bearer Token 认证"""
+        token = self.token_manager.get_token()
+        headers["Authorization"] = f"Bearer {token}"
+        return headers
+
+    def _handle_response(self, response: requests.Response) -> Dict[str, Any]:
+        """
+        处理评测服务响应
+
+        D-10: 透传远程错误码和消息
+        """
+        # 检查认证过期 (code=10002)
+        if response.status_code == 401:
+            try:
+                if response.json().get('code') == 10002:
+                    raise AuthExpiredError("Token 已过期，请重新授权")
+            except ValueError:
+                pass
+        response.raise_for_status()
+
+        result = response.json()
+        if result.get('code') != 0:
+            # D-10: 透传远程错误码和消息
+            raise ApiError(
+                message=result.get('message', 'Unknown error'),
+                code=result.get('code'),
+                data=result.get('data')
+            )
+        return result.get('data', {})

package/skills/model-evaluation/scripts/clients/auth_client.py

@@ -0,0 +1,96 @@
+# -*- coding: utf-8 -*-
+"""
+认证服务客户端模块
+
+用于与 OAuth2 认证服务交互：
+- 无 Bearer Token 注入（认证服务本身不需要）
+- 处理认证服务特定的响应格式
+"""
+import logging
+from typing import Dict, Any
+
+import requests
+
+from .http_client import BaseHttpClient
+from utils.constants import DEFAULT_TIMEOUT, MAX_RETRIES, RETRY_BACKOFF_FACTOR
+
+logger = logging.getLogger(__name__)
+
+
+class AuthClient(BaseHttpClient):
+    """
+    认证服务客户端
+
+    用于与 OAuth2 认证服务交互：
+    - 无 Bearer Token 注入（认证服务本身不需要）
+    - 处理认证服务特定的响应格式
+    """
+
+    def __init__(
+        self,
+        base_url: str = "",
+        timeout: int = DEFAULT_TIMEOUT,
+        max_retries: int = MAX_RETRIES,
+        retry_backoff_factor: float = RETRY_BACKOFF_FACTOR,
+        verify_ssl: bool = False
+    ):
+        """
+        初始化认证客户端
+
+        Args:
+            base_url: 认证服务基础 URL（可选，可使用完整 URL 请求）
+            timeout: 请求超时时间（秒）
+            max_retries: 最大重试次数
+            retry_backoff_factor: 重试退避因子
+            verify_ssl: 是否验证 SSL 证书
+        """
+        super().__init__(
+            base_url=base_url,
+            timeout=timeout,
+            max_retries=max_retries,
+            retry_backoff_factor=retry_backoff_factor,
+            verify_ssl=verify_ssl
+        )
+
+    def _handle_response(self, response: requests.Response) -> Dict[str, Any]:
+        """
+        处理认证服务响应
+
+        认证服务响应格式：
+        {
+            "code": 0,
+            "message": "success",
+            "data": {...}
+        }
+        或直接返回数据
+        """
+        response.raise_for_status()
+        result = response.json()
+
+        # 兼容两种响应格式
+        if "code" in result:
+            if result.get("code") != 0:
+                return result  # 返回完整错误信息
+            return result.get("data", result)
+        return result
+
+    def request_full_url(
+        self,
+        method: str,
+        url: str,
+        **kwargs
+    ) -> Dict[str, Any]:
+        """
+        使用完整 URL 发送请求（不拼接 base_url）
+
+        适用于认证服务的端点 URL 是完整路径的场景
+
+        Args:
+            method: HTTP 方法
+            url: 完整 URL
+            **kwargs: 其他参数
+
+        Returns:
+            响应数据
+        """
+        return self.request(method, url, full_url=True, **kwargs)

package/skills/model-evaluation/scripts/clients/http_client.py

@@ -0,0 +1,199 @@
+# -*- coding: utf-8 -*-
+"""
+基础 HTTP 客户端模块
+
+提供统一的 HTTP 请求处理：
+- 自动重试（连接超时、读取超时、瞬态故障）
+- 超时控制
+- 连接池管理
+- SSL 证书验证控制
+- 分级日志
+
+子类可覆写：
+- _inject_auth(): 注入认证信息
+- _handle_response(): 处理响应
+"""
+import time
+import logging
+import requests
+from typing import Optional, Dict, Any
+from requests.adapters import HTTPAdapter
+from urllib3.util.retry import Retry
+import urllib3
+
+urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)
+
+from utils.constants import (
+    DEFAULT_TIMEOUT,
+    MAX_RETRIES,
+    RETRY_BACKOFF_FACTOR,
+    ERR_NETWORK_RETRY_EXHAUSTED,
+)
+from utils.errors import (
+    NetworkError,
+    NetworkTimeoutError,
+    NetworkConnectionError,
+)
+
+logger = logging.getLogger(__name__)
+
+
+class BaseHttpClient:
+    """
+    基础 HTTP 客户端
+
+    提供统一的 HTTP 请求处理：
+    - 自动重试（连接超时、读取超时、瞬态故障）
+    - 超时控制
+    - 连接池管理
+    - SSL 证书验证控制
+    - 分级日志
+
+    子类可覆写：
+    - _inject_auth(): 注入认证信息
+    - _handle_response(): 处理响应
+    """
+
+    def __init__(
+        self,
+        base_url: str = "",
+        timeout: int = DEFAULT_TIMEOUT,
+        max_retries: int = MAX_RETRIES,
+        retry_backoff_factor: float = RETRY_BACKOFF_FACTOR,
+        verify_ssl: bool = False
+    ):
+        """
+        初始化基础 HTTP 客户端
+
+        Args:
+            base_url: 服务基础 URL（可选，可使用完整 URL 请求）
+            timeout: 请求超时时间（秒）
+            max_retries: 最大重试次数
+            retry_backoff_factor: 重试退避因子
+            verify_ssl: 是否验证 SSL 证书
+        """
+        self.base_url = base_url.rstrip('/') if base_url else ""
+        self.timeout = timeout
+        self.max_retries = max_retries
+        self.retry_backoff_factor = retry_backoff_factor
+        self.verify_ssl = verify_ssl
+        self.session = self._create_session()
+
+    def _create_session(self) -> requests.Session:
+        """创建带重试配置的 Session"""
+        session = requests.Session()
+
+        # 配置重试策略
+        # 重试条件：连接超时、读取超时、连接错误、瞬态 HTTP 错误
+        retry = Retry(
+            total=self.max_retries,
+            backoff_factor=self.retry_backoff_factor,
+            status_forcelist=[429, 500, 502, 503, 504],  # 瞬态故障
+            allowed_methods=["HEAD", "GET", "OPTIONS", "POST", "PUT", "DELETE", "PATCH"],
+            raise_on_status=False,
+        )
+
+        adapter = HTTPAdapter(max_retries=retry)
+        session.mount("https://", adapter)
+        session.mount("http://", adapter)
+
+        return session
+
+    def _inject_auth(self, headers: Dict[str, str]) -> Dict[str, str]:
+        """
+        注入认证信息（子类覆写）
+
+        Args:
+            headers: 现有请求头
+
+        Returns:
+            注入认证信息后的请求头
+        """
+        return headers
+
+    def _handle_response(self, response: requests.Response) -> Dict[str, Any]:
+        """
+        处理响应（子类可覆写）
+
+        Args:
+            response: HTTP 响应对象
+
+        Returns:
+            解析后的响应数据
+        """
+        response.raise_for_status()
+        return response.json()
+
+    def request(
+        self,
+        method: str,
+        url_or_endpoint: str,
+        full_url: bool = False,
+        **kwargs
+    ) -> Dict[str, Any]:
+        """
+        发送 HTTP 请求
+
+        Args:
+            method: HTTP 方法（GET, POST, etc.）
+            url_or_endpoint: URL 或端点路径
+            full_url: 是否为完整 URL（True 则不拼接 base_url）
+            **kwargs: 传递给 requests 的其他参数
+
+        Returns:
+            解析后的响应数据
+        """
+        # 构建 URL
+        if full_url:
+            url = url_or_endpoint
+        else:
+            url = f"{self.base_url}{url_or_endpoint}"
+
+        # 设置默认参数
+        kwargs.setdefault("timeout", self.timeout)
+        kwargs.setdefault("verify", self.verify_ssl)
+
+        # 处理请求头
+        headers = kwargs.pop("headers", {})
+        headers.setdefault("Content-Type", "application/json")
+        headers = self._inject_auth(headers)
+        kwargs["headers"] = headers
+
+        start = time.time()
+        try:
+            resp = self.session.request(method, url, **kwargs)
+            elapsed = time.time() - start
+            logger.info(f"{method} {url} -> {resp.status_code} ({elapsed:.2f}s)")
+            return self._handle_response(resp)
+
+        except requests.Timeout as e:
+            logger.error(f"{method} {url} -> TIMEOUT")
+            raise NetworkTimeoutError(f"请求超时: {url}", original_error=e)
+
+        except requests.ConnectionError as e:
+            logger.error(f"{method} {url} -> CONNECTION_ERROR")
+            raise NetworkConnectionError(f"连接失败: {url}", original_error=e)
+
+        except requests.exceptions.RetryError as e:
+            logger.error(f"{method} {url} -> RETRY_EXHAUSTED")
+            raise NetworkError(
+                f"重试耗尽: {url}",
+                original_error=e,
+                code=ERR_NETWORK_RETRY_EXHAUSTED
+            )
+
+    def get(self, url_or_endpoint: str, **kwargs) -> Dict[str, Any]:
+        """发送 GET 请求"""
+        return self.request("GET", url_or_endpoint, **kwargs)
+
+    def post(self, url_or_endpoint: str, **kwargs) -> Dict[str, Any]:
+        """发送 POST 请求"""
+        return self.request("POST", url_or_endpoint, **kwargs)
+
+    def put(self, url_or_endpoint: str, **kwargs) -> Dict[str, Any]:
+        """发送 PUT 请求"""
+        return self.request("PUT", url_or_endpoint, **kwargs)
+
+    def delete(self, url_or_endpoint: str, **kwargs) -> Dict[str, Any]:
+        """发送 DELETE 请求"""
+        return self.request("DELETE", url_or_endpoint, **kwargs)