astron-eval 0.0.1

package/skills/model-evaluation/scripts/utils/errors.py

@@ -0,0 +1,244 @@
+# -*- coding: utf-8 -*-
+"""
+自定义异常类和错误处理工具
+"""
+import sys
+import json
+from typing import Dict, Any, TypedDict, Optional
+from .constants import (
+    ERR_FILE_NOT_FOUND,
+    ERR_FILE_ENCODING,
+    ERR_FILE_PARSE,
+    ERR_CONFIG_INVALID,
+    ERR_NETWORK_TIMEOUT,
+    ERR_NETWORK_CONNECTION,
+    ERR_REMOTE_AUTH_EXPIRED,
+    ERR_REMOTE_DEFAULT,
+)
+
+
+# ============================================================================
+# 类型定义
+# ============================================================================
+
+class _ResultDictRequired(TypedDict):
+    """统一返回结果类型 - 必填字段"""
+    success: bool
+    action: str
+    status: str
+    message: str
+
+
+class ResultDict(_ResultDictRequired, total=False):
+    """统一返回结果类型 - 可选字段"""
+    data: Dict[str, Any]
+    code: int
+
+
+# ============================================================================
+# 结果构建器
+# ============================================================================
+
+def result(action: str, status: str, message: str,
+           data: Optional[Dict[str, Any]] = None,
+           success: Optional[bool] = None,
+           code: Optional[int] = None) -> ResultDict:
+    """
+    统一构建返回结果
+
+    Args:
+        action: 操作类型（如 "check", "load", "save"）
+        status: 状态描述（如 "valid", "error", "not_found"）
+        message: 详细消息
+        data: 附加数据
+        success: 是否成功（None 时根据 status 自动判断）
+        code: 错误码（可选）
+
+    Returns:
+        标准化的结果字典
+    """
+    if success is None:
+        success = status in ("valid", "success", "waiting", "loaded", "saved")
+
+    r = {
+        "success": success,
+        "action": action,
+        "status": status,
+        "message": message,
+        "data": data or {}
+    }
+    if code is not None:
+        r["code"] = code
+    return r
+
+
+# ============================================================================
+# 自定义异常基类
+# ============================================================================
+
+class EvalError(Exception):
+    """
+    评测错误基类
+
+    所有脚本本地错误的基类，包含错误码和消息。
+    """
+    def __init__(self, message: str, code: int = None):
+        self.message = message
+        self.code = code
+        super().__init__(message)
+
+    def to_dict(self) -> Dict[str, Any]:
+        """转换为错误字典"""
+        return {
+            "success": False,
+            "code": self.code,
+            "message": self.message
+        }
+
+
+# ============================================================================
+# 文件相关异常
+# ============================================================================
+
+class FileEncodingError(EvalError):
+    """
+    文件编码错误
+
+    当无法使用指定编码读取文件时抛出。
+    """
+    def __init__(self, path: str, encoding: str = "utf-8"):
+        self.path = path
+        self.encoding = encoding
+        super().__init__(
+            f"无法使用 {encoding} 编码读取文件: {path}",
+            code=ERR_FILE_ENCODING
+        )
+
+
+class FileParseError(EvalError):
+    """
+    文件解析错误
+
+    当文件内容无法解析（如 JSON 格式错误）时抛出。
+    """
+    def __init__(self, path: str, detail: str = ""):
+        self.path = path
+        self.detail = detail
+        msg = f"文件解析失败: {path}"
+        if detail:
+            msg += f" - {detail}"
+        super().__init__(msg, code=ERR_FILE_PARSE)
+
+
+class FileNotFoundError(EvalError):
+    """
+    文件不存在错误
+    """
+    def __init__(self, path: str):
+        self.path = path
+        super().__init__(f"文件不存在: {path}", code=ERR_FILE_NOT_FOUND)
+
+
+# ============================================================================
+# 配置相关异常
+# ============================================================================
+
+class ConfigError(EvalError):
+    """
+    配置错误
+    """
+    def __init__(self, message: str, path: str = None):
+        self.path = path
+        msg = message
+        if path:
+            msg = f"{message} (文件: {path})"
+        super().__init__(msg, code=ERR_CONFIG_INVALID)
+
+
+# ============================================================================
+# 网络相关异常
+# ============================================================================
+
+class NetworkError(EvalError):
+    """
+    网络错误
+
+    用于网络请求失败的情况，包含原始异常引用。
+    """
+    def __init__(self, message: str, original_error: Exception = None,
+                 code: int = ERR_NETWORK_TIMEOUT):
+        self.original_error = original_error
+        super().__init__(message, code=code)
+
+
+class NetworkTimeoutError(NetworkError):
+    """
+    网络超时错误
+    """
+    def __init__(self, message: str = "请求超时", original_error: Exception = None):
+        super().__init__(message, original_error, code=ERR_NETWORK_TIMEOUT)
+
+
+class NetworkConnectionError(NetworkError):
+    """
+    网络连接错误
+    """
+    def __init__(self, message: str = "连接失败", original_error: Exception = None):
+        super().__init__(message, original_error, code=ERR_NETWORK_CONNECTION)
+
+
+# ============================================================================
+# 认证相关异常
+# ============================================================================
+
+class AuthExpiredError(EvalError):
+    """
+    Token 过期错误
+
+    远程服务错误码透传（10002）。
+    """
+    def __init__(self, message: str = "Token 已过期，请重新授权"):
+        # 使用远程服务错误码（透传）
+        super().__init__(message, code=ERR_REMOTE_AUTH_EXPIRED)
+
+
+class ApiError(EvalError):
+    """
+    API 错误 - 透传远程错误码
+
+    D-10: 透传远程服务错误，保留原 code 和 message
+    """
+    def __init__(self, message: str, code: int = None, data: dict = None):
+        self.data = data or {}
+        super().__init__(message, code=code)
+
+
+# ============================================================================
+# CLI 错误处理
+# ============================================================================
+
+def handle_cli_error(e: Exception) -> None:
+    """
+    统一的 CLI 错误处理，打印错误信息并退出
+
+    处理策略：
+    - EvalError 及其子类：使用异常自身的 code 和 message
+    - 其他异常：使用默认错误码 ERR_REMOTE_DEFAULT
+
+    输出格式：{"success": False, "code": int, "message": str}
+    """
+    if isinstance(e, EvalError):
+        # 所有 EvalError 子类都有 code 和 message 属性
+        print(json.dumps({
+            "success": False,
+            "code": e.code,
+            "message": e.message
+        }, ensure_ascii=False))
+    else:
+        # 非自定义异常（如 requests 库的异常、ValueError 等）
+        print(json.dumps({
+            "success": False,
+            "code": ERR_REMOTE_DEFAULT,
+            "message": str(e)
+        }, ensure_ascii=False))
+    sys.exit(1)

package/skills/model-evaluation/scripts/utils/keypoint_prompts.py

@@ -0,0 +1,73 @@
+"""评估点生成的 Prompt 模板"""
+
+SYSTEM_PROMPT = """你是一个专业的评测点生成专家。你的任务是从给定的问答数据中提取"评估点"（关键得分点）。
+
+评估点是用于判断实际回答质量的检查项，每个评估点都是一个"是否"判断句，用于逐条核对实际回答是否覆盖了该要点。
+
+## 生成评估点的思考步骤
+
+请按照以下步骤深入分析，但**只输出最终的评估点 JSON 数组**：
+
+### 第一步：理解用户提问的场景和意图
+
+从用户的角度思考：
+- 用户为什么会问这个问题？是遇到了什么问题或困惑？
+- 这个问题属于什么类型？（事实查询、操作指导、原理解释、故障排查、对比选择等）
+- 用户的知识背景可能是什么？（新手、有经验的开发者、运维人员等）
+
+### 第二步：识别问题的核心关注点
+
+由浅到深分析用户的真实需求：
+- **表层需求**：问题字面上在问什么？
+- **深层需求**：用户真正想解决什么问题？背后的痛点是什么？
+- **关键信息**：要完整回答这个问题，哪些信息是必不可少的？
+
+### 第三步：结合上下文提炼关键信息点
+
+如果提供了上下文：
+- 上下文中哪些信息直接回答了用户的核心关注点？
+- 上下文中是否包含参考答案未明确提及、但对回答完整性很重要的补充信息？
+- 上下文中的哪些细节（如具体配置、注意事项、常见错误）是用户最需要知道的？
+
+如果提供了参考答案：
+- 参考答案中哪些信息点是回答用户核心关注点的关键？
+- 参考答案的逻辑结构是什么？（如：先说是什么，再说为什么，最后说怎么做）
+- 哪些信息点是可以独立验证的客观事实？
+
+### 第四步：提取 1-3 个最核心的评估点
+
+基于前面的分析，提取最关键的评估点：
+- **优先级排序**：如果有多个候选评估点，选择对回答质量影响最大的 1-3 个
+- **原子化拆分**：每个评估点只包含一个可独立验证的信息点
+- **用户视角**：站在用户角度，这个评估点是否真正关系到问题能否被解决
+
+## 评估点质量标准
+
+1. **数量限制**：严格控制在 1-3 个，宁缺毋滥
+2. **原子性**：每个评估点只包含一个可独立验证的信息点
+3. **判断性**：必须以"是否"开头，能明确用"是/否"作答
+4. **核心性**：聚焦用户最关心的信息，不纠缠细枝末节
+5. **简洁性**：表述简短明确，避免超过 50 字
+6. **可验证性**：客观可验证，避免主观判断（如"是否回答得好"）
+7. **独立性**：不依赖其他评估点的上下文，单独看也能理解
+
+## 输出格式
+
+请严格输出 JSON 数组，每个元素是一个"是否..."形式的评估点字符串。
+**数组长度必须在 1-3 之间**，不要输出其他内容：
+
+```json
+["是否提及xxx", "是否包含xxx"]
+```
+
+注意：只输出 JSON 数组，不要有任何额外的解释或说明文字。"""
+
+
+def build_user_prompt(question: str, reference: str, context: str) -> str:
+    """构建用户 Prompt"""
+    parts = [f"## 用户问题\n{question}"]
+    if reference and reference.strip() and reference.strip() != "None":
+        parts.append(f"## 参考答案\n{reference}")
+    if context and context.strip() and context.strip() != "None":
+        parts.append(f"## 上下文\n{context}")
+    return "\n\n".join(parts) + "\n\n请提取评估点："