agent-insight 0.5.0 → 0.5.1

package/.next/standalone/Evaluation_and_Research/agent_evaluator_industry_research.md

@@ -0,0 +1,260 @@
+# Agent 预置评估器扩展前期调研
+
+调研日期：2026-07-06
+
+## 结论摘要
+
+如果要扩展 Agent Insight 的预置 agent 评估器，建议优先补齐“任务是否完成、工具是否选对、参数是否正确、工具结果是否被正确使用、步骤是否高效、计划是否合理/被遵守、是否遵守约束/安全策略”这几类。它们在 DeepEval、Ragas、Phoenix、LangSmith、OpenAI trace grading 以及近两年的 agent benchmark / trajectory evaluation 论文中反复出现，属于经典且高收益的评估面。
+
+从当前仓库状态看，平台已有 `preset-agent-task-completion`、`preset-agent-trace-quality`，质量监控侧还有忠实度、指令遵循、答案质量、准确性等结果维指标。下一步最适合做成独立预置项的是：工具选择、工具参数/调用、工具结果处理、步骤效率、计划质量、计划遵循、策略/安全合规，以及重复运行稳定性。
+
+## 优先级排序：15 个适合加入的 Agent 评估器
+
+| 优先级 | 评估器 | 主要回答的问题 | 对 agent 的意义 | 对 agent 评估改进的作用 | 业界出处 |
+| --- | --- | --- | --- | --- | --- |
+| 1 | 任务/目标完成度 | Agent 最终有没有完成用户目标 | 这是 agent 是否有用的第一性指标，直接衡量用户目标是否被达成。 | 作为总分锚点，帮助区分“结果失败”和“过程瑕疵”，也可作为 A/B、回归和线上质量监控的主评价口径。 | [DeepEval `TaskCompletionMetric`](https://deepeval.com/docs/metrics-task-completion)；[Ragas `AgentGoalAccuracy`](https://docs.ragas.io/en/stable/concepts/metrics/available_metrics/agents/)；[OpenAI agent trace grading](https://developers.openai.com/api/docs/guides/agent-evals)；[tau-bench end-state evaluation](https://arxiv.org/abs/2406.12045)；[AgentBench success rate](https://arxiv.org/abs/2308.03688) |
+| 2 | 工具选择正确性 | 是否选择了该用的工具，是否漏用/误用/幻觉工具 | 工具选择决定 agent 能否把意图转成正确行动，是工具型 agent 的核心能力。 | 能定位“知道目标但选错手段”的问题，指导优化工具描述、路由规则、skill 触发条件和工具可见性。 | [Phoenix `Tool Selection`](https://arize.com/docs/phoenix/evaluation/pre-built-metrics/tool-selection)；[DeepEval `ToolCorrectnessMetric`](https://deepeval.com/docs/metrics-tool-correctness)；[Ragas `ToolCallAccuracy` / `ToolCallF1`](https://docs.ragas.io/en/stable/concepts/metrics/available_metrics/agents/)；[LangSmith agent examples](https://docs.langchain.com/langsmith/evaluation-concepts) |
+| 3 | 工具参数/调用正确性 | 工具名对了以后，参数、格式、schema 是否正确 | 参数正确性决定工具是否真正可执行，避免“选对工具但办错事”。 | 能把失败归因到 schema 理解、参数抽取、格式转换或上下文绑定问题，指导改工具 schema、参数说明和调用前校验。 | [Phoenix `Tool Invocation`](https://arize.com/docs/phoenix/evaluation/pre-built-metrics/tool-invocation)；[DeepEval `ArgumentCorrectnessMetric`](https://deepeval.com/docs/metrics-argument-correctness)；[DeepEval `ToolCorrectnessMetric` with input parameters](https://deepeval.com/docs/metrics-tool-correctness)；[Ragas `ToolCallAccuracy`](https://docs.ragas.io/en/stable/concepts/metrics/available_metrics/agents/) |
+| 4 | 工具结果处理正确性 | 是否正确读取工具返回，是否编造、误转写、泄露敏感字段 | 它衡量 agent 是否能把外部世界返回的事实转化为可靠回复或下一步动作。 | 能发现“工具调用都对但最终答错”的问题，指导优化结果解析、证据引用、错误处理和敏感字段过滤。 | [Phoenix `Tool Response Handling`](https://arize.com/docs/phoenix/evaluation/pre-built-metrics/tool-response-handling)；[Ragas agent/tool metrics](https://docs.ragas.io/en/stable/concepts/metrics/available_metrics/agents/) / [Phoenix faithfulness](https://arize.com/docs/phoenix/evaluation/pre-built-metrics)；[TRACE evidence-bank 思路](https://arxiv.org/abs/2510.02837) |
+| 5 | 步骤效率 / 路径收敛 | 是否用了过多步骤、重复调用、绕路、无效重试 | 它衡量 agent 是否能用精炼路径完成任务，影响成本、延迟和稳定性。 | 能识别重复调用、无效探索和死循环，指导压缩流程、增加停止条件、改重试策略和优化成本。 | [DeepEval `StepEfficiencyMetric`](https://deepeval.com/docs/metrics-step-efficiency)；[Phoenix `Agent Path Convergence`](https://arize.com/docs/phoenix/evaluation/legacy/archived-evals/agent-path-convergence)；[Agent GPA `Execution Efficiency`](https://arxiv.org/abs/2510.08847)；[CLEAR cost/latency](https://arxiv.org/abs/2511.14136) |
+| 6 | 计划质量 | 计划本身是否能完成任务、工具是否可用、是否短且充分 | 它衡量 agent 在行动前是否形成了靠谱路线，区分“想错了”和“执行错了”。 | 能指导改 prompt、skill 流程、任务拆解模板和多 agent 编排，提前发现表面成功但不可复用的 agent。 | [DeepEval `PlanQualityMetric`](https://deepeval.com/docs/metrics-plan-quality)；[Phoenix `Agent Planning`](https://arize.com/docs/phoenix/evaluation/legacy/archived-evals/agent-planning)；[Agent GPA `Plan Quality`](https://arxiv.org/abs/2510.08847) |
+| 7 | 计划遵循 | 实际执行是否遵守自己的计划 | 它衡量 agent 是否能稳定执行已形成的路线，而不是中途漂移。 | 能区分“计划不好”和“计划好但执行偏离”，指导增强执行控制、检查点、状态跟踪和中途重规划机制。 | [DeepEval `PlanAdherenceMetric`](https://deepeval.com/docs/metrics-plan-adherence)；[Agent GPA `Plan Adherence`](https://arxiv.org/abs/2510.08847)；[OpenAI trace grading](https://developers.openai.com/api/docs/guides/agent-evals) |
+| 8 | 指令/策略/安全合规 | 是否违反系统约束、业务规则、安全策略、拒答策略 | 它衡量 agent 是否可信、可控，尤其影响生产环境中的边界和风险。 | 能把质量评估从“答得对”扩展到“做得合规”，指导补充 guardrail、拒答策略、权限边界和业务规则。 | [OpenAI trace grading](https://developers.openai.com/api/docs/guides/agent-evals)；[LangSmith reference-free evaluators](https://docs.langchain.com/langsmith/evaluation-concepts)；[Phoenix `Refusal`](https://arize.com/docs/phoenix/evaluation/pre-built-metrics)；[Ragas `TopicAdherence`](https://docs.ragas.io/en/stable/concepts/metrics/available_metrics/agents/) |
+| 9 | 检索/上下文相关性 | Agent 检索到的材料是否和任务相关 | 它衡量 agent 获取证据的质量，是 RAG 和文档型 agent 的上游能力。 | 能定位答案错误是检索阶段缺证据、取错证据，还是生成阶段误用证据，指导改 query、召回源和 rerank。 | [Ragas `Context Precision/Recall`](https://docs.ragas.io/en/stable/concepts/metrics/available_metrics/)；[Phoenix `Document Relevance`](https://arize.com/docs/phoenix/evaluation/pre-built-metrics)；[LangSmith RAG examples](https://docs.langchain.com/langsmith/evaluation-concepts) |
+| 10 | 证据忠实度 / groundedness | 最终输出是否被工具/检索证据支持 | 它衡量 agent 是否基于观察到的证据回答，而不是凭空生成。 | 能发现幻觉、反向解读和无证据结论，指导改证据引用、claim 检查、上下文裁剪和回答约束。 | [Ragas `Faithfulness`](https://docs.ragas.io/en/stable/concepts/metrics/available_metrics/)；[Phoenix `Faithfulness`](https://arize.com/docs/phoenix/evaluation/pre-built-metrics)；Agent Insight 已有 result faithfulness；[TRACE](https://arxiv.org/abs/2510.02837) |
+| 11 | 多轮上下文/主题保持 | 多轮任务中是否保持主题、正确处理用户补充信息 | 它衡量 agent 是否能在会话中持续维护目标、约束和上下文状态。 | 能发现遗忘前文、错误吸收补充信息、主题漂移等问题，指导改 memory、thread summary 和多轮状态管理。 | [Ragas `TopicAdherence`](https://docs.ragas.io/en/stable/concepts/metrics/available_metrics/agents/)；[LangSmith thread-level evaluation](https://docs.langchain.com/langsmith/evaluation-concepts)；[DeepEval multi-turn metrics](https://deepeval.com/docs/metrics-introduction) |
+| 12 | 稳定性 / 可重复性 | 同一任务多次运行是否稳定成功，而非偶然成功 | 它衡量 agent 质量是否可复现，而不是单次样本上的偶然表现。 | 能把评估从单次分数升级为成功率、方差和 `pass^k`，指导判断版本是否真正稳定、是否可发布。 | [tau-bench `pass^k`](https://arxiv.org/abs/2406.12045)；[CLEAR reliability](https://arxiv.org/abs/2511.14136)；[LangSmith eval runs](https://docs.langchain.com/langsmith/evaluation-concepts) / [OpenAI dataset eval runs](https://developers.openai.com/api/docs/guides/agent-evals) |
+| 13 | 错误恢复 / 自适应 | 工具失败、信息不足、参数错误后是否会修正路径 | 它衡量 agent 遇到失败或新证据时是否能调整策略，而不是机械重复。 | 能发现无效重试、不会修参、不会询问用户或不会换路径的问题，指导改 retry policy、fallback 和澄清策略。 | [Phoenix `Tool Response Handling`](https://arize.com/docs/phoenix/evaluation/pre-built-metrics/tool-response-handling)；[Phoenix `Agent Reflection`](https://arize.com/docs/phoenix/evaluation/legacy/archived-evals/agent-reflection)；[TRACE adaptivity](https://arxiv.org/abs/2510.02837)；[AgentEval failure taxonomy](https://arxiv.org/abs/2604.23581) |
+| 14 | 多 Agent 交接 / 路由正确性 | 是否在该交给子 agent / handoff 时正确交接，是否错交或漏交 | 它衡量多 agent 系统的分工、上下文传递和责任边界是否可靠。 | 能定位错派子 agent、交接信息缺失、父 agent 未整合结果等问题，指导优化路由规则和子 agent 协作协议。 | [OpenAI trace grading explicitly mentions handoff](https://developers.openai.com/api/docs/guides/agent-evals)；[LangSmith trace intermediate steps](https://docs.langchain.com/langsmith/evaluation-concepts)；[AgentEval DAG dependencies](https://arxiv.org/abs/2604.23581) |
+| 15 | 失败定位 / 根因归因 | 不只给分，还能指出哪一步导致失败 | 它让评估从“打分”升级为“可行动诊断”，直接服务 agent 优化闭环。 | 能把失败映射到计划、工具、参数、证据、策略或执行步骤，指导自动生成修复建议和回归样本。 | [AgentEval DAG step-level evaluation](https://arxiv.org/abs/2604.23581)；[TRACE evidence bank](https://arxiv.org/abs/2510.02837)；[LangSmith human trace annotation](https://docs.langchain.com/langsmith/evaluation-concepts)；Agent Insight 现有 SkillIssue 模型 |
+
+## 各评估器的评估逻辑
+
+### 1. 任务/目标完成度
+
+逻辑：从用户输入、任务说明、最终输出以及必要的 trace 中抽取“用户目标”和“实际结果”，判断结果是否满足目标。可分为两种模式：
+
+- 有参考答案/目标状态：比较最终输出或最终状态与 reference，例如 Ragas `AgentGoalAccuracyWithReference`、tau-bench 比较最终数据库状态与标注 goal state。
+- 无参考答案：由 LLM judge 从对话/trace 中推断用户目标和达成结果，再做 alignment scoring，例如 DeepEval `TaskCompletionMetric`、Ragas `AgentGoalAccuracyWithoutReference`。
+
+适合落地：作为总分主指标继续保留，并支持 reference-based 与 referenceless 两种模板。对 Agent Insight 的评测数据集，优先使用“预期结果/关键观点/最终状态断言”；对线上质量监控，使用无参考 trace judge。
+
+### 2. 工具选择正确性
+
+逻辑：输入用户意图、可用工具清单、实际工具调用，判断工具是否存在、是否必要、是否最适合当前任务、是否漏掉必须工具。Phoenix 将它定义为“what of tool calling”，即只看工具选择，不看参数。DeepEval / Ragas 也把工具名匹配作为核心信号。
+
+适合落地：做成 span-level 或 trace-level 评估器。输入可来自 `tool_calls` 与平台记录的工具 schema。输出建议包含：`correct | missing_required_tool | wrong_tool | hallucinated_tool | unnecessary_tool`。
+
+### 3. 工具参数/调用正确性
+
+逻辑：在工具选择正确的基础上，检查参数是否完整、类型是否符合 schema、值是否来自用户意图或上下文、是否有幻觉字段、JSON/function call 是否可解析。DeepEval `ArgumentCorrectnessMetric` 使用 LLM judge 判断每个 tool call 的参数是否符合输入；Phoenix `Tool Invocation` 同时检查参数、格式和安全内容；Ragas `ToolCallAccuracy` 会把参数准确性与调用序列对齐相乘。
+
+适合落地：优先实现半确定性版本：schema 校验、必填参数、枚举值、JSON 解析、未知字段用代码判；语义参数正确性用 LLM judge 判。
+
+### 4. 工具结果处理正确性
+
+逻辑：给定用户问题、工具调用、工具返回和后续 agent 输出，判断 agent 是否准确使用工具结果。重点识别：编造工具结果中不存在的信息、误读/反转结果、数字/日期转换错误、忽略工具结果、泄露工具返回中的敏感信息、错误后无合理重试。
+
+适合落地：这是 Agent 产品很关键但常被漏掉的指标。它能补上“工具调用都对，但最终答错”的空洞。建议作为独立 P0 预置项，尤其适合 Agent Insight 已有完整 tool output 的 trace。
+
+### 5. 步骤效率 / 路径收敛
+
+逻辑：检查完成任务所需步骤是否过多，是否存在重复搜索、重复读取、无意义重试、绕路、先做无关任务等。DeepEval 将其定义为 Task 与 Execution Steps 的 alignment，并惩罚非必要动作；Phoenix Path Convergence 用同类任务中最短路径长度与当前路径长度的比值平均；Agent GPA 也有 Execution Efficiency。
+
+适合落地：先做两个层次：
+
+- 确定性派生指标：工具调用次数、重复调用率、失败重试次数、空输出工具比例、总 token/耗时。
+- LLM judge：判断这些步骤是否“为完成任务严格必要”。
+
+### 6. 计划质量
+
+逻辑：从 trace 中抽取 plan，判断它是否能完成任务、是否只使用可用工具、工具是否充分、是否短且高效。DeepEval `PlanQualityMetric` 是 Task 与 Plan 的 alignment；Phoenix `Agent Planning` 用 `ideal / valid / invalid` 判定计划是否有效、充分、高效；Agent GPA 单列 Plan Quality。
+
+适合落地：如果 trace 没有显式 plan，不建议默认给满分；应输出 `N/A: no explicit plan`，否则会误导用户。对 Codex/Claude/opencode 这类不稳定暴露 reasoning 的框架，计划可来自可见的 TODO、步骤说明、子任务分解，而不是隐藏推理。
+
+### 7. 计划遵循
+
+逻辑：从 trace 中抽取 task、plan、execution steps，判断实际步骤是否按计划执行。DeepEval 明确区分 Plan Quality 与 Plan Adherence：好计划没执行、坏计划被执行，分别是不同问题。
+
+适合落地：与“计划质量”成对出现。输出要能区分：`no_plan`、`followed_good_plan`、`deviated_but_recovered`、`deviated_and_failed`、`followed_bad_plan`。
+
+### 8. 指令/策略/安全合规
+
+逻辑：对照系统约束、业务规则、用户明确要求、安全策略，判断执行过程和最终输出是否违规。OpenAI agent trace grading 把“是否违反 instruction 或 safety policy”作为核心问题；LangSmith 把 safety checks、PII、content policy、format validation 归为 reference-free evaluators；Ragas `TopicAdherence` 用 precision/recall/F1 衡量对允许主题的遵守。
+
+适合落地：对 Agent Skill 平台很重要，因为很多 skill 的价值来自“什么时候该做/不该做”。建议支持两类配置：固定平台规则（敏感信息、危险命令、越权文件访问）和数据集 case 级 rubric。
+
+### 9. 检索/上下文相关性
+
+逻辑：评估 retriever 或搜索步骤找到的上下文是否与任务相关。Ragas 有 Context Precision、Context Recall、Context Entities Recall；Phoenix 有 Document Relevance；LangSmith 建议对 RAG 系统分别定义 good retrieval 与 good answer。
+
+适合落地：如果 Agent Insight 能抽取 `web_search`、`read_file`、`grep`、知识库检索等结果，可把检索质量作为过程指标。输出建议按 source/span 归因：哪个检索动作无关、哪个关键证据缺失。
+
+### 10. 证据忠实度 / groundedness
+
+逻辑：把最终回答拆成原子 claims，然后验证每个 claim 是否被工具/检索上下文支持、矛盾或无法判断。Ragas `Faithfulness`、Phoenix `Faithfulness` 都是经典 RAG 指标；TRACE 进一步强调用 evidence bank 累积前序步骤证据来评估复杂轨迹。
+
+适合落地：平台已有 result faithfulness，可把它产品化为 agent 预置评估器之一，并增加“工具证据范围”选项：只用最终交付可见工具结果，或用全 trace evidence bank。
+
+### 11. 多轮上下文/主题保持
+
+逻辑：对多轮会话，判断 agent 是否保持在允许主题、是否正确吸收用户后续澄清、是否没有遗忘之前约束。Ragas `TopicAdherence` 支持 precision/recall/F1；LangSmith 支持 thread-level evaluation 来评估整段会话的连贯性、主题维护和用户满意度。
+
+适合落地：在 Agent Insight 中可先服务于多轮 skill 优化与 agent datasets。输入为 thread/trace，而非单条 execution。
+
+### 12. 稳定性 / 可重复性
+
+逻辑：同一 case 多次运行，统计成功率与一致性。tau-bench 提出 `pass^k`：多次试验都成功才算稳定，能暴露“单次成功率尚可但行为不可靠”的问题。CLEAR 框架也把 Reliability 作为企业 agent 的核心维度。
+
+适合落地：这是评估中心/A-B 灰度能力的自然延伸。建议提供 `success_rate@N`、`pass^k`、分数方差、失败类型分布。
+
+### 13. 错误恢复 / 自适应
+
+逻辑：检查 agent 在工具报错、无结果、参数错误、用户澄清、冲突信息时是否能调整策略，而不是机械重复。Phoenix `Tool Response Handling` 覆盖错误重试和参数修正；Phoenix `Agent Reflection` 用反思模板判断解法是否解决问题并生成错误关键词/未来修正指令；TRACE 明确把 adaptivity 纳入轨迹评价。
+
+适合落地：从确定性事件开始：工具 error 后是否有修正参数、是否重复相同失败调用、是否在信息不足时询问用户。再用 LLM judge 判断“恢复动作是否合理”。
+
+### 14. 多 Agent 交接 / 路由正确性
+
+逻辑：在多 agent 或 handoff 系统中，判断是否在正确时机交给正确子 agent，交接信息是否完整，是否发生无谓交接或漏交。OpenAI agent trace grading 明确把 handoff 是否发生作为 trace grader 可回答的问题；LangSmith run trace 包含 intermediate child runs；AgentEval 用 DAG 依赖关系建模步骤与失败传播。
+
+适合落地：Agent Insight 已有 root/sub-agent execution 和 skill 归属模型，适合做差异化预置项。可检查：子 agent 类型是否匹配任务、handoff prompt 是否包含必要上下文、子 agent 结果是否被父 agent 使用。
+
+### 15. 失败定位 / 根因归因
+
+逻辑：不只判断成功失败，而是把失败定位到步骤、工具、计划、参数、证据使用、策略违反等原因。AgentEval 将 agent execution 建模成 evaluation DAG，在节点上做 typed quality metrics 和 failure taxonomy，并追踪上游依赖；TRACE 用 evidence bank 支持多维度轨迹分析。
+
+适合落地：这和 Agent Insight 的 `SkillIssue` / 动态优化点模型非常贴合。建议作为“综合诊断型 evaluator”，而不是只给一个 numeric score。
+
+## 为什么这些评估器“好”：建议的证明方式
+
+### 1. 与人工专家标注的一致性
+
+为每个 evaluator 建一个小型 gold set：每类 50-100 条 trace，覆盖成功、失败、边界、混合质量样本。让 2-3 名人工标注者按同一 rubric 给标签。评估指标：
+
+- 分类型 evaluator：precision、recall、F1、Cohen's kappa / Krippendorff alpha。
+- 连续分 evaluator：Spearman / Pearson correlation、MAE、bucket accuracy。
+- 解释质量：人工判断 reason 是否引用了正确证据、是否定位到真实失败步骤。
+
+参考：[AgentEval](https://arxiv.org/abs/2604.23581) 报告了与人类专家的 Cohen's kappa、failure detection recall、root cause accuracy；[Phoenix pre-built metrics](https://arize.com/docs/phoenix/evaluation/pre-built-metrics) 说明其预置 LLM 模板使用 golden datasets 测过并达到较高 F1。
+
+### 2. 对已知故障注入的敏感性
+
+构造可控变体，让 evaluator 必须降分：
+
+- 工具选择：把正确工具换成相似但错误工具。
+- 工具参数：改错城市、日期、文件路径、limit、filter。
+- 工具结果处理：在最终回答中加入工具结果没有的事实，或反转数字/结论。
+- 步骤效率：加入重复搜索、重复读文件、无效重试。
+- 计划：删掉关键步骤、加入不可用工具、改变执行顺序。
+- 安全/策略：加入越权读取、泄露 token、违反业务规则。
+
+好的 evaluator 应在这些 perturbation 上稳定降分，并能指出被注入的问题。
+
+参考：[TRACE](https://arxiv.org/abs/2510.02837) 通过构造多类 flawed trajectories 做元评估；[TRAJECT-Bench](https://arxiv.org/abs/2510.04550) 明确覆盖工具选择、参数正确性、依赖/顺序满足等 trajectory-level diagnostics。
+
+### 3. 能预测端到端成功率或用户偏好
+
+把 evaluator 分数与真实任务成功率、人工总体评分、用户满意度、线上负反馈做相关性分析。一个好评估器不一定单独等于最终成功，但应能显著解释失败来源。
+
+建议做：
+
+- 单指标与人工总分的相关性。
+- 多指标回归/树模型预测人工 pass/fail。
+- A/B 改动前后，指标改善是否对应人工验收改善。
+
+参考：[CLEAR 论文](https://arxiv.org/abs/2511.14136) 强调 accuracy-only 不足，提出 cost、latency、efficacy、assurance、reliability 多维指标，并用专家评价验证其更能预测 production success。
+
+### 4. 回归检测能力
+
+拿历史版本 skill / agent，在同一数据集上重跑。好的 evaluator 应能：
+
+- 检出已知坏版本。
+- 不误伤已知好版本。
+- 对 prompt/tool/schema 小改动有稳定趋势。
+- 在 CI 或灰度中能提前发现线上问题。
+
+[AgentEval](https://arxiv.org/abs/2604.23581) 的价值证明方式之一就是 CI/CD 集成后发现 pre-release regressions，并缩短根因定位时间。Agent Insight 可以用同样思路：把预置评估器接到现有灰度任务和 batch eval。
+
+### 5. 跨任务泛化与可解释性
+
+不要只在一个样例集上调 prompt。每个 evaluator 至少跨三类 agent 任务验证：
+
+- 信息检索/文档分析类。
+- 工具调用/业务流程类。
+- 编码/文件操作/多 agent 协作类。
+
+同时要求 evaluator 输出 evidence：引用具体 tool call、span、message、文件路径、工具结果片段。没有 evidence 的分数不适合进入 Agent Insight 的优化闭环。
+
+参考：[AgentBench](https://arxiv.org/abs/2308.03688) 用多环境评估 agent reasoning / decision-making；[tau-bench](https://arxiv.org/abs/2406.12045) 用真实业务域的 tool-agent-user interaction 检验工具、用户交互和规则遵循；[AgentEval](https://arxiv.org/abs/2604.23581) 在生产 workflow 与 tau-bench / SWE-bench traces 上验证跨系统迁移。
+
+### 6. 成本、延迟、确定性可接受
+
+评估器本身也需要被评估：
+
+- 代码可判的尽量代码判，例如 schema、exact match、F1、重复调用率。
+- LLM judge 只处理语义判断，并使用结构化输出。
+- 对长 trace 先 summarize / slice / top-k evidence，避免整段塞入。
+- 缓存相同 interactionsHash + evaluatorVersion 的结果。
+
+这和 [LangSmith evaluation concepts](https://docs.langchain.com/langsmith/evaluation-concepts)、[Phoenix pre-built metrics](https://arize.com/docs/phoenix/evaluation/pre-built-metrics)、[OpenAI agent evals](https://developers.openai.com/api/docs/guides/agent-evals) 的实践一致：trace 先用于调试，成熟后进入 dataset/eval runs；code evaluator 与 LLM-as-judge 各取所长。
+
+## 推荐落地路线
+
+### P0：最该先做
+
+1. 工具选择正确性。
+2. 工具参数/调用正确性。
+3. 工具结果处理正确性。
+4. 步骤效率 / 重复调用检测。
+5. 策略/安全/指令合规。
+
+理由：这些指标最贴近 agent trace，能和 Agent Insight 的观测能力形成差异化，也能补足当前“任务完成度 + 轨迹质量”过于综合的问题。
+
+### P1：增强诊断与优化闭环
+
+1. 计划质量。
+2. 计划遵循。
+3. 检索/上下文相关性。
+4. 证据忠实度增强版。
+5. 错误恢复/自适应。
+
+理由：这些指标对优化 skill 很有帮助，但依赖更好的 trace summarization 和 evidence extraction。
+
+### P2：面向规模化评测和团队协作
+
+1. 稳定性 / `pass^k`。
+2. 多 Agent 交接 / 路由正确性。
+3. 多轮上下文/主题保持。
+4. 失败定位 / 根因归因。
+5. 成本/延迟预算效率。
+
+理由：这些更适合接入 batch eval、灰度评测、质量监控和多 agent 运行树，产品价值高，但实现面更宽。
+
+## 来源索引
+
+- DeepEval Agentic metrics introduction: https://deepeval.com/docs/metrics-introduction
+- DeepEval Task Completion: https://deepeval.com/docs/metrics-task-completion
+- DeepEval Tool Correctness: https://deepeval.com/docs/metrics-tool-correctness
+- DeepEval Argument Correctness: https://deepeval.com/docs/metrics-argument-correctness
+- DeepEval Step Efficiency: https://deepeval.com/docs/metrics-step-efficiency
+- DeepEval Plan Quality: https://deepeval.com/docs/metrics-plan-quality
+- DeepEval Plan Adherence: https://deepeval.com/docs/metrics-plan-adherence
+- Ragas agent/tool metrics: https://docs.ragas.io/en/stable/concepts/metrics/available_metrics/agents/
+- Phoenix SDK eval metrics overview: https://arize.com/docs/phoenix/evaluation/pre-built-metrics
+- Phoenix Tool Selection: https://arize.com/docs/phoenix/evaluation/pre-built-metrics/tool-selection
+- Phoenix Tool Invocation: https://arize.com/docs/phoenix/evaluation/pre-built-metrics/tool-invocation
+- Phoenix Tool Response Handling: https://arize.com/docs/phoenix/evaluation/pre-built-metrics/tool-response-handling
+- Phoenix Agent Path Convergence: https://arize.com/docs/phoenix/evaluation/legacy/archived-evals/agent-path-convergence
+- Phoenix Agent Planning: https://arize.com/docs/phoenix/evaluation/legacy/archived-evals/agent-planning
+- Phoenix Agent Reflection: https://arize.com/docs/phoenix/evaluation/legacy/archived-evals/agent-reflection
+- LangSmith evaluation concepts: https://docs.langchain.com/langsmith/evaluation-concepts
+- OpenAI Evaluate agent workflows: https://developers.openai.com/api/docs/guides/agent-evals
+- OpenAI Graders: https://developers.openai.com/api/docs/guides/graders
+- tau-bench paper: https://arxiv.org/abs/2406.12045
+- AgentBench paper: https://arxiv.org/abs/2308.03688
+- TRACE paper: https://arxiv.org/abs/2510.02837
+- TRAJECT-Bench paper: https://arxiv.org/abs/2510.04550
+- Agent GPA paper: https://arxiv.org/abs/2510.08847
+- AgentEval paper: https://arxiv.org/abs/2604.23581
+- CLEAR enterprise agent evaluation paper: https://arxiv.org/abs/2511.14136