@openpond/evals 0.11.15 → 0.11.17

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (159) hide show
  1. package/CONTRACT.md +9 -0
  2. package/dist/connected-evidence/contracts.js +72 -0
  3. package/dist/connected-evidence/imports.js +71 -0
  4. package/dist/connected-evidence/index.js +5 -0
  5. package/dist/connected-evidence/normalize.js +97 -0
  6. package/dist/connected-evidence/python-correctness.js +73 -0
  7. package/dist/connected-evidence/sources/claude-code.js +71 -0
  8. package/dist/connected-evidence/sources/codex.js +52 -0
  9. package/dist/connected-evidence/sources/history.js +86 -0
  10. package/dist/connected-evidence/sources/usage.js +15 -0
  11. package/dist/connected-evidence/usage-summary.js +52 -0
  12. package/dist/experiments.js +41 -7
  13. package/dist/graders.js +9 -6
  14. package/dist/human-review/comparison.js +161 -0
  15. package/dist/human-review/contracts.js +110 -0
  16. package/dist/human-review/execution.js +61 -0
  17. package/dist/human-review/handoff.js +18 -0
  18. package/dist/human-review/index.js +9 -0
  19. package/dist/human-review/local-publication.js +18 -0
  20. package/dist/human-review/repository.js +1 -0
  21. package/dist/human-review/results.js +18 -0
  22. package/dist/human-review/service.js +268 -0
  23. package/dist/human-review/task-proposals.js +39 -0
  24. package/dist/index.js +1 -0
  25. package/dist/javascript-verifier-contract.js +2 -2
  26. package/dist/learning/authoring.js +2 -1
  27. package/dist/learning/contracts.js +353 -81
  28. package/dist/learning/index.js +1 -0
  29. package/dist/learning/reward-authoring.js +5 -2
  30. package/dist/learning/training-handoff.js +32 -0
  31. package/dist/metrics-node.js +2 -0
  32. package/dist/profile-evaluation-target.js +7 -0
  33. package/dist/profile-evaluations.js +7 -10
  34. package/dist/profile-external-evaluation.js +35 -0
  35. package/dist/profile-source-candidate.js +5 -0
  36. package/dist/rewards.js +5 -3
  37. package/dist/taskset-run-contract.js +10 -0
  38. package/dist/tasksets.js +2 -0
  39. package/dist/types/builtin-benchmarks/harness-refiner.d.ts +75 -1
  40. package/dist/types/builtin-benchmarks/harness-refiner.d.ts.map +1 -1
  41. package/dist/types/conformance.d.ts +150 -2
  42. package/dist/types/conformance.d.ts.map +1 -1
  43. package/dist/types/connected-evidence/contracts.d.ts +317 -0
  44. package/dist/types/connected-evidence/contracts.d.ts.map +1 -0
  45. package/dist/types/connected-evidence/imports.d.ts +19 -0
  46. package/dist/types/connected-evidence/imports.d.ts.map +1 -0
  47. package/dist/types/connected-evidence/index.d.ts +6 -0
  48. package/dist/types/connected-evidence/index.d.ts.map +1 -0
  49. package/dist/types/connected-evidence/normalize.d.ts +25 -0
  50. package/dist/types/connected-evidence/normalize.d.ts.map +1 -0
  51. package/dist/types/connected-evidence/python-correctness.d.ts +196 -0
  52. package/dist/types/connected-evidence/python-correctness.d.ts.map +1 -0
  53. package/dist/types/connected-evidence/sources/claude-code.d.ts +74 -0
  54. package/dist/types/connected-evidence/sources/claude-code.d.ts.map +1 -0
  55. package/dist/types/connected-evidence/sources/codex.d.ts +74 -0
  56. package/dist/types/connected-evidence/sources/codex.d.ts.map +1 -0
  57. package/dist/types/connected-evidence/sources/history.d.ts +146 -0
  58. package/dist/types/connected-evidence/sources/history.d.ts.map +1 -0
  59. package/dist/types/connected-evidence/sources/usage.d.ts +3 -0
  60. package/dist/types/connected-evidence/sources/usage.d.ts.map +1 -0
  61. package/dist/types/connected-evidence/usage-summary.d.ts +162 -0
  62. package/dist/types/connected-evidence/usage-summary.d.ts.map +1 -0
  63. package/dist/types/evidence/conformance.d.ts +28 -28
  64. package/dist/types/evidence/contracts.d.ts +27 -27
  65. package/dist/types/execution-contracts.d.ts +159 -5
  66. package/dist/types/execution-contracts.d.ts.map +1 -1
  67. package/dist/types/experiments.d.ts +498 -7
  68. package/dist/types/experiments.d.ts.map +1 -1
  69. package/dist/types/graders.d.ts +21 -1
  70. package/dist/types/graders.d.ts.map +1 -1
  71. package/dist/types/human-review/comparison.d.ts +1959 -0
  72. package/dist/types/human-review/comparison.d.ts.map +1 -0
  73. package/dist/types/human-review/contracts.d.ts +2719 -0
  74. package/dist/types/human-review/contracts.d.ts.map +1 -0
  75. package/dist/types/human-review/execution.d.ts +298 -0
  76. package/dist/types/human-review/execution.d.ts.map +1 -0
  77. package/dist/types/human-review/handoff.d.ts +124 -0
  78. package/dist/types/human-review/handoff.d.ts.map +1 -0
  79. package/dist/types/human-review/index.d.ts +10 -0
  80. package/dist/types/human-review/index.d.ts.map +1 -0
  81. package/dist/types/human-review/local-publication.d.ts +165 -0
  82. package/dist/types/human-review/local-publication.d.ts.map +1 -0
  83. package/dist/types/human-review/repository.d.ts +43 -0
  84. package/dist/types/human-review/repository.d.ts.map +1 -0
  85. package/dist/types/human-review/results.d.ts +118 -0
  86. package/dist/types/human-review/results.d.ts.map +1 -0
  87. package/dist/types/human-review/service.d.ts +878 -0
  88. package/dist/types/human-review/service.d.ts.map +1 -0
  89. package/dist/types/human-review/task-proposals.d.ts +70 -0
  90. package/dist/types/human-review/task-proposals.d.ts.map +1 -0
  91. package/dist/types/index.d.ts +1 -0
  92. package/dist/types/index.d.ts.map +1 -1
  93. package/dist/types/javascript-environment-contract.d.ts +1 -1
  94. package/dist/types/javascript-verifier-contract.d.ts +1 -1
  95. package/dist/types/javascript-verifier-contract.d.ts.map +1 -1
  96. package/dist/types/learned-preference.d.ts +2 -2
  97. package/dist/types/learning/acceptance-group.d.ts +13 -13
  98. package/dist/types/learning/acceptance-plan.d.ts +1 -1
  99. package/dist/types/learning/admission.d.ts +78 -1
  100. package/dist/types/learning/admission.d.ts.map +1 -1
  101. package/dist/types/learning/authoring-service.d.ts +2 -0
  102. package/dist/types/learning/authoring-service.d.ts.map +1 -1
  103. package/dist/types/learning/authoring.d.ts +20 -0
  104. package/dist/types/learning/authoring.d.ts.map +1 -1
  105. package/dist/types/learning/batch-service.d.ts +76 -2
  106. package/dist/types/learning/batch-service.d.ts.map +1 -1
  107. package/dist/types/learning/contracts.d.ts +759 -24
  108. package/dist/types/learning/contracts.d.ts.map +1 -1
  109. package/dist/types/learning/index.d.ts +1 -0
  110. package/dist/types/learning/index.d.ts.map +1 -1
  111. package/dist/types/learning/iteration-candidate-decision.d.ts +2 -2
  112. package/dist/types/learning/iteration-dispatch-contracts.d.ts +2 -2
  113. package/dist/types/learning/operations.d.ts +1118 -8
  114. package/dist/types/learning/operations.d.ts.map +1 -1
  115. package/dist/types/learning/repository.d.ts +402 -15
  116. package/dist/types/learning/repository.d.ts.map +1 -1
  117. package/dist/types/learning/reward-authoring.d.ts.map +1 -1
  118. package/dist/types/learning/reward-calibration.d.ts +74 -0
  119. package/dist/types/learning/reward-calibration.d.ts.map +1 -1
  120. package/dist/types/learning/reward-checks.d.ts +14 -2
  121. package/dist/types/learning/reward-checks.d.ts.map +1 -1
  122. package/dist/types/learning/training-handoff.d.ts +201 -0
  123. package/dist/types/learning/training-handoff.d.ts.map +1 -0
  124. package/dist/types/learning/transport.d.ts +963 -21
  125. package/dist/types/learning/transport.d.ts.map +1 -1
  126. package/dist/types/metrics-node.d.ts +3 -1
  127. package/dist/types/metrics-node.d.ts.map +1 -1
  128. package/dist/types/model-improvement-qualification.d.ts +3 -3
  129. package/dist/types/native-harness-experiment-attempt.d.ts +2 -2
  130. package/dist/types/profile-evaluation-comparisons.d.ts +230 -0
  131. package/dist/types/profile-evaluation-comparisons.d.ts.map +1 -1
  132. package/dist/types/profile-evaluation-target.d.ts +14 -0
  133. package/dist/types/profile-evaluation-target.d.ts.map +1 -0
  134. package/dist/types/profile-evaluations.d.ts +117 -14
  135. package/dist/types/profile-evaluations.d.ts.map +1 -1
  136. package/dist/types/profile-external-evaluation.d.ts +404 -0
  137. package/dist/types/profile-external-evaluation.d.ts.map +1 -0
  138. package/dist/types/profile-source-candidate.d.ts +15 -0
  139. package/dist/types/profile-source-candidate.d.ts.map +1 -0
  140. package/dist/types/review-conformance.d.ts +7 -7
  141. package/dist/types/rewards.d.ts +253 -0
  142. package/dist/types/rewards.d.ts.map +1 -1
  143. package/dist/types/rollouts.d.ts +3 -3
  144. package/dist/types/taskset-run-contract.d.ts +230 -0
  145. package/dist/types/taskset-run-contract.d.ts.map +1 -1
  146. package/dist/types/tasksets.d.ts +311 -3
  147. package/dist/types/tasksets.d.ts.map +1 -1
  148. package/dist/types/telemetry-analysis.d.ts +2 -2
  149. package/dist/types/telemetry-bundle.d.ts +6 -6
  150. package/dist/types/telemetry.d.ts +3 -3
  151. package/package.json +9 -1
  152. package/schemas/learning/v1/command-request.schema.json +1745 -409
  153. package/schemas/learning/v1/decision.schema.json +11 -0
  154. package/schemas/learning/v1/draft.schema.json +11 -0
  155. package/schemas/learning/v1/grade.schema.json +11 -0
  156. package/schemas/learning/v1/package.schema.json +532 -12
  157. package/schemas/learning/v1/policy.schema.json +836 -28
  158. package/schemas/learning/v1/reward.schema.json +520 -0
  159. package/schemas/learning/v1/reward_check.schema.json +9 -0
@@ -1 +1 @@
1
- {"version":3,"file":"transport.d.ts","sourceRoot":"","sources":["../../../../../src/learning/transport.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAQxB,mFAAmF;AACnF,wBAAgB,yBAAyB,CAAC,GAAG,EAAE,OAAO,GAAG,IAAI,CAG5D;AAED,0FAA0F;AAC1F,eAAO,MAAM,4BAA4B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAAgF,CAAC;AAC1H,eAAO,MAAM,yBAAyB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;8BAMpC,CAAC;AACH,eAAO,MAAM,kCAAkC;;;;;;;;;;;;;;;;;;;;;;;;kBAOpC,CAAC;AACZ,MAAM,MAAM,4BAA4B,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,kCAAkC,CAAC,CAAC;AAC9F,eAAO,MAAM,6BAA6B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAG/B,CAAC"}
1
+ {"version":3,"file":"transport.d.ts","sourceRoot":"","sources":["../../../../../src/learning/transport.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAQxB,mFAAmF;AACnF,wBAAgB,yBAAyB,CAAC,GAAG,EAAE,OAAO,GAAG,IAAI,CAG5D;AAED,0FAA0F;AAC1F,eAAO,MAAM,4BAA4B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAAgF,CAAC;AAC1H,eAAO,MAAM,yBAAyB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;8BAMpC,CAAC;AACH,eAAO,MAAM,kCAAkC;;;;;;;;;;;;;;;;;;;;;;;;kBAOpC,CAAC;AACZ,MAAM,MAAM,4BAA4B,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,kCAAkC,CAAC,CAAC;AAC9F,eAAO,MAAM,6BAA6B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAG/B,CAAC"}
@@ -1,4 +1,4 @@
1
- import { type TasksetEvaluationInput, type TasksetRunEvaluationInput, type TasksetMetricExecutionInput } from "./metrics.js";
1
+ import { type TasksetEvaluationInput, type TasksetRunEvaluationInput, type TasksetMetricExecutionInput, type TasksetMetricExecutor } from "./metrics.js";
2
2
  import type { TasksetMetricResult } from "./metric-policy.js";
3
3
  import type { EvaluationResult } from "./runs.js";
4
4
  /** Verifies original source before stripping TS, then waits for worker termination
@@ -10,4 +10,6 @@ export declare function aggregateTasksetRunInWorker(input: TasksetRunEvaluationI
10
10
  * execution. Type stripping happens in that process within its deadline. */
11
11
  export declare function executeTasksetMetricInProcess(input: TasksetMetricExecutionInput): Promise<TasksetMetricResult>;
12
12
  export declare function aggregateTasksetRunInProcess(input: TasksetRunEvaluationInput): Promise<TasksetMetricResult>;
13
+ /** Trusted host port for a frozen private metric; callers retain source and receipt ownership. */
14
+ export declare const executeTasksetMetricWorker: TasksetMetricExecutor;
13
15
  //# sourceMappingURL=metrics-node.d.ts.map
@@ -1 +1 @@
1
- {"version":3,"file":"metrics-node.d.ts","sourceRoot":"","sources":["../../../../src/metrics-node.ts"],"names":[],"mappings":"AAEA,OAAO,EAAyF,KAAK,sBAAsB,EAAE,KAAK,yBAAyB,EAAE,KAAK,2BAA2B,EAA8B,MAAM,cAAc,CAAC;AAChP,OAAO,KAAK,EAAE,mBAAmB,EAAE,MAAM,oBAAoB,CAAC;AAC9D,OAAO,KAAK,EAAE,gBAAgB,EAAE,MAAM,WAAW,CAAC;AAElD;wFACwF;AACxF,wBAAgB,4BAA4B,CAAC,KAAK,EAAE,2BAA2B,GAAG,OAAO,CAAC,mBAAmB,CAAC,CAE7G;AAED,wBAAgB,kCAAkC,CAAC,KAAK,EAAE,sBAAsB,GAAG,OAAO,CAAC,gBAAgB,CAAC,CAE3G;AAED,wBAAgB,2BAA2B,CAAC,KAAK,EAAE,yBAAyB,GAAG,OAAO,CAAC,mBAAmB,CAAC,CAE1G;AAED;4EAC4E;AAC5E,wBAAgB,6BAA6B,CAAC,KAAK,EAAE,2BAA2B,GAAG,OAAO,CAAC,mBAAmB,CAAC,CAE9G;AAED,wBAAgB,4BAA4B,CAAC,KAAK,EAAE,yBAAyB,GAAG,OAAO,CAAC,mBAAmB,CAAC,CAE3G"}
1
+ {"version":3,"file":"metrics-node.d.ts","sourceRoot":"","sources":["../../../../src/metrics-node.ts"],"names":[],"mappings":"AAEA,OAAO,EAAyF,KAAK,sBAAsB,EAAE,KAAK,yBAAyB,EAAE,KAAK,2BAA2B,EAAE,KAAK,qBAAqB,EAAE,MAAM,cAAc,CAAC;AAChP,OAAO,KAAK,EAAE,mBAAmB,EAAE,MAAM,oBAAoB,CAAC;AAC9D,OAAO,KAAK,EAAE,gBAAgB,EAAE,MAAM,WAAW,CAAC;AAElD;wFACwF;AACxF,wBAAgB,4BAA4B,CAAC,KAAK,EAAE,2BAA2B,GAAG,OAAO,CAAC,mBAAmB,CAAC,CAE7G;AAED,wBAAgB,kCAAkC,CAAC,KAAK,EAAE,sBAAsB,GAAG,OAAO,CAAC,gBAAgB,CAAC,CAE3G;AAED,wBAAgB,2BAA2B,CAAC,KAAK,EAAE,yBAAyB,GAAG,OAAO,CAAC,mBAAmB,CAAC,CAE1G;AAED;4EAC4E;AAC5E,wBAAgB,6BAA6B,CAAC,KAAK,EAAE,2BAA2B,GAAG,OAAO,CAAC,mBAAmB,CAAC,CAE9G;AAED,wBAAgB,4BAA4B,CAAC,KAAK,EAAE,yBAAyB,GAAG,OAAO,CAAC,mBAAmB,CAAC,CAE3G;AAgBD,kGAAkG;AAClG,eAAO,MAAM,0BAA0B,EAAE,qBAAqC,CAAC"}
@@ -1,8 +1,8 @@
1
1
  import { z } from "zod";
2
2
  export declare const ModelImprovementDecisionSchema: z.ZodEnum<{
3
+ preference: "preference";
3
4
  no_training: "no_training";
4
5
  sft: "sft";
5
- preference: "preference";
6
6
  rl: "rl";
7
7
  }>;
8
8
  export declare const ModelImprovementSignalSchema: z.ZodObject<{
@@ -111,9 +111,9 @@ export declare const ModelImprovementQualificationReceiptContentSchema: z.ZodObj
111
111
  }, z.core.$strict>>;
112
112
  }, z.core.$strict>;
113
113
  decision: z.ZodEnum<{
114
+ preference: "preference";
114
115
  no_training: "no_training";
115
116
  sft: "sft";
116
- preference: "preference";
117
117
  rl: "rl";
118
118
  }>;
119
119
  reasons: z.ZodArray<z.ZodString>;
@@ -206,9 +206,9 @@ export declare const ModelImprovementQualificationReceiptSchema: z.ZodObject<{
206
206
  }, z.core.$strict>>;
207
207
  }, z.core.$strict>;
208
208
  decision: z.ZodEnum<{
209
+ preference: "preference";
209
210
  no_training: "no_training";
210
211
  sft: "sft";
211
- preference: "preference";
212
212
  rl: "rl";
213
213
  }>;
214
214
  reasons: z.ZodArray<z.ZodString>;
@@ -33,9 +33,9 @@ export declare const NativeHarnessExperimentAttemptContentSchema: z.ZodObject<{
33
33
  schemaVersion: z.ZodLiteral<"openpond.nativeHarnessExperimentAttempt.v1">;
34
34
  taskId: z.ZodString;
35
35
  status: z.ZodEnum<{
36
+ cancelled: "cancelled";
36
37
  completed: "completed";
37
38
  policy_failure: "policy_failure";
38
- cancelled: "cancelled";
39
39
  timed_out: "timed_out";
40
40
  }>;
41
41
  output: z.ZodNullable<z.ZodString>;
@@ -72,9 +72,9 @@ export declare const NativeHarnessExperimentAttemptSchema: z.ZodObject<{
72
72
  schemaVersion: z.ZodLiteral<"openpond.nativeHarnessExperimentAttempt.v1">;
73
73
  taskId: z.ZodString;
74
74
  status: z.ZodEnum<{
75
+ cancelled: "cancelled";
75
76
  completed: "completed";
76
77
  policy_failure: "policy_failure";
77
- cancelled: "cancelled";
78
78
  timed_out: "timed_out";
79
79
  }>;
80
80
  output: z.ZodNullable<z.ZodString>;
@@ -41,6 +41,121 @@ export declare const ProfileEvaluationComparisonContentSchema: z.ZodObject<{
41
41
  actionId: z.ZodString;
42
42
  }, z.core.$strict>], "kind">;
43
43
  environmentHash: z.ZodString;
44
+ externalDatasetBinding: z.ZodOptional<z.ZodObject<{
45
+ schemaVersion: z.ZodLiteral<"openpond.profileExternalDatasetBinding.v1">;
46
+ dataset: z.ZodObject<{
47
+ id: z.ZodString;
48
+ contentHash: z.ZodString;
49
+ revision: z.ZodNumber;
50
+ }, z.core.$strict>;
51
+ packageHash: z.ZodString;
52
+ profileId: z.ZodString;
53
+ target: z.ZodDiscriminatedUnion<[z.ZodObject<{
54
+ kind: z.ZodLiteral<"profile">;
55
+ }, z.core.$strict>, z.ZodObject<{
56
+ kind: z.ZodLiteral<"workflow">;
57
+ workflowId: z.ZodString;
58
+ }, z.core.$strict>, z.ZodObject<{
59
+ kind: z.ZodLiteral<"skill">;
60
+ skillPath: z.ZodString;
61
+ }, z.core.$strict>, z.ZodObject<{
62
+ kind: z.ZodLiteral<"agent_action">;
63
+ actionId: z.ZodString;
64
+ }, z.core.$strict>], "kind">;
65
+ declaredProfileCatalogHash: z.ZodNullable<z.ZodString>;
66
+ protectedProfileClosureHash: z.ZodString;
67
+ recordedOrigin: z.ZodOptional<z.ZodObject<{
68
+ execution: z.ZodObject<{
69
+ id: z.ZodString;
70
+ contentHash: z.ZodString;
71
+ }, z.core.$strict>;
72
+ originalEvidence: z.ZodObject<{
73
+ id: z.ZodString;
74
+ contentHash: z.ZodString;
75
+ }, z.core.$strict>;
76
+ members: z.ZodArray<z.ZodObject<{
77
+ caseId: z.ZodString;
78
+ seed: z.ZodString;
79
+ fixtureId: z.ZodString;
80
+ sourceId: z.ZodString;
81
+ snapshotHash: z.ZodString;
82
+ boundaryRevisionHash: z.ZodString;
83
+ }, z.core.$strict>>;
84
+ }, z.core.$strict>>;
85
+ gradingSource: z.ZodOptional<z.ZodObject<{
86
+ pass: z.ZodObject<{
87
+ id: z.ZodString;
88
+ contentHash: z.ZodString;
89
+ }, z.core.$strict>;
90
+ evidence: z.ZodObject<{
91
+ id: z.ZodString;
92
+ contentHash: z.ZodString;
93
+ }, z.core.$strict>;
94
+ }, z.core.$strict>>;
95
+ split: z.ZodEnum<{
96
+ train: "train";
97
+ validation: "validation";
98
+ test: "test";
99
+ frozen_eval: "frozen_eval";
100
+ }>;
101
+ population: z.ZodArray<z.ZodObject<{
102
+ taskId: z.ZodString;
103
+ seed: z.ZodString;
104
+ fixtureId: z.ZodNullable<z.ZodString>;
105
+ }, z.core.$strict>>;
106
+ evaluators: z.ZodArray<z.ZodObject<{
107
+ release: z.ZodObject<{
108
+ id: z.ZodString;
109
+ contentHash: z.ZodString;
110
+ revision: z.ZodUnion<readonly [z.ZodNumber, z.ZodString]>;
111
+ }, z.core.$strict>;
112
+ feedbackKey: z.ZodString;
113
+ configurationHash: z.ZodString;
114
+ output: z.ZodEnum<{
115
+ boolean: "boolean";
116
+ score: "score";
117
+ category: "category";
118
+ }>;
119
+ categories: z.ZodArray<z.ZodString>;
120
+ }, z.core.$strict>>;
121
+ fieldMappingsHash: z.ZodString;
122
+ fieldMappings: z.ZodArray<z.ZodObject<{
123
+ graderId: z.ZodString;
124
+ fields: z.ZodArray<z.ZodObject<{
125
+ destination: z.ZodEnum<{
126
+ output: "output";
127
+ input: "input";
128
+ expectedOutput: "expectedOutput";
129
+ evaluatorContext: "evaluatorContext";
130
+ }>;
131
+ path: z.ZodArray<z.ZodString>;
132
+ source: z.ZodEnum<{
133
+ output: "output";
134
+ input: "input";
135
+ expectedOutput: "expectedOutput";
136
+ evaluatorContext: "evaluatorContext";
137
+ }>;
138
+ sourcePath: z.ZodArray<z.ZodString>;
139
+ }, z.core.$strict>>;
140
+ }, z.core.$strict>>;
141
+ environmentHash: z.ZodString;
142
+ privateDatasetClosureHash: z.ZodString;
143
+ criterion: z.ZodObject<{
144
+ minimumPassRate: z.ZodNumber;
145
+ requireComplete: z.ZodBoolean;
146
+ }, z.core.$strict>;
147
+ contentHash: z.ZodString;
148
+ }, z.core.$strict>>;
149
+ sourceCandidate: z.ZodOptional<z.ZodObject<{
150
+ candidateId: z.ZodString;
151
+ frozenRevision: z.ZodNumber;
152
+ frozenHash: z.ZodString;
153
+ harnessRelease: z.ZodObject<{
154
+ id: z.ZodString;
155
+ contentHash: z.ZodString;
156
+ }, z.core.$strict>;
157
+ protectedClosureHash: z.ZodString;
158
+ }, z.core.$strict>>;
44
159
  }, z.core.$strict>;
45
160
  policy: z.ZodDiscriminatedUnion<[z.ZodObject<{
46
161
  kind: z.ZodLiteral<"model">;
@@ -100,6 +215,121 @@ export declare const ProfileEvaluationComparisonSchema: z.ZodObject<{
100
215
  actionId: z.ZodString;
101
216
  }, z.core.$strict>], "kind">;
102
217
  environmentHash: z.ZodString;
218
+ externalDatasetBinding: z.ZodOptional<z.ZodObject<{
219
+ schemaVersion: z.ZodLiteral<"openpond.profileExternalDatasetBinding.v1">;
220
+ dataset: z.ZodObject<{
221
+ id: z.ZodString;
222
+ contentHash: z.ZodString;
223
+ revision: z.ZodNumber;
224
+ }, z.core.$strict>;
225
+ packageHash: z.ZodString;
226
+ profileId: z.ZodString;
227
+ target: z.ZodDiscriminatedUnion<[z.ZodObject<{
228
+ kind: z.ZodLiteral<"profile">;
229
+ }, z.core.$strict>, z.ZodObject<{
230
+ kind: z.ZodLiteral<"workflow">;
231
+ workflowId: z.ZodString;
232
+ }, z.core.$strict>, z.ZodObject<{
233
+ kind: z.ZodLiteral<"skill">;
234
+ skillPath: z.ZodString;
235
+ }, z.core.$strict>, z.ZodObject<{
236
+ kind: z.ZodLiteral<"agent_action">;
237
+ actionId: z.ZodString;
238
+ }, z.core.$strict>], "kind">;
239
+ declaredProfileCatalogHash: z.ZodNullable<z.ZodString>;
240
+ protectedProfileClosureHash: z.ZodString;
241
+ recordedOrigin: z.ZodOptional<z.ZodObject<{
242
+ execution: z.ZodObject<{
243
+ id: z.ZodString;
244
+ contentHash: z.ZodString;
245
+ }, z.core.$strict>;
246
+ originalEvidence: z.ZodObject<{
247
+ id: z.ZodString;
248
+ contentHash: z.ZodString;
249
+ }, z.core.$strict>;
250
+ members: z.ZodArray<z.ZodObject<{
251
+ caseId: z.ZodString;
252
+ seed: z.ZodString;
253
+ fixtureId: z.ZodString;
254
+ sourceId: z.ZodString;
255
+ snapshotHash: z.ZodString;
256
+ boundaryRevisionHash: z.ZodString;
257
+ }, z.core.$strict>>;
258
+ }, z.core.$strict>>;
259
+ gradingSource: z.ZodOptional<z.ZodObject<{
260
+ pass: z.ZodObject<{
261
+ id: z.ZodString;
262
+ contentHash: z.ZodString;
263
+ }, z.core.$strict>;
264
+ evidence: z.ZodObject<{
265
+ id: z.ZodString;
266
+ contentHash: z.ZodString;
267
+ }, z.core.$strict>;
268
+ }, z.core.$strict>>;
269
+ split: z.ZodEnum<{
270
+ train: "train";
271
+ validation: "validation";
272
+ test: "test";
273
+ frozen_eval: "frozen_eval";
274
+ }>;
275
+ population: z.ZodArray<z.ZodObject<{
276
+ taskId: z.ZodString;
277
+ seed: z.ZodString;
278
+ fixtureId: z.ZodNullable<z.ZodString>;
279
+ }, z.core.$strict>>;
280
+ evaluators: z.ZodArray<z.ZodObject<{
281
+ release: z.ZodObject<{
282
+ id: z.ZodString;
283
+ contentHash: z.ZodString;
284
+ revision: z.ZodUnion<readonly [z.ZodNumber, z.ZodString]>;
285
+ }, z.core.$strict>;
286
+ feedbackKey: z.ZodString;
287
+ configurationHash: z.ZodString;
288
+ output: z.ZodEnum<{
289
+ boolean: "boolean";
290
+ score: "score";
291
+ category: "category";
292
+ }>;
293
+ categories: z.ZodArray<z.ZodString>;
294
+ }, z.core.$strict>>;
295
+ fieldMappingsHash: z.ZodString;
296
+ fieldMappings: z.ZodArray<z.ZodObject<{
297
+ graderId: z.ZodString;
298
+ fields: z.ZodArray<z.ZodObject<{
299
+ destination: z.ZodEnum<{
300
+ output: "output";
301
+ input: "input";
302
+ expectedOutput: "expectedOutput";
303
+ evaluatorContext: "evaluatorContext";
304
+ }>;
305
+ path: z.ZodArray<z.ZodString>;
306
+ source: z.ZodEnum<{
307
+ output: "output";
308
+ input: "input";
309
+ expectedOutput: "expectedOutput";
310
+ evaluatorContext: "evaluatorContext";
311
+ }>;
312
+ sourcePath: z.ZodArray<z.ZodString>;
313
+ }, z.core.$strict>>;
314
+ }, z.core.$strict>>;
315
+ environmentHash: z.ZodString;
316
+ privateDatasetClosureHash: z.ZodString;
317
+ criterion: z.ZodObject<{
318
+ minimumPassRate: z.ZodNumber;
319
+ requireComplete: z.ZodBoolean;
320
+ }, z.core.$strict>;
321
+ contentHash: z.ZodString;
322
+ }, z.core.$strict>>;
323
+ sourceCandidate: z.ZodOptional<z.ZodObject<{
324
+ candidateId: z.ZodString;
325
+ frozenRevision: z.ZodNumber;
326
+ frozenHash: z.ZodString;
327
+ harnessRelease: z.ZodObject<{
328
+ id: z.ZodString;
329
+ contentHash: z.ZodString;
330
+ }, z.core.$strict>;
331
+ protectedClosureHash: z.ZodString;
332
+ }, z.core.$strict>>;
103
333
  }, z.core.$strict>;
104
334
  policy: z.ZodDiscriminatedUnion<[z.ZodObject<{
105
335
  kind: z.ZodLiteral<"model">;
@@ -1 +1 @@
1
- {"version":3,"file":"profile-evaluation-comparisons.d.ts","sourceRoot":"","sources":["../../../../src/profile-evaluation-comparisons.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAMxB,OAAO,EAA6B,KAAK,mBAAmB,EAAE,MAAM,oBAAoB,CAAC;AAEzF,OAAO,EAA4B,KAAK,kBAAkB,EAAE,MAAM,2BAA2B,CAAC;AAE9F,eAAO,MAAM,wCAAwC;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAgB1C,CAAC;AACZ,eAAO,MAAM,iCAAiC;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAEnC,CAAC;AACZ,MAAM,MAAM,2BAA2B,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,iCAAiC,CAAC,CAAC;AAE5F;;+DAE+D;AAC/D,wBAAgB,iCAAiC,CAAC,KAAK,EAAE;IACvD,EAAE,EAAE,MAAM,CAAC;IACX,OAAO,EAAE,KAAK,CAAC;QAAE,QAAQ,EAAE,kBAAkB,CAAC;QAAC,MAAM,EAAE,mBAAmB,CAAA;KAAE,CAAC,CAAC;IAC9E,SAAS,EAAE,MAAM,CAAC;CACnB,GAAG,2BAA2B,CAuD9B"}
1
+ {"version":3,"file":"profile-evaluation-comparisons.d.ts","sourceRoot":"","sources":["../../../../src/profile-evaluation-comparisons.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAMxB,OAAO,EAA6B,KAAK,mBAAmB,EAAE,MAAM,oBAAoB,CAAC;AAEzF,OAAO,EAA4B,KAAK,kBAAkB,EAAE,MAAM,2BAA2B,CAAC;AAE9F,eAAO,MAAM,wCAAwC;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAgB1C,CAAC;AACZ,eAAO,MAAM,iCAAiC;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAEnC,CAAC;AACZ,MAAM,MAAM,2BAA2B,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,iCAAiC,CAAC,CAAC;AAE5F;;+DAE+D;AAC/D,wBAAgB,iCAAiC,CAAC,KAAK,EAAE;IACvD,EAAE,EAAE,MAAM,CAAC;IACX,OAAO,EAAE,KAAK,CAAC;QAAE,QAAQ,EAAE,kBAAkB,CAAC;QAAC,MAAM,EAAE,mBAAmB,CAAA;KAAE,CAAC,CAAC;IAC9E,SAAS,EAAE,MAAM,CAAC;CACnB,GAAG,2BAA2B,CAuD9B"}
@@ -0,0 +1,14 @@
1
+ import { z } from "zod";
2
+ export declare const ProfileEvaluationTargetSchema: z.ZodDiscriminatedUnion<[z.ZodObject<{
3
+ kind: z.ZodLiteral<"profile">;
4
+ }, z.core.$strict>, z.ZodObject<{
5
+ kind: z.ZodLiteral<"workflow">;
6
+ workflowId: z.ZodString;
7
+ }, z.core.$strict>, z.ZodObject<{
8
+ kind: z.ZodLiteral<"skill">;
9
+ skillPath: z.ZodString;
10
+ }, z.core.$strict>, z.ZodObject<{
11
+ kind: z.ZodLiteral<"agent_action">;
12
+ actionId: z.ZodString;
13
+ }, z.core.$strict>], "kind">;
14
+ //# sourceMappingURL=profile-evaluation-target.d.ts.map
@@ -0,0 +1 @@
1
+ {"version":3,"file":"profile-evaluation-target.d.ts","sourceRoot":"","sources":["../../../../src/profile-evaluation-target.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAGxB,eAAO,MAAM,6BAA6B;;;;;;;;;;;4BAEgH,CAAC"}
@@ -1,19 +1,7 @@
1
1
  import { z } from "zod";
2
2
  import { type AgentSnapshot, type HarnessRelease } from "@openpond/harness";
3
- /** Portable selection only. Taskset releases own task data and graders; run
4
- * manifests and evidence stay in the installation's evaluation store. */
5
- export declare const ProfileEvaluationTargetSchema: z.ZodDiscriminatedUnion<[z.ZodObject<{
6
- kind: z.ZodLiteral<"profile">;
7
- }, z.core.$strict>, z.ZodObject<{
8
- kind: z.ZodLiteral<"workflow">;
9
- workflowId: z.ZodString;
10
- }, z.core.$strict>, z.ZodObject<{
11
- kind: z.ZodLiteral<"skill">;
12
- skillPath: z.ZodString;
13
- }, z.core.$strict>, z.ZodObject<{
14
- kind: z.ZodLiteral<"agent_action">;
15
- actionId: z.ZodString;
16
- }, z.core.$strict>], "kind">;
3
+ export { ProfileEvaluationTargetSchema } from "./profile-evaluation-target.js";
4
+ export * from "./profile-external-evaluation.js";
17
5
  export declare const ProfileEvaluationDefinitionSchema: z.ZodObject<{
18
6
  id: z.ZodString;
19
7
  label: z.ZodString;
@@ -128,6 +116,121 @@ export declare const ProfileEvaluationRunSourceSchema: z.ZodObject<{
128
116
  actionId: z.ZodString;
129
117
  }, z.core.$strict>], "kind">;
130
118
  environmentHash: z.ZodString;
119
+ externalDatasetBinding: z.ZodOptional<z.ZodObject<{
120
+ schemaVersion: z.ZodLiteral<"openpond.profileExternalDatasetBinding.v1">;
121
+ dataset: z.ZodObject<{
122
+ id: z.ZodString;
123
+ contentHash: z.ZodString;
124
+ revision: z.ZodNumber;
125
+ }, z.core.$strict>;
126
+ packageHash: z.ZodString;
127
+ profileId: z.ZodString;
128
+ target: z.ZodDiscriminatedUnion<[z.ZodObject<{
129
+ kind: z.ZodLiteral<"profile">;
130
+ }, z.core.$strict>, z.ZodObject<{
131
+ kind: z.ZodLiteral<"workflow">;
132
+ workflowId: z.ZodString;
133
+ }, z.core.$strict>, z.ZodObject<{
134
+ kind: z.ZodLiteral<"skill">;
135
+ skillPath: z.ZodString;
136
+ }, z.core.$strict>, z.ZodObject<{
137
+ kind: z.ZodLiteral<"agent_action">;
138
+ actionId: z.ZodString;
139
+ }, z.core.$strict>], "kind">;
140
+ declaredProfileCatalogHash: z.ZodNullable<z.ZodString>;
141
+ protectedProfileClosureHash: z.ZodString;
142
+ recordedOrigin: z.ZodOptional<z.ZodObject<{
143
+ execution: z.ZodObject<{
144
+ id: z.ZodString;
145
+ contentHash: z.ZodString;
146
+ }, z.core.$strict>;
147
+ originalEvidence: z.ZodObject<{
148
+ id: z.ZodString;
149
+ contentHash: z.ZodString;
150
+ }, z.core.$strict>;
151
+ members: z.ZodArray<z.ZodObject<{
152
+ caseId: z.ZodString;
153
+ seed: z.ZodString;
154
+ fixtureId: z.ZodString;
155
+ sourceId: z.ZodString;
156
+ snapshotHash: z.ZodString;
157
+ boundaryRevisionHash: z.ZodString;
158
+ }, z.core.$strict>>;
159
+ }, z.core.$strict>>;
160
+ gradingSource: z.ZodOptional<z.ZodObject<{
161
+ pass: z.ZodObject<{
162
+ id: z.ZodString;
163
+ contentHash: z.ZodString;
164
+ }, z.core.$strict>;
165
+ evidence: z.ZodObject<{
166
+ id: z.ZodString;
167
+ contentHash: z.ZodString;
168
+ }, z.core.$strict>;
169
+ }, z.core.$strict>>;
170
+ split: z.ZodEnum<{
171
+ train: "train";
172
+ validation: "validation";
173
+ test: "test";
174
+ frozen_eval: "frozen_eval";
175
+ }>;
176
+ population: z.ZodArray<z.ZodObject<{
177
+ taskId: z.ZodString;
178
+ seed: z.ZodString;
179
+ fixtureId: z.ZodNullable<z.ZodString>;
180
+ }, z.core.$strict>>;
181
+ evaluators: z.ZodArray<z.ZodObject<{
182
+ release: z.ZodObject<{
183
+ id: z.ZodString;
184
+ contentHash: z.ZodString;
185
+ revision: z.ZodUnion<readonly [z.ZodNumber, z.ZodString]>;
186
+ }, z.core.$strict>;
187
+ feedbackKey: z.ZodString;
188
+ configurationHash: z.ZodString;
189
+ output: z.ZodEnum<{
190
+ boolean: "boolean";
191
+ score: "score";
192
+ category: "category";
193
+ }>;
194
+ categories: z.ZodArray<z.ZodString>;
195
+ }, z.core.$strict>>;
196
+ fieldMappingsHash: z.ZodString;
197
+ fieldMappings: z.ZodArray<z.ZodObject<{
198
+ graderId: z.ZodString;
199
+ fields: z.ZodArray<z.ZodObject<{
200
+ destination: z.ZodEnum<{
201
+ output: "output";
202
+ input: "input";
203
+ expectedOutput: "expectedOutput";
204
+ evaluatorContext: "evaluatorContext";
205
+ }>;
206
+ path: z.ZodArray<z.ZodString>;
207
+ source: z.ZodEnum<{
208
+ output: "output";
209
+ input: "input";
210
+ expectedOutput: "expectedOutput";
211
+ evaluatorContext: "evaluatorContext";
212
+ }>;
213
+ sourcePath: z.ZodArray<z.ZodString>;
214
+ }, z.core.$strict>>;
215
+ }, z.core.$strict>>;
216
+ environmentHash: z.ZodString;
217
+ privateDatasetClosureHash: z.ZodString;
218
+ criterion: z.ZodObject<{
219
+ minimumPassRate: z.ZodNumber;
220
+ requireComplete: z.ZodBoolean;
221
+ }, z.core.$strict>;
222
+ contentHash: z.ZodString;
223
+ }, z.core.$strict>>;
224
+ sourceCandidate: z.ZodOptional<z.ZodObject<{
225
+ candidateId: z.ZodString;
226
+ frozenRevision: z.ZodNumber;
227
+ frozenHash: z.ZodString;
228
+ harnessRelease: z.ZodObject<{
229
+ id: z.ZodString;
230
+ contentHash: z.ZodString;
231
+ }, z.core.$strict>;
232
+ protectedClosureHash: z.ZodString;
233
+ }, z.core.$strict>>;
131
234
  }, z.core.$strict>;
132
235
  export type ProfileEvaluationRunSource = z.infer<typeof ProfileEvaluationRunSourceSchema>;
133
236
  /** Validate component and suite references against the same Profile release. */
@@ -1 +1 @@
1
- {"version":3,"file":"profile-evaluations.d.ts","sourceRoot":"","sources":["../../../../src/profile-evaluations.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAExB,OAAO,EAGyB,KAAK,aAAa,EAAE,KAAK,cAAc,EACtE,MAAM,mBAAmB,CAAC;AAS3B;yEACyE;AACzE,eAAO,MAAM,6BAA6B;;;;;;;;;;;4BAKxC,CAAC;AAEH,eAAO,MAAM,iCAAiC;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAoB5C,CAAC;AAEH,eAAO,MAAM,4BAA4B;;;;;;;;kBAK9B,CAAC;AAEZ,eAAO,MAAM,8BAA8B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAIhC,CAAC;AAEZ,MAAM,MAAM,wBAAwB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,8BAA8B,CAAC,CAAC;AACtF,MAAM,MAAM,2BAA2B,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,iCAAiC,CAAC,CAAC;AAE5F;gFACgF;AAChF,eAAO,MAAM,gCAAgC;;;;;;;;;;;;;;;;;;;;;;;kBASlC,CAAC;AACZ,MAAM,MAAM,0BAA0B,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,gCAAgC,CAAC,CAAC;AAE1F,gFAAgF;AAChF,wBAAgB,gCAAgC,CAAC,KAAK,EAAE;IACtD,OAAO,EAAE,OAAO,CAAC;IACjB,WAAW,EAAE,WAAW,CAAC,MAAM,CAAC,CAAC;IACjC,UAAU,EAAE,WAAW,CAAC,MAAM,CAAC,CAAC;IAChC,SAAS,EAAE,WAAW,CAAC,MAAM,CAAC,CAAC;CAChC,GAAG;IAAE,OAAO,EAAE,wBAAwB,CAAC;IAAC,WAAW,EAAE,MAAM,CAAA;CAAE,CA+B7D;AAED,wBAAgB,iCAAiC,CAAC,KAAK,EAAE;IACvD,OAAO,EAAE,wBAAwB,CAAC;IAClC,YAAY,EAAE,MAAM,CAAC;IACrB,SAAS,EAAE,MAAM,CAAC;IAClB,cAAc,EAAE,MAAM,CAAC;IACvB,cAAc,EAAE;QAAE,EAAE,EAAE,MAAM,CAAC;QAAC,WAAW,EAAE,MAAM,CAAA;KAAE,CAAC;IACpD,eAAe,EAAE,MAAM,CAAC;CACzB,GAAG,0BAA0B,CAc7B;AAED;;mCAEmC;AACnC,wBAAgB,oCAAoC,CAAC,KAAK,EAAE,OAAO,GAAG;IACpE,OAAO,EAAE,wBAAwB,CAAC;IAClC,WAAW,EAAE,MAAM,CAAC;IACpB,cAAc,EAAE;QAAE,EAAE,EAAE,MAAM,CAAC;QAAC,WAAW,EAAE,MAAM,CAAA;KAAE,CAAC;CACrD,CAaA;AAED,iFAAiF;AACjF,wBAAgB,0CAA0C,CAAC,KAAK,EAAE;IAChE,aAAa,EAAE,aAAa,CAAC;IAC7B,cAAc,EAAE,cAAc,CAAC;IAC/B,YAAY,CAAC,EAAE,UAAU,CAAC;IAC1B,aAAa,CAAC,EAAE,UAAU,CAAC;IAC3B,WAAW,CAAC,EAAE,UAAU,CAAC;CAC1B,GAAG;IAAE,OAAO,EAAE,wBAAwB,CAAC;IAAC,WAAW,EAAE,MAAM,CAAA;CAAE,CAqB7D"}
1
+ {"version":3,"file":"profile-evaluations.d.ts","sourceRoot":"","sources":["../../../../src/profile-evaluations.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAGxB,OAAO,EAGyB,KAAK,aAAa,EAAE,KAAK,cAAc,EACtE,MAAM,mBAAmB,CAAC;AAK3B,OAAO,EAAE,6BAA6B,EAAE,MAAM,gCAAgC,CAAC;AAC/E,cAAc,kCAAkC,CAAC;AAEjD,eAAO,MAAM,iCAAiC;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAoB5C,CAAC;AAEH,eAAO,MAAM,4BAA4B;;;;;;;;kBAK9B,CAAC;AAEZ,eAAO,MAAM,8BAA8B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAIhC,CAAC;AAEZ,MAAM,MAAM,wBAAwB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,8BAA8B,CAAC,CAAC;AACtF,MAAM,MAAM,2BAA2B,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,iCAAiC,CAAC,CAAC;AAE5F;gFACgF;AAChF,eAAO,MAAM,gCAAgC;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAWlC,CAAC;AACZ,MAAM,MAAM,0BAA0B,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,gCAAgC,CAAC,CAAC;AAE1F,gFAAgF;AAChF,wBAAgB,gCAAgC,CAAC,KAAK,EAAE;IACtD,OAAO,EAAE,OAAO,CAAC;IACjB,WAAW,EAAE,WAAW,CAAC,MAAM,CAAC,CAAC;IACjC,UAAU,EAAE,WAAW,CAAC,MAAM,CAAC,CAAC;IAChC,SAAS,EAAE,WAAW,CAAC,MAAM,CAAC,CAAC;CAChC,GAAG;IAAE,OAAO,EAAE,wBAAwB,CAAC;IAAC,WAAW,EAAE,MAAM,CAAA;CAAE,CA+B7D;AAED,wBAAgB,iCAAiC,CAAC,KAAK,EAAE;IACvD,OAAO,EAAE,wBAAwB,CAAC;IAClC,YAAY,EAAE,MAAM,CAAC;IACrB,SAAS,EAAE,MAAM,CAAC;IAClB,cAAc,EAAE,MAAM,CAAC;IACvB,cAAc,EAAE;QAAE,EAAE,EAAE,MAAM,CAAC;QAAC,WAAW,EAAE,MAAM,CAAA;KAAE,CAAC;IACpD,eAAe,EAAE,MAAM,CAAC;CACzB,GAAG,0BAA0B,CAc7B;AAED;;mCAEmC;AACnC,wBAAgB,oCAAoC,CAAC,KAAK,EAAE,OAAO,GAAG;IACpE,OAAO,EAAE,wBAAwB,CAAC;IAClC,WAAW,EAAE,MAAM,CAAC;IACpB,cAAc,EAAE;QAAE,EAAE,EAAE,MAAM,CAAC;QAAC,WAAW,EAAE,MAAM,CAAA;KAAE,CAAC;CACrD,CAaA;AAED,iFAAiF;AACjF,wBAAgB,0CAA0C,CAAC,KAAK,EAAE;IAChE,aAAa,EAAE,aAAa,CAAC;IAC7B,cAAc,EAAE,cAAc,CAAC;IAC/B,YAAY,CAAC,EAAE,UAAU,CAAC;IAC1B,aAAa,CAAC,EAAE,UAAU,CAAC;IAC3B,WAAW,CAAC,EAAE,UAAU,CAAC;CAC1B,GAAG;IAAE,OAAO,EAAE,wBAAwB,CAAC;IAAC,WAAW,EAAE,MAAM,CAAA;CAAE,CAqB7D"}