@openpond/evals 0.10.6 → 0.10.8

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (49) hide show
  1. package/LEARNING.md +18 -0
  2. package/dist/learning/authoring-service.js +11 -1
  3. package/dist/learning/authoring.js +1 -0
  4. package/dist/learning/contracts.js +36 -1
  5. package/dist/learning/index.js +2 -0
  6. package/dist/learning/iteration-candidate-decision.js +12 -7
  7. package/dist/learning/iteration-reservation-contracts.js +2 -1
  8. package/dist/learning/iteration-reservation-service.js +5 -1
  9. package/dist/learning/iteration-training-parent.js +47 -0
  10. package/dist/learning/policy-inspection.js +15 -3
  11. package/dist/learning/rating-reward-fixture.js +19 -0
  12. package/dist/learning/service.js +7 -2
  13. package/dist/learning/transport.js +1 -1
  14. package/dist/types/learning/authoring-service.d.ts +11 -0
  15. package/dist/types/learning/authoring-service.d.ts.map +1 -1
  16. package/dist/types/learning/authoring.d.ts +55 -0
  17. package/dist/types/learning/authoring.d.ts.map +1 -1
  18. package/dist/types/learning/contracts.d.ts +75 -0
  19. package/dist/types/learning/contracts.d.ts.map +1 -1
  20. package/dist/types/learning/index.d.ts +2 -0
  21. package/dist/types/learning/index.d.ts.map +1 -1
  22. package/dist/types/learning/iteration-candidate-decision.d.ts +16 -0
  23. package/dist/types/learning/iteration-candidate-decision.d.ts.map +1 -1
  24. package/dist/types/learning/iteration-reservation-contracts.d.ts +14 -0
  25. package/dist/types/learning/iteration-reservation-contracts.d.ts.map +1 -1
  26. package/dist/types/learning/iteration-reservation-service.d.ts.map +1 -1
  27. package/dist/types/learning/iteration-training-parent.d.ts +37 -0
  28. package/dist/types/learning/iteration-training-parent.d.ts.map +1 -0
  29. package/dist/types/learning/operations.d.ts +22 -0
  30. package/dist/types/learning/operations.d.ts.map +1 -1
  31. package/dist/types/learning/policy-inspection.d.ts +34 -0
  32. package/dist/types/learning/policy-inspection.d.ts.map +1 -1
  33. package/dist/types/learning/rating-reward-fixture.d.ts +8 -0
  34. package/dist/types/learning/rating-reward-fixture.d.ts.map +1 -0
  35. package/dist/types/learning/repository.d.ts +50 -0
  36. package/dist/types/learning/repository.d.ts.map +1 -1
  37. package/dist/types/learning/service.d.ts +34 -0
  38. package/dist/types/learning/service.d.ts.map +1 -1
  39. package/dist/types/learning/transport.d.ts +64 -0
  40. package/dist/types/learning/transport.d.ts.map +1 -1
  41. package/package.json +1 -1
  42. package/schemas/learning/v1/chain.schema.json +75 -2
  43. package/schemas/learning/v1/command-request.schema.json +63 -20
  44. package/schemas/learning/v1/draft.schema.json +31 -0
  45. package/schemas/learning/v1/feedback-submission.schema.json +55 -37
  46. package/schemas/learning/v1/feedback.schema.json +94 -38
  47. package/schemas/learning/v1/iteration.schema.json +47 -0
  48. package/schemas/learning/v1/policy-inspection.schema.json +127 -33
  49. package/schemas/learning/v1/read-request.schema.json +7 -0
package/dist/types/learning/transport.d.ts CHANGED
@@ -175,6 +175,17 @@ export declare const LearningCommandRequestSchema: z.ZodObject<{
175
175
  true: "true";
176
176
  false: "false";
177
177
  }>;
178
+ sourceLabel: z.ZodOptional<z.ZodObject<{
179
+ evidence: z.ZodObject<{
180
+ id: z.ZodString;
181
+ contentHash: z.ZodString;
182
+ revision: z.ZodNumber;
183
+ }, z.core.$strict>;
184
+ feedback: z.ZodObject<{
185
+ id: z.ZodString;
186
+ revision: z.ZodNumber;
187
+ }, z.core.$strict>;
188
+ }, z.core.$strict>>;
178
189
  }, z.core.$strict>>>;
179
190
  }, z.core.$strict>;
180
191
  }, z.core.$strict>, z.ZodObject<{
@@ -1545,6 +1556,10 @@ export declare const LearningReadRequestSchema: z.ZodDiscriminatedUnion<[z.ZodOb
1545
1556
  }>;
1546
1557
  parentId: z.ZodOptional<z.ZodString>;
1547
1558
  status: z.ZodOptional<z.ZodString>;
1559
+ reviewState: z.ZodOptional<z.ZodEnum<{
1560
+ inbox: "inbox";
1561
+ reviewed: "reviewed";
1562
+ }>>;
1548
1563
  afterId: z.ZodOptional<z.ZodString>;
1549
1564
  limit: z.ZodDefault<z.ZodNumber>;
1550
1565
  }, z.core.$strict>], "action">;
@@ -2246,6 +2261,15 @@ export declare const LearningOperationResultSchema: z.ZodObject<{
2246
2261
  }, z.core.$strict>>;
2247
2262
  createdAt: z.ZodString;
2248
2263
  revision: z.ZodNumber;
2264
+ submittedBy: z.ZodDefault<z.ZodNullable<z.ZodObject<{
2265
+ id: z.ZodString;
2266
+ role: z.ZodEnum<{
2267
+ source: "source";
2268
+ reviewer: "reviewer";
2269
+ editor: "editor";
2270
+ }>;
2271
+ sourceId: z.ZodNullable<z.ZodString>;
2272
+ }, z.core.$strict>>>;
2249
2273
  review: z.ZodDefault<z.ZodNullable<z.ZodObject<{
2250
2274
  actorId: z.ZodString;
2251
2275
  decision: z.ZodNullable<z.ZodObject<{
@@ -2593,6 +2617,20 @@ export declare const LearningOperationResultSchema: z.ZodObject<{
2593
2617
  id: z.ZodString;
2594
2618
  contentHash: z.ZodString;
2595
2619
  }, z.core.$strict>;
2620
+ trainingParentSelection: z.ZodOptional<z.ZodNullable<z.ZodObject<{
2621
+ iterationId: z.ZodString;
2622
+ iterationRevision: z.ZodNumber;
2623
+ candidate: z.ZodObject<{
2624
+ id: z.ZodString;
2625
+ contentHash: z.ZodString;
2626
+ }, z.core.$strict>;
2627
+ decision: z.ZodObject<{
2628
+ id: z.ZodString;
2629
+ contentHash: z.ZodString;
2630
+ revision: z.ZodNumber;
2631
+ }, z.core.$strict>;
2632
+ decidedAt: z.ZodString;
2633
+ }, z.core.$strict>>>;
2596
2634
  teacher: z.ZodNullable<z.ZodObject<{
2597
2635
  id: z.ZodString;
2598
2636
  contentHash: z.ZodString;
@@ -2618,6 +2656,7 @@ export declare const LearningOperationResultSchema: z.ZodObject<{
2618
2656
  contentHash: z.ZodString;
2619
2657
  revision: z.ZodNumber;
2620
2658
  }, z.core.$strict>>>;
2659
+ candidateDecisionAt: z.ZodOptional<z.ZodNullable<z.ZodString>>;
2621
2660
  dispatchId: z.ZodString;
2622
2661
  retryCount: z.ZodNumber;
2623
2662
  spendUsd: z.ZodNumber;
@@ -2720,6 +2759,20 @@ export declare const LearningOperationResultSchema: z.ZodObject<{
2720
2759
  revision: z.ZodNumber;
2721
2760
  modelProjectId: z.ZodString;
2722
2761
  activeIterationId: z.ZodNullable<z.ZodString>;
2762
+ acceptedParent: z.ZodOptional<z.ZodNullable<z.ZodObject<{
2763
+ iterationId: z.ZodString;
2764
+ iterationRevision: z.ZodNumber;
2765
+ candidate: z.ZodObject<{
2766
+ id: z.ZodString;
2767
+ contentHash: z.ZodString;
2768
+ }, z.core.$strict>;
2769
+ decision: z.ZodObject<{
2770
+ id: z.ZodString;
2771
+ contentHash: z.ZodString;
2772
+ revision: z.ZodNumber;
2773
+ }, z.core.$strict>;
2774
+ decidedAt: z.ZodString;
2775
+ }, z.core.$strict>>>;
2723
2776
  latestIterationId: z.ZodString;
2724
2777
  lastReservedAt: z.ZodNullable<z.ZodString>;
2725
2778
  updatedAt: z.ZodString;
@@ -2915,6 +2968,17 @@ export declare const LearningOperationResultSchema: z.ZodObject<{
2915
2968
  true: "true";
2916
2969
  false: "false";
2917
2970
  }>;
2971
+ sourceLabel: z.ZodOptional<z.ZodObject<{
2972
+ evidence: z.ZodObject<{
2973
+ id: z.ZodString;
2974
+ contentHash: z.ZodString;
2975
+ revision: z.ZodNumber;
2976
+ }, z.core.$strict>;
2977
+ feedback: z.ZodObject<{
2978
+ id: z.ZodString;
2979
+ revision: z.ZodNumber;
2980
+ }, z.core.$strict>;
2981
+ }, z.core.$strict>>;
2918
2982
  }, z.core.$strict>>>;
2919
2983
  }, z.core.$strict>;
2920
2984
  schemaVersion: z.ZodLiteral<"openpond.authoringDraft.v1">;
package/dist/types/learning/transport.d.ts.map CHANGED
@@ -1 +1 @@
1
- {"version":3,"file":"transport.d.ts","sourceRoot":"","sources":["../../../../../src/learning/transport.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAQxB,mFAAmF;AACnF,wBAAgB,yBAAyB,CAAC,GAAG,EAAE,OAAO,GAAG,IAAI,CAG5D;AAED,0FAA0F;AAC1F,eAAO,MAAM,4BAA4B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAAgF,CAAC;AAC1H,eAAO,MAAM,yBAAyB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;8BAKpC,CAAC;AACH,eAAO,MAAM,kCAAkC;;;;;;;;;;;;;;;;;;;;;;;;kBAOpC,CAAC;AACZ,MAAM,MAAM,4BAA4B,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,kCAAkC,CAAC,CAAC;AAC9F,eAAO,MAAM,6BAA6B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAG/B,CAAC"}
1
+ {"version":3,"file":"transport.d.ts","sourceRoot":"","sources":["../../../../../src/learning/transport.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAQxB,mFAAmF;AACnF,wBAAgB,yBAAyB,CAAC,GAAG,EAAE,OAAO,GAAG,IAAI,CAG5D;AAED,0FAA0F;AAC1F,eAAO,MAAM,4BAA4B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAAgF,CAAC;AAC1H,eAAO,MAAM,yBAAyB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;8BAKpC,CAAC;AACH,eAAO,MAAM,kCAAkC;;;;;;;;;;;;;;;;;;;;;;;;kBAOpC,CAAC;AACZ,MAAM,MAAM,4BAA4B,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,kCAAkC,CAAC,CAAC;AAC9F,eAAO,MAAM,6BAA6B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAG/B,CAAC"}
package/package.json CHANGED
@@ -1,6 +1,6 @@
1
1
  {
2
2
  "name": "@openpond/evals",
3
- "version": "0.10.6",
3
+ "version": "0.10.8",
4
4
  "description": "Portable Tasksets, graders, evaluation runs, receipts, conformance fixtures, and Work evidence for OpenPond Harnesses",
5
5
  "license": "MIT",
6
6
  "type": "module",
package/schemas/learning/v1/chain.schema.json CHANGED
@@ -27,13 +27,82 @@
27
27
  }
28
28
  ]
29
29
  },
30
+ "acceptedParent": {
31
+ "anyOf": [
32
+ {
33
+ "type": "object",
34
+ "properties": {
35
+ "iterationId": {
36
+ "$ref": "#/$defs/__schema0"
37
+ },
38
+ "iterationRevision": {
39
+ "type": "integer",
40
+ "exclusiveMinimum": 0,
41
+ "maximum": 9007199254740991
42
+ },
43
+ "candidate": {
44
+ "type": "object",
45
+ "properties": {
46
+ "id": {
47
+ "$ref": "#/$defs/__schema0"
48
+ },
49
+ "contentHash": {
50
+ "$ref": "#/$defs/__schema1"
51
+ }
52
+ },
53
+ "required": [
54
+ "id",
55
+ "contentHash"
56
+ ],
57
+ "additionalProperties": false
58
+ },
59
+ "decision": {
60
+ "type": "object",
61
+ "properties": {
62
+ "id": {
63
+ "$ref": "#/$defs/__schema0"
64
+ },
65
+ "contentHash": {
66
+ "$ref": "#/$defs/__schema1"
67
+ },
68
+ "revision": {
69
+ "type": "integer",
70
+ "exclusiveMinimum": 0,
71
+ "maximum": 9007199254740991
72
+ }
73
+ },
74
+ "required": [
75
+ "id",
76
+ "contentHash",
77
+ "revision"
78
+ ],
79
+ "additionalProperties": false
80
+ },
81
+ "decidedAt": {
82
+ "$ref": "#/$defs/__schema2"
83
+ }
84
+ },
85
+ "required": [
86
+ "iterationId",
87
+ "iterationRevision",
88
+ "candidate",
89
+ "decision",
90
+ "decidedAt"
91
+ ],
92
+ "additionalProperties": false
93
+ },
94
+ {
95
+ "type": "null"
96
+ }
97
+ ]
98
+ },
30
99
  "latestIterationId": {
31
100
  "$ref": "#/$defs/__schema0"
32
101
  },
33
102
  "lastReservedAt": {
34
103
  "anyOf": [
35
104
  {
36
- "$ref": "#/$defs/__schema1"
105
+ "$ref": "#/$defs/__schema2"
37
106
  },
38
107
  {
39
108
  "type": "null"
@@ -41,7 +110,7 @@
41
110
  ]
42
111
  },
43
112
  "updatedAt": {
44
- "$ref": "#/$defs/__schema1"
113
+ "$ref": "#/$defs/__schema2"
45
114
  }
46
115
  },
47
116
  "required": [
@@ -62,6 +131,10 @@
62
131
  "maxLength": 240
63
132
  },
64
133
  "__schema1": {
134
+ "type": "string",
135
+ "pattern": "^[a-f0-9]{64}$"
136
+ },
137
+ "__schema2": {
65
138
  "type": "string",
66
139
  "format": "date-time",
67
140
  "pattern": "^(?:(?:\\d\\d[2468][048]|\\d\\d[13579][26]|\\d\\d0[48]|[02468][048]00|[13579][26]00)-02-29|\\d{4}-(?:(?:0[13578]|1[02])-(?:0[1-9]|[12]\\d|3[01])|(?:0[469]|11)-(?:0[1-9]|[12]\\d|30)|(?:02)-(?:0[1-9]|1\\d|2[0-8])))T(?:(?:[01]\\d|2[0-3]):[0-5]\\d(?::[0-5]\\d(?:\\.\\d+)?)?(?:Z|([+-](?:[01]\\d|2[0-3]):[0-5]\\d)))$"
package/schemas/learning/v1/command-request.schema.json CHANGED
@@ -925,8 +925,7 @@
925
925
  "type": "object",
926
926
  "properties": {
927
927
  "schemaVersion": {
928
- "type": "string",
929
- "const": "openpond.taskFeedback.v1"
928
+ "$ref": "#/$defs/__schema89"
930
929
  },
931
930
  "sourceId": {
932
931
  "$ref": "#/$defs/__schema0"
@@ -941,34 +940,19 @@
941
940
  "$ref": "#/$defs/__schema0"
942
941
  },
943
942
  "expectedEvidenceHash": {
944
- "anyOf": [
945
- {
946
- "$ref": "#/$defs/__schema2"
947
- },
948
- {
949
- "type": "null"
950
- }
951
- ]
943
+ "$ref": "#/$defs/__schema90"
952
944
  },
953
945
  "occurredAt": {
954
946
  "$ref": "#/$defs/__schema3"
955
947
  },
956
948
  "kind": {
957
- "type": "string",
958
- "enum": [
959
- "outcome",
960
- "target_correction",
961
- "ground_truth_correction",
962
- "input_correction",
963
- "family_resolution"
964
- ]
949
+ "$ref": "#/$defs/__schema91"
965
950
  },
966
951
  "value": {
967
952
  "$ref": "#/$defs/__schema87"
968
953
  },
969
954
  "note": {
970
- "type": "string",
971
- "maxLength": 20000
955
+ "$ref": "#/$defs/__schema92"
972
956
  }
973
957
  },
974
958
  "required": [
@@ -1521,6 +1505,37 @@
1521
1505
  "false",
1522
1506
  "any"
1523
1507
  ]
1508
+ },
1509
+ "sourceLabel": {
1510
+ "type": "object",
1511
+ "properties": {
1512
+ "evidence": {
1513
+ "$ref": "#/$defs/__schema1"
1514
+ },
1515
+ "feedback": {
1516
+ "type": "object",
1517
+ "properties": {
1518
+ "id": {
1519
+ "$ref": "#/$defs/__schema0"
1520
+ },
1521
+ "revision": {
1522
+ "type": "integer",
1523
+ "exclusiveMinimum": 0,
1524
+ "maximum": 9007199254740991
1525
+ }
1526
+ },
1527
+ "required": [
1528
+ "id",
1529
+ "revision"
1530
+ ],
1531
+ "additionalProperties": false
1532
+ }
1533
+ },
1534
+ "required": [
1535
+ "evidence",
1536
+ "feedback"
1537
+ ],
1538
+ "additionalProperties": false
1524
1539
  }
1525
1540
  },
1526
1541
  "required": [
@@ -3199,6 +3214,34 @@
3199
3214
  }
3200
3215
  }
3201
3216
  ]
3217
+ },
3218
+ "__schema89": {
3219
+ "type": "string",
3220
+ "const": "openpond.taskFeedback.v1"
3221
+ },
3222
+ "__schema90": {
3223
+ "anyOf": [
3224
+ {
3225
+ "$ref": "#/$defs/__schema2"
3226
+ },
3227
+ {
3228
+ "type": "null"
3229
+ }
3230
+ ]
3231
+ },
3232
+ "__schema91": {
3233
+ "type": "string",
3234
+ "enum": [
3235
+ "outcome",
3236
+ "target_correction",
3237
+ "ground_truth_correction",
3238
+ "input_correction",
3239
+ "family_resolution"
3240
+ ]
3241
+ },
3242
+ "__schema92": {
3243
+ "type": "string",
3244
+ "maxLength": 20000
3202
3245
  }
3203
3246
  },
3204
3247
  "$id": "urn:openpond:learning:v1:command-request",
package/schemas/learning/v1/draft.schema.json CHANGED
@@ -625,6 +625,37 @@
625
625
  "false",
626
626
  "any"
627
627
  ]
628
+ },
629
+ "sourceLabel": {
630
+ "type": "object",
631
+ "properties": {
632
+ "evidence": {
633
+ "$ref": "#/$defs/__schema2"
634
+ },
635
+ "feedback": {
636
+ "type": "object",
637
+ "properties": {
638
+ "id": {
639
+ "$ref": "#/$defs/__schema0"
640
+ },
641
+ "revision": {
642
+ "type": "integer",
643
+ "exclusiveMinimum": 0,
644
+ "maximum": 9007199254740991
645
+ }
646
+ },
647
+ "required": [
648
+ "id",
649
+ "revision"
650
+ ],
651
+ "additionalProperties": false
652
+ }
653
+ },
654
+ "required": [
655
+ "evidence",
656
+ "feedback"
657
+ ],
658
+ "additionalProperties": false
628
659
  }
629
660
  },
630
661
  "required": [
package/schemas/learning/v1/feedback-submission.schema.json CHANGED
@@ -3,22 +3,60 @@
3
3
  "type": "object",
4
4
  "properties": {
5
5
  "schemaVersion": {
6
- "type": "string",
7
- "const": "openpond.taskFeedback.v1"
6
+ "$ref": "#/$defs/__schema0"
8
7
  },
9
8
  "sourceId": {
10
- "$ref": "#/$defs/__schema0"
9
+ "$ref": "#/$defs/__schema1"
11
10
  },
12
11
  "idempotencyKey": {
13
- "$ref": "#/$defs/__schema0"
12
+ "$ref": "#/$defs/__schema1"
14
13
  },
15
14
  "exampleId": {
16
- "$ref": "#/$defs/__schema0"
15
+ "$ref": "#/$defs/__schema1"
17
16
  },
18
17
  "attemptId": {
19
- "$ref": "#/$defs/__schema0"
18
+ "$ref": "#/$defs/__schema1"
20
19
  },
21
20
  "expectedEvidenceHash": {
21
+ "$ref": "#/$defs/__schema2"
22
+ },
23
+ "occurredAt": {
24
+ "$ref": "#/$defs/__schema3"
25
+ },
26
+ "kind": {
27
+ "$ref": "#/$defs/__schema4"
28
+ },
29
+ "value": {
30
+ "$ref": "#/$defs/__schema5"
31
+ },
32
+ "note": {
33
+ "$ref": "#/$defs/__schema7"
34
+ }
35
+ },
36
+ "required": [
37
+ "schemaVersion",
38
+ "sourceId",
39
+ "idempotencyKey",
40
+ "exampleId",
41
+ "attemptId",
42
+ "expectedEvidenceHash",
43
+ "occurredAt",
44
+ "kind",
45
+ "value",
46
+ "note"
47
+ ],
48
+ "additionalProperties": false,
49
+ "$defs": {
50
+ "__schema0": {
51
+ "type": "string",
52
+ "const": "openpond.taskFeedback.v1"
53
+ },
54
+ "__schema1": {
55
+ "type": "string",
56
+ "minLength": 1,
57
+ "maxLength": 240
58
+ },
59
+ "__schema2": {
22
60
  "anyOf": [
23
61
  {
24
62
  "type": "string",
@@ -29,12 +67,12 @@
29
67
  }
30
68
  ]
31
69
  },
32
- "occurredAt": {
70
+ "__schema3": {
33
71
  "type": "string",
34
72
  "format": "date-time",
35
73
  "pattern": "^(?:(?:\\d\\d[2468][048]|\\d\\d[13579][26]|\\d\\d0[48]|[02468][048]00|[13579][26]00)-02-29|\\d{4}-(?:(?:0[13578]|1[02])-(?:0[1-9]|[12]\\d|3[01])|(?:0[469]|11)-(?:0[1-9]|[12]\\d|30)|(?:02)-(?:0[1-9]|1\\d|2[0-8])))T(?:(?:[01]\\d|2[0-3]):[0-5]\\d(?::[0-5]\\d(?:\\.\\d+)?)?(?:Z|([+-](?:[01]\\d|2[0-3]):[0-5]\\d)))$"
36
74
  },
37
- "kind": {
75
+ "__schema4": {
38
76
  "type": "string",
39
77
  "enum": [
40
78
  "outcome",
@@ -44,40 +82,16 @@
44
82
  "family_resolution"
45
83
  ]
46
84
  },
47
- "value": {
85
+ "__schema5": {
48
86
  "type": "object",
49
87
  "propertyNames": {
50
88
  "type": "string"
51
89
  },
52
90
  "additionalProperties": {
53
- "$ref": "#/$defs/__schema1"
91
+ "$ref": "#/$defs/__schema6"
54
92
  }
55
93
  },
56
- "note": {
57
- "type": "string",
58
- "maxLength": 20000
59
- }
60
- },
61
- "required": [
62
- "schemaVersion",
63
- "sourceId",
64
- "idempotencyKey",
65
- "exampleId",
66
- "attemptId",
67
- "expectedEvidenceHash",
68
- "occurredAt",
69
- "kind",
70
- "value",
71
- "note"
72
- ],
73
- "additionalProperties": false,
74
- "$defs": {
75
- "__schema0": {
76
- "type": "string",
77
- "minLength": 1,
78
- "maxLength": 240
79
- },
80
- "__schema1": {
94
+ "__schema6": {
81
95
  "anyOf": [
82
96
  {
83
97
  "type": "string"
@@ -94,7 +108,7 @@
94
108
  {
95
109
  "type": "array",
96
110
  "items": {
97
- "$ref": "#/$defs/__schema1"
111
+ "$ref": "#/$defs/__schema6"
98
112
  }
99
113
  },
100
114
  {
@@ -103,10 +117,14 @@
103
117
  "type": "string"
104
118
  },
105
119
  "additionalProperties": {
106
- "$ref": "#/$defs/__schema1"
120
+ "$ref": "#/$defs/__schema6"
107
121
  }
108
122
  }
109
123
  ]
124
+ },
125
+ "__schema7": {
126
+ "type": "string",
127
+ "maxLength": 20000
110
128
  }
111
129
  },
112
130
  "$id": "urn:openpond:learning:v1:feedback-submission",