@kubohiroya/turbowarp-http-server 0.5.0 → 0.5.2
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/README.ja.md +2 -2
- package/README.md +2 -2
- package/dist/compiler/ir-v2/parse.js +38 -0
- package/dist/compiler/ir-v2/parse.js.map +1 -1
- package/dist/compiler/ir-v2/types.d.ts +39 -2
- package/dist/compiler/ir-v2/types.js +10 -1
- package/dist/compiler/ir-v2/types.js.map +1 -1
- package/dist/compiler/manifest/operations.js +35 -14
- package/dist/compiler/manifest/operations.js.map +1 -1
- package/dist/compiler/pipeline/core-generator.js +63 -2
- package/dist/compiler/pipeline/core-generator.js.map +1 -1
- package/dist/compiler/pipeline/requirements.js +10 -0
- package/dist/compiler/pipeline/requirements.js.map +1 -1
- package/dist/compiler/structured-data/lowering.d.ts +21 -2
- package/dist/compiler/structured-data/lowering.js +202 -65
- package/dist/compiler/structured-data/lowering.js.map +1 -1
- package/dist/compiler/structured-data/runtime.d.ts +22 -1
- package/dist/compiler/structured-data/runtime.js +82 -1
- package/dist/compiler/structured-data/runtime.js.map +1 -1
- package/dist/compiler/turbowarp-v2.js +7 -1
- package/dist/compiler/turbowarp-v2.js.map +1 -1
- package/dist/compiler/validator/ir-validator.js +33 -1
- package/dist/compiler/validator/ir-validator.js.map +1 -1
- package/dist/turbowarp-http-server.js +49 -22
- package/docs/compiler-manifest-registry.ja.md +2 -2
- package/docs/deploy-ir-v2.ja.md +18 -3
- package/docs/ir-v2-conformance.ja.md +1 -0
- package/docs/server-executable-subset.ja.md +3 -1
- package/docs/structured-data-lowering.ja.md +124 -27
- package/docs/structured-data-named-values.ja.md +129 -0
- package/package.json +6 -5
- package/schemas/deploy-ir-v2.schema.json +69 -0
- package/src/compiler/ir-v2/parse.ts +48 -0
- package/src/compiler/ir-v2/types.ts +35 -2
- package/src/compiler/manifest/operations.ts +86 -51
- package/src/compiler/pipeline/core-generator.ts +63 -2
- package/src/compiler/pipeline/requirements.ts +5 -0
- package/src/compiler/structured-data/lowering.ts +225 -65
- package/src/compiler/structured-data/runtime.ts +79 -1
- package/src/compiler/turbowarp-v2.ts +6 -1
- package/src/compiler/validator/ir-validator.ts +49 -1
- package/src/fixed-input-editors.ts +44 -19
package/docs/deploy-ir-v2.ja.md
CHANGED
|
@@ -38,7 +38,7 @@ IR JSONへ格納できるatomic value typeは次のとおりです。
|
|
|
38
38
|
- `json-object`
|
|
39
39
|
- `binary-ref`
|
|
40
40
|
|
|
41
|
-
`number`は有限IEEE-754 binary64とし、`NaN`と±`Infinity`を拒否します。`-0`は`0`へ正規化します。`json-text`は有効なapplication JSONを表すnominal string境界で、通常の`string`やparse済みJSON
|
|
41
|
+
`number`は有限IEEE-754 binary64とし、`NaN`と±`Infinity`を拒否します。`-0`は`0`へ正規化します。`json-text`は有効なapplication JSONを表すnominal string境界で、通常の`string`やparse済みJSON値とは暗黙に混同しません。ただしruntimeではstringなので、validatorはScratchが値をstringにする位置(handler variable、KVS、response header、Structured Dataの名前とTEXT)では`json-text`もScratch scalarとして受け付けます。`json-array`と`json-object`は再帰的なJSON値で、resourceを内包できません。
|
|
42
42
|
|
|
43
43
|
`binary-ref`はbyte列ではなく、`namespace`と`key`、任意の`contentType`、`size`、`sha256:<hex>`形式の`integrity`、opaque `revision`を持つ論理descriptorです。`base64`、`bytes`、data URL等のinline payload fieldは許可しません。
|
|
44
44
|
|
|
@@ -52,9 +52,24 @@ union typeは次の形式です。
|
|
|
52
52
|
|
|
53
53
|
## Expressionとstatement
|
|
54
54
|
|
|
55
|
-
すべてのexpressionは`valueType`を持ちます。v2で定義済みのexpressionはliteral、request、request-value、concat、handler-variable、handler-variable-exists、handler-variable-names、bindingに加え、KVS get/has/list、明示的なJSON parse/serialize、path操作、iteration reporter
|
|
55
|
+
すべてのexpressionは`valueType`を持ちます。v2で定義済みのexpressionはliteral、request、request-value、concat、handler-variable、handler-variable-exists、handler-variable-names、bindingに加え、KVS get/has/list、明示的なJSON parse/serialize、path操作、iteration reporter、Structured Dataの名前付きの値の読み出し・解析・text化です。
|
|
56
56
|
|
|
57
|
-
statementはHTTP response操作、handler-variable操作、KVS set/delete、論理record/object storage操作、binary body producer/consumer、typed `if`、bounded-loop、`json-for-each`、terminal responseを表現します。一般的なScratch control blockを受理するかどうかはschemaではなくfrontend/validatorの責務です。
|
|
57
|
+
statementはHTTP response操作、handler-variable操作、Structured Dataの名前付きの値の書き込み・削除、KVS set/delete、論理record/object storage操作、binary body producer/consumer、typed `if`、bounded-loop、`json-for-each`、terminal responseを表現します。一般的なScratch control blockを受理するかどうかはschemaではなくfrontend/validatorの責務です。
|
|
58
|
+
|
|
59
|
+
### Structured Dataの名前付きの値
|
|
60
|
+
|
|
61
|
+
名前付きの値はリクエスト内の保管場所に置き、リクエストの開始時は空で、終了時に破棄します。既存のjson nodeは任意のJSON式をrootに取るimmutableな式なので、その前後に次の読み出しと書き込みを置きます。規則の詳細は[Structured Data lowering](structured-data-lowering.ja.md)を参照してください。
|
|
62
|
+
|
|
63
|
+
| 種類 | node | 型・意味 |
|
|
64
|
+
| --- | --- | --- |
|
|
65
|
+
| 式 | `named-value {name}` | JSON値。名前は`Cast.toString`して前後の空白を除き、空なら`INVALID_NAME`、なければ`DATA_NOT_FOUND` |
|
|
66
|
+
| 式 | `named-value-exists {name}` | boolean。空の名前は`INVALID_NAME` |
|
|
67
|
+
| 式 | `structured-decode {format: 'json', text}` | JSON値。UTF-8で262,144 byte、深さ64、値50,000個のcodecと同じ上限(`PARSE_LIMIT_EXCEEDED`)と`INVALID_JSON` |
|
|
68
|
+
| 式 | `json-scalar-text {value}` | string。stringはそのまま、numberとbooleanはJSON表記、null・array・objectは`TYPE_MISMATCH` |
|
|
69
|
+
| 文 | `named-value-set {name, value, schema: 'drop' \| 'keep'}` | 値を名前に結び付ける。値を先に、名前を後に評価する。`drop`はschema参照を外し、`keep`は残す |
|
|
70
|
+
| 文 | `named-value-delete {name}` | 名前を外す。なければ`DATA_NOT_FOUND` |
|
|
71
|
+
|
|
72
|
+
名前とTEXTはScratch scalar(string、number、boolean、`json-text`)、`named-value-set`の値と`json-scalar-text`の入力はtyped JSON値でなければなりません。work budgetは各nodeを1 stepとし、入力の分を加えます。`named-value-set`と`named-value-delete`のeffectは、handler variableと同じ`handler-state-write`です。
|
|
58
73
|
|
|
59
74
|
statementのeffectは入力側が自由に申告するfieldにはせず、statement kindから`IR_V2_STATEMENT_EFFECTS`で決定的に導出します。分類は`response-write`、`handler-state-write`、`key-value-read`、`key-value-write`、`record-read`、`record-write`、`control`等です。これにより入力がeffectを過少申告してvalidatorを迂回することを防ぎます。
|
|
60
75
|
|
|
@@ -42,6 +42,7 @@ record IDはtest adapterが`record-0001`から決定的に採番します。cloc
|
|
|
42
42
|
## 現在のvector
|
|
43
43
|
|
|
44
44
|
- Structured Data: immutable path更新、Unicode code point順serialize、nested iteration、安定422 error
|
|
45
|
+
- Structured Data named values: turbowarp-structured-dataのsemantic-parity fixture(commit `6bbb908`から取り込み)をfrontendからgenerated coreまで実行するtestと、公開ブラウザ版と同じblock列の結果を比べるtest([Structured Data lowering](structured-data-lowering.ja.md#検証))
|
|
45
46
|
- Binary: file-backed put/get/delete、stream size limit、consume-once/error contract
|
|
46
47
|
- Named body: fake Structured Data/Asset Manager provider、JSON/raw response、HEAD metadata
|
|
47
48
|
- direct IR/TurboWarp frontend: status/header/bodyのobservable parity
|
|
@@ -37,11 +37,13 @@ handler variableはrequestごとに生成・破棄するScratch互換scalar stat
|
|
|
37
37
|
- nameはScratch scalarからstring castできるものだけ
|
|
38
38
|
- `set`はscalar inputをScratch string変換してstringを保持
|
|
39
39
|
- `change`はscalar inputと既存値をScratch number変換してnumberを保持
|
|
40
|
-
- JSON、`binary-ref`、`binary-body
|
|
40
|
+
- parse済みJSON、`binary-ref`、`binary-body`を格納しない(JSON文字列の`json-text`はstringとして格納する)
|
|
41
41
|
- route間、request間、thread間で共有しない
|
|
42
42
|
|
|
43
43
|
未設定nameのreadはScratch互換の空文字、existsはfalseとして初期化されます。globalな初期値や前requestの値を引き継ぎません。
|
|
44
44
|
|
|
45
|
+
Structured Dataの名前付きの値も、handler variableと同じくrequestごとに生成・破棄します。値はparse済みJSONで、名前はScratch scalarを`Cast.toString`して前後の空白を除いたものです。route間、request間で共有しません([Structured Data lowering](structured-data-lowering.ja.md))。
|
|
46
|
+
|
|
45
47
|
JSON、record result、binary参照、resourceはcompilerが割り当てるlexical typed bindingで扱います。binding IDはdynamicなuser inputから作らず、producerより後かつ同じscope内だけで参照できます。`if`の後へbindingを持ち出す場合、継続する両branchが同じIDと型を宣言する必要があります。loop内で宣言したbindingはloop外へ漏れません。
|
|
46
48
|
|
|
47
49
|
## Control flowとresponse
|
|
@@ -1,31 +1,100 @@
|
|
|
1
1
|
# Structured Data lowering
|
|
2
2
|
|
|
3
|
-
Deploy IR v2 frontendは、lockされた`@kubohiroya/turbowarp-structured-data` 0.
|
|
3
|
+
Deploy IR v2 frontendは、lockされた`@kubohiroya/turbowarp-structured-data` 0.11.0-rc.1(manifest format 2)の名前付きの値を、リクエスト内のIR stateと既存のjson nodeへ変換します。ここでは[Structured Data named values(設計)](structured-data-named-values.ja.md)の段階1(JSON)として実装した規則を説明します。Cloudflare Workers、Firebase等のSDKはこの層から参照しません。
|
|
4
4
|
|
|
5
|
-
|
|
5
|
+
## 対応する版
|
|
6
6
|
|
|
7
|
-
|
|
7
|
+
loweringは`STRUCTURED_DATA_PACKAGE_VERSIONS`(`src/compiler/structured-data/lowering.ts`)に列挙した、検証済みの正確な版だけを受け付けます。現在は`0.11.0-rc.1`だけです。
|
|
8
8
|
|
|
9
|
-
|
|
10
|
-
|
|
11
|
-
|
|
12
|
-
| `structuredData.isValidJson` | `json-is-valid` |
|
|
13
|
-
| `structuredData.get` | `json-get` + `json-stringify` |
|
|
14
|
-
| `structuredData.has` | `json-has` |
|
|
15
|
-
| `structuredData.set` | `json-set` + `json-stringify` |
|
|
16
|
-
| `structuredData.delete` | `json-delete` + `json-stringify` |
|
|
17
|
-
| `structuredData.keys` | `json-keys` + `json-stringify` |
|
|
18
|
-
| `structuredData.length` | `json-length` |
|
|
19
|
-
| `structuredData.forEach` | bounded `json-for-each` |
|
|
20
|
-
| `structuredData.currentKey` | lexical `iteration-key` |
|
|
21
|
-
| `structuredData.currentIndex` | lexical `iteration-index` |
|
|
22
|
-
| `structuredData.currentValue` | lexical `iteration-value` + `json-stringify` |
|
|
9
|
+
- manifestのregistry登録では、28個のserver対応blockすべてのsignatureが`KNOWN_SERVER_OPERATIONS`と完全に一致する必要があります。段階2・3のblockもsignatureは登録するので、manifest全体を読めます。
|
|
10
|
+
- 0.4.0のmanifest(JSON文字列を受け取り返すAPI)は同じoperation IDで引数が違うため、registryで`TW2_MANIFEST_OPERATION_MISMATCH`になります。0.4.0の意味論へのfallbackはしません。
|
|
11
|
+
- signatureが一致しても、一覧にない版をlockしたprojectは、Structured Dataのblockごとに`TW2_UNSUPPORTED_OPERATION`で止まります。
|
|
23
12
|
|
|
24
|
-
|
|
13
|
+
## Operation mapping(段階1)
|
|
14
|
+
|
|
15
|
+
| manifest operation | block | IR v2 |
|
|
16
|
+
| --- | --- | --- |
|
|
17
|
+
| `structuredData.parseJson` | `parseJson` | `named-value-set`(`structured-decode`、`schema: 'drop'`) |
|
|
18
|
+
| `structuredData.get` | `getJsonAtPath` | `json-stringify(json-get(named-value, PATH))` |
|
|
19
|
+
| `structuredData.getText` | `getTextAtPath` | `json-scalar-text(json-get(named-value, PATH))` |
|
|
20
|
+
| `structuredData.has` | `hasPath` | `json-has(named-value, PATH)` |
|
|
21
|
+
| `structuredData.keys` | `keysAtPath` | `json-stringify(json-keys(named-value, PATH))` |
|
|
22
|
+
| `structuredData.length` | `lengthAtPath` | `json-length(named-value, PATH)` |
|
|
23
|
+
| `structuredData.set` | `setJsonAtPath` | `named-value-set(json-set(named-value, PATH, VALUE), schema: 'keep')` |
|
|
24
|
+
| `structuredData.delete` | `deleteAtPath` | `named-value-set(json-delete(named-value, PATH), schema: 'keep')` |
|
|
25
|
+
| `structuredData.deleteData` | `deleteStructuredData` | `named-value-delete` |
|
|
26
|
+
| `structuredData.hasData` | `hasStructuredData` | `named-value-exists` |
|
|
27
|
+
| `structuredData.toJson` | `toJson` | `json-stringify(named-value)` |
|
|
28
|
+
| `structuredData.forEach` | `forEachAtPath` | `json-for-each`(root=`named-value`) |
|
|
29
|
+
| `structuredData.currentKey` | `currentKey` | `iteration-key` |
|
|
30
|
+
| `structuredData.currentIndex` | `currentIndex` | `iteration-index` |
|
|
31
|
+
| `structuredData.currentValue` | `currentValueJson` | `json-stringify(iteration-value)` |
|
|
32
|
+
| `structuredData.currentGet` | `currentJsonAtPath` | `json-stringify(json-get(iteration-value, PATH))` |
|
|
33
|
+
| `structuredData.currentGetText` | `currentTextAtPath` | `json-scalar-text(json-get(iteration-value, PATH))` |
|
|
34
|
+
|
|
35
|
+
frontendは、Structured DataのCOMMAND blockを`StructuredDataLoweringContext.lowerStatement`へ、reporterを`lowerReporter`へ、LOOP blockを`lowerForEach`へ渡します。
|
|
36
|
+
|
|
37
|
+
manifestで`pure`とされるreporterも保管場所の現在の値を読みます。IRはこれらを並べ替えたり、結果を使い回したりしません。coreはIRを書かれた順に解釈します。
|
|
38
|
+
|
|
39
|
+
### 段階2・3のoperation
|
|
40
|
+
|
|
41
|
+
次の11 operationは、使われたblockごとに`TW2_UNSUPPORTED_OPERATION`で止まります。messageには`until phase 2 (YAML)`または`until phase 3 (schema)`を含めます。類似の処理で近似することはしません。
|
|
42
|
+
|
|
43
|
+
- 段階2(YAML): `parseYaml`、`toYaml`
|
|
44
|
+
- 段階3(schema): `defineSchema`、`beginSchema`、`addSchemaProperty`、`commitSchema`、`deleteSchema`、`hasSchema`、`schemaOf`、`parseJsonWithSchema`、`parseYamlWithSchema`
|
|
45
|
+
|
|
46
|
+
`copyDocumentTree`はmanifestで`server.supported: false`なので、subset validatorが`TW2_UNSUPPORTED_OPERATION`で拒否します。
|
|
47
|
+
|
|
48
|
+
## 値の寿命と範囲
|
|
49
|
+
|
|
50
|
+
generated coreの`executeRoute`は、`handlerVariables`と並べてリクエスト内の保管場所`namedValues`(`Map`)を持ちます。リクエストの開始時は空で、終了時に破棄します。リクエストやworkerをまたいで共有しません。
|
|
51
|
+
|
|
52
|
+
- manifestの`lifetime: untilProjectStop`は、サーバーでは「リクエスト終了まで」と読み替えます。
|
|
53
|
+
- routeは1つのtargetのscriptから作られ、broadcastとcloneは拒否されるので、リクエストごとの保管場所がそのtargetの保管場所になります(`scope: target`)。
|
|
54
|
+
- リクエストをまたいで値を残すには、`to JSON [NAME]`の結果を`kvs.setText`に渡し、`kvs.getText`の結果を`parse JSON [TEXT] as [NAME]`に渡します。
|
|
55
|
+
|
|
56
|
+
`named-value-set`の`schema`は、`drop`がschema参照を外し、`keep`が残します。段階1ではschema参照を付ける操作がないので、どちらも値だけを置き換えます。fieldは段階3でshapeを変えないために持ちます。
|
|
57
|
+
|
|
58
|
+
## 名前
|
|
59
|
+
|
|
60
|
+
NAMEには任意の式を使えます。coreはScratchの`Cast.toString`(`String(value)`)で文字列にし、前後の空白を除きます。空なら`INVALID_NAME`、値がなければ`DATA_NOT_FOUND`です。`has data`も空の名前を`INVALID_NAME`にします。
|
|
61
|
+
|
|
62
|
+
空白だけ、または空のliteralはcompile時に`TW2_STRUCTURED_INVALID_NAME`(`sourceRef.input`は`NAME`)です。IR validatorは、名前の式がScratchのscalar(string、number、boolean、`json-text`)であることを確かめます。
|
|
63
|
+
|
|
64
|
+
## 評価の順序
|
|
65
|
+
|
|
66
|
+
coreは`named-value-set`で値を先に評価し、名前をその後に評価します。ブラウザの順序とは次のように対応します。
|
|
67
|
+
|
|
68
|
+
- `parse JSON`はTEXTを解析してからNAMEを確かめます。そのため`INVALID_JSON`と`PARSE_LIMIT_EXCEEDED`が`INVALID_NAME`より先です。
|
|
69
|
+
- `set`はNAME、値の有無、VALUEの解析、pathの更新の順です。`set`と`delete`の値は`named-value`を含むので、値を先に評価しても`INVALID_NAME`と`DATA_NOT_FOUND`が先に出ます。
|
|
70
|
+
|
|
71
|
+
`set`と`delete`では、名前の式を`named-value`と`named-value-set`で2回評価します。IRの式は副作用を持たないので、どちらも同じ名前になります。例外はKVSの読み出しを名前に使い、2回の評価の間に別のリクエストがその値を書き換えた場合です。
|
|
72
|
+
|
|
73
|
+
## JSONの解析
|
|
74
|
+
|
|
75
|
+
`parse JSON`のTEXTは、`@kubohiroya/turbowarp-yaml-json`のcodecと同じ上限と順序で解析します(`structured-decode`、`decodeStructuredJson`)。
|
|
76
|
+
|
|
77
|
+
1. UTF-8のbyte数(`TextEncoder`の数え方で、lone surrogateはU+FFFDの3 byte)が262,144を超えれば`PARSE_LIMIT_EXCEEDED`
|
|
78
|
+
2. `JSON.parse`が失敗すれば`INVALID_JSON`
|
|
79
|
+
3. 深さ優先に値をたどり、深さ(rootが0、子は1深い)が64を超えるか、値の数(object keyは数えない)が50,000を超えれば`PARSE_LIMIT_EXCEEDED`。たどる途中で有限でない数(`1e999`等)に会えば`INVALID_JSON`
|
|
80
|
+
|
|
81
|
+
codecはjsonc-parserで構文を確かめてから`JSON.parse`で値を作るので、受け付ける構文は`JSON.parse`と同じです。重複keyは最後の値になり、`"__proto__"`は普通のkeyとして残ります。
|
|
82
|
+
|
|
83
|
+
literalのTEXTはcompile時に同じ規則で解析してtyped literalにします。不正または上限超過のliteralは`TW2_STRUCTURED_INVALID_LITERAL`で止まります。
|
|
84
|
+
|
|
85
|
+
`set`のVALUEは、ブラウザが`JSON.parse`するだけなので上限を設けません。literalはcompile時に解析し、不正なら`TW2_STRUCTURED_INVALID_LITERAL`です。動的なVALUEは`json-text-coerce`と`json-parse`で解析します。動的なVALUEはstringまたは`json-text`の式に限り、それ以外は`TW2_STRUCTURED_TYPE_MISMATCH`です。
|
|
86
|
+
|
|
87
|
+
## 出力
|
|
88
|
+
|
|
89
|
+
JSONを返すreporterは`json-stringify`で、object keyをUnicode code point順に並べたcompactなJSONを返します。codecの`serializeValue`(`keyOrder: 'unicode'`、`indent: 0`)と同じ文字列です。
|
|
90
|
+
|
|
91
|
+
textを返すreporterは`json-scalar-text`です。stringはそのまま、numberとbooleanはJSON表記を返し、null、array、objectは`TYPE_MISMATCH`です。
|
|
92
|
+
|
|
93
|
+
`json-text`はruntimeではstringです。IR validatorは、Scratchが値をstringにする位置(handler variableの名前と値、KVSのnamespace・key・値、response header、Structured Dataの名前とTEXT)で`json-text`を受け付けます。parse済みのJSON値が要る位置では受け付けません。`concat`は今もstring同士だけです。
|
|
25
94
|
|
|
26
95
|
## Path
|
|
27
96
|
|
|
28
|
-
|
|
97
|
+
grammar IDは`tw-structured-path@1`です。compiler自身が次のliteral grammarだけを解析し、manifestからparser codeを読み込みません。
|
|
29
98
|
|
|
30
99
|
- root `$`
|
|
31
100
|
- identifier key `.name`
|
|
@@ -34,30 +103,58 @@ MVPのgrammar IDは`tw-structured-path@1`です。compiler自身が次のliteral
|
|
|
34
103
|
|
|
35
104
|
`["0"]`はkey、`[0]`はindexとして異なるtyped segmentになります。dynamic pathは`TW2_STRUCTURED_DYNAMIC_PATH`、不正literalは`TW2_STRUCTURED_INVALID_PATH`です。diagnosticの`sourceRef.input`には`PATH`等の入力名を保持します。
|
|
36
105
|
|
|
37
|
-
`set`はroot置換、既存objectへのkey追加、既存array index
|
|
106
|
+
`has`がfalseを返すのは`PATH_NOT_FOUND`と`INDEX_OUT_OF_RANGE`のときだけです。`keys`はobjectだけ、`length`はarrayだけを受け付けます。`set`はroot置換、既存objectへのkey追加、既存array indexの置換だけを行い、中間containerの生成とappendはしません。`delete`はarray要素を左へ詰め、rootの削除はcompile時に`TW2_STRUCTURED_INVALID_PATH`で拒否します。すべての更新は新しい値を作り、それを名前に結び付け直します。
|
|
38
107
|
|
|
39
108
|
## Iteration
|
|
40
109
|
|
|
41
|
-
`forEach`の`MAX`は1以上1000以下のinteger literal
|
|
110
|
+
`forEach`の`MAX`は1以上1000以下のinteger literalだけを受理します(`TW2_STRUCTURED_INVALID_MAX`)。IR validatorでは通常loopと共通のnesting上限8とroute worst-case work上限10000も適用します。
|
|
111
|
+
|
|
112
|
+
`json-for-each`はroot(`named-value`)を1回だけ評価するので、ループ開始時の値を反復します。ブラウザもループ開始時に要素を写し取るので、本体での`set`、`delete`、`delete data`は反復に影響しません。
|
|
42
113
|
|
|
43
|
-
各loopはsource blockから決定的な`loopId`を作ります。current
|
|
114
|
+
各loopはsource blockから決定的な`loopId`を作ります。current reporterは構文木上で最も内側のloopへ束縛され、nested loop終了後は外側へ戻ります。loop外の参照は`TW2_ITERATION_CONTEXT_REQUIRED`です。`current JSON at path`と`current text at path`は、ブラウザと同じくloopの有無をpathより先に確かめるので、loop外では不正なpathでもこのdiagnosticだけを返します。objectはUnicode code point順、arrayはindex順で反復します。
|
|
44
115
|
|
|
45
|
-
##
|
|
116
|
+
## 実行時error
|
|
46
117
|
|
|
47
|
-
runtime helper
|
|
118
|
+
runtime helperとgenerated coreは、次のcodeをHTTP status 422の`IrRuntimeError`として返します。responseは`{"error":{"code":"..."}}`だけで、名前、path、入力値を含めません。
|
|
48
119
|
|
|
49
120
|
- `INVALID_JSON`
|
|
121
|
+
- `INVALID_NAME`
|
|
122
|
+
- `DATA_NOT_FOUND`
|
|
50
123
|
- `INVALID_PATH`(malformed IR防御。正常なgenerated codeでは発生しない)
|
|
51
124
|
- `PATH_NOT_FOUND`
|
|
52
125
|
- `TYPE_MISMATCH`
|
|
53
126
|
- `INDEX_OUT_OF_RANGE`
|
|
54
127
|
- `ITERATION_LIMIT_EXCEEDED`
|
|
55
128
|
- `ITERATION_CONTEXT_REQUIRED`(adapter側防御用)
|
|
129
|
+
- `PARSE_LIMIT_EXCEEDED`
|
|
130
|
+
|
|
131
|
+
## compile時に止まるもの
|
|
132
|
+
|
|
133
|
+
ブラウザでは実行時のerrorになるもののうち、literalから結果が分かるものはcompile時に止めます。
|
|
134
|
+
|
|
135
|
+
| ブラウザのruntime code | サーバーのdiagnostic | 理由 |
|
|
136
|
+
| --- | --- | --- |
|
|
137
|
+
| `INVALID_PATH` | `TW2_STRUCTURED_INVALID_PATH` | PATHはliteralに限る |
|
|
138
|
+
| rootの`delete`による`INVALID_PATH` | `TW2_STRUCTURED_INVALID_PATH` | rootのpathはliteralで分かる |
|
|
139
|
+
| `ITERATION_CONTEXT_REQUIRED` | `TW2_ITERATION_CONTEXT_REQUIRED` | loopはIRで字句的に決まる |
|
|
140
|
+
| literalのNAMEによる`INVALID_NAME` | `TW2_STRUCTURED_INVALID_NAME` | 空のliteralは分かる |
|
|
141
|
+
| literalのTEXTによる`INVALID_JSON`、`PARSE_LIMIT_EXCEEDED` | `TW2_STRUCTURED_INVALID_LITERAL` | literalのTEXTはcompile時に解析する |
|
|
142
|
+
| literalのVALUEによる`INVALID_JSON` | `TW2_STRUCTURED_INVALID_LITERAL` | literalのVALUEはcompile時に解析する |
|
|
143
|
+
| 段階2・3のoperation | `TW2_UNSUPPORTED_OPERATION` | 段階1ではloweringしない |
|
|
144
|
+
|
|
145
|
+
動的なNAMEとTEXTは、ブラウザと同じruntime codeを返します。
|
|
146
|
+
|
|
147
|
+
## ブラウザとの既知の差
|
|
148
|
+
|
|
149
|
+
- 数千段の入れ子(Node 24の既定のstackでは8,000段)では、ブラウザのjsonc-parserが再帰の深さで`RangeError`を投げ、Structured Dataのerrorになりません。サーバーは上限どおり`PARSE_LIMIT_EXCEEDED`を返します。
|
|
150
|
+
- request bodyの先頭のBOMは、bodyをtextにする時点で取り除かれます。これは`current request body`の性質で、Structured Dataの解析自体はBOMを`INVALID_JSON`にします。
|
|
56
151
|
|
|
57
|
-
|
|
152
|
+
## 検証
|
|
58
153
|
|
|
59
|
-
|
|
154
|
+
- `tests/fixtures/structured-data/semantic-parity.json`は、turbowarp-structured-dataのcommit `6bbb908`(manifestFormatVersion 2)からbyte単位で取り込んだfixtureです。取り込み元とSHA-256は`semantic-parity.source.json`に記録しています。`tests/structured-data-parity.test.ts`は、`cases`と`readCases`をそれぞれ最小のTurboWarp projectにし、frontend、IR validator、generated coreを通して実行します。literalの入力と、request由来の入力の両方で実行します。
|
|
155
|
+
- `tests/structured-data-differential.test.ts`は、公開されたブラウザ版(devDependencyの`@kubohiroya/turbowarp-structured-data/bundle-module`)とサーバーに同じblock列を実行させ、結果または最初のerror codeが一致することを確かめます。error順、上限の境界、JSON構文の端、反復時の写し取りを含みます。
|
|
156
|
+
- `tests/compiler-manifest-artifacts.test.ts`は、installしたpackageのmanifestをregistryへ登録し、28個のserver operationがallowlistと一致することを確かめます。
|
|
60
157
|
|
|
61
158
|
## ロールバック
|
|
62
159
|
|
|
63
|
-
|
|
160
|
+
問題時は、Structured Dataのmanifest lockを使う生成を停止し、ブラウザまたはWebSocket bridgeで実行します。manifest versionが一致しないときはcompileを停止し、旧意味論へfallbackしません。
|
|
@@ -0,0 +1,129 @@
|
|
|
1
|
+
# Structured Data named values(設計)
|
|
2
|
+
|
|
3
|
+
`@kubohiroya/turbowarp-structured-data` 0.11の名前付きの値(target-local named data)を、Deploy IR v2でサーバー実行できるようにするための設計です。「決定事項」の6点は推奨案で合意済みです。段階1(JSON)は0.11.0-rc.1に対して実装済みで、実装した規則は[Structured Data lowering](structured-data-lowering.ja.md)にあります。段階2と段階3は未実装です。
|
|
4
|
+
|
|
5
|
+
## 実装前の状態
|
|
6
|
+
|
|
7
|
+
段階1の実装前、compilerは0.4.0の、JSON文字列を引数で受け取りJSON文字列を返すAPIに固定されていました(`src/compiler/structured-data/lowering.ts`の`STRUCTURED_DATA_PACKAGE_VERSION = '0.4.0'`)。0.11では、`parse JSON`で値に名前を付け、以後は名前とpathで読み書きします。
|
|
8
|
+
|
|
9
|
+
0.11の`dist/extension-manifest.json`(format version 2)はmanifest readerで読めましたが、`buildCompilerOpcodeRegistry`が最初のblockで`TW2_MANIFEST_OPERATION_MISMATCH`(`structuredData.addSchemaProperty`がallowlistにない)を返していました。0.11を使うprojectはサーバーでは1つもcompileできませんでした。
|
|
10
|
+
|
|
11
|
+
実装前の、サーバー実行に対応した28 operationと`KNOWN_SERVER_OPERATIONS`の照合結果です。
|
|
12
|
+
|
|
13
|
+
| 結果 | 件数 | operation |
|
|
14
|
+
| --- | --- | --- |
|
|
15
|
+
| 一致 | 2 | `currentIndex`、`currentKey` |
|
|
16
|
+
| signature不一致 | 8 | `currentValue`、`get`、`has`、`keys`、`length`、`forEach`(`JSON`→`NAME`)、`set`、`delete`(REPORTER→COMMAND、`effect: state`) |
|
|
17
|
+
| allowlistにない | 18 | `getText`、`currentGet`、`currentGetText`、`parseJson`、`parseYaml`、`toJson`、`toYaml`、`deleteData`、`hasData`、schema系9件 |
|
|
18
|
+
| allowlistだけにある | 2 | `isValidJson`、`normalizeJson`(0.11にない) |
|
|
19
|
+
|
|
20
|
+
manifest側の語彙(`effect: state`、`resultType: jsonText`/`yamlText`、`dataReferenceType`)はreaderがすでに受け付けていました。不足していたのはallowlist、lowering、IR、generated coreです。また、frontendはmanifestのCOMMAND blockをKVSにしか渡さず、Structured Dataのcommandは`TW2_UNSUPPORTED_COMMAND`になっていました。
|
|
21
|
+
|
|
22
|
+
## 値の寿命と範囲
|
|
23
|
+
|
|
24
|
+
名前付きの値は1回のroute実行(1リクエスト)の間だけ保持します。リクエストの開始時は空で、終了時に破棄します。
|
|
25
|
+
|
|
26
|
+
- ブラウザでは値はtargetごとに保持され、project停止(`PROJECT_STOP_ALL`)で消えます。サーバーにはgreen flagも停止もなく、1リクエストが1回のproject実行に当たります。manifestの`lifetime: untilProjectStop`は、サーバーでは「リクエスト終了まで」と読み替えます。
|
|
27
|
+
- Scratchの変数とリストは「lifetimeがリクエストとworkerをまたいで共有される」ため`TW2_GLOBAL_STATE_UNSUPPORTED`で拒否しています。名前付きの値も同じ理由で、リクエストをまたいで保持しません。
|
|
28
|
+
- routeは1つのtargetのscriptから作られ、broadcast(`TW2_MESSAGE_UNSUPPORTED`)とclone(`TW2_CLONE_UNSUPPORTED`)は拒否されます。そのため、リクエストごとの保管場所は、そのままそのtargetの保管場所になります(`scope: target`を満たします)。
|
|
29
|
+
- リクエストをまたいで値を残すには、KVSを使います(`to JSON [NAME]`の結果を`kvs.setText`に渡し、`kvs.getText`の結果を`parse JSON [TEXT] as [NAME]`に渡す)。
|
|
30
|
+
|
|
31
|
+
## 名前
|
|
32
|
+
|
|
33
|
+
名前には動的な式を使えます。ブラウザと同じく`Cast.toString`してから前後の空白を除き、空なら`INVALID_NAME`です。literalの名前はcompile時に検査し、空のliteralは診断にします。
|
|
34
|
+
|
|
35
|
+
名前をliteralに限定すれば保管場所を静的に割り当てられますが、handler variableが動的な名前を許していること、分岐をまたぐ読み書きの静的検査で得られるものが小さいことから採りません。
|
|
36
|
+
|
|
37
|
+
## 段階
|
|
38
|
+
|
|
39
|
+
| 段階 | operation | 件数 | 状態 |
|
|
40
|
+
| --- | --- | --- | --- |
|
|
41
|
+
| 1. JSON | `parseJson`、`get`、`getText`、`has`、`keys`、`length`、`set`、`delete`、`deleteData`、`hasData`、`toJson`、`forEach`、`currentKey`、`currentIndex`、`currentValue`、`currentGet`、`currentGetText` | 17 | 実装済み |
|
|
42
|
+
| 2. YAML | `parseYaml`、`toYaml` | 2 | 未実装 |
|
|
43
|
+
| 3. schema | `defineSchema`、`beginSchema`、`addSchemaProperty`、`commitSchema`、`deleteSchema`、`hasSchema`、`schemaOf`、`parseJsonWithSchema`、`parseYamlWithSchema` | 9 | 未実装 |
|
|
44
|
+
|
|
45
|
+
段階1で28 operationすべてのsignatureをallowlistに入れ、manifestを登録できるようにします。まだloweringしないoperationは、使われたblockごとに`TW2_UNSUPPORTED_OPERATION`で停止します。類似処理へのfallbackはしません。
|
|
46
|
+
|
|
47
|
+
段階1の実装では、この設計に次の2点を足しました。詳細は[Structured Data lowering](structured-data-lowering.ja.md)にあります。
|
|
48
|
+
|
|
49
|
+
- `named-value-set`は値を先に、名前を後に評価します。`parse JSON`がTEXTの解析をNAMEの確認より先に行うためです。`set`と`delete`の値は`named-value`を含むので、名前のerrorは引き続き先に出ます。
|
|
50
|
+
- IR validatorは、Scratchが値をstringにする位置で`json-text`をScratch scalarとして受け付けます。これがないと「`to JSON [NAME]`の結果を`kvs.setText`に渡す」使い方がvalidatorで拒否されます。
|
|
51
|
+
|
|
52
|
+
## IR v2の追加
|
|
53
|
+
|
|
54
|
+
generated coreの`executeRoute`に、`handlerVariables`と並べてリクエスト内の保管場所を置きます。
|
|
55
|
+
|
|
56
|
+
```ts
|
|
57
|
+
const namedValues = new Map<string, {value: JsonValue; schemaRef?: {id: string; version: string}}>();
|
|
58
|
+
```
|
|
59
|
+
|
|
60
|
+
既存のjson nodeは、rootに任意のJSON式を取り、更新は新しい値を返すimmutableな式です。名前付きの値は、この既存nodeの前後に読み出しと書き込みを足すだけで表せます。
|
|
61
|
+
|
|
62
|
+
| 種類 | node | 型・意味 |
|
|
63
|
+
| --- | --- | --- |
|
|
64
|
+
| 式 | `named-value {name}` | JSON値。名前が空なら`INVALID_NAME`、なければ`DATA_NOT_FOUND` |
|
|
65
|
+
| 式 | `named-value-exists {name}` | boolean |
|
|
66
|
+
| 式 | `structured-decode {format: 'json', text}` | JSON値。codecと同じ上限(UTF-8で256 KiB、深さ64、値50,000個)を適用する |
|
|
67
|
+
| 式 | `json-scalar-text {value}` | string。stringはそのまま、numberとbooleanはJSON表記、null・array・objectは`TYPE_MISMATCH` |
|
|
68
|
+
| 文 | `named-value-set {name, value, schema: 'drop' \| 'keep'}` | 値を結び付ける。`drop`はschema参照を外し、`keep`は残す |
|
|
69
|
+
| 文 | `named-value-delete {name}` | 値を外す。なければ`DATA_NOT_FOUND` |
|
|
70
|
+
|
|
71
|
+
段階2で`structured-decode`に`format: 'yaml'`と`yaml-stringify`を、段階3でschema用のnodeと`schema: {id, version}`を足します。
|
|
72
|
+
|
|
73
|
+
### Operation mapping(段階1)
|
|
74
|
+
|
|
75
|
+
| manifest operation | IR v2 |
|
|
76
|
+
| --- | --- |
|
|
77
|
+
| `structuredData.parseJson` | `named-value-set`(`structured-decode`、`schema: 'drop'`) |
|
|
78
|
+
| `structuredData.get` | `json-stringify(json-get(named-value, PATH))` |
|
|
79
|
+
| `structuredData.getText` | `json-scalar-text(json-get(named-value, PATH))` |
|
|
80
|
+
| `structuredData.has` | `json-has(named-value, PATH)` |
|
|
81
|
+
| `structuredData.keys` | `json-stringify(json-keys(named-value, PATH))` |
|
|
82
|
+
| `structuredData.length` | `json-length(named-value, PATH)` |
|
|
83
|
+
| `structuredData.set` | `named-value-set(json-set(named-value, PATH, json-parse(VALUE)), schema: 'keep')` |
|
|
84
|
+
| `structuredData.delete` | `named-value-set(json-delete(named-value, PATH), schema: 'keep')` |
|
|
85
|
+
| `structuredData.deleteData` | `named-value-delete` |
|
|
86
|
+
| `structuredData.hasData` | `named-value-exists` |
|
|
87
|
+
| `structuredData.toJson` | `json-stringify(named-value)` |
|
|
88
|
+
| `structuredData.forEach` | `json-for-each`(root=`named-value`) |
|
|
89
|
+
| `structuredData.currentKey`/`currentIndex`/`currentValue` | 既存の`iteration-key`/`iteration-index`/`iteration-value` |
|
|
90
|
+
| `structuredData.currentGet` | `json-stringify(json-get(iteration-value, PATH))` |
|
|
91
|
+
| `structuredData.currentGetText` | `json-scalar-text(json-get(iteration-value, PATH))` |
|
|
92
|
+
|
|
93
|
+
既存helperの意味論は0.11と一致しています。
|
|
94
|
+
|
|
95
|
+
- path grammarは`$`、`.ident`、`["..."]`、`[n]`です。
|
|
96
|
+
- `has`がfalseを返すのは`PATH_NOT_FOUND`と`INDEX_OUT_OF_RANGE`のときだけです。
|
|
97
|
+
- `keys`はobjectだけを受け付け、code point順に並べます。`length`はarrayだけを受け付けます。
|
|
98
|
+
- `set`は中間containerを作らず、appendもしません。`delete`はarray要素を左へ詰め、rootの削除はcompile時に拒否します。
|
|
99
|
+
- `stringifyApplicationJson`は、code point順のcompactなcanonical JSONを出力します。
|
|
100
|
+
|
|
101
|
+
PATHとMAXは今と同じくliteralに限ります(`TW2_STRUCTURED_DYNAMIC_PATH`、`TW2_STRUCTURED_INVALID_MAX`)。
|
|
102
|
+
|
|
103
|
+
`json-for-each`はrootを1回だけ評価するので、ループ開始時の値を反復します。これは、ブラウザがループ開始時に要素を写し取り、本体での変更が反復に影響しない動作と同じです。
|
|
104
|
+
|
|
105
|
+
frontendには、Structured DataのCOMMAND blockを`StructuredDataLoweringContext`へ渡す分岐を足します。manifestで`pure`とされるreporterも保管場所の現在の値を読むため、IRはこれらを並べ替えたり、結果を使い回したりしてはいけません。今のcoreはIRを書かれた順に解釈するため、この条件を満たします。
|
|
106
|
+
|
|
107
|
+
## 実行時error
|
|
108
|
+
|
|
109
|
+
14 codeすべてをHTTP 422の`IrRuntimeError`にします。responseにはcodeだけを入れ、名前、path、入力値は入れません(既存の規則と同じ)。段階1で新たに出るcodeは、`INVALID_NAME`、`DATA_NOT_FOUND`、`PARSE_LIMIT_EXCEEDED`です。
|
|
110
|
+
|
|
111
|
+
## 決定事項
|
|
112
|
+
|
|
113
|
+
1. **0.4.0への対応をやめる。**allowlistはoperation IDだけで引くため、`structuredData.get`など同じIDで引数の違う2つのsignatureを同時に持てません。両方を残すには、allowlistをpackageの版ごとに分ける必要があります。0.4.0をlockしたprojectは、registryで`TW2_MANIFEST_OPERATION_MISMATCH`になります。
|
|
114
|
+
2. **版は検証済みの一覧で固定する。**`STRUCTURED_DATA_PACKAGE_VERSION`を、検証済みの版の一覧に置き換えます。lockは今と同じく正確な版を要求し、signatureの完全一致が契約の本体です。
|
|
115
|
+
3. **JSONの解析はcoreの中で完結させる。**段階1では`JSON.parse`にcodecと同じ上限の数え方を足します。codecのJSON解析は、jsonc-parserで構文を確かめてから`JSON.parse`で値を作るので、厳密な`JSON.parse`と受け付ける構文は同じです。差は上限とerrorの分類だけで、これはparity fixtureで確かめます。
|
|
116
|
+
4. **`set`のVALUEには上限を設けない。**ブラウザはVALUEを`JSON.parse`するだけで、codecの上限を適用しません。段階1はこれに合わせます。structured-data側で両方に同じ上限を入れるかは別に決めます。
|
|
117
|
+
5. **YAML(段階2)はcodecを依存に加える。**`@kubohiroya/turbowarp-yaml-json`のcodecを、YAMLのnodeを使うときだけgenerated packageの依存に加えます。codecは`TextEncoder`しか使わない純粋なJavaScriptで、`eval`も使いません。esbuildで最小化すると約116 KB(gzipで約36 KB)です。YAMLの細かな規則(`.inf`やaliasの拒否、keyの書き出し方)を再実装すると、ずれる危険が大きいためです。この場合、coreが`type {Hono}`しかimportしないという今の性質は、YAMLを使うprojectに限って崩れます。
|
|
118
|
+
6. **schema(段階3)はnamed-functionsのvalidatorを使う。**ブラウザのschema registryとbuilderの下書きはtargetごとにあり、projectの停止で消えます。サーバーではどちらもリクエストごとに持ちます。validatorは`@kubohiroya/turbowarp-named-functions`の`./composition`を依存に加えて使います。`enum`と`const`の比較が`JSON.stringify`によることや、最初のerrorだけを報告することなど、ブラウザと同じ癖を持たせるためです。
|
|
119
|
+
|
|
120
|
+
## 検証
|
|
121
|
+
|
|
122
|
+
- structured-dataのgit tagから`tests/fixtures/semantic-parity.json`と`tests/fixtures/schema-parity.json`を取り込み、取り込み元のtagを記録します(npm packageには含まれません)。段階1では、v0.11.0-rc.1のtagがmanifestFormatVersionを3と記録しているため、2に直したcommit `6bbb908`から`semantic-parity.json`を取り込みました。`schema-parity.json`は段階3で取り込みます。`readCases`はIR operation名で書かれているので、conformance harnessでgenerated coreに対してそのまま実行できます。
|
|
123
|
+
- fixtureには`has`、`keys`、`length`、`delete`、`toYaml`、MAX、上限のcaseがありません。structured-data側で先に追加します。
|
|
124
|
+
- `@kubohiroya/turbowarp-structured-data`をdevDependencyに加え、`tests/compiler-manifest-artifacts.test.ts`が実際のmanifestを読み、registryに登録できることまで確かめます。今はpackageが入っていないため、このtestは0.11のmanifestを読んでいません。
|
|
125
|
+
- 0.4.0向けのtestとfixture(`tests/fixtures/compiler-manifests/structured-data.json`、`structured-*`のconformance fixture)は0.11向けに置き換えます。
|
|
126
|
+
|
|
127
|
+
## ロールバック
|
|
128
|
+
|
|
129
|
+
問題があれば、Structured Dataのmanifest lockを使う生成を停止し、ブラウザまたはWebSocket bridgeで実行します。0.4.0の意味論へのfallbackはしません。
|
package/package.json
CHANGED
|
@@ -1,6 +1,6 @@
|
|
|
1
1
|
{
|
|
2
2
|
"name": "@kubohiroya/turbowarp-http-server",
|
|
3
|
-
"version": "0.5.
|
|
3
|
+
"version": "0.5.2",
|
|
4
4
|
"description": "A TurboWarp extension for connecting block programs to an HTTP bridge server.",
|
|
5
5
|
"author": {
|
|
6
6
|
"name": "Hiroya Kubo",
|
|
@@ -75,14 +75,15 @@
|
|
|
75
75
|
"ws": "^8.18.3"
|
|
76
76
|
},
|
|
77
77
|
"peerDependencies": {
|
|
78
|
-
"@kubohiroya/turbowarp-named-data": "^0.
|
|
78
|
+
"@kubohiroya/turbowarp-named-data": "^0.8.0"
|
|
79
79
|
},
|
|
80
80
|
"devDependencies": {
|
|
81
81
|
"@cloudflare/workers-types": "^5.20260919.1",
|
|
82
82
|
"@eslint/js": "^9.39.5",
|
|
83
83
|
"@kubohiroya/turbowarp-extension-manifest": "^0.5.0",
|
|
84
|
-
"@kubohiroya/turbowarp-named-data": "^0.
|
|
85
|
-
"@kubohiroya/
|
|
84
|
+
"@kubohiroya/turbowarp-named-data": "^0.8.0",
|
|
85
|
+
"@kubohiroya/turbowarp-structured-data": "0.11.0-rc.1",
|
|
86
|
+
"@kubohiroya/vite-plugin-turbowarp-extension": "^0.11.0",
|
|
86
87
|
"@types/node": "^24.13.3",
|
|
87
88
|
"@types/ws": "^8.18.1",
|
|
88
89
|
"eslint": "^9.39.5",
|
|
@@ -96,7 +97,7 @@
|
|
|
96
97
|
"vite": "^8.2.2",
|
|
97
98
|
"vitest": "^4.1.10",
|
|
98
99
|
"wrangler": "4.135.0",
|
|
99
|
-
"@kubohiroya/turbowarp-extension-data-editor": "^0.
|
|
100
|
+
"@kubohiroya/turbowarp-extension-data-editor": "^0.10.0"
|
|
100
101
|
},
|
|
101
102
|
"gitHead": "a1bf89b8787f9270e591f43512b427ada69f85ef",
|
|
102
103
|
"x-turbowarp-source": {
|
|
@@ -455,6 +455,51 @@
|
|
|
455
455
|
"loopId": {"type": "string", "pattern": "^[A-Za-z_][A-Za-z0-9_]*$"},
|
|
456
456
|
"sourceRef": {"$ref": "#/$defs/sourceRef"}
|
|
457
457
|
}
|
|
458
|
+
},
|
|
459
|
+
{
|
|
460
|
+
"type": "object",
|
|
461
|
+
"additionalProperties": false,
|
|
462
|
+
"required": ["kind", "valueType", "name"],
|
|
463
|
+
"properties": {
|
|
464
|
+
"kind": {"const": "named-value"},
|
|
465
|
+
"valueType": {"$ref": "#/$defs/jsonValueType"},
|
|
466
|
+
"name": {"$ref": "#/$defs/expression"},
|
|
467
|
+
"sourceRef": {"$ref": "#/$defs/sourceRef"}
|
|
468
|
+
}
|
|
469
|
+
},
|
|
470
|
+
{
|
|
471
|
+
"type": "object",
|
|
472
|
+
"additionalProperties": false,
|
|
473
|
+
"required": ["kind", "valueType", "name"],
|
|
474
|
+
"properties": {
|
|
475
|
+
"kind": {"const": "named-value-exists"},
|
|
476
|
+
"valueType": {"const": "boolean"},
|
|
477
|
+
"name": {"$ref": "#/$defs/expression"},
|
|
478
|
+
"sourceRef": {"$ref": "#/$defs/sourceRef"}
|
|
479
|
+
}
|
|
480
|
+
},
|
|
481
|
+
{
|
|
482
|
+
"type": "object",
|
|
483
|
+
"additionalProperties": false,
|
|
484
|
+
"required": ["kind", "valueType", "format", "text"],
|
|
485
|
+
"properties": {
|
|
486
|
+
"kind": {"const": "structured-decode"},
|
|
487
|
+
"valueType": {"$ref": "#/$defs/jsonValueType"},
|
|
488
|
+
"format": {"const": "json"},
|
|
489
|
+
"text": {"$ref": "#/$defs/expression"},
|
|
490
|
+
"sourceRef": {"$ref": "#/$defs/sourceRef"}
|
|
491
|
+
}
|
|
492
|
+
},
|
|
493
|
+
{
|
|
494
|
+
"type": "object",
|
|
495
|
+
"additionalProperties": false,
|
|
496
|
+
"required": ["kind", "valueType", "value"],
|
|
497
|
+
"properties": {
|
|
498
|
+
"kind": {"const": "json-scalar-text"},
|
|
499
|
+
"valueType": {"const": "string"},
|
|
500
|
+
"value": {"$ref": "#/$defs/expression"},
|
|
501
|
+
"sourceRef": {"$ref": "#/$defs/sourceRef"}
|
|
502
|
+
}
|
|
458
503
|
}
|
|
459
504
|
]
|
|
460
505
|
},
|
|
@@ -514,6 +559,8 @@
|
|
|
514
559
|
{"$ref": "#/$defs/ifStatement"},
|
|
515
560
|
{"$ref": "#/$defs/boundedLoop"},
|
|
516
561
|
{"$ref": "#/$defs/jsonForEach"},
|
|
562
|
+
{"$ref": "#/$defs/namedValueSet"},
|
|
563
|
+
{"$ref": "#/$defs/namedValueDelete"},
|
|
517
564
|
{"$ref": "#/$defs/respondBinary"},
|
|
518
565
|
{"$ref": "#/$defs/respondNamedBody"},
|
|
519
566
|
{"$ref": "#/$defs/respond"}
|
|
@@ -748,6 +795,28 @@
|
|
|
748
795
|
"sourceRef": {"$ref": "#/$defs/sourceRef"}
|
|
749
796
|
}
|
|
750
797
|
},
|
|
798
|
+
"namedValueSet": {
|
|
799
|
+
"type": "object",
|
|
800
|
+
"additionalProperties": false,
|
|
801
|
+
"required": ["kind", "name", "value", "schema"],
|
|
802
|
+
"properties": {
|
|
803
|
+
"kind": {"const": "named-value-set"},
|
|
804
|
+
"name": {"$ref": "#/$defs/expression"},
|
|
805
|
+
"value": {"$ref": "#/$defs/expression"},
|
|
806
|
+
"schema": {"enum": ["drop", "keep"]},
|
|
807
|
+
"sourceRef": {"$ref": "#/$defs/sourceRef"}
|
|
808
|
+
}
|
|
809
|
+
},
|
|
810
|
+
"namedValueDelete": {
|
|
811
|
+
"type": "object",
|
|
812
|
+
"additionalProperties": false,
|
|
813
|
+
"required": ["kind", "name"],
|
|
814
|
+
"properties": {
|
|
815
|
+
"kind": {"const": "named-value-delete"},
|
|
816
|
+
"name": {"$ref": "#/$defs/expression"},
|
|
817
|
+
"sourceRef": {"$ref": "#/$defs/sourceRef"}
|
|
818
|
+
}
|
|
819
|
+
},
|
|
751
820
|
"respondBinary": {
|
|
752
821
|
"type": "object",
|
|
753
822
|
"additionalProperties": false,
|
|
@@ -378,6 +378,25 @@ function parseStatement(value: unknown, location: string): StatementIrV2 {
|
|
|
378
378
|
sourceRef
|
|
379
379
|
);
|
|
380
380
|
}
|
|
381
|
+
if (kind === 'named-value-set') {
|
|
382
|
+
exactKeys(statement, ['kind', 'name', 'value', 'schema', 'sourceRef'], location);
|
|
383
|
+
const schema = statement.schema;
|
|
384
|
+
if (schema !== 'drop' && schema !== 'keep') throw new Error(`${location}.schema must be drop or keep.`);
|
|
385
|
+
return optional(
|
|
386
|
+
{
|
|
387
|
+
kind,
|
|
388
|
+
name: parseExpression(statement.name, `${location}.name`),
|
|
389
|
+
value: parseExpression(statement.value, `${location}.value`),
|
|
390
|
+
schema
|
|
391
|
+
},
|
|
392
|
+
'sourceRef',
|
|
393
|
+
sourceRef
|
|
394
|
+
);
|
|
395
|
+
}
|
|
396
|
+
if (kind === 'named-value-delete') {
|
|
397
|
+
exactKeys(statement, ['kind', 'name', 'sourceRef'], location);
|
|
398
|
+
return optional({kind, name: parseExpression(statement.name, `${location}.name`)}, 'sourceRef', sourceRef);
|
|
399
|
+
}
|
|
381
400
|
if (kind === 'respond') {
|
|
382
401
|
exactKeys(statement, ['kind', 'format', 'body', 'sourceRef'], location);
|
|
383
402
|
const format = statement.format;
|
|
@@ -653,6 +672,35 @@ function parseExpression(value: unknown, location: string): ExpressionIrV2 {
|
|
|
653
672
|
requireJsonValueType(expression.valueType, `${location}.valueType`);
|
|
654
673
|
return optional({kind, valueType: JSON_VALUE_TYPE_V2, loopId}, 'sourceRef', sourceRef);
|
|
655
674
|
}
|
|
675
|
+
if (kind === 'named-value' || kind === 'named-value-exists') {
|
|
676
|
+
exactKeys(expression, ['kind', 'valueType', 'name', 'sourceRef'], location);
|
|
677
|
+
const name = parseExpression(expression.name, `${location}.name`);
|
|
678
|
+
if (kind === 'named-value-exists') {
|
|
679
|
+
requireValueType(expression.valueType, 'boolean', `${location}.valueType`);
|
|
680
|
+
return optional({kind, valueType: 'boolean', name}, 'sourceRef', sourceRef);
|
|
681
|
+
}
|
|
682
|
+
requireJsonValueType(expression.valueType, `${location}.valueType`);
|
|
683
|
+
return optional({kind, valueType: JSON_VALUE_TYPE_V2, name}, 'sourceRef', sourceRef);
|
|
684
|
+
}
|
|
685
|
+
if (kind === 'structured-decode') {
|
|
686
|
+
exactKeys(expression, ['kind', 'valueType', 'format', 'text', 'sourceRef'], location);
|
|
687
|
+
requireJsonValueType(expression.valueType, `${location}.valueType`);
|
|
688
|
+
if (expression.format !== 'json') throw new Error(`${location}.format must be json.`);
|
|
689
|
+
return optional(
|
|
690
|
+
{kind, valueType: JSON_VALUE_TYPE_V2, format: 'json', text: parseExpression(expression.text, `${location}.text`)},
|
|
691
|
+
'sourceRef',
|
|
692
|
+
sourceRef
|
|
693
|
+
);
|
|
694
|
+
}
|
|
695
|
+
if (kind === 'json-scalar-text') {
|
|
696
|
+
exactKeys(expression, ['kind', 'valueType', 'value', 'sourceRef'], location);
|
|
697
|
+
requireValueType(expression.valueType, 'string', `${location}.valueType`);
|
|
698
|
+
return optional(
|
|
699
|
+
{kind, valueType: 'string', value: parseExpression(expression.value, `${location}.value`)},
|
|
700
|
+
'sourceRef',
|
|
701
|
+
sourceRef
|
|
702
|
+
);
|
|
703
|
+
}
|
|
656
704
|
throw new Error(`${location}.kind is unsupported: ${kind}`);
|
|
657
705
|
}
|
|
658
706
|
|