nadesiko3 3.7.21 → 3.7.22

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (155) hide show
  1. package/batch/command.txt +370 -334
  2. package/batch/jsplugin2text.nako3 +1 -1
  3. package/batch/pickup_command.nako3 +12 -0
  4. package/core/command/snako.mts +5 -1
  5. package/core/deno/snako.ts +5 -1
  6. package/core/package-lock.json +382 -21
  7. package/core/package.json +4 -4
  8. package/core/src/nako3.mts +178 -614
  9. package/core/src/nako_basic_plugins.mts +39 -0
  10. package/core/src/nako_core_version.mts +2 -2
  11. package/core/src/nako_csv.mts +0 -1
  12. package/core/src/nako_event.mts +49 -0
  13. package/core/src/nako_gen.mts +291 -202
  14. package/core/src/nako_indent_inline.mts +2 -2
  15. package/core/src/nako_lex_rules.mts +1 -1
  16. package/core/src/nako_parser3.mts +106 -165
  17. package/core/src/nako_parser_async.mts +97 -0
  18. package/core/src/nako_parser_base.mts +4 -55
  19. package/core/src/nako_parser_message.mts +105 -0
  20. package/core/src/nako_parser_operator.mts +93 -0
  21. package/core/src/nako_plugin_manager.mts +260 -0
  22. package/core/src/nako_require.mts +292 -0
  23. package/core/src/nako_runner.mts +191 -0
  24. package/core/src/nako_tokenizer.mts +221 -0
  25. package/core/src/plugin_csv.mts +1 -1
  26. package/core/src/plugin_system.mts +34 -3259
  27. package/core/src/plugin_system_array.mts +699 -0
  28. package/core/src/plugin_system_datetime.mts +368 -0
  29. package/core/src/plugin_system_debug.mts +403 -0
  30. package/core/src/plugin_system_dict.mts +85 -0
  31. package/core/src/plugin_system_json.mts +73 -0
  32. package/core/src/plugin_system_math.mts +383 -0
  33. package/core/src/plugin_system_regexp.mts +120 -0
  34. package/core/src/plugin_system_stdio.mts +86 -0
  35. package/core/src/plugin_system_string.mts +666 -0
  36. package/core/src/plugin_system_timer.mts +152 -0
  37. package/core/src/plugin_system_types.mts +151 -0
  38. package/core/src/plugin_system_url.mts +193 -0
  39. package/core/src/plugin_toml.mts +3 -3
  40. package/core/test/fixtures/README.md +39 -0
  41. package/core/test/fixtures/make_parser_ast_golden.mjs +31 -0
  42. package/core/test/fixtures/parser_ast_golden.json +8027 -0
  43. package/core/test/fixtures/parser_corpus.mjs +120 -0
  44. package/core/test/indent_test.mjs +6 -0
  45. package/core/test/nako_basic_plugins_test.mjs +44 -0
  46. package/core/test/nako_event_test.mjs +85 -0
  47. package/core/test/nako_gen_perf_test.mjs +178 -0
  48. package/core/test/nako_parser_async_test.mjs +112 -0
  49. package/core/test/nako_parser_test.mjs +160 -0
  50. package/core/test/nako_plugin_manager_test.mjs +185 -0
  51. package/core/test/nako_require_test.mjs +153 -0
  52. package/core/test/nako_runner_test.mjs +114 -0
  53. package/core/test/nako_tokenizer_test.mjs +115 -0
  54. package/core/test/plugin_system_debug_test.mjs +141 -0
  55. package/core/test/plugin_system_split_test.mjs +179 -0
  56. package/core/test/plugin_system_test.mjs +6 -0
  57. package/core/tsconfig.json +0 -1
  58. package/package.json +17 -21
  59. package/release/_hash.txt +36 -36
  60. package/release/_script-tags.txt +16 -16
  61. package/release/command.json +1 -1
  62. package/release/command.json.js +1 -1
  63. package/release/command_cnako3.json +1 -1
  64. package/release/command_list.json +1 -1
  65. package/release/edit_main.js +6 -6
  66. package/release/edit_main.js.map +3 -3
  67. package/release/editor.js +6 -6
  68. package/release/plugin_keigo.js.map +3 -3
  69. package/release/plugin_markup.js +46 -46
  70. package/release/plugin_markup.js.map +3 -3
  71. package/release/plugin_weykturtle3d.js +1 -1
  72. package/release/plugin_weykturtle3d.js.map +3 -3
  73. package/release/version.js +2 -2
  74. package/release/version_main.js +2 -2
  75. package/release/version_main.js.map +1 -1
  76. package/release/wnako3.js +186 -213
  77. package/release/wnako3.js.map +4 -4
  78. package/release/wnako3webworker.js +172 -199
  79. package/release/wnako3webworker.js.map +4 -4
  80. package/src/cnako3mod.mjs +7 -2
  81. package/src/cnako3mod.mts +7 -2
  82. package/src/nako_version.mjs +2 -2
  83. package/src/nako_version.mts +2 -2
  84. package/src/plugin_browser_ajax.mjs +4 -4
  85. package/src/plugin_browser_ajax.mts +4 -4
  86. package/src/plugin_browser_audio.mjs +10 -10
  87. package/src/plugin_browser_audio.mts +10 -10
  88. package/src/plugin_browser_camera.mjs +4 -4
  89. package/src/plugin_browser_camera.mts +4 -4
  90. package/src/plugin_browser_canvas.mjs +2 -2
  91. package/src/plugin_browser_canvas.mts +2 -2
  92. package/src/plugin_browser_crypto.mjs +3 -3
  93. package/src/plugin_browser_crypto.mts +3 -3
  94. package/src/plugin_browser_dom_event.mjs +1 -1
  95. package/src/plugin_browser_dom_event.mts +1 -1
  96. package/src/plugin_browser_geolocation.mjs +1 -1
  97. package/src/plugin_browser_geolocation.mts +1 -1
  98. package/src/plugin_browser_hotkey.mjs +1 -1
  99. package/src/plugin_browser_hotkey.mts +1 -1
  100. package/src/plugin_browser_html.mjs +1 -1
  101. package/src/plugin_browser_html.mts +1 -1
  102. package/src/plugin_browser_location.mjs +1 -1
  103. package/src/plugin_browser_location.mts +1 -1
  104. package/src/plugin_browser_speech.mjs +1 -1
  105. package/src/plugin_browser_speech.mts +1 -1
  106. package/src/plugin_browser_storage.mjs +2 -2
  107. package/src/plugin_browser_storage.mts +2 -2
  108. package/src/plugin_httpserver.mjs +3 -3
  109. package/src/plugin_httpserver.mts +3 -3
  110. package/src/plugin_keigo.mjs +2 -2
  111. package/src/plugin_keigo.mts +2 -2
  112. package/src/plugin_node.mjs +48 -48
  113. package/src/plugin_node.mts +53 -53
  114. package/src/plugin_weykturtle3d.mjs +56 -56
  115. package/src/plugin_weykturtle3d.mts +56 -56
  116. package/src/wnako3.mjs +1 -1
  117. package/src/wnako3.mts +1 -1
  118. package/src/wnako3_editor.mjs +5 -5
  119. package/src/wnako3_editor.mts +5 -5
  120. package/src/wnako3mod.mjs +2 -2
  121. package/src/wnako3mod.mts +2 -2
  122. package/core/src/nako3.mjs +0 -1021
  123. package/core/src/nako_ast.mjs +0 -4
  124. package/core/src/nako_colors.mjs +0 -77
  125. package/core/src/nako_core_version.mjs +0 -8
  126. package/core/src/nako_csv.mjs +0 -193
  127. package/core/src/nako_errors.mjs +0 -166
  128. package/core/src/nako_from_dncl.mjs +0 -285
  129. package/core/src/nako_from_dncl2.mjs +0 -347
  130. package/core/src/nako_gen.mjs +0 -2500
  131. package/core/src/nako_global.mjs +0 -138
  132. package/core/src/nako_indent.mjs +0 -442
  133. package/core/src/nako_indent_chars.mjs +0 -29
  134. package/core/src/nako_indent_inline.mjs +0 -361
  135. package/core/src/nako_josi_list.mjs +0 -47
  136. package/core/src/nako_lex_rules.mjs +0 -319
  137. package/core/src/nako_lexer.mjs +0 -794
  138. package/core/src/nako_logger.mjs +0 -221
  139. package/core/src/nako_parser3.mjs +0 -3250
  140. package/core/src/nako_parser_base.mjs +0 -403
  141. package/core/src/nako_parser_const.mjs +0 -37
  142. package/core/src/nako_prepare.mjs +0 -329
  143. package/core/src/nako_reserved_words.mjs +0 -42
  144. package/core/src/nako_source_mapping.mjs +0 -207
  145. package/core/src/nako_test.mjs +0 -37
  146. package/core/src/nako_token.mjs +0 -1
  147. package/core/src/nako_tools.mjs +0 -53
  148. package/core/src/nako_types.mjs +0 -14
  149. package/core/src/plugin_api.mjs +0 -4
  150. package/core/src/plugin_csv.mjs +0 -97
  151. package/core/src/plugin_math.mjs +0 -352
  152. package/core/src/plugin_promise.mjs +0 -102
  153. package/core/src/plugin_system.mjs +0 -3810
  154. package/core/src/plugin_test.mjs +0 -52
  155. package/core/src/plugin_toml.mjs +0 -39
@@ -1,329 +0,0 @@
1
- /**
2
- * nako_prepare.js
3
- * 字句解析の前の前処理。全角文字を半角文字に変換するのが主な処理。
4
- * ただし、コメントや文字列の中は変換しないように考慮して変換する。
5
- */
6
- class ReplaceHistory {
7
- constructor(from, to, index) {
8
- this.from = from;
9
- this.to = to;
10
- this.index = index;
11
- }
12
- }
13
- export class ConvertResult {
14
- constructor(text, sourcePosition) {
15
- this.text = text;
16
- this.sourcePosition = sourcePosition;
17
- }
18
- }
19
- /**
20
- * 置換後の位置から置換前の位置へマッピングできる文字列
21
- */
22
- export class Replace {
23
- constructor(code) {
24
- this.history = [];
25
- this.code = code;
26
- }
27
- getText() {
28
- return this.code;
29
- }
30
- replaceAll(from, to) {
31
- while (true) {
32
- const index = this.getText().indexOf(from);
33
- if (index === -1) {
34
- break;
35
- }
36
- if (from.length !== to.length) {
37
- this.history.unshift(new ReplaceHistory(from.length, to.length, index));
38
- }
39
- this.code = this.code.replace(from, to);
40
- }
41
- }
42
- getSourcePosition(i) {
43
- // 少し遅い。パース時間1.4秒に対して0.15秒かかる。iが単調増加することを利用して高速化できるはず。
44
- for (const item of this.history) {
45
- if (i >= item.index + item.to) { // 置換範囲より後ろ
46
- i += item.from - item.to;
47
- }
48
- else if (item.index <= i && i < item.index + item.to) { // 置換範囲
49
- // 置換文字列が2文字以上のとき、最後の文字は最後の文字へマップする。それ以外は最初の文字へマップする。
50
- if (item.to >= 2 && i === item.index + item.to - 1) {
51
- i = item.index + item.from - 1;
52
- }
53
- else {
54
- i = item.index;
55
- }
56
- }
57
- }
58
- return i;
59
- }
60
- }
61
- /**
62
- * 字句解析を行う前に全角文字を半角に揃える
63
- * [memo]
64
- * ただし、文字列部分だけは、そのまま全角で出力するようにする
65
- * for https://github.com/kujirahand/nadesiko3/issues/94
66
- */
67
- export class NakoPrepare {
68
- /** 唯一のインスタンスを返す */
69
- static getInstance() {
70
- if (!NakoPrepare._instance) {
71
- NakoPrepare._instance = new NakoPrepare();
72
- }
73
- return NakoPrepare._instance;
74
- }
75
- constructor() {
76
- // 単純な変換テーブル
77
- this.convertTable = new Map([
78
- // ハイフンへの変換
79
- // 参考) https://hydrocul.github.io/wiki/blog/2014/1101-hyphen-minus-wave-tilde
80
- // 0x2d: true, // ASCIIのハイフン
81
- [0x2010, '-'], // 別のハイフン
82
- [0x2011, '-'], // 改行しないハイフン
83
- [0x2013, '-'], // ENダッシュ
84
- [0x2014, '-'], // EMダッシュ
85
- [0x2015, '-'], // 全角のダッシュ
86
- [0x2212, '-'], // 全角のマイナス
87
- // チルダの変換
88
- // 0x7e: true,
89
- [0x02dc, '~'], // 小さなチルダ
90
- [0x02F7, '~'], // Modifier Letter Low Tilde
91
- [0x2053, '~'], // Swung Dash - 辞書のみだし
92
- [0x223c, '~'], // Tilde Operator: 数学で Similar to
93
- [0x301c, '~'], // Wave Dash(一般的な波ダッシュ)
94
- [0xFF5E, '~'], // 全角チルダ
95
- // スペースの変換
96
- // 参考) http://anti.rosx.net/etc/memo/002_space.html
97
- // 0x20: true,
98
- [0x2000, ' '], // EN QUAD
99
- [0x2002, ' '], // EN SPACE
100
- [0x2003, ' '], // EM SPACE
101
- [0x2004, ' '], // THREE-PER-EM SPACE
102
- [0x2005, ' '], // FOUR-PER-EM SPACE
103
- [0x2006, ' '], // SIX-PER-EM SPACE
104
- [0x2007, ' '], // FIGURE SPACE
105
- [0x2009, ' '], // THIN SPACE
106
- [0x200A, ' '], // HAIR SPACE
107
- [0x200B, ' '], // ZERO WIDTH SPACE
108
- [0x202F, ' '], // NARROW NO-BREAK SPACE
109
- [0x205F, ' '], // MEDIUM MATHEMATICAL SPACE
110
- // [0x3000, ' '], // 全角スペース --- インデント量2として扱うためにコメントアウト (#issue)
111
- [0x3164, ' '], // HANGUL FILLER
112
- // その他の変換
113
- // [0x09, ' '], // TAB --> SPC
114
- [0x203B, '#'], // '※' --- コメント
115
- [0x3002, ';'], // 句点
116
- [0x3010, '['], // '【'
117
- [0x3011, ']'], // '】'
118
- // 読点は「,」に変換する (#877)
119
- [0x3001, ','], // 読点 --- JSON記法で「,」と「、」を区別したいので読点は変換しないことに。(#276)
120
- [0xFF0C, ','], // 読点 ',' 論文などで利用、ただし句点はドットと被るので変換しない (#735)
121
- [0x2715, '*'], // ✕の絵文字 (#1781) @see https://ja.wikipedia.org/wiki/%C3%97#%E7%AC%A6%E5%8F%B7%E4%BD%8D%E7%BD%AE
122
- [0x2716, '*'], // ✖の絵文字 (#1183)
123
- [0x2717, '*'], // ✗の絵文字 (#1781)
124
- [0x2718, '*'], // ✘の絵文字 (#1781)
125
- [0x274C, '*'], // ❌の絵文字 (#1781) CROSS MARK
126
- [0x2795, '+'], // +の絵文字 (#1183)
127
- [0x2796, '-'], // -の絵文字 (#1183)
128
- [0x2797, '÷'], // ÷の絵文字 (#1183)
129
- [0x1F7F0, '='] // 🟰の絵文字(#1781)
130
- ]);
131
- }
132
- // 一文字だけ変換
133
- /**
134
- * @param {string} ch
135
- */
136
- convert1ch(ch) {
137
- if (!ch) {
138
- return '';
139
- }
140
- const c = ch.codePointAt(0) || 0;
141
- // テーブルによる変換
142
- const c2 = this.convertTable.get(c) || '';
143
- if (c2) {
144
- return c2;
145
- }
146
- // ASCIIエリア
147
- if (c < 0x7F) {
148
- return ch;
149
- }
150
- // 全角半角単純変換可能 --- '!' - '~'
151
- if (c >= 0xFF01 && c <= 0xFF5E) {
152
- const c2 = c - 0xFEE0;
153
- return String.fromCodePoint(c2);
154
- }
155
- return ch;
156
- }
157
- /** convert code */
158
- convert(code) {
159
- if (!code) {
160
- return [];
161
- }
162
- const src = new Replace(code);
163
- // 改行コードを統一
164
- src.replaceAll('\r\n', '\n');
165
- src.replaceAll('\r', '\n');
166
- let flagStr = false; // 文字列リテラル内かどうか
167
- let flagStr2 = false; // 絵文字による文字列リテラル内かどうか
168
- let endOfStr = ''; // 文字列リテラルを終了させる記号
169
- const res = [];
170
- let left = 0; // 現在処理中の部分文字列の左端の位置
171
- let str = ''; // 文字列リテラルの値
172
- // 一文字ずつ全角を半角に置換する
173
- let i = 0;
174
- while (i < src.getText().length) {
175
- const c = src.getText().charAt(i);
176
- const ch2 = src.getText().substring(i, i + 2);
177
- // 文字列のとき
178
- if (flagStr) {
179
- if (c === endOfStr) {
180
- flagStr = false;
181
- res.push(new ConvertResult(str + endOfStr, src.getSourcePosition(left)));
182
- i++;
183
- left = i;
184
- continue;
185
- }
186
- str += c;
187
- i++;
188
- continue;
189
- }
190
- // 絵文字制御による文字列のとき
191
- if (flagStr2) {
192
- if (ch2 === endOfStr) {
193
- flagStr2 = false;
194
- if (endOfStr === '*/') {
195
- endOfStr = '*/';
196
- } // 強制変換
197
- res.push(new ConvertResult(str + endOfStr, src.getSourcePosition(left)));
198
- i += 2;
199
- left = i;
200
- continue;
201
- }
202
- str += c;
203
- i++;
204
- continue;
205
- }
206
- // 文字列判定
207
- if (c === '「') {
208
- res.push(new ConvertResult(c, src.getSourcePosition(left)));
209
- i++;
210
- left = i;
211
- flagStr = true;
212
- endOfStr = '」';
213
- str = '';
214
- continue;
215
- }
216
- if (c === '『') {
217
- res.push(new ConvertResult(c, src.getSourcePosition(left)));
218
- i++;
219
- left = i;
220
- flagStr = true;
221
- endOfStr = '』';
222
- str = '';
223
- continue;
224
- }
225
- if (c === '“') {
226
- res.push(new ConvertResult(c, src.getSourcePosition(left)));
227
- i++;
228
- left = i;
229
- flagStr = true;
230
- endOfStr = '”';
231
- str = '';
232
- continue;
233
- }
234
- // JavaScriptの内部的には文字列はUTF-16で扱われてるので charAt を使う場合 絵文字が2文字扱いになる --- #726
235
- if (ch2 === '🌴' || ch2 === '🌿') {
236
- res.push(new ConvertResult(ch2, src.getSourcePosition(left)));
237
- i += 2;
238
- left = i;
239
- flagStr2 = true;
240
- endOfStr = ch2;
241
- str = '';
242
- continue;
243
- }
244
- const c1 = this.convert1ch(c);
245
- if (c1 === '"' || c1 === '\'') {
246
- res.push(new ConvertResult(c1, src.getSourcePosition(left)));
247
- i++;
248
- left = i;
249
- flagStr = true;
250
- endOfStr = c;
251
- str = '';
252
- continue;
253
- }
254
- // ラインコメントを飛ばす (#725)
255
- if (c1 === '#') {
256
- res.push(new ConvertResult(c1, src.getSourcePosition(left)));
257
- i++;
258
- left = i;
259
- flagStr = true; // 本当はコメントだけど便宜上
260
- endOfStr = '\n';
261
- str = '';
262
- continue;
263
- }
264
- // ラインコメントを飛ばす
265
- if (ch2 === '//' || ch2 === '//') {
266
- res.push(new ConvertResult('//', src.getSourcePosition(left))); // 強制的に'//'とする
267
- i += 2;
268
- left = i;
269
- flagStr = true;
270
- endOfStr = '\n';
271
- str = '';
272
- continue;
273
- }
274
- // 複数行コメント内を飛ばす
275
- if (ch2 === '/*') {
276
- res.push(new ConvertResult('/*', src.getSourcePosition(left))); // 強制変換
277
- i += 2;
278
- left = i;
279
- flagStr2 = true;
280
- endOfStr = '*/';
281
- str = '';
282
- continue;
283
- }
284
- // 複数行コメント内を飛ばす (#731)
285
- if (ch2 === '/*') {
286
- res.push(new ConvertResult(ch2, src.getSourcePosition(left)));
287
- i += 2;
288
- left = i;
289
- flagStr2 = true;
290
- endOfStr = '*/';
291
- str = '';
292
- continue;
293
- }
294
- // 変換したものを追加
295
- res.push(new ConvertResult(c1, src.getSourcePosition(left)));
296
- i++;
297
- left = i;
298
- }
299
- if (flagStr || flagStr2) {
300
- if (endOfStr === '"' || endOfStr === '\'' || endOfStr === '」' || endOfStr === '』') {
301
- // throw new Error(`(${startLineOfStr+1}行目) 文字列が記号『${endOfStr}』で閉じられていません。`)
302
- // ここではエラーはリポートしない nako_lex_rule.js でエラーをリポートする
303
- }
304
- else {
305
- // 文字列以外のコメントなどは自動で閉じる
306
- res.push(new ConvertResult(str + endOfStr, src.getSourcePosition(left)));
307
- }
308
- }
309
- return res;
310
- }
311
- }
312
- /** なでしこのソースコードのモード(!インデント構文など)が設定されているか調べる */
313
- export function checkNakoMode(code, modeNames) {
314
- // 先頭の256文字について調べる
315
- code = code.substring(0, 256);
316
- // 全角半角の揺れを吸収
317
- code = code.replace(/(!|💡)/, '!');
318
- // 範囲コメントを削除
319
- code = code.replace(/\/\*.*?\*\//g, '');
320
- // 毎文調べる
321
- const lines = code.split(/[;。\n]/, 30);
322
- for (let line of lines) {
323
- line = line.replace(/^\s+/, '').replace(/\s+$/, ''); // trim
324
- if (modeNames.indexOf(line) >= 0) {
325
- return true;
326
- }
327
- }
328
- return false;
329
- }
@@ -1,42 +0,0 @@
1
- /** 予約語 */
2
- const reserved = new Map([
3
- ['もし', 'もし'],
4
- ['回', '回'],
5
- ['回繰返', '回'], // (#924)
6
- ['間', '間'],
7
- ['間繰返', '間'], // (#927)
8
- ['繰返', '繰返'],
9
- ['増繰返', '増繰返'], // (#1140)
10
- ['減繰返', '減繰返'],
11
- ['後判定', '後判定'], // (#1147)
12
- ['反復', '反復'],
13
- ['抜', '抜ける'],
14
- ['続', '続ける'],
15
- ['戻', '戻る'],
16
- ['先', '先に'],
17
- ['次', '次に'],
18
- ['代入', '代入'],
19
- ['実行速度優先', '実行速度優先'],
20
- ['パフォーマンスモニタ適用', 'パフォーマンスモニタ適用'], // (#986)
21
- ['定', '定める'],
22
- ['逐次実行', '逐次実行'], // 廃止 #1611 ただし念のため残しておく
23
- ['条件分岐', '条件分岐'],
24
- ['増', '増'],
25
- ['減', '減'],
26
- ['変数', '変数'],
27
- ['定数', '定数'],
28
- ['エラー監視', 'エラー監視'], // 例外処理:エラーならばと対
29
- ['エラー', 'エラー'],
30
- ['それ', 'word'],
31
- ['そう', 'word'], // 「それ」のエイリアス
32
- ['関数', 'def_func'], // 無名関数の定義用
33
- ['インデント構文', 'インデント構文'], // https://nadesi.com/v3/doc/go.php?949
34
- ['非同期モード', '非同期モード'], // (#637)
35
- ['DNCLモード', 'DNCLモード'], // (#1140)
36
- ['DNCL2モード', 'DNCL2モード'],
37
- ['モード設定', 'モード設定'], // (#1020)
38
- ['取込', '取込'],
39
- ['モジュール公開既定値', 'モジュール公開既定値'],
40
- ['厳チェック', '厳チェック'] // 厳しくチェック (#1698)
41
- ]);
42
- export default reserved;
@@ -1,207 +0,0 @@
1
- /** prepareとtokenizeのソースマッピング */
2
- export class SourceMappingOfTokenization {
3
- /**
4
- * @param {number} sourceCodeLength
5
- * @param {PreprocessItem[]} preprocessed
6
- */
7
- constructor(sourceCodeLength, preprocessed) {
8
- /** @private @readonly */
9
- this.sourceCodeLength = sourceCodeLength;
10
- /** @private @readonly */
11
- this.preprocessed = preprocessed;
12
- let i = 0;
13
- /** @private @readonly @type {number[]} */
14
- this.cumulativeSum = [];
15
- for (const el of preprocessed) {
16
- this.cumulativeSum.push(i);
17
- i += el.text.length;
18
- }
19
- /** @private */
20
- this.lastIndex = 0;
21
- /** @private */
22
- this.lastPreprocessedCodePosition = 0;
23
- }
24
- /**
25
- * preprocess後の文字列上のoffsetからソースコード上のoffsetへ変換
26
- * @param {number} preprocessedCodePosition
27
- * @returns {number}
28
- */
29
- map(preprocessedCodePosition) {
30
- const i = this.findIndex(preprocessedCodePosition);
31
- return Math.min(this.preprocessed[i].sourcePosition + (preprocessedCodePosition - this.cumulativeSum[i]), i === this.preprocessed.length - 1 ? this.sourceCodeLength : this.preprocessed[i + 1].sourcePosition - 1);
32
- }
33
- /**
34
- * @param {number} preprocessedCodePosition
35
- * @returns {number}
36
- */
37
- findIndex(preprocessedCodePosition) {
38
- // 連続アクセスに対する高速化
39
- if (preprocessedCodePosition < this.lastPreprocessedCodePosition) {
40
- this.lastIndex = 0;
41
- }
42
- this.lastPreprocessedCodePosition = preprocessedCodePosition;
43
- for (let i = this.lastIndex; i < this.preprocessed.length - 1; i++) {
44
- if (preprocessedCodePosition < this.cumulativeSum[i + 1]) {
45
- this.lastIndex = i;
46
- return i;
47
- }
48
- }
49
- this.lastIndex = this.preprocessed.length - 1;
50
- return this.preprocessed.length - 1;
51
- }
52
- }
53
- export class SourceMappingOfIndentSyntax {
54
- /**
55
- * @param {string} codeAfterProcessingIndentationSyntax
56
- * @param {readonly number[]} linesInsertedByIndentationSyntax
57
- * @param {readonly { lineNumber: number, len: number }[]} linesDeletedByIndentationSyntax
58
- */
59
- constructor(codeAfterProcessingIndentationSyntax, linesInsertedByIndentationSyntax, linesDeletedByIndentationSyntax) {
60
- /** @private @type {{ offset: number, len: number }[]} */
61
- this.lines = [];
62
- /** @private @readonly */
63
- this.linesInsertedByIndentationSyntax = linesInsertedByIndentationSyntax;
64
- /** @private @readonly */
65
- this.linesDeletedByIndentationSyntax = linesDeletedByIndentationSyntax;
66
- let offset = 0;
67
- for (const line of codeAfterProcessingIndentationSyntax.split('\n')) {
68
- this.lines.push({ offset, len: line.length });
69
- offset += line.length + 1;
70
- }
71
- /** @private */
72
- this.lastLineNumber = 0;
73
- /** @private */
74
- this.lastOffset = 0;
75
- }
76
- /**
77
- * @param {number | null} startOffset
78
- * @param {number | null} endOffset
79
- * @returns {{ startOffset: number | null, endOffset: number | null }}
80
- */
81
- map(startOffset, endOffset) {
82
- if (startOffset === null) {
83
- return { startOffset, endOffset };
84
- }
85
- // 何行目かを判定
86
- const tokenLine = this.getLineNumber(startOffset);
87
- for (const insertedLine of this.linesInsertedByIndentationSyntax) {
88
- // インデント構文の処理後のソースコードの `insertedLine` 行目にあるトークンのソースマップ情報を削除する。
89
- if (tokenLine === insertedLine) {
90
- startOffset = null;
91
- endOffset = null;
92
- break;
93
- }
94
- // インデント構文の処理後のソースコードの `insertedLine` 行目以降にあるトークンのoffsetから
95
- // `linesInsertedByIndentationSyntax[i]` 行目の文字数(\rを含む) を引く。
96
- if (tokenLine > insertedLine) {
97
- // "\n"の分1足す
98
- startOffset -= this.lines[insertedLine].len + 1;
99
- if (endOffset !== null) {
100
- endOffset -= this.lines[insertedLine].len + 1;
101
- }
102
- }
103
- }
104
- for (const deletedLine of this.linesDeletedByIndentationSyntax) {
105
- if (tokenLine >= deletedLine.lineNumber) {
106
- // "\n"の分1足す
107
- if (startOffset !== null) {
108
- startOffset += deletedLine.len + 1;
109
- }
110
- if (endOffset !== null) {
111
- endOffset += deletedLine.len + 1;
112
- }
113
- }
114
- }
115
- return { startOffset, endOffset };
116
- }
117
- /**
118
- * @param {number} offset
119
- * @returns {number}
120
- * @private
121
- */
122
- getLineNumber(offset) {
123
- // 連続アクセスに対する高速化
124
- if (offset < this.lastOffset) {
125
- this.lastLineNumber = 0;
126
- }
127
- this.lastOffset = offset;
128
- for (let i = this.lastLineNumber; i < this.lines.length - 1; i++) {
129
- if (offset < this.lines[i + 1].offset) {
130
- this.lastLineNumber = i;
131
- return i;
132
- }
133
- }
134
- this.lastLineNumber = this.lines.length - 1;
135
- return this.lines.length - 1;
136
- }
137
- }
138
- /** offsetから (line, column) へ変換する。 */
139
- export class OffsetToLineColumn {
140
- /**
141
- * @param {string} code
142
- */
143
- constructor(code) {
144
- /** @private @type {number[]} */
145
- this.lineOffsets = [];
146
- // 各行の先頭位置を先に計算しておく
147
- let offset = 0;
148
- for (const line of code.split('\n')) {
149
- this.lineOffsets.push(offset);
150
- offset += line.length + 1;
151
- }
152
- /** @private */
153
- this.lastLineNumber = 0;
154
- /** @private */
155
- this.lastOffset = 0;
156
- }
157
- /**
158
- * @param {number} offset
159
- * @param {boolean} oneBasedLineNumber trueのときlineを1から始める
160
- * @returns {{ line: number, column: number }}
161
- */
162
- map(offset, oneBasedLineNumber) {
163
- // 連続アクセスに対する高速化
164
- if (offset < this.lastOffset) {
165
- this.lastLineNumber = 0;
166
- }
167
- this.lastOffset = offset;
168
- for (let i = this.lastLineNumber; i < this.lineOffsets.length - 1; i++) {
169
- if (offset < this.lineOffsets[i + 1]) {
170
- this.lastLineNumber = i;
171
- return {
172
- line: i + (oneBasedLineNumber ? 1 : 0),
173
- column: offset - this.lineOffsets[i]
174
- };
175
- }
176
- }
177
- this.lastLineNumber = this.lineOffsets.length - 1;
178
- return {
179
- line: this.lineOffsets.length - 1 + (oneBasedLineNumber ? 1 : 0),
180
- column: offset - this.lineOffsets[this.lineOffsets.length - 1]
181
- };
182
- }
183
- }
184
- /**
185
- * preCodeの分、ソースマップのoffset、行数、列数を減らす。
186
- * @type {<T extends {line?: number, column?: number, startOffset: number | null, endOffset: number | null }>(sourceMap: T, preCode: string) => T}
187
- */
188
- export function subtractSourceMapByPreCodeLength(sourceMap, preCode) {
189
- // offsetは単純に引くだけでよい
190
- if (typeof sourceMap.startOffset === 'number') {
191
- sourceMap.startOffset -= preCode.length;
192
- }
193
- if (typeof sourceMap.endOffset === 'number') {
194
- sourceMap.endOffset -= preCode.length;
195
- }
196
- // たとえば preCode = 'abc\ndef\nghi' のとき、line -= 2 して、先頭行なら column -= 3 もする。
197
- if (preCode !== '') {
198
- const lines = preCode.split('\n');
199
- if (typeof sourceMap.line === 'number') {
200
- sourceMap.line -= lines.length - 1;
201
- }
202
- if (sourceMap.line === 0 && typeof sourceMap.column === 'number') {
203
- sourceMap.column -= lines[lines.length - 1].length;
204
- }
205
- }
206
- return sourceMap;
207
- }
@@ -1,37 +0,0 @@
1
- class NakoTest {
2
- constructor () {
3
- /** @type {{ name: string, f: () => void }[]} */
4
- this.tests = []
5
- }
6
-
7
- /** @param {any} a, @param {any} b */
8
- static assertStrictEqual (a, b) {
9
- if (a !== b) {
10
- throw new Error('')
11
- }
12
- }
13
-
14
- /** @param {unknown} a */
15
- static inspect (a) {
16
- switch (typeof a) {
17
- case 'bigint': return `bigint値『${a}』`
18
- case 'boolean': return a + ''
19
- case 'function': return `関数『${a.name}』`
20
- case 'number': return `数値${a}`
21
- case 'object':
22
- if (a === null) {
23
- return a + ''
24
- }
25
- try {
26
- return `オブジェクト『${JSON.stringify(a)}』`
27
- } catch (e) { // 循環参照など
28
- return `オブジェクト『${a}』`
29
- }
30
- case 'string': return `文字列『${a}』`
31
- case 'symbol': return `シンボル『${a.toString()}』`
32
- case 'undefined': return a + ''
33
- }
34
- }
35
- }
36
-
37
- module.exports = NakoTest
@@ -1 +0,0 @@
1
- export {};
@@ -1,53 +0,0 @@
1
- /**
2
- * よく使う処理をまとめたもの
3
- */
4
- import { NewEmptyToken } from './nako_types.mjs';
5
- /**
6
- * トークンの内容をデバッグ出力する関数
7
- * @param tokens トークンの一覧
8
- * @returns 文字列
9
- */
10
- export function debugTokens(tokens) {
11
- const result = [];
12
- for (let i = 0; i < tokens.length; i++) {
13
- const t = tokens[i];
14
- const ftype = t.type;
15
- const fvalue = t.value;
16
- let s = `[${ftype}:${fvalue}]`;
17
- if (ftype === fvalue) {
18
- s = ftype;
19
- }
20
- if (ftype === 'comma') {
21
- s = ',';
22
- }
23
- if (ftype === 'string') {
24
- s = `"${fvalue}"`;
25
- }
26
- if (ftype === 'number') {
27
- s = `(${fvalue})`;
28
- }
29
- if (ftype === 'word') {
30
- s = `[word:${fvalue}]`;
31
- }
32
- if (!result[t.line]) {
33
- result[t.line] = makeIndent(t.indent);
34
- }
35
- result[t.line] += s + t.josi + '|';
36
- }
37
- return result.join('\n');
38
- }
39
- export function makeIndent(n) {
40
- let s = '';
41
- for (let i = 0; i < n; i++) {
42
- s += ' ';
43
- }
44
- return s;
45
- }
46
- let lastTokenInfo = NewEmptyToken();
47
- export function newToken(type, value, templateToken = undefined) {
48
- if (templateToken) {
49
- lastTokenInfo = templateToken;
50
- }
51
- const t = NewEmptyToken(type, value, lastTokenInfo.indent, lastTokenInfo.line, lastTokenInfo.file);
52
- return t;
53
- }
@@ -1,14 +0,0 @@
1
- /**
2
- * なでしこ3 の TypeScript のための型定義
3
- */
4
- export function NewEmptyToken(type = '?', value = '', indent = -1, line = 0, file = 'main.nako3') {
5
- return {
6
- type,
7
- value,
8
- indent,
9
- line,
10
- column: 0,
11
- file,
12
- josi: ''
13
- };
14
- }