nadesiko3 3.2.52 → 3.3.3

package/src/{nako3.js → nako3.mjs}

@@ -2,41 +2,25 @@
 /**
  * nadesiko v3
  */
-const Parser = require('./nako_parser3')
-const NakoLexer = require('./nako_lexer')
-const Prepare = require('./nako_prepare')
-const NakoGenSync = require('./nako_gen')
-const NakoIndent = require('./nako_indent')
-const NakoDncl = require('./nako_from_dncl')
-const PluginSystem = require('./plugin_system')
-const PluginMath = require('./plugin_math')
-const PluginPromise = require('./plugin_promise')
-const PluginTest = require('./plugin_test')
-const { SourceMappingOfTokenization, SourceMappingOfIndentSyntax, OffsetToLineColumn, subtractSourceMapByPreCodeLength } = require('./nako_source_mapping')
-const { NakoRuntimeError, NakoLexerError, NakoImportError, NakoSyntaxError, InternalLexerError } = require('./nako_errors')
-const NakoLogger = require('./nako_logger')
-const NakoGlobal = require('./nako_global')
+import { NakoParser } from './nako_parser3.mjs'
+import { NakoLexer } from './nako_lexer.mjs'
+import { NakoPrepare } from './nako_prepare.mjs'
+import { NakoGen, generateJS } from './nako_gen.mjs'
+import { NakoGenASync } from './nako_gen_async.mjs'
+import NakoIndent from './nako_indent.mjs'
+import { convertDNCL } from './nako_from_dncl.mjs'
+import PluginSystem from './plugin_system.mjs'
+import PluginMath from './plugin_math.mjs'
+import PluginPromise from './plugin_promise.mjs'
+import PluginTest from './plugin_test.mjs'
+import { SourceMappingOfTokenization, SourceMappingOfIndentSyntax, OffsetToLineColumn, subtractSourceMapByPreCodeLength } from './nako_source_mapping.mjs'
+import { NakoRuntimeError, NakoLexerError, NakoImportError, NakoSyntaxError, InternalLexerError } from './nako_errors.mjs'
+import { NakoLogger } from './nako_logger.mjs'
+import { NakoGlobal } from './nako_global.mjs'
 
 /** @type {<T>(x: T) => T} */
 const cloneAsJSON = (x) => JSON.parse(JSON.stringify(x))
 
-// Select Code Generator #637
-/**
- * @type {Object}
- */
-const codeGenerators = {
-  // [key: String]
-  sync: NakoGenSync
-}
-
-/**
- * @param {String | undefined} mode
-*/
-function NakoGen (mode) {
-  if (codeGenerators[mode]) { return codeGenerators[mode] }
-  throw new Error(`コードジェネレータの「${mode}」はサポートされていません。`)
-}
-
 /**
  * @typedef {{
  *   type: string
@@ -93,7 +77,7 @@ function NakoGen (mode) {
  * } NakoFunction
  */
 
-class NakoCompiler {
+export class NakoCompiler {
   /**
    * @param {undefined | {'useBasicPlugin':true|false}} options
    */
@@ -129,8 +113,8 @@ class NakoCompiler {
     this.logger = new NakoLogger()
 
     // 必要なオブジェクトを覚えておく
-    this.prepare = new Prepare(this.logger)
-    this.parser = new Parser(this.logger)
+    this.prepare = NakoPrepare.getInstance(this.logger)
+    this.parser = new NakoParser(this.logger)
     this.lexer = new NakoLexer(this.logger)
 
     /**
@@ -217,7 +201,12 @@ class NakoCompiler {
     const inner = (code, filename, preCode) => {
       /** @type {Promise<unknown>[]} */
       const tasks = []
-      for (const item of NakoCompiler.listRequireStatements(compiler.rawtokenize(code, 0, filename, preCode)).map((v) => ({ ...v, ...tools.resolvePath(v.value, v.firstToken) }))) {
+      // 取り込みが必要な情報一覧を調べる(トークン分割して、取り込みタグを得る)
+      const tags = NakoCompiler.listRequireStatements(compiler.rawtokenize(code, 0, filename, preCode))
+      // パスを解決する
+      const tagsResolvePath = tags.map((v) => ({ ...v, ...tools.resolvePath(v.value, v.firstToken) }))
+      // 取り込み開始
+      for (const item of tagsResolvePath) {
         // 2回目以降の読み込み
         // eslint-disable-next-line no-prototype-builtins
         if (dependencies.hasOwnProperty(item.filePath)) {
@@ -227,14 +216,18 @@ class NakoCompiler {
 
         // 初回の読み込み
         dependencies[item.filePath] = { tokens: [], alias: new Set([item.value]), addPluginFile: () => {}, funclist: {} }
-        if (item.type === 'js') {
+        if (item.type === 'js' || item.type === 'mjs') {
           // jsならプラグインとして読み込む。
           const obj = tools.readJs(item.filePath, item.firstToken)
           if (obj.sync) {
-            dependencies[item.filePath].addPluginFile = () => { this.addPluginFile(item.value, item.filePath, dependencies[item.filePath].funclist = obj.value(), false) }
+            dependencies[item.filePath].addPluginFile = () => {
+              this.addPluginFile(item.value, item.filePath, dependencies[item.filePath].funclist = obj.value(), false) 
+            }
           } else {
             tasks.push(obj.value.then((res) => {
-              dependencies[item.filePath].addPluginFile = () => { this.addPluginFile(item.value, item.filePath, dependencies[item.filePath].funclist = res(), false) }
+              dependencies[item.filePath].addPluginFile = () => { 
+                this.addPluginFile(item.value, item.filePath, dependencies[item.filePath].funclist = res(), false) 
+              }
             }))
           }
         } else if (item.type === 'nako3') {
@@ -245,7 +238,7 @@ class NakoCompiler {
             // シンタックスハイライトの高速化のために、事前にファイルが定義する関数名のリストを取り出しておく。
             // preDefineFuncはトークン列に変更を加えるため、事前にクローンしておく。
             // 「プラグイン名設定」を行う (#956)
-            code = `「${item.filePath}」にプラグイン名設定;` + code + ';『メイン』にプラグイン名設定;'
+            code = `『${item.filePath}』にプラグイン名設定;` + code + ';『メイン』にプラグイン名設定;'
             const tokens = this.rawtokenize(code, 0, item.filePath)
             dependencies[item.filePath].tokens = tokens
             /** @type {import('./nako_lexer').FuncList} */
@@ -262,7 +255,7 @@ class NakoCompiler {
             tasks.push(content.value.then((res) => registerFile(res)))
           }
         } else {
-          throw new NakoImportError(`ファイル ${item.value} を読み込めません。未対応の拡張子です。`, item.firstToken.line, item.firstToken.file)
+          throw new NakoImportError(`ファイル『${item.value}』を読み込めません。ファイルが存在しないか未対応の拡張子です。`, item.firstToken.file, item.firstToken.line)
         }
       }
 
@@ -276,15 +269,20 @@ class NakoCompiler {
 
       // 非同期な場合のエラーハンドリング
       if (result !== undefined) {
-        result.catch((err) => { this.logger.error(err); throw err })
+        result.catch((err) => {
+          // 読み込みに失敗しても処理は続ける方針なので、失敗しても例外は投げない
+          // たぶん、その後の構文解析でエラーになるため  
+          this.logger.warn(err.msg)
+        })
       }
 
       // すべてが終わってからthis.dependenciesに代入する。そうしないと、「実行」ボタンを連打した場合など、
       // loadDependencies() が並列実行されるときに正しく動作しない。
       this.dependencies = dependencies
       return result
-    } catch (err) { // 同期的な場合のエラーハンドリング
-      this.logger.error(err)
+    } catch (err) {
+      // 同期処理では素直に例外を投げる
+      this.logger.warn(err.msg)
       throw err
     }
   }
@@ -304,7 +302,7 @@ class NakoCompiler {
     // インデント構文 (#596)
     const { code: code2, insertedLines, deletedLines } = NakoIndent.convert(code, filename)
     // DNCL構文 (#1140)
-    const code3 = NakoDncl.convert(code2, filename)
+    const code3 = convertDNCL(code2, filename)
 
     // 全角半角の統一処理
     const preprocessed = this.prepare.convert(code3)
@@ -606,7 +604,7 @@ class NakoCompiler {
   }
 
   /**
-   * プログラムをコンパイルしてJavaScriptのコードを返す
+   * プログラムをコンパイルしてランタイム用のJavaScriptのコードを返す
    * @param {string} code コード (なでしこ)
    * @param {string} filename
    * @param {boolean | string} isTest テストかどうか。stringの場合は1つのテストのみ。
@@ -614,7 +612,29 @@ class NakoCompiler {
    */
   compile (code, filename, isTest, preCode = '') {
     const ast = this.parse(code, filename, preCode)
-    return NakoGen(ast.genMode).generate(this, ast, isTest).runtimeEnv
+    const codeObj = this.generateCode(ast, isTest, preCode)
+    return codeObj.runtimeEnv
+  }
+
+  /**
+   * プログラムをコンパイルしてJavaScriptのコードオブジェクトを返す
+   * @param {AST} ast
+   * @param {boolean | string} isTest テストかどうか。stringの場合は1つのテストのみ。
+   * @param {string} [preCode]
+   * @return {Object}
+   */
+  generateCode (ast, isTest, preCode = '') {
+    // Select Code Generator #637
+    switch (ast.genMode) {
+      // ノーマルモード
+      case 'sync':
+        return generateJS(this, ast, isTest)
+      // 『!非同期モード』は緩やかに非推奨にする
+      case '非同期モード':
+        return NakoGenASync.generate(this, ast, isTest)
+      default:
+        throw new Error(`コードジェネレータの「${ast.genMode}」はサポートされていません。`)
+    }
   }
 
   /**
@@ -654,7 +674,7 @@ class NakoCompiler {
       if (optsAll.resetEnv) { this.reset() }
       if (optsAll.resetAll) { this.clearPlugins() }
       const ast = this.parse(code, fname, preCode)
-      out = NakoGen(ast.genMode).generate(this, ast, optsAll.testOnly)
+      out = this.generateCode(ast, optsAll.testOnly)
     } catch (e) {
       this.logger.error(e)
       throw e
@@ -727,7 +747,7 @@ class NakoCompiler {
    */
   compileStandalone (code, filename, isTest, preCode = '') {
     const ast = this.parse(code, filename, preCode)
-    return NakoGen(ast.genMode).generate(this, ast, isTest).standalone
+    return this.generateCode(ast, isTest).standalone
   }
 
   /**
@@ -755,6 +775,7 @@ class NakoCompiler {
           readonly: (v.type === 'const')
         }
       } else {
+        console.error('[プラグイン追加エラー]', v)
         throw new Error('プラグインの追加でエラー。')
       }
       // コマンドを登録するか?
@@ -829,14 +850,5 @@ class NakoCompiler {
     return this.funclist[key]
   }
 
-  /**
-   * コードジェネレータを追加する
-   * @param {string} mode
-   * @param {any} obj
-   */
-  addCodeGenerator (mode, obj) {
-    codeGenerators[mode] = obj
-  }
 }
 
-module.exports = NakoCompiler

package/src/{nako3_assert.js → nako3_assert.mjs}

@@ -2,9 +2,10 @@
 /**
  * Assert対応のなでしこ
  */
-const assert = require('assert')
-const path = require('path')
-const NakoCompiler = require(path.join(__dirname, 'nako3'))
+
+import assert from 'assert'
+import { NakoCompiler } from './nako3.mjs'
+
 
 const PluginAssert = {
   '初期化': {
@@ -25,13 +26,13 @@ const PluginAssert = {
   }
 }
 
-class Nako3Assert extends NakoCompiler {
+export class Nako3Assert extends NakoCompiler {
   constructor () {
     super()
     this.silent = true
-    this.addPluginFile('PluginAssert', path.join(__dirname, 'nako3_assert.js'), PluginAssert)
+    this.addPluginFile('PluginAssert',  'nako3_assert.js', PluginAssert)
     this.__varslist[0]['ナデシコ種類'] = 'nako3_assert'
   }
 }
 
-module.exports = Nako3Assert
+

package/src/{nako3server.js → nako3server.mjs}

@@ -1,19 +1,27 @@
 #!/usr/bin/env node
 /** なでしこ3簡易EXPRESSサーバー */
 
-const express = require('express')
+import express from 'express'
+import path from 'path'
+import fs from 'fs'
+import { execSync } from 'child_process'
+import opener from 'opener'
+
+// __dirname のために
+import url from 'url'
+const __filename = url.fileURLToPath(import.meta.url);
+const __dirname = path.dirname(__filename);
+
+
 const app = express()
 
 // set static
-const path = require('path')
 const rootDir = path.resolve(path.join(__dirname, '../'))
 app.use(express.static(rootDir))
 console.log('documentRoot:', rootDir)
 
 // ライブラリがあるかチェック
-const fs = require('fs')
 if (!fs.existsSync(path.resolve(rootDir, 'extlib/pure.min.css'))) {
-  const execSync = require('child_process').execSync;
   execSync('npm run extlib:install')
 }
 
@@ -26,7 +34,6 @@ app.get('/', function (req, res) {
 let port = 3000
 let server = null
 const callbackStart = () => {
-  const opener = require('opener')
   const port = server.address().port
   console.log('+ サーバーを開始しました')
   console.log('+ [URL] http://localhost:%s', port)

package/src/{nako_colors.js → nako_colors.mjs}

@@ -83,4 +83,4 @@ const convertColorTextFormat = (text) => {
   }
 }
 
-module.exports = { convertColorTextFormat, colorNames, color }
+export const NakoColors = { convertColorTextFormat, colorNames, color }

package/src/{nako_errors.js → nako_errors.mjs}

@@ -1,9 +1,9 @@
-const nakoVersion = require('./nako_version')
+import nakoVersion from './nako_version.mjs'
 
 /**
  * なでしこ言語が投げる全てのエラーが継承するクラス
  */
-class NakoError extends Error {
+export class NakoError extends Error {
   /**
    * @param {string} tag
    * @param {string} msg
@@ -19,7 +19,7 @@ class NakoError extends Error {
   }
 }
 
-class NakoIndentError extends NakoError {
+export class NakoIndentError extends NakoError {
   /**
    * @param {string} msg
    * @param {number} line
@@ -33,7 +33,7 @@ class NakoIndentError extends NakoError {
 }
 
 // コンパイラの内部でのみ使うエラー。投げられたらtryでキャッチしてLexerErrorへ変更する。
-class InternalLexerError extends NakoError {
+export class InternalLexerError extends NakoError {
   /**
    * @param {string} msg
    * @param {number} preprocessedCodeStartOffset
@@ -50,7 +50,7 @@ class InternalLexerError extends NakoError {
   }
 }
 
-class NakoLexerError extends NakoError {
+export class NakoLexerError extends NakoError {
   /**
    * @param {string} msg
    * @param {number | null} startOffset
@@ -73,7 +73,7 @@ class NakoLexerError extends NakoError {
   }
 }
 
-class NakoSyntaxError extends NakoError {
+export class NakoSyntaxError extends NakoError {
   /**
    * @param {string} msg
    * @param {import("./nako3").Ast | null | undefined} first
@@ -107,7 +107,7 @@ class NakoSyntaxError extends NakoError {
   }
 }
 
-class NakoRuntimeError extends NakoError {
+export class NakoRuntimeError extends NakoError {
   /**
    * @param {Error | string} error エラー
    * @param {string | undefined} lineNo 発生行
@@ -152,25 +152,15 @@ class NakoRuntimeError extends NakoError {
   }
 }
 
-class NakoImportError extends NakoError {
+export class NakoImportError extends NakoError {
   /**
    * @param {string} msg
-   * @param {number} line
    * @param {string} file
+   * @param {number} line
    */
-  constructor (msg, line, file) {
+  constructor (msg, file, line) {
     super('取り込みエラー', msg, file, line)
     this.file = file
     this.line = line
   }
 }
-
-module.exports = {
-  NakoError,
-  NakoIndentError,
-  NakoLexerError,
-  InternalLexerError,
-  NakoSyntaxError,
-  NakoRuntimeError,
-  NakoImportError
-}

package/src/{nako_from_dncl.js → nako_from_dncl.mjs}

@@ -1,21 +1,23 @@
 /**
  * DNCLに対応する構文
  */
-const { NakoIndentError } = require('./nako_errors')
-const NakoPrepare = require('./nako_prepare')
+// import { NakoIndentError } from './nako_errors.mjs'
+import { NakoPrepare, checkNakoMode } from './nako_prepare.mjs'
 
+// DNCLモードのキーワード
 const DNCL_KEYWORDS = ['!DNCLモード']
+
 /**
  * DNCLのソースコードをなでしこに変換する
  * @param {String} src 
  * @param {String} filename 
  * @returns {String} converted soruce
  */
-function convert(src, filename) {
+export function convertDNCL(src, filename) {
     // 改行を合わせる
     src = src.replace(/(\r\n|\r)/g, '\n')
     // 「!DNCLモード」を使うかチェック
-    if (!isIndentSyntaxEnabled(src)) { return src }
+    if (!checkNakoMode(src, DNCL_KEYWORDS)) { return src }
     let result = dncl2nako(src, filename)
     // console.log("=====\n" + result)
     // process.exit()
@@ -217,7 +219,7 @@ function dncl2nako(src, filename) {
  * @returns {string} converted source
  */
 function conv2half(src) {
-    const prepare = new NakoPrepare() // `※`, `／/`, `／＊` といったパターン全てに対応するために必要
+    const prepare = NakoPrepare.getInstance(null) // `※`, `／/`, `／＊` といったパターン全てに対応するために必要
     // 全角半角の統一
     let result = ''
     let flagStr = false
@@ -258,7 +260,8 @@ function conv2half(src) {
     return result
 }
 
-
-module.exports = {
-    convert,
+/** @type {Object} */
+export const NakoDncl = {
+    convert: convertDNCL
 }
+

package/src/{nako_gen.js → nako_gen.mjs}

@@ -4,10 +4,8 @@
  * なお速度優先で忠実にJavaScriptのコードを生成する。
  */
 
-'use strict'
-
-const { NakoSyntaxError, NakoError, NakoRuntimeError } = require('./nako_errors')
-const nakoVersion = require('./nako_version')
+import { NakoSyntaxError, NakoError, NakoRuntimeError } from './nako_errors.mjs'
+import  nakoVersion from './nako_version.mjs'
 const isIE11 = () => {
   if (typeof(window) == 'object' && window.navigator && window.navigator.userAgent) {
     return (window.navigator.userAgent.indexOf('MSIE') >= 0)
@@ -26,88 +24,7 @@ const topOfFunctionAsync = '(async function(){\n'
 /**
  * 構文木からJSのコードを生成するクラス
  */
-class NakoGen {
-  /**
-   * @param {import('./nako3')} com
-   * @param {Ast} ast
-   * @param {boolean | string} isTest 文字列なら1つのテストだけを実行する
-   */
-  static generate (com, ast, isTest) {
-    const gen = new NakoGen(com)
-
-    // ※ [関数定義に関するコード生成のヒント]
-    // ※ 関数の名前だけを(1)で登録して、(2)で実際に関数のコードを生成する。
-    // ※ ただし(2)では生成するだけなので、(3)でプログラム冒頭に関数定義のコードを記述する。
-    // この順番を変えることはできない (グローバル変数が認識できなくなったり、関数定義のタイミングがずれる)
-
-    // (1) ユーザー定義関数をシステムに登録する
-    gen.registerFunction(ast)
-
-    // (2) JSコードを生成する
-    let js = gen.convGen(ast, !!isTest)
-    
-    // (3) JSコードを実行するための事前ヘッダ部分の生成
-    js = gen.getDefFuncCode(isTest) + js
-
-    // テストの実行
-    if (js && isTest) {
-      js += '\n__self._runTests(__tests);\n'
-    }
-    // async method
-    if (gen.numAsyncFn > 0) {
-      let canAsync = !isIE11()
-      if (canAsync) {
-        js = `
-// <nadesiko3::gen::async>
-(async () => { // async::main
-${js}
-}).call(this).catch(err => {
-  if (!(err instanceof this.NakoRuntimeError)) {
-    err = new this.NakoRuntimeError(err, this.__varslist[0].line);
-  }
-  this.logger.error(err);
-  throw err;
-}); // async::main
-// <nadesiko3::gen::async>\n`
-      }
-    }
-
-    // デバッグメッセージ
-    com.logger.trace('--- generate ---\n' + js)
-
-    return {
-      // なでしこの実行環境ありの場合
-      runtimeEnv: js,
-      // JavaScript単体で動かす場合
-      standalone:
-        `\
-const nakoVersion = ${JSON.stringify(nakoVersion)};
-${NakoError.toString()}
-${NakoRuntimeError.toString()}
-this.logger = {
-  error(message) { console.error(message) },
-  send(level, message) { console.log(message) },
-};
-this.__varslist = [{}, {}, {}];
-this.__vars = this.__varslist[2];
-this.__module = {};
-this.__locals = {};
-this.__genMode = 'sync';
-try {
-  ${gen.getVarsCode()}
-  ${js}
-} catch (err) {
-  if (!(err instanceof NakoRuntimeError)) {
-    err = new NakoRuntimeError(err, __varslist[0].line);
-  }
-  this.logger.error(err);
-  throw err;
-}`,
-      // コード生成に使ったNakoGenのインスタンス
-      gen
-    }
-  }
-
+export class NakoGen {
   /**
    * @param {import('./nako3')} com コンパイラのインスタンス
    */
@@ -1623,4 +1540,93 @@ try {
   }
 }
 
-module.exports = NakoGen
+
+/**
+ * @param {import('./nako3')} com
+ * @param {Ast} ast
+ * @param {boolean | string} isTest 文字列なら1つのテストだけを実行する
+ */
+export function generateJS (com, ast, isTest) {
+  const gen = new NakoGen(com)
+
+  // ※ [関数定義に関するコード生成のヒント]
+  // ※ 関数の名前だけを(1)で登録して、(2)で実際に関数のコードを生成する。
+  // ※ ただし(2)では生成するだけなので、(3)でプログラム冒頭に関数定義のコードを記述する。
+  // この順番を変えることはできない (グローバル変数が認識できなくなったり、関数定義のタイミングがずれる)
+
+  // (1) ユーザー定義関数をシステムに登録する
+  gen.registerFunction(ast)
+
+  // (2) JSコードを生成する
+  let js = gen.convGen(ast, !!isTest)
+  
+  // (3) JSコードを実行するための事前ヘッダ部分の生成
+  js = gen.getDefFuncCode(isTest) + js
+
+  // テストの実行
+  if (js && isTest) {
+    js += '\n__self._runTests(__tests);\n'
+  }
+  // async method
+  if (gen.numAsyncFn > 0) {
+    let canAsync = !isIE11()
+    if (canAsync) {
+      js = `
+// <nadesiko3::gen::async>
+(async () => { // async::main
+${js}
+}).call(this).catch(err => {
+if (!(err instanceof this.NakoRuntimeError)) {
+  err = new this.NakoRuntimeError(err, this.__varslist[0].line);
+}
+this.logger.error(err);
+throw err;
+}); // async::main
+// <nadesiko3::gen::async>\n`
+    }
+  }
+
+  // デバッグメッセージ
+  com.logger.trace('--- generate ---\n' + js)
+  // todo: 将来的に mjs のコードを履くように修正する
+  const standaloneJSCode = `\
+// <standaloneCode>
+const path = require('path')
+const nakoVersion = ${JSON.stringify(nakoVersion)};
+${NakoError.toString()}
+${NakoRuntimeError.toString()}
+function __nako3safunc() {
+this.logger = {
+  error: (message) => { console.error(message) },
+  send: (level, message) => { console.log(message) },
+};
+this.__varslist = [{}, {}, {}];
+this.__vars = this.__varslist[2];
+this.__module = {};
+this.__locals = {};
+this.__genMode = 'sync';
+try {
+${gen.getVarsCode()}
+${js}
+} catch (err) {
+  if (!(err instanceof NakoRuntimeError)) {
+    err = new NakoRuntimeError(err, __varslist[0].line);
+  }
+  this.logger.error(err);
+  throw err;
+}
+//
+} // end of __nako3safunc function
+__nako3safunc();
+// </standaloneCode>
+`
+  
+  return {
+    // なでしこの実行環境ありの場合
+    runtimeEnv: js,
+    // JavaScript単体で動かす場合
+    standalone: standaloneJSCode,
+    // コード生成に使ったNakoGenのインスタンス
+    gen
+  }
+}