nadesiko3 3.3.13 → 3.3.14

package/src/cnako3mod.mjs

@@ -1,11 +1,10 @@
-// @ts-nocheck
 /**
  * コマンドライン版のなでしこ3をモジュールとして定義
  * 実際には cnako3.js から読み込まれる
  */
 import fs from 'fs'
 import { exec } from 'child_process'
-import path from 'path'
+import path, { resolve } from 'path'
 import { NakoCompiler } from './nako3.mjs'
 import PluginNode from './plugin_node.mjs'
 import { NakoImportError } from './nako_errors.mjs'
@@ -23,7 +22,7 @@ export class CNako3 extends NakoCompiler {
     super({ useBasicPlugin: true })
     this.silent = false
     if (!opts.nostd) {
-      this.addPluginFile('PluginNode', path.join(__dirname, 'plugin_node.js'), PluginNode)
+      this.addPluginFile('PluginNode', path.join(__dirname, 'plugin_node.mjs'), PluginNode)
     }
     this.__varslist[0]['ナデシコ種類'] = 'cnako3'
   }
@@ -61,12 +60,23 @@ export class CNako3 extends NakoCompiler {
 
   /**
    * コマンドライン引数を解析
-   * @returns {{warn: boolean, debug: boolean, compile: any | boolean, test: any | boolean, one_liner: any | boolean, trace: any, run: any | boolean, repl: any | boolean, source: any | string}}
+   * @returns {{
+   *  warn: boolean, 
+   *  debug: boolean, 
+   *  compile: any | boolean, 
+   *  test: any | boolean, 
+   *  one_liner: any | boolean, 
+   *  trace: any | boolean, 
+   *  run: any | boolean, 
+   *  repl: any | boolean, 
+   *  source: any | string,
+   *  mainfile: any | string,
+   * }}
    */
   checkArguments () {
     const app = this.registerCommands()
 
-    /** @type {import('./nako_logger').LogLevel} */
+    /** @type {import('./nako_logger.mjs').LogLevel} */
     let logLevel = 'error'
     if (app.trace) {
       logLevel = 'trace'
@@ -99,21 +109,23 @@ export class CNako3 extends NakoCompiler {
     }
     args.mainfile = app.args[0]
     args.output = app.output
+    
+    // todo: ESModule 対応の '.mjs' のコードを履く #1217
+    const ext = '.js'
     if (/\.(nako|nako3|txt|bak)$/.test(args.mainfile)) {
       if (!args.output) {
         if (args.test) {
-          args.output = args.mainfile.replace(/\.(nako|nako3)$/, '.spec.js')
+          args.output = args.mainfile.replace(/\.(nako|nako3)$/, '.spec' + ext)
         } else {
-          // todo: 将来的に mjs のコードを履くように修正する↓ '.mjs'
-          args.output = args.mainfile.replace(/\.(nako|nako3)$/, '.js')
+          args.output = args.mainfile.replace(/\.(nako|nako3)$/, ext)
         }
       }
     } else {
       if (!args.output) {
         if (args.test) {
-          args.output = args.mainfile + '.spec.js'
+          args.output = args.mainfile + '.spec' + ext
         } else {
-          args.output = args.mainfile + '.js'
+          args.output = args.mainfile + ext
         }
       }
       args.mainfile += '.nako3'
@@ -201,6 +213,28 @@ export class CNako3 extends NakoCompiler {
     const jscode = this.compileStandalone(src, this.filename, isTest)
     console.log(opt.output)
     fs.writeFileSync(opt.output, jscode, 'utf-8')
+    
+    /*
+    // 実行に必要なファイルをコピー
+    const nakoRuntime = __dirname
+    const outRuntime = path.join(path.dirname(opt.output), 'nako3runtime')
+    if (!fs.existsSync(outRuntime)) { fs.mkdirSync(outRuntime) }
+    for (let mod of ['nako_version.mjs', 'nako_errors.mjs', 'plugin_node.mjs']) {
+      fs.copyFileSync(path.join(nakoRuntime, mod), path.join(outRuntime, mod))
+    }
+    // todo: 必要に応じてnode_modulesをコピー (時間が掛かりすぎるのでコピーしない)
+    const dstModule = path.join(path.dirname(opt.output), 'node_modules')
+    const orgModule = path.join(__dirname, '..', 'node_modules')
+    if (!fs.existsSync(dstModule)) { 
+      fs.mkdirSync(dstModule)
+      fse.copySync(path.join(orgModule), path.join(dstModule))
+    }
+    // or 以下のコピーだと依存ファイルがコピーされない package.jsonを見てコピーする必要がある
+    for (let mod of ['fs-extra', 'iconv-lite', 'opener', 'clipboardy', 'sendkeys-js']) {
+      fse.copySync(path.join(orgModule, mod), path.join(dstModule, mod))
+    }
+    */
+    
     if (opt.run) {
       exec(`node ${opt.output}`, function (err, stdout, stderr) {
         if (err) { console.log('[ERROR]', stderr) }
@@ -321,7 +355,7 @@ export class CNako3 extends NakoCompiler {
     /** @type {string[]} */
     const log = []
     const tools = {}
-    tools.resolvePath = (name, token) => {
+    tools.resolvePath = (name, token, fromFile) => {
       // JSプラグインのパスを解決する
       if (/\.(js|mjs)(\.txt)?$/.test(name) || /^[^.]*$/.test(name)) {
         const jspath = CNako3.findJSPluginFile(name, this.filename, __dirname, log)
@@ -336,28 +370,36 @@ export class CNako3 extends NakoCompiler {
           return { filePath: path.resolve(name), type: 'nako3' }
         } else {
           // filename が undefined のとき token.file が undefined になる。
-          if (token.file === undefined) {
-            throw new Error('ファイル名を指定してください。')
-          }
-          return { filePath: path.resolve(path.join(path.dirname(token.file), name)), type: 'nako3' }
+          if (token.file === undefined) { throw new Error('ファイル名を指定してください。') }
+          const dir = path.dirname(fromFile)
+          return { filePath: path.resolve(path.join(dir, name)), type: 'nako3' }
         }
       }
       return { filePath: name, type: 'invalid' }
     }
     tools.readNako3 = (name, token) => {
-        if (!fs.existsSync(name)) {
-          throw new NakoImportError(`ファイル ${name} が存在しません。`, token.file, token.line)
-        }
-        return { sync: true, value: fs.readFileSync(name).toString() }
+      // ファイルチェックだけ先に実行
+      if (!fs.existsSync(name)) {
+        throw new NakoImportError(`ファイル ${name} が存在しません。`, token.file, token.line)
+      }
+      // 非同期で読み込む
+      const loader = {task: null}
+      loader.task = (new Promise((resolve, reject) => {
+        fs.readFile(name, {encoding: 'utf-8'}, (err, data) => {
+          if (err) { return reject(err) }
+          resolve(data)
+        })
+      }))
+      return loader
     }
     tools.readJs = (filePath, token) => {
-      const content = {sync: false, value: null}
+      const loader = {task: null}
       if (process.platform === 'win32') {
         if (filePath.substring(1, 3) === ':\\') {
           filePath = 'file://' + filePath
         }
       }
-      content.value = (
+      loader.task = (
         new Promise((resolve, reject) => {
           import(filePath).then((mod) => {
             // プラグインは export default で宣言されている? (moduleプラグインの場合)
@@ -369,7 +411,7 @@ export class CNako3 extends NakoCompiler {
           })
         })
       )
-      return content
+      return loader
     }
     return tools
   }

package/src/nako3.mjs

@@ -1,4 +1,3 @@
-// @ts-nocheck
 /**
  * nadesiko v3
  */
@@ -177,18 +176,20 @@ export class NakoCompiler {
 
   /**
    * プログラムが依存するファイルを再帰的に取得する。
-   * - .jsであれば評価してthis.addPluginFileを呼び出し、.nako3であればファイルをfetchしてdependenciesに保存し再帰する。
-   * - resolvePathはファイルを検索して正規化する必要がある。
-   * - readNako3やreadJsのsyncを確認してfalseならPromiseを返すので並列処理し、そうでなければ同期的に処理する。
-   * - readNako3はソースコードを返す。readJsはrequireあるいはevalする関数を返す。
+   * - 依存するファイルがJavaScriptファイルの場合、そのファイルを実行して評価結果をthis.addPluginFileに渡す。
+   * - 依存するファイルがなでしこ言語の場合、ファイルの中身を取得して変数に保存し、再帰する。
+   * 
    * @param {string} code
    * @param {string} filename
    * @param {string} preCode
    * @param {{
-   *     resolvePath: (name: string, token: TokenWithSourceMap) => { type: 'nako3' | 'js' | 'invalid', filePath: string }
-   *     readNako3: (filePath: string, token: TokenWithSourceMap) => { sync: true, value: string } | { sync: false, value: Promise<string> }
-   *     readJs: (filePath: string, token: TokenWithSourceMap) => { sync: true, value: () => object } | { sync: false, value: Promise<() => object> }
-   * }} tools
+   *     resolvePath: (name: string, token: TokenWithSourceMap, fromFile: string) => { type: 'nako3' | 'js' | 'invalid', filePath: string }
+   *     readNako3: (filePath: string, token: TokenWithSourceMap) => { task: Promise<string> }
+   *     readJs: (filePath: string, token: TokenWithSourceMap) => { task: Promise<() => object> }
+   * }} tools - 実行環境 (ブラウザ or Node.js) によって外部ファイルの取得・実行方法は異なるため、引数でそれらを行う関数を受け取る。
+   *          - resolvePath は指定した名前をもつファイルを検索し、正規化されたファイル名を返す関数。返されたファイル名はreadNako3かreadJsの引数になる。
+   *          - readNako3は指定されたファイルの中身を返す関数。
+   *          - readJsは指定したファイルをJavaScriptのプログラムとして実行し、`export default` でエクスポートされた値を返す関数。
    * @returns {Promise<unknown> | void}
    * @protected
    */
@@ -200,10 +201,12 @@ export class NakoCompiler {
     const loadJS = (item, tasks) => {
       // jsならプラグインとして読み込む。(ESMでは必ず動的に読む)
       const obj = tools.readJs(item.filePath, item.firstToken)
-      tasks.push(obj.value.then((res) => {
-        dependencies[item.filePath].addPluginFile = () => { 
-          this.addPluginFile(item.value, item.filePath, dependencies[item.filePath].funclist = res(), false) 
-        }}))
+      tasks.push(obj.task.then((res) => {
+        const pluginFuncs = res()
+        this.addPluginFile(item.value, item.filePath, pluginFuncs, false) 
+        dependencies[item.filePath].funclist = pluginFuncs
+        dependencies[item.filePath].addPluginFile = () => { this.addPluginFile(item.value, item.filePath, pluginFuncs, false) }
+      }))
     }
     const loadNako3 = (item, tasks) => {
       // nako3ならファイルを読んでdependenciesに保存する。
@@ -221,15 +224,11 @@ export class NakoCompiler {
         const funclist = {}
         NakoLexer.preDefineFunc(cloneAsJSON(tokens), this.logger, funclist)
         dependencies[item.filePath].funclist = funclist
-
         // 再帰
         return loadRec(code, item.filePath, '')
       }
-      if (content.sync) {
-        registerFile(content.value)
-      } else {
-        tasks.push(content.value.then((res) => registerFile(res)))
-      }
+      // 取り込み構文における問題を減らすため、必ず非同期でプログラムを読み込む仕様とした #1219
+      tasks.push(content.task.then((res) => registerFile(res)))
     }
     /** @param {string} code @param {string} filename @param {string} preCode @returns {Promise<unknown> | void} */
     const loadRec = (code, filename, preCode) => {
@@ -238,7 +237,7 @@ export class NakoCompiler {
       // 取り込みが必要な情報一覧を調べる(トークン分割して、取り込みタグを得る)
       const tags = NakoCompiler.listRequireStatements(compiler.rawtokenize(code, 0, filename, preCode))
       // パスを解決する
-      const tagsResolvePath = tags.map((v) => ({ ...v, ...tools.resolvePath(v.value, v.firstToken) }))
+      const tagsResolvePath = tags.map((v) => ({ ...v, ...tools.resolvePath(v.value, v.firstToken, filename) }))
       // 取り込み開始
       for (const item of tagsResolvePath) {
         // 2回目以降の読み込み

package/src/nako_gen.mjs

@@ -1,5 +1,4 @@
 /**
- * file: nako_gen.js
  * パーサーが生成した中間オブジェクトを実際のJavaScriptのコードに変換する。
  * なお速度優先で忠実にJavaScriptのコードを生成する。
  */
@@ -7,12 +6,6 @@
 import { NakoSyntaxError, NakoError, NakoRuntimeError } from './nako_errors.mjs'
 import { NakoLexer } from './nako_lexer.mjs'
 import  nakoVersion from './nako_version.mjs'
-const isIE11 = () => {
-  if (typeof(window) == 'object' && window.navigator && window.navigator.userAgent) {
-    return (window.navigator.userAgent.indexOf('MSIE') >= 0)
-  }
-  return false
-}
 
 // なでしこで定義した関数の開始コードと終了コード
 const topOfFunction = '(function(){\n'
@@ -1546,7 +1539,7 @@ export class NakoGen {
 
 
 /**
- * @param {import('./nako3')} com
+ * @param {import('./nako3.mjs').NakoCompiler} com
  * @param {Ast} ast
  * @param {boolean | string} isTest 文字列なら1つのテストだけを実行する
  */
@@ -1573,21 +1566,19 @@ export function generateJS (com, ast, isTest) {
   }
   // async method
   if (gen.numAsyncFn > 0) {
-    let canAsync = !isIE11()
-    if (canAsync) {
-      js = `
+    js = `
 // <nadesiko3::gen::async>
 (async () => { // async::main
 ${js}
 }).call(this).catch(err => {
-if (!(err instanceof this.NakoRuntimeError)) {
-  err = new this.NakoRuntimeError(err, this.__varslist[0].line);
-}
-this.logger.error(err);
-throw err;
+  if (typeof(NakoRuntimeError) === 'undefined') { NakoRuntimeError = this.NakoRuntimeError }
+  if (!(err instanceof NakoRuntimeError)) {
+    err = new NakoRuntimeError(err, this.__varslist[0].line);
+  }
+  this.logger.error(err);
+  throw err;
 }); // async::main
 // <nadesiko3::gen::async>\n`
-    }
   }
 
   // デバッグメッセージ
@@ -1595,36 +1586,37 @@ throw err;
   // todo: 将来的に mjs のコードを履くように修正する
   const standaloneJSCode = `\
 // <standaloneCode>
+// 将来的に ESModule に対応する #1217
+// import path from 'path'
+// import PluginNode from './nako3runtime/plugin_node.mjs'
+// import {NakoRuntimeError} from './nako3runtime/nako_errors.mjs'
+
 const path = require('path')
-const nakoVersion = ${JSON.stringify(nakoVersion)};
 ${NakoError.toString()}
-${NakoRuntimeError.toString()}
-function __nako3safunc() {
-this.logger = {
+${NakoRuntimeError.toString()} 
+const nakoVersion = ${JSON.stringify(nakoVersion)};
+const self = this
+self.logger = {
   error: (message) => { console.error(message) },
   send: (level, message) => { console.log(message) },
 };
-this.__varslist = [{}, {}, {}];
-this.__vars = this.__varslist[2];
-this.__module = {};
-this.__locals = {};
-this.__genMode = 'sync';
+self.__varslist = [{}, {}, {}];
+self.__vars = self.__varslist[2];
+self.__module = {};
+self.__locals = {};
+self.__genMode = 'sync';
 try {
 ${gen.getVarsCode()}
 ${js}
 } catch (err) {
   if (!(err instanceof NakoRuntimeError)) {
-    err = new NakoRuntimeError(err, __varslist[0].line);
+    err = new NakoRuntimeError(err, self.__varslist[0].line);
   }
-  this.logger.error(err);
+  self.logger.error(err);
   throw err;
 }
-//
-} // end of __nako3safunc function
-__nako3safunc();
 // </standaloneCode>
-`
-  
+`  
   return {
     // なでしこの実行環境ありの場合
     runtimeEnv: js,

package/src/nako_version.mjs

@@ -1,7 +1,7 @@
 // なでしこバージョン
 export default {
-  version: '3.3.13',
+  version: '3.3.14',
   major: 3,
   minor: 3,
-  patch: 13
+  patch: 14
 }

package/src/plugin_node.mjs

@@ -1,5 +1,5 @@
 /**
- * file: plugin_node.js
+ * file: plugin_node.mjs
  * node.js のためのプラグイン
  */
 import fs from 'fs'
@@ -11,9 +11,8 @@ import iconv from 'iconv-lite'
 import opener from 'opener'
 import clipboardy from 'clipboardy'
 import assert from 'assert'
-// 「標準入力取得時」で利用
-import * as readline from 'readline'
-import { stdin as input, stdout as output } from 'process'
+// 「標準入力取得時」「尋」で利用
+import readline from 'readline'
 // ハッシュ関数で利用
 import crypto from 'crypto'
 import os from 'os'
@@ -585,11 +584,15 @@ export default {
     josi: [['と', 'を']],
     pure: true,
     asyncFn: true,
-    fn: async function (msg, sys) {
-      const rl = readline.createInterface({ input, output });
-      const res = await rl.question(msg)
-      if (res.match(/^[0-9.]+$/)) { return parseFloat(res) }
-      return res
+    fn: function (msg, sys) {
+      return new Promise((resolve, _reject) => {
+        const rl = readline.createInterface(process.stdin, process.stdout)
+        rl.question(msg, (buf) => {
+          rl.close()
+          if (buf && buf.match(/^[0-9.]+$/)) { buf = parseFloat(buf) }
+          resolve(buf)
+        })
+      })
     }
   },
   // @テスト
@@ -598,7 +601,6 @@ export default {
     josi: [['と'], ['が']],
     pure: true,
     fn: function (a, b, sys) {
-      
       assert.strictEqual(a, b)
     }
   },

package/src/wnako3.mjs

@@ -53,17 +53,15 @@ class WebNakoCompiler extends NakoCompiler {
         // eslint-disable-next-line no-prototype-builtins
         if (localFiles.hasOwnProperty(filePath)) {
           return {
-            sync: true,
-            value: () => {
+            task: (async () => () => {
               // eslint-disable-next-line no-new-func
               Function(localFiles[filePath])()
               return {}
-            }
+            })()
           }
         }
         return {
-          sync: false,
-          value: (async () => {
+          task: (async () => {
             const res = await fetch(filePath)
             if (!res.ok) {
               throw new NakoImportError(`ファイル『${filePath}』のダウンロードに失敗しました: ${res.status} ${res.statusText}`, token.file, token.line)
@@ -93,11 +91,10 @@ class WebNakoCompiler extends NakoCompiler {
       readNako3: (filePath, token) => {
         // eslint-disable-next-line no-prototype-builtins
         if (localFiles.hasOwnProperty(filePath)) {
-          return { sync: true, value: localFiles[filePath] }
+          return {task: (async () => { return localFiles[filePath] })}
         }
         return {
-          sync: false,
-          value: (async () => {
+          task: (async () => {
             const res = await fetch(filePath)
             if (!res.ok) {
               throw new NakoImportError(`ファイル ${filePath} のダウンロードに失敗しました: ${res.status} ${res.statusText}`, token.file, token.line)
@@ -106,7 +103,7 @@ class WebNakoCompiler extends NakoCompiler {
           })()
         }
       },
-      resolvePath: (name, token) => {
+      resolvePath: (name, token, fromFile) => {
         // ローカルにファイルが存在するならそれを使う。そうでなければURLとして解釈する。
         let pathname = name
         // eslint-disable-next-line no-prototype-builtins
@@ -116,10 +113,13 @@ class WebNakoCompiler extends NakoCompiler {
           } catch (e) {
             // 単純にパスに変換できなければ、loccation.hrefを参考にパスを組み立てる
             try {
-              const href_a = window.location.href.split('/')
-              const href_dir = href_a.splice(0, href_a.length - 1).join('/');
-              const href = href_dir + '/' + name
-              pathname = new URL(href).pathname
+              let baseDir = dirname(fromFile)
+              if (baseDir === '') {
+                // https://2/3/4.html
+                const a = window.location.href.split('/')
+                baseDir = '/' + a.slice(3,a.length - 1).join('/')
+              }
+              pathname = resolveURL(baseDir, name)
             } catch (e) {
               throw new NakoImportError(`取り込み文の引数でパスが解決できません。https:// か http:// で始まるアドレスを指定してください。\n${e}`, token.file, token.line)
             }
@@ -127,11 +127,11 @@ class WebNakoCompiler extends NakoCompiler {
         }
         // .js および .mjs なら JSプラグイン
         if (pathname.endsWith('.js') || pathname.endsWith('.js.txt') || pathname.endsWith('.mjs') || pathname.endsWith('.mjs.txt')) {
-          return { filePath: name, type: 'js' }
+          return { filePath: pathname, type: 'js' }
         }
         // .nako3 なら なでしこ3プラグイン
         if (pathname.endsWith('.nako3') || pathname.endsWith('.nako3.txt')) {
-          return { filePath: name, type: 'nako3' }
+          return { filePath: pathname, type: 'nako3' }
         }
         // ファイル拡張子が未指定の場合
         throw new NakoImportError(`ファイル『${name}』は拡張子が(.nako3|.js|.js.txt|.mjs|.mjs.txt)以外なので取り込めません。`, token.file, token.line)
@@ -166,6 +166,29 @@ class WebNakoCompiler extends NakoCompiler {
   }
 }
 
+function dirname(s) {
+  const a = s.split('/')
+  if (a && a.length > 1) {
+    return a.slice(0, a.length - 1).join('/')
+  }
+  return ''
+}
+
+function resolveURL(base, s) {
+  const baseA = base.split('/')
+  const sA = s.split('/')
+  for (let p of sA) {
+    if (p === '') {continue}
+    if (p === '.') {continue}
+    if (p === '..') {
+      baseA.pop()
+      continue
+    }
+    baseA.push(p)
+  }
+  return baseA.join('/')
+}
+
 // ブラウザなら navigator.nako3 になでしこを登録
 if (typeof (navigator) === 'object' && !navigator.exportWNako3) {
   const nako3 = navigator.nako3 = new WebNakoCompiler()

package/tools/nako3edit/run.mjs

@@ -9,7 +9,7 @@ const __filename = url.fileURLToPath(import.meta.url);
 const __dirname = path.dirname(__filename);
 
 const nakoHome = path.resolve(path.join(__dirname, '../../'))
-const cnako3 = path.resolve(path.join(nakoHome, 'src/cnako3.js'))
+const cnako3 = path.resolve(path.join(nakoHome, 'src/cnako3.mjs'))
 const nako3edit = path.resolve(path.join(__dirname, 'index.nako3'))
 
 let proc = spawn('node', [cnako3, nako3edit])