nadesiko3 3.3.4 → 3.3.7

package/src/browsers.mjs

@@ -1 +1 @@
-export default {"and_chr":["100"],"and_ff":["99"],"and_qq":["10.4"],"and_uc":["12.12"],"android":["100"],"baidu":["7.12"],"chrome":["100","99","98","97"],"edge":["100","99","98"],"firefox":["99","98","97","91"],"ios_saf":["15.4","15.2-15.3","15.0-15.1","14.5-14.8","14.0-14.4","12.2-12.5"],"kaios":["2.5"],"node":["17.9.0","16.14.0","14.19.0","12.22.0"],"op_mini":["all"],"op_mob":["64"],"opera":["83","82"],"safari":["15.4","15.2-15.3","14.1"],"samsung":["16.0","15.0"]}
+export default {"and_chr":["100"],"and_ff":["99"],"and_qq":["10.4"],"and_uc":["12.12"],"android":["100"],"baidu":["7.12"],"chrome":["100","99","98","97"],"edge":["100","99","98"],"firefox":["99","98","97","91"],"ios_saf":["15.4","15.2-15.3","15.0-15.1","14.5-14.8","14.0-14.4","12.2-12.5"],"kaios":["2.5"],"node":["17.9.0","16.14.0","14.19.0"],"op_mini":["all"],"op_mob":["64"],"opera":["83","82"],"safari":["15.4","15.2-15.3","14.1"],"samsung":["16.0","15.0"]}

package/src/browsers.txt

@@ -25,7 +25,6 @@ kaios 2.5
 node 17.9.0
 node 16.14.0
 node 14.19.0
-node 12.22.0
 op_mini all
 op_mob 64
 opera 83

package/src/cnako3mod.mjs

@@ -11,7 +11,6 @@ import PluginNode from './plugin_node.mjs'
 import { NakoImportError } from './nako_errors.mjs'
 import app from './commander_ja.mjs'
 import nakoVersion from './nako_version.mjs'
-import fetch from 'node-fetch'
 
 // __dirname のために
 import url from 'url'
@@ -131,16 +130,19 @@ export class CNako3 extends NakoCompiler {
       this.cnakoMan(opt.man)
       return
     }
-    if (opt.browsers) { // 対応ブラウザを表示する
+    // 対応ブラウザを表示する
+    if (opt.browsers) {
       this.cnakoBrowsers()
       return
     }
     if (opt.mainfile) { this.filename = opt.mainfile }
-    if (opt.repl) { // REPLを実行する
+    // REPLを実行する
+    if (opt.repl) {
       this.cnakoRepl(opt)
       return
     }
-    if (opt.one_liner) { // ワンライナーで実行する
+    // ワンライナーで実行する
+    if (opt.one_liner) {
       this.cnakoOneLiner(opt)
       return
     }
@@ -151,26 +153,38 @@ export class CNako3 extends NakoCompiler {
       await this.nakoCompile(opt, src, false)
       return
     }
+    
+    // ASTを出力する
     if (opt.ast) {
+      try {
+        await this.loadDependencies(src, opt.mainfile, '')
+      } catch (e) {
+        if (this.numFailures > 0) { process.exit(1) }
+      }
       this.outputAST(opt, src)
       return
     }
-    try {
-      if (opt.test) {
+
+    // テストを実行する
+    if (opt.test) {
+      try {
         await this.loadDependencies(src, opt.mainfile, '')
         this.test(src, opt.mainfile)
-      } else {
-        // run はコンパイルと実行を行うメソッド
-        await this.run(src, opt.mainfile)
-      }
-      if (opt.test && this.numFailures > 0) {
+        return
+      } catch (e) {
         process.exit(1)
       }
+    }
+
+    // ファイルを読んで実行する
+    try {
+      await this.run(src, opt.mainfile) // run はコンパイルと実行を行うメソッド
+      if (this.numFailures > 0) { process.exit(1) }
     } catch (e) {
+      // エラーメッセージはloggerへ送られるため無視してよい
       if (opt.debug || opt.trace) {
         throw e
       }
-      // エラーメッセージはloggerへ送られるため無視してよい
     }
   }
 
@@ -181,8 +195,9 @@ export class CNako3 extends NakoCompiler {
    * @param {boolean} isTest
    */
   async nakoCompile (opt, src, isTest) {
-    // system
+    // 依存ライブラリなどを読み込む
     await this.loadDependencies(src, this.filename, '')
+    // JSにコンパイル
     const jscode = this.compileStandalone(src, this.filename, isTest)
     console.log(opt.output)
     fs.writeFileSync(opt.output, jscode, 'utf-8')
@@ -301,79 +316,88 @@ export class CNako3 extends NakoCompiler {
     console.log(fs.readFileSync(fileMD, 'utf-8'))
   }
 
-  /**
-   * @param {string} code
-   * @param {string} filename
-   * @param {string} preCode
-   */
-  async loadDependencies (code, filename, preCode) {
+  // (js|nako3) loader
+  getLoaderTools() {
     /** @type {string[]} */
     const log = []
-    const tools = {
-      resolvePath: (name, token) => {
-        // JSプラグインのパスを解決する
-        if (/\.(js|mjs)(\.txt)?$/.test(name) || /^[^.]*$/.test(name)) {
-          const jspath = CNako3.findJSPluginFile(name, this.filename, __dirname, log)
-          if (jspath === '') {
-            throw new NakoImportError(`ファイル『${name}』が見つかりません。以下のパスを検索しました。\n${log.join('\n')}`, token.file, token.line)
-          }
-          return { filePath: jspath, type: 'js' }
+    const tools = {}
+    tools.resolvePath = (name, token) => {
+      // JSプラグインのパスを解決する
+      if (/\.(js|mjs)(\.txt)?$/.test(name) || /^[^.]*$/.test(name)) {
+        const jspath = CNako3.findJSPluginFile(name, this.filename, __dirname, log)
+        if (jspath === '') {
+          throw new NakoImportError(`ファイル『${name}』が見つかりません。以下のパスを検索しました。\n${log.join('\n')}`, token.file, token.line)
         }
-        // なでしこプラグインのパスを解決する
-        if (/\.nako3?(\.txt)?$/.test(name)) {
-          if (path.isAbsolute(name)) {
-            return { filePath: path.resolve(name), type: 'nako3' }
-          } else {
-            // filename が undefined のとき token.file が undefined になる。
-            if (token.file === undefined) {
-              throw new Error('ファイル名を指定してください。')
-            }
-            return { filePath: path.resolve(path.join(path.dirname(token.file), name)), type: 'nako3' }
+        return { filePath: jspath, type: 'js' }
+      }
+      // なでしこプラグインのパスを解決する
+      if (/\.nako3?(\.txt)?$/.test(name)) {
+        if (path.isAbsolute(name)) {
+          return { filePath: path.resolve(name), type: 'nako3' }
+        } else {
+          // filename が undefined のとき token.file が undefined になる。
+          if (token.file === undefined) {
+            throw new Error('ファイル名を指定してください。')
           }
+          return { filePath: path.resolve(path.join(path.dirname(token.file), name)), type: 'nako3' }
         }
-        return { filePath: name, type: 'invalid' }
-      },
-      readNako3: (name, token) => {
+      }
+      return { filePath: name, type: 'invalid' }
+    }
+    tools.readNako3 = (name, token) => {
         if (!fs.existsSync(name)) {
           throw new NakoImportError(`ファイル ${name} が存在しません。`, token.file, token.line)
         }
         return { sync: true, value: fs.readFileSync(name).toString() }
-      },
-      readJs: (filePath, token) => {
-        const content = {sync: false, value: null}
-        if (process.platform === 'win32') {
-          if (filePath.substring(1, 3) === ':\\') {
-            filePath = 'file://' + filePath
-          }
+    }
+    tools.readJs = (filePath, token) => {
+      const content = {sync: false, value: null}
+      if (process.platform === 'win32') {
+        if (filePath.substring(1, 3) === ':\\') {
+          filePath = 'file://' + filePath
         }
-        content.value = (
-          new Promise((resolve, reject) => {
-            import(filePath).then((mod) => {
-              // プラグインは export default で宣言されている? (moduleプラグインの場合)
-              const obj = Object.assign({}, mod)
-              resolve(() => { return obj.default })
-            }).catch((err) => {
-              const err2 = new NakoImportError(`ファイル『${filePath}』が読み込めません。${err}`, token.file, token.line)
-              reject(err2)
-            })
-          })
-        )
-        return content
       }
+      content.value = (
+        new Promise((resolve, reject) => {
+          import(filePath).then((mod) => {
+            // プラグインは export default で宣言されている? (moduleプラグインの場合)
+            const obj = Object.assign({}, mod)
+            resolve(() => { return obj.default })
+          }).catch((err) => {
+            const err2 = new NakoImportError(`ファイル『${filePath}』が読み込めません。${err}`, token.file, token.line)
+            reject(err2)
+          })
+        })
+      )
+      return content
     }
-    return super._loadDependencies(code, filename, preCode, tools)
+    return tools
+  }
+
+  /**
+   * @param {string} code
+   * @param {string} filename
+   * @param {string} preCode
+   * @returns {Promise<void>}
+   */
+  async loadDependencies (code, filename, preCode) {
+    const tools = this.getLoaderTools()
+    await super._loadDependencies(code, filename, preCode, tools)
   }
 
   /**
    * @param {string} code
    * @param {string} fname
    * @param {string} [preCode]
+   * @returns {Promise<nakoGlobal>}
    */
   async run (code, fname, preCode = '') {
     // 取り込む文の処理
-    await this.loadDependencies(code, fname, preCode).catch((err) => {
+    try {
+      await this.loadDependencies(code, fname, preCode)
+    } catch(err) {
       this.logger.error(err)
-    })
+    }
     // 実行
     return this._runEx(code, fname, {}, preCode)
   }

package/src/nako3.mjs

@@ -5,7 +5,7 @@
 import { NakoParser } from './nako_parser3.mjs'
 import { NakoLexer } from './nako_lexer.mjs'
 import { NakoPrepare } from './nako_prepare.mjs'
-import { NakoGen, generateJS } from './nako_gen.mjs'
+import { generateJS } from './nako_gen.mjs'
 import { NakoGenASync } from './nako_gen_async.mjs'
 import NakoIndent from './nako_indent.mjs'
 import { convertDNCL } from './nako_from_dncl.mjs'
@@ -67,6 +67,7 @@ const cloneAsJSON = (x) => JSON.parse(JSON.stringify(x))
  *     line?: number
  *     column?: number
  *   }
+ *   tag?: string
  *   genMode?: string
  *   checkInit?: boolean
  * }} Ast
@@ -97,7 +98,7 @@ export class NakoCompiler {
     /**
      * @type {NakoGlobal[]}
      */
-    this.__globals = [] // 生成した NakoGlobalのインスタンスを保持
+    this.__globals = [] // 生成した NakoGlobal のインスタンスを保持
     /** @type {Record<string, Record<string, NakoFunction>>} */
     this.__module = {} // requireなどで取り込んだモジュールの一覧
     /** @type {Record<string, NakoFunction>} */
@@ -178,8 +179,7 @@ export class NakoCompiler {
    * プログラムが依存するファイルを再帰的に取得する。
    * - .jsであれば評価してthis.addPluginFileを呼び出し、.nako3であればファイルをfetchしてdependenciesに保存し再帰する。
    * - resolvePathはファイルを検索して正規化する必要がある。
-   * - needNako3やneedJsがPromiseを返すなら並列処理し、処理の終了を知らせるためのPromiseを返す。そうでなければ同期的に処理する。
-   *   （`instanceof Promise` はpolyfillで動作しない場合があるため、Promiseかどうかを明示する必要がある。）
+   * - readNako3やreadJsのsyncを確認してfalseならPromiseを返すので並列処理し、そうでなければ同期的に処理する。
    * - readNako3はソースコードを返す。readJsはrequireあるいはevalする関数を返す。
    * @param {string} code
    * @param {string} filename
@@ -196,9 +196,50 @@ export class NakoCompiler {
     /** @type {NakoCompiler['dependencies']} */
     const dependencies = {}
     const compiler = new NakoCompiler({ useBasicPlugin: true })
-
+    
+    const loadJS = (item, tasks) => {
+      // jsならプラグインとして読み込む。
+      const obj = tools.readJs(item.filePath, item.firstToken)
+      if (obj.sync) {
+        dependencies[item.filePath].addPluginFile = () => {
+          this.addPluginFile(item.value, item.filePath, dependencies[item.filePath].funclist = obj.value(), false) 
+        }
+      } else {
+        tasks.push(obj.value.then((res) => {
+          dependencies[item.filePath].addPluginFile = () => { 
+            this.addPluginFile(item.value, item.filePath, dependencies[item.filePath].funclist = res(), false) 
+          }
+        }))
+      }
+    }
+    const loadNako3 = (item, tasks) => {
+      // nako3ならファイルを読んでdependenciesに保存する。
+      const content = tools.readNako3(item.filePath, item.firstToken)
+      /** @param {string} code */
+      const registerFile = (code) => {
+        // シンタックスハイライトの高速化のために、事前にファイルが定義する関数名のリストを取り出しておく。
+        // preDefineFuncはトークン列に変更を加えるため、事前にクローンしておく。
+        // 「プラグイン名設定」を行う (#956)
+        const modName = NakoLexer.filenameToModName(item.filePath)
+        code = `『${modName}』にプラグイン名設定;` + code + ';『メイン』にプラグイン名設定;'
+        const tokens = this.rawtokenize(code, 0, item.filePath)
+        dependencies[item.filePath].tokens = tokens
+        /** @type {import('./nako_lexer.mjs').FuncList} */
+        const funclist = {}
+        NakoLexer.preDefineFunc(cloneAsJSON(tokens), this.logger, funclist)
+        dependencies[item.filePath].funclist = funclist
+
+        // 再帰
+        return loadRec(code, item.filePath, '')
+      }
+      if (content.sync) {
+        registerFile(content.value)
+      } else {
+        tasks.push(content.value.then((res) => registerFile(res)))
+      }
+    }
     /** @param {string} code @param {string} filename @param {string} preCode @returns {Promise<unknown> | void} */
-    const inner = (code, filename, preCode) => {
+    const loadRec = (code, filename, preCode) => {
       /** @type {Promise<unknown>[]} */
       const tasks = []
       // 取り込みが必要な情報一覧を調べる(トークン分割して、取り込みタグを得る)
@@ -217,55 +258,21 @@ export class NakoCompiler {
         // 初回の読み込み
         dependencies[item.filePath] = { tokens: [], alias: new Set([item.value]), addPluginFile: () => {}, funclist: {} }
         if (item.type === 'js' || item.type === 'mjs') {
-          // jsならプラグインとして読み込む。
-          const obj = tools.readJs(item.filePath, item.firstToken)
-          if (obj.sync) {
-            dependencies[item.filePath].addPluginFile = () => {
-              this.addPluginFile(item.value, item.filePath, dependencies[item.filePath].funclist = obj.value(), false) 
-            }
-          } else {
-            tasks.push(obj.value.then((res) => {
-              dependencies[item.filePath].addPluginFile = () => { 
-                this.addPluginFile(item.value, item.filePath, dependencies[item.filePath].funclist = res(), false) 
-              }
-            }))
-          }
+          loadJS(item, tasks)
         } else if (item.type === 'nako3') {
-          // nako3ならファイルを読んでdependenciesに保存する。
-          const content = tools.readNako3(item.filePath, item.firstToken)
-          /** @param {string} code */
-          const registerFile = (code) => {
-            // シンタックスハイライトの高速化のために、事前にファイルが定義する関数名のリストを取り出しておく。
-            // preDefineFuncはトークン列に変更を加えるため、事前にクローンしておく。
-            // 「プラグイン名設定」を行う (#956)
-            code = `『${item.filePath}』にプラグイン名設定;` + code + ';『メイン』にプラグイン名設定;'
-            const tokens = this.rawtokenize(code, 0, item.filePath)
-            dependencies[item.filePath].tokens = tokens
-            /** @type {import('./nako_lexer').FuncList} */
-            const funclist = {}
-            NakoLexer.preDefineFunc(cloneAsJSON(tokens), this.logger, funclist)
-            dependencies[item.filePath].funclist = funclist
-
-            // 再帰
-            return inner(code, item.filePath, '')
-          }
-          if (content.sync) {
-            registerFile(content.value)
-          } else {
-            tasks.push(content.value.then((res) => registerFile(res)))
-          }
+          loadNako3(item, tasks)
         } else {
           throw new NakoImportError(`ファイル『${item.value}』を読み込めません。ファイルが存在しないか未対応の拡張子です。`, item.firstToken.file, item.firstToken.line)
         }
       }
-
       if (tasks.length > 0) {
         return Promise.all(tasks)
       }
+      return undefined
     }
 
     try {
-      const result = inner(code, filename, preCode)
+      const result = loadRec(code, filename, preCode)
 
       // 非同期な場合のエラーハンドリング
       if (result !== undefined) {
@@ -303,7 +310,6 @@ export class NakoCompiler {
     const { code: code2, insertedLines, deletedLines } = NakoIndent.convert(code, filename)
     // DNCL構文 (#1140)
     const code3 = convertDNCL(code2, filename)
-
     // 全角半角の統一処理
     const preprocessed = this.prepare.convert(code3)
 
@@ -312,15 +318,14 @@ export class NakoCompiler {
     const offsetToLineColumn = new OffsetToLineColumn(code)
 
     // トークン分割
-    /** @type {import('./nako_lexer').Token[]} */
+    /** @type {import('./nako_lexer.mjs').Token[]} */
     let tokens
     try {
-      tokens = this.lexer.setInput(preprocessed.map((v) => v.text).join(''), line, filename)
+      tokens = this.lexer.tokenize(preprocessed.map((v) => v.text).join(''), line, filename)
     } catch (err) {
       if (!(err instanceof InternalLexerError)) {
         throw err
       }
-
       // エラー位置をソースコード上の位置に変換して返す
       const dest = indentationSyntaxSourceMapping.map(tokenizationSourceMapping.map(err.preprocessedCodeStartOffset), tokenizationSourceMapping.map(err.preprocessedCodeEndOffset))
       /** @type {number | undefined} */
@@ -360,10 +365,12 @@ export class NakoCompiler {
    * 単語の属性を構文解析に先立ち補正する
    * @param {TokenWithSourceMap[]} tokens トークンのリスト
    * @param {boolean} isFirst 最初の呼び出しかどうか
+   * @param {string} filename
    * @returns コード (なでしこ)
    */
-  converttoken (tokens, isFirst) {
-    return this.lexer.setInput2(tokens, isFirst)
+  converttoken (tokens, isFirst, filename) {
+    const tok = this.lexer.replaceTokens(tokens, isFirst, filename)
+    return tok
   }
 
   /**
@@ -430,7 +437,7 @@ export class NakoCompiler {
     const commentTokens = tokens.filter((t) => t.type === 'line_comment' || t.type === 'range_comment')
       .map((v) => ({ ...v })) // clone
 
-    tokens = this.converttoken(tokens, false)
+    tokens = this.converttoken(tokens, false, filename)
 
     return { tokens, commentTokens }
   }
@@ -502,13 +509,23 @@ export class NakoCompiler {
         t.type = 'require'
       }
     }
+    if (requireStatementTokens.length >= 3) {
+      // modList を更新
+      for (let i = 0; i < requireStatementTokens.length; i += 3) {
+        let modName = requireStatementTokens[i + 1].value
+        modName = NakoLexer.filenameToModName(modName)
+        if (this.lexer.modList.indexOf(modName) < 0) {
+          this.lexer.modList.push(modName)
+        }
+      }
+    }
 
     // convertTokenで消されるコメントのトークンを残す
     /** @type {TokenWithSourceMap[]} */
     const commentTokens = tokens.filter((t) => t.type === 'line_comment' || t.type === 'range_comment')
       .map((v) => ({ ...v })) // clone
 
-    tokens = this.converttoken(tokens, true)
+    tokens = this.converttoken(tokens, true, filename)
 
     for (let i = 0; i < tokens.length; i++) {
       if (tokens[i].type === 'code') {
@@ -543,7 +560,7 @@ export class NakoCompiler {
     let ast
     try {
       this.parser.genMode = 'sync' // set default
-      ast = this.parser.parse(lexerOutput.tokens)
+      ast = this.parser.parse(lexerOutput.tokens, filename)
     } catch (err) {
       if (typeof err.startOffset !== 'number') {
         throw NakoSyntaxError.fromNode(err.message, lexerOutput.tokens[this.parser.index])
@@ -643,6 +660,7 @@ export class NakoCompiler {
    * @param {boolean} isReset
    * @param {boolean | string} isTest テストかどうか。stringの場合は1つのテストのみ。
    * @param {string} [preCode]
+   * @returns {nakoGlobal}
    */
   _run (code, fname, isReset, isTest, preCode = '') {
     const opts = {
@@ -665,6 +683,7 @@ export class NakoCompiler {
    * @param {Partial<CompilerOptions>} opts
    * @param {string} [preCode]
    * @param {NakoGlobal} [nakoGlobal] ナデシコ命令でスコープを共有するため
+   * @returns {nakoGlobal}
    */
   _runEx (code, fname, opts, preCode = '', nakoGlobal) {
     // コンパイル

package/src/nako_gen.mjs

@@ -5,6 +5,7 @@
  */
 
 import { NakoSyntaxError, NakoError, NakoRuntimeError } from './nako_errors.mjs'
+import { NakoLexer } from './nako_lexer.mjs'
 import  nakoVersion from './nako_version.mjs'
 const isIE11 = () => {
   if (typeof(window) == 'object' && window.navigator && window.navigator.userAgent) {
@@ -359,7 +360,7 @@ export class NakoGen {
             josi: t.name.meta.josi,
             fn: '',
             type: 'func',
-            asyncFn: false
+            asyncFn: t.asyncFn
           }
           funcList.push({name: name, node: t})
         }
@@ -390,16 +391,7 @@ export class NakoGen {
     }
     this.varsSet = { isFunction: false, names: initialNames, readonly: new Set() }
     this.varslistSet = this.__self.__varslist.map((v) => ({ isFunction: false, names: new Set(Object.keys(v)), readonly: new Set() }))
-    this.varslistSet[2] = this.varsSet
-    
-    // 非同期関数(asyncFn)があるかどうかテストする
-    // 後ほど改めて再度同じ関数を呼ぶため、警告などは抑止する
-    const tmpWarn = this.warnUndefinedVar   
-    this.warnUndefinedVar = false // 未定義の変数の警告を抑止 #1192
-    for (let ff of funcList) {
-      this.convDefFuncCommon(ff.node, ff.name)
-    }
-    this.warnUndefinedVar = tmpWarn
+    this.varslistSet[2] = this.varsSet   
   }
 
   /**
@@ -436,6 +428,8 @@ export class NakoGen {
       case 'nop':
         break
       case 'block':
+        const modName = NakoLexer.filenameToModName(node.file)
+        code += `;__self.__modName='${modName}';\n`
         for (let i = 0; i < node.block.length; i++) {
           const b = node.block[i]
           code += this._convGen(b, false)
@@ -1184,7 +1178,7 @@ export class NakoGen {
       throw NakoSyntaxError.fromNode(`関数『${funcName}』が見当たりません。有効プラグイン=[` + this.getPluginList().join(', ') + ']', node)
     }
     // どの関数を呼び出すのか関数を特定する
-    /** @type {import('./nako3').NakoFunction} */
+    /** @type {import('./nako3.mjs').NakoFunction} */
     let func
     if (res.i === 0) { // plugin function
       func = this.__self.funclist[funcName]

package/src/nako_global.mjs

@@ -6,8 +6,8 @@ import { NakoRuntimeError } from './nako_errors.mjs'
  */
 export class NakoGlobal {
   /**
-   * @param {import('./nako3')} compiler
-   * @param {import('./nako_gen')} gen
+   * @param {import('./nako3.mjs')} compiler
+   * @param {import('./nako_gen.mjs')} gen
    */
   constructor (compiler, gen) {
     // ユーザーのプログラムから編集される変数

package/src/nako_lex_rules.mjs

@@ -39,7 +39,7 @@ export const rules = [
   { name: 'もし', pattern: /^もしも?/ },
   // 「ならば」は助詞として定義している
   { name: '違えば', pattern: /^違(えば)?/ },
-  // 「回」「間」「繰返」「反復」「抜」「続」「戻」「代入」「条件分岐」などは replaceWord で word から変換
+  // 「回」「間」「繰返」「反復」「抜」「続」「戻」「代入」「条件分岐」などは NakoLexer._replaceWord で word から変換
   // @see nako_reserved_words.js
   { name: 'shift_r0', pattern: /^>>>/ },
   { name: 'shift_r', pattern: /^>>/ },