nadesiko3 3.3.4 → 3.3.7

package/src/nako_lexer.mjs

@@ -3,7 +3,8 @@
 import { opPriority } from './nako_parser_const.mjs'
 
 // 予約語句
-// (memo)「回」「間」「繰返」「反復」「抜」「続」「戻」「代入」などは replaceWord で word から変換
+// (memo)「回」「間」「繰返」「反復」「抜」「続」「戻」「代入」などは _replaceWord で word から変換
+/** @types {Record<string, string>} */
 import reservedWords from './nako_reserved_words.mjs'
 
 // 助詞の一覧
@@ -15,7 +16,7 @@ import { rules, unitRE } from './nako_lex_rules.mjs'
 import { NakoLexerError, InternalLexerError } from './nako_errors.mjs'
 
 /**
- * @typedef {import('./nako3').TokenWithSourceMap} TokenWithSourceMap
+ * @typedef {import('./nako3.mjs').TokenWithSourceMap} TokenWithSourceMap
  * @typedef {{
  *   type: string;
  *   value: unknown;
@@ -40,37 +41,43 @@ import { NakoLexerError, InternalLexerError } from './nako_errors.mjs'
   *         value: unknown
   *    }
   * )>} FuncList
- */
+  */
 
 export class NakoLexer {
   /**
-   * @param {import("./nako_logger")} logger
+   * @param {import("./nako_logger.mjs").NakoLogger} logger
    */
   constructor (logger) {
+    /* @type {import("./nako_logger.mjs").NakoLogger} */
     this.logger = logger
-    /** @type {FuncList} */
+    /** 字句解析した際,確認された関数の一覧 @type {FuncList} */
     this.funclist = {}
+    /** 字句解析した際,取り込むモジュール一覧 
+     * nako3::lex で更新される
+     * @type {Array<string>} 
+     */
+    this.modList = []
     /** @type {TokenWithSourceMap[]} */
     this.result = []
+    /** モジュール名 */
+    this.modName = 'inline'
   }
 
   setFuncList (listObj) {
     this.funclist = listObj
   }
 
-  setInput (code, line, filename) {
-    // 最初に全部を区切ってしまう
-    return this.tokenize(code, line, filename)
-  }
-
   /**
    * @param {TokenWithSourceMap[]} tokens
+   * @param {boolean} isFirst
+   * @param {string} filename
    */
-  setInput2 (tokens, isFirst) {
+  replaceTokens (tokens, isFirst, filename) {
     this.result = tokens
+    this.modName = NakoLexer.filenameToModName(filename)
     // 関数の定義があれば funclist を更新
     NakoLexer.preDefineFunc(tokens, this.logger, this.funclist)
-    this.replaceWord(this.result)
+    this._replaceWord(this.result)
 
     if (isFirst) {
       if (this.result.length > 0) {
@@ -129,7 +136,7 @@ export class NakoLexer {
    * ファイル内で定義されている関数名を列挙する。結果はfunclistに書き込む。その他のトークンの置換処理も行う。
    * シンタックスハイライトの処理から呼び出すためにstaticメソッドにしている。
    * @param {TokenWithSourceMap[]} tokens
-   * @param {import('./nako_logger')} logger
+   * @param {import('./nako_logger.mjs').NakoLogger} logger
    * @param {FuncList} funclist
    */
   static preDefineFunc (tokens, logger, funclist) {
@@ -144,7 +151,9 @@ export class NakoLexer {
       while (tokens[i]) {
         const t = tokens[i]
         i++
-        if (t.type === ')') { break } else if (t.type === 'func') { isFuncPointer = true } else if (t.type !== '|' && t.type !== 'comma') {
+        if (t.type === ')') { break }
+        if (t.type === 'func') { isFuncPointer = true }
+        else if (t.type !== '|' && t.type !== 'comma') {
           if (isFuncPointer) {
             t.funcPointer = true
             isFuncPointer = false
@@ -186,7 +195,7 @@ export class NakoLexer {
       // N回をN|回に置換
       if (t.type === 'word' && t.josi === '' && t.value.length >= 2) {
         if (t.value.match(/回$/)) {
-          t.value = t.value.substr(0, t.value.length - 1)
+          t.value = t.value.substring(0, t.value.length - 1)
           tokens.splice(i + 1, 0, { type: '回', value: '回', line: t.line, column: t.column, file: t.file, josi: '', startOffset: t.endOffset - 1, endOffset: t.endOffset, rawJosi: '' })
           t.endOffset--
           i++
@@ -214,12 +223,14 @@ export class NakoLexer {
       let varnames = []
       let funcPointers = []
       let funcName = ''
+      let funcNameToken
       // 関数名の前に引数定義
       if (tokens[i] && tokens[i].type === '(') { [josi, varnames, funcPointers] = readArgs() }
 
       // 関数名を得る
       if (!isMumei && tokens[i] && tokens[i].type === 'word') {
-        funcName = tokens[i++].value
+        funcNameToken = tokens[i++]
+        funcName = funcNameToken.value
       }
 
       // 関数名の後で引数定義
@@ -228,9 +239,12 @@ export class NakoLexer {
       // 名前のある関数定義ならば関数テーブルに関数名を登録
       // 無名関数は登録しないように気をつける
       if (funcName !== '') {
+        const modName = NakoLexer.filenameToModName(t.file)
+        funcName = modName + '__' + funcName
         if (funcName in funclist) { // 関数の二重定義を警告
           logger.warn(`関数『${funcName}』は既に定義されています。`, defToken)
         }
+        funcNameToken.value = funcName
         funclist[funcName] = {
           type: 'func',
           josi,
@@ -240,7 +254,6 @@ export class NakoLexer {
           funcPointers
         }
       }
-
       // 無名関数のために
       defToken.meta = { josi, varnames, funcPointers }
     }
@@ -273,22 +286,47 @@ export class NakoLexer {
   /**
    * @param {TokenWithSourceMap[]} tokens
    */
-  replaceWord (tokens) {
+  _replaceWord (tokens) {
     let comment = []
     let i = 0
     const getLastType = () => {
       if (i <= 0) { return 'eol' }
       return tokens[i - 1].type
     }
+    const modSelf = (tokens.length > 0) ? NakoLexer.filenameToModName(tokens[0].file) : 'inline'
     while (i < tokens.length) {
       const t = tokens[i]
+      // 関数を強制的に置換( word => func )
       if (t.type === 'word' && t.value !== 'それ') {
         // 関数を変換
-        const fo = this.funclist[t.value]
+        const funcName = t.value
+        if (funcName.indexOf('__') < 0) {
+          // 自身のモジュール名を検索
+          const gname1 = `${modSelf}__${funcName}`
+          const gfo1 = this.funclist[gname1]
+          if (gfo1 && gfo1.type === 'func') {
+            t.type = 'func'
+            t.meta = gfo1
+            t.value = gname1
+            continue
+          }
+          // モジュール関数を置換
+          for (let mod of this.modList) {
+            const gname = `${mod}__${funcName}`
+            const gfo = this.funclist[gname]
+            if (gfo && gfo.type === 'func') {
+              t.type = 'func'
+              t.meta = gfo
+              t.value = gname
+              break
+            }
+          }
+          if (t.type === 'func') { continue }
+        }
+        const fo = this.funclist[funcName]
         if (fo && fo.type === 'func') {
           t.type = 'func'
           t.meta = fo
-          continue
         }
       }
       // 数字につくマイナス記号を判定
@@ -406,7 +444,7 @@ export class NakoLexer {
         // 空白ならスキップ
         if (rule.name === 'space') {
           column += m[0].length
-          src = src.substr(m[0].length)
+          src = src.substring(m[0].length)
           continue
         }
         // マッチしたルールがコールバックを持つなら
@@ -562,7 +600,7 @@ export class NakoLexer {
         break
       }
       if (!ok) {
-        throw new InternalLexerError('未知の語句: ' + src.substr(0, 3) + '...',
+        throw new InternalLexerError('未知の語句: ' + src.substring(0, 3) + '...',
           srcLength - src.length,
           srcLength - srcLength + 3,
           line
@@ -571,4 +609,27 @@ export class NakoLexer {
     }
     return result
   }
+  // トークン配列をtype文字列に変換
+  static tokensToTypeStr(tokens, sep) {
+    const a = tokens.map((v) => {
+      return v.type
+    })
+    return a.join(sep)
+  }
+  /**
+   * ファイル名からモジュール名へ変換
+   * @param {string} filename 
+   * @returns {string}
+   */
+  static filenameToModName(filename) {
+    if (!filename) { return 'inline' }
+    // パスがあればパスを削除
+    filename = filename.replace(/[\\:]/g, '/') // Windowsのpath記号を/に置換
+    if (filename.indexOf('/') >= 0) {
+      const a = filename.split('/')
+      filename = a[a.length - 1]
+    }
+    filename = filename.replace(/\.nako3?$/, '')
+    return filename
+  }
 }