@aster-cloud/aster-lang-ts 0.0.1

package/dist/src/frontend/keyword-translator.js

@@ -0,0 +1,188 @@
+/**
+ * @module keyword-translator
+ *
+ * 关键词翻译器：将本地化关键词转换为规范化（英文）关键词。
+ *
+ * **设计原则**：
+ * - 透明层：在 lexer 和 parser 之间插入，保持两者接口不变
+ * - 双向映射：支持本地化→规范化（编译）和规范化→本地化（显示）
+ * - 幂等性：对英文关键词调用不改变任何内容
+ *
+ * **工作流程**：
+ * 1. Lexer 产生本地化 token（如 `{ kind: IDENT, value: '若' }`）
+ * 2. KeywordTranslator 将其转换为规范化 token（如 `{ kind: IDENT, value: 'if' }`）
+ * 3. Parser 使用规范化的 token 进行解析
+ */
+import { TokenKind } from './tokens.js';
+import { SemanticTokenKind } from '../config/token-kind.js';
+import { EN_US } from '../config/lexicons/en-US.js';
+/**
+ * 构建关键词翻译索引。
+ *
+ * 将源词法表的关键词映射到目标词法表（默认英文）的关键词。
+ * 同时识别被标记符号包裹的关键词（如【定义】）并建立单独索引。
+ *
+ * @param sourceLexicon - 源词法表（如 zh-CN）
+ * @param targetLexicon - 目标词法表（默认 en-US）
+ * @returns 翻译索引：源关键词 -> 目标关键词
+ */
+export function buildKeywordTranslationIndex(sourceLexicon, targetLexicon = EN_US) {
+    const { index } = buildFullTranslationIndex(sourceLexicon, targetLexicon);
+    return index;
+}
+/**
+ * 构建完整的翻译索引（包括普通关键词和标记关键词）。
+ *
+ * @param sourceLexicon - 源词法表（如 zh-CN）
+ * @param targetLexicon - 目标词法表（默认 en-US）
+ * @returns 包含普通索引和标记索引的结果
+ */
+export function buildFullTranslationIndex(sourceLexicon, targetLexicon = EN_US) {
+    const index = new Map();
+    const markerIndex = new Map();
+    // 获取源词法表的标记符号
+    const markers = sourceLexicon.punctuation.markers;
+    const markerOpen = markers?.open || '【';
+    const markerClose = markers?.close || '】';
+    // 遍历所有 SemanticTokenKind
+    for (const kind of Object.values(SemanticTokenKind)) {
+        const sourceKeyword = sourceLexicon.keywords[kind];
+        const targetKeyword = targetLexicon.keywords[kind];
+        if (sourceKeyword && targetKeyword && sourceKeyword !== targetKeyword) {
+            // 检查是否是标记关键词（被【】包裹）
+            if (sourceKeyword.startsWith(markerOpen) && sourceKeyword.endsWith(markerClose)) {
+                // 提取内部值并添加到标记索引
+                const innerValue = sourceKeyword.slice(markerOpen.length, -markerClose.length);
+                markerIndex.set(innerValue.toLowerCase(), targetKeyword);
+            }
+            else {
+                // 普通关键词添加到普通索引
+                index.set(sourceKeyword.toLowerCase(), targetKeyword);
+            }
+        }
+    }
+    return { index, markerIndex };
+}
+/**
+ * 翻译单个 token 的值。
+ *
+ * @param token - 要翻译的 token
+ * @param index - 翻译索引
+ * @returns 翻译后的 token（新对象，不修改原 token）
+ */
+export function translateToken(token, index) {
+    // 只翻译标识符类型的 token（关键词在 lexer 中被识别为 IDENT）
+    if (token.kind !== TokenKind.IDENT &&
+        token.kind !== TokenKind.TYPE_IDENT &&
+        token.kind !== TokenKind.KEYWORD) {
+        return token;
+    }
+    const value = token.value;
+    if (!value)
+        return token;
+    // 查找翻译（小写匹配）
+    const translated = index.get(value.toLowerCase());
+    if (!translated)
+        return token;
+    // 返回新 token，保持其他属性不变
+    return {
+        ...token,
+        value: translated,
+    };
+}
+/**
+ * 翻译 token 流中的所有关键词。
+ *
+ * @param tokens - 原始 token 数组
+ * @param index - 翻译索引
+ * @returns 翻译后的 token 数组（新数组，不修改原数组）
+ */
+export function translateTokens(tokens, index) {
+    return tokens.map(token => translateToken(token, index));
+}
+/**
+ * 翻译 token 流中的所有关键词（包括标记关键词序列）。
+ *
+ * 此函数会识别 LBRACKET + IDENT + RBRACKET 序列，
+ * 如果内部 IDENT 是标记关键词，则将三个 token 合并为单个翻译后的 token。
+ *
+ * @param tokens - 原始 token 数组
+ * @param index - 普通关键词翻译索引
+ * @param markerIndex - 标记关键词翻译索引
+ * @returns 翻译后的 token 数组（新数组，不修改原数组）
+ */
+export function translateTokensWithMarkers(tokens, index, markerIndex) {
+    const result = [];
+    let i = 0;
+    while (i < tokens.length) {
+        const token = tokens[i];
+        // 检查是否是 LBRACKET + IDENT + RBRACKET 序列
+        if (token.kind === TokenKind.LBRACKET &&
+            i + 2 < tokens.length &&
+            (tokens[i + 1].kind === TokenKind.IDENT || tokens[i + 1].kind === TokenKind.TYPE_IDENT) &&
+            tokens[i + 2].kind === TokenKind.RBRACKET) {
+            const innerToken = tokens[i + 1];
+            const innerValue = innerToken.value;
+            const translated = markerIndex.get(innerValue.toLowerCase());
+            if (translated) {
+                // 找到标记关键词，合并为单个 TYPE_IDENT token
+                result.push({
+                    kind: TokenKind.TYPE_IDENT,
+                    value: translated,
+                    start: token.start,
+                    end: tokens[i + 2].end,
+                });
+                i += 3; // 跳过三个 token
+                continue;
+            }
+        }
+        // 普通 token 翻译
+        result.push(translateToken(token, index));
+        i++;
+    }
+    return result;
+}
+/**
+ * 创建完整的关键词翻译器。
+ *
+ * 这是一个高级 API，封装了索引构建和 token 翻译。
+ * 支持普通关键词和标记关键词（如【定义】）的翻译。
+ *
+ * @param sourceLexicon - 源词法表
+ * @param targetLexicon - 目标词法表（默认 en-US）
+ * @returns 翻译器对象
+ */
+export function createKeywordTranslator(sourceLexicon, targetLexicon = EN_US) {
+    const { index, markerIndex } = buildFullTranslationIndex(sourceLexicon, targetLexicon);
+    return {
+        /** 普通关键词翻译索引 */
+        index,
+        /** 标记关键词翻译索引（【】包裹的关键词） */
+        markerIndex,
+        /** 翻译单个 token */
+        translateToken: (token) => translateToken(token, index),
+        /** 翻译 token 数组（包括标记关键词序列处理） */
+        translateTokens: (tokens) => translateTokensWithMarkers(tokens, index, markerIndex),
+        /** 检查普通关键词是否有翻译 */
+        hasTranslation: (value) => index.has(value.toLowerCase()),
+        /** 获取普通关键词翻译结果 */
+        getTranslation: (value) => index.get(value.toLowerCase()),
+        /** 检查标记关键词是否有翻译 */
+        hasMarkerTranslation: (value) => markerIndex.has(value.toLowerCase()),
+        /** 获取标记关键词翻译结果 */
+        getMarkerTranslation: (value) => markerIndex.get(value.toLowerCase()),
+    };
+}
+/**
+ * 判断词法表是否需要关键词翻译。
+ *
+ * 如果源词法表与目标词法表相同（或都是英文），则不需要翻译。
+ *
+ * @param sourceLexicon - 源词法表
+ * @param targetLexicon - 目标词法表（默认 en-US）
+ * @returns 如果需要翻译返回 true
+ */
+export function needsKeywordTranslation(sourceLexicon, targetLexicon = EN_US) {
+    return sourceLexicon.id !== targetLexicon.id;
+}
+//# sourceMappingURL=keyword-translator.js.map

package/dist/src/frontend/keyword-translator.js.map

@@ -0,0 +1 @@
+{"version":3,"file":"keyword-translator.js","sourceRoot":"","sources":["../../../src/frontend/keyword-translator.ts"],"names":[],"mappings":"AAAA;;;;;;;;;;;;;;GAcG;AAGH,OAAO,EAAE,SAAS,EAAE,MAAM,aAAa,CAAC;AAExC,OAAO,EAAE,iBAAiB,EAAE,MAAM,yBAAyB,CAAC;AAC5D,OAAO,EAAE,KAAK,EAAE,MAAM,6BAA6B,CAAC;AAoCpD;;;;;;;;;GASG;AACH,MAAM,UAAU,4BAA4B,CAC1C,aAAsB,EACtB,gBAAyB,KAAK;IAE9B,MAAM,EAAE,KAAK,EAAE,GAAG,yBAAyB,CAAC,aAAa,EAAE,aAAa,CAAC,CAAC;IAC1E,OAAO,KAAK,CAAC;AACf,CAAC;AAED;;;;;;GAMG;AACH,MAAM,UAAU,yBAAyB,CACvC,aAAsB,EACtB,gBAAyB,KAAK;IAE9B,MAAM,KAAK,GAAG,IAAI,GAAG,EAAkB,CAAC;IACxC,MAAM,WAAW,GAAG,IAAI,GAAG,EAAkB,CAAC;IAE9C,cAAc;IACd,MAAM,OAAO,GAAG,aAAa,CAAC,WAAW,CAAC,OAAO,CAAC;IAClD,MAAM,UAAU,GAAG,OAAO,EAAE,IAAI,IAAI,GAAG,CAAC;IACxC,MAAM,WAAW,GAAG,OAAO,EAAE,KAAK,IAAI,GAAG,CAAC;IAE1C,yBAAyB;IACzB,KAAK,MAAM,IAAI,IAAI,MAAM,CAAC,MAAM,CAAC,iBAAiB,CAAC,EAAE,CAAC;QACpD,MAAM,aAAa,GAAG,aAAa,CAAC,QAAQ,CAAC,IAAI,CAAC,CAAC;QACnD,MAAM,aAAa,GAAG,aAAa,CAAC,QAAQ,CAAC,IAAI,CAAC,CAAC;QAEnD,IAAI,aAAa,IAAI,aAAa,IAAI,aAAa,KAAK,aAAa,EAAE,CAAC;YACtE,oBAAoB;YACpB,IAAI,aAAa,CAAC,UAAU,CAAC,UAAU,CAAC,IAAI,aAAa,CAAC,QAAQ,CAAC,WAAW,CAAC,EAAE,CAAC;gBAChF,gBAAgB;gBAChB,MAAM,UAAU,GAAG,aAAa,CAAC,KAAK,CAAC,UAAU,CAAC,MAAM,EAAE,CAAC,WAAW,CAAC,MAAM,CAAC,CAAC;gBAC/E,WAAW,CAAC,GAAG,CAAC,UAAU,CAAC,WAAW,EAAE,EAAE,aAAa,CAAC,CAAC;YAC3D,CAAC;iBAAM,CAAC;gBACN,eAAe;gBACf,KAAK,CAAC,GAAG,CAAC,aAAa,CAAC,WAAW,EAAE,EAAE,aAAa,CAAC,CAAC;YACxD,CAAC;QACH,CAAC;IACH,CAAC;IAED,OAAO,EAAE,KAAK,EAAE,WAAW,EAAE,CAAC;AAChC,CAAC;AAED;;;;;;GAMG;AACH,MAAM,UAAU,cAAc,CAAC,KAAY,EAAE,KAA8B;IACzE,0CAA0C;IAC1C,IACE,KAAK,CAAC,IAAI,KAAK,SAAS,CAAC,KAAK;QAC9B,KAAK,CAAC,IAAI,KAAK,SAAS,CAAC,UAAU;QACnC,KAAK,CAAC,IAAI,KAAK,SAAS,CAAC,OAAO,EAChC,CAAC;QACD,OAAO,KAAK,CAAC;IACf,CAAC;IAED,MAAM,KAAK,GAAG,KAAK,CAAC,KAAe,CAAC;IACpC,IAAI,CAAC,KAAK;QAAE,OAAO,KAAK,CAAC;IAEzB,aAAa;IACb,MAAM,UAAU,GAAG,KAAK,CAAC,GAAG,CAAC,KAAK,CAAC,WAAW,EAAE,CAAC,CAAC;IAClD,IAAI,CAAC,UAAU;QAAE,OAAO,KAAK,CAAC;IAE9B,qBAAqB;IACrB,OAAO;QACL,GAAG,KAAK;QACR,KAAK,EAAE,UAAU;KAClB,CAAC;AACJ,CAAC;AAED;;;;;;GAMG;AACH,MAAM,UAAU,eAAe,CAC7B,MAAwB,EACxB,KAA8B;IAE9B,OAAO,MAAM,CAAC,GAAG,CAAC,KAAK,CAAC,EAAE,CAAC,cAAc,CAAC,KAAK,EAAE,KAAK,CAAC,CAAC,CAAC;AAC3D,CAAC;AAED;;;;;;;;;;GAUG;AACH,MAAM,UAAU,0BAA0B,CACxC,MAAwB,EACxB,KAA8B,EAC9B,WAA+B;IAE/B,MAAM,MAAM,GAAY,EAAE,CAAC;IAC3B,IAAI,CAAC,GAAG,CAAC,CAAC;IAEV,OAAO,CAAC,GAAG,MAAM,CAAC,MAAM,EAAE,CAAC;QACzB,MAAM,KAAK,GAAG,MAAM,CAAC,CAAC,CAAE,CAAC;QAEzB,uCAAuC;QACvC,IACE,KAAK,CAAC,IAAI,KAAK,SAAS,CAAC,QAAQ;YACjC,CAAC,GAAG,CAAC,GAAG,MAAM,CAAC,MAAM;YACrB,CAAC,MAAM,CAAC,CAAC,GAAG,CAAC,CAAE,CAAC,IAAI,KAAK,SAAS,CAAC,KAAK,IAAI,MAAM,CAAC,CAAC,GAAG,CAAC,CAAE,CAAC,IAAI,KAAK,SAAS,CAAC,UAAU,CAAC;YACzF,MAAM,CAAC,CAAC,GAAG,CAAC,CAAE,CAAC,IAAI,KAAK,SAAS,CAAC,QAAQ,EAC1C,CAAC;YACD,MAAM,UAAU,GAAG,MAAM,CAAC,CAAC,GAAG,CAAC,CAAE,CAAC;YAClC,MAAM,UAAU,GAAG,UAAU,CAAC,KAAe,CAAC;YAC9C,MAAM,UAAU,GAAG,WAAW,CAAC,GAAG,CAAC,UAAU,CAAC,WAAW,EAAE,CAAC,CAAC;YAE7D,IAAI,UAAU,EAAE,CAAC;gBACf,iCAAiC;gBACjC,MAAM,CAAC,IAAI,CAAC;oBACV,IAAI,EAAE,SAAS,CAAC,UAAU;oBAC1B,KAAK,EAAE,UAAU;oBACjB,KAAK,EAAE,KAAK,CAAC,KAAK;oBAClB,GAAG,EAAE,MAAM,CAAC,CAAC,GAAG,CAAC,CAAE,CAAC,GAAG;iBACxB,CAAC,CAAC;gBACH,CAAC,IAAI,CAAC,CAAC,CAAC,aAAa;gBACrB,SAAS;YACX,CAAC;QACH,CAAC;QAED,cAAc;QACd,MAAM,CAAC,IAAI,CAAC,cAAc,CAAC,KAAK,EAAE,KAAK,CAAC,CAAC,CAAC;QAC1C,CAAC,EAAE,CAAC;IACN,CAAC;IAED,OAAO,MAAM,CAAC;AAChB,CAAC;AAED;;;;;;;;;GASG;AACH,MAAM,UAAU,uBAAuB,CACrC,aAAsB,EACtB,gBAAyB,KAAK;IAE9B,MAAM,EAAE,KAAK,EAAE,WAAW,EAAE,GAAG,yBAAyB,CAAC,aAAa,EAAE,aAAa,CAAC,CAAC;IAEvF,OAAO;QACL,gBAAgB;QAChB,KAAK;QAEL,0BAA0B;QAC1B,WAAW;QAEX,iBAAiB;QACjB,cAAc,EAAE,CAAC,KAAY,EAAS,EAAE,CAAC,cAAc,CAAC,KAAK,EAAE,KAAK,CAAC;QAErE,+BAA+B;QAC/B,eAAe,EAAE,CAAC,MAAwB,EAAW,EAAE,CACrD,0BAA0B,CAAC,MAAM,EAAE,KAAK,EAAE,WAAW,CAAC;QAExD,mBAAmB;QACnB,cAAc,EAAE,CAAC,KAAa,EAAW,EAAE,CAAC,KAAK,CAAC,GAAG,CAAC,KAAK,CAAC,WAAW,EAAE,CAAC;QAE1E,kBAAkB;QAClB,cAAc,EAAE,CAAC,KAAa,EAAsB,EAAE,CAAC,KAAK,CAAC,GAAG,CAAC,KAAK,CAAC,WAAW,EAAE,CAAC;QAErF,mBAAmB;QACnB,oBAAoB,EAAE,CAAC,KAAa,EAAW,EAAE,CAAC,WAAW,CAAC,GAAG,CAAC,KAAK,CAAC,WAAW,EAAE,CAAC;QAEtF,kBAAkB;QAClB,oBAAoB,EAAE,CAAC,KAAa,EAAsB,EAAE,CAAC,WAAW,CAAC,GAAG,CAAC,KAAK,CAAC,WAAW,EAAE,CAAC;KAClG,CAAC;AACJ,CAAC;AAED;;;;;;;;GAQG;AACH,MAAM,UAAU,uBAAuB,CACrC,aAAsB,EACtB,gBAAyB,KAAK;IAE9B,OAAO,aAAa,CAAC,EAAE,KAAK,aAAa,CAAC,EAAE,CAAC;AAC/C,CAAC"}

package/dist/src/frontend/lexer.d.ts

@@ -0,0 +1,59 @@
+/**
+ * @module lexer
+ *
+ * 词法分析器：将规范化的 CNL 源代码转换为 Token 流。
+ *
+ * **功能**：
+ * - 识别关键字、标识符、字面量、运算符和标点符号
+ * - 处理缩进敏感的语法（INDENT/DEDENT token）
+ * - 支持字符串插值和多行字符串
+ * - 跟踪每个 token 的位置信息（行号和列号）
+ *
+ * **多语言支持**：
+ * - 通过 Lexicon 参数支持不同自然语言
+ * - 支持 Unicode 字符（中文、日文等）
+ * - 支持可配置的字符串引号（英语 "" vs 中文 「」）
+ *
+ * **缩进规则**：
+ * - Aster 使用 2 空格缩进
+ * - 缩进必须是偶数个空格
+ * - 缩进变化会生成 INDENT 或 DEDENT token
+ */
+import type { Token } from '../types.js';
+import type { Lexicon } from '../config/lexicons/types.js';
+/**
+ * 对规范化的 CNL 源代码进行词法分析，生成 Token 流。
+ *
+ * 这是 Aster 编译管道的第二步，将规范化的文本字符串转换为结构化的 token 序列，
+ * 为后续的语法分析阶段提供输入。
+ *
+ * **Token 类型**：
+ * - 关键字：`To`, `Return`, `Match`, `When`, `Define`, `It performs` 等
+ * - 标识符：变量名、函数名、类型名
+ * - 字面量：整数、浮点数、布尔值、字符串、null
+ * - 运算符：`+`, `-`, `*`, `/`, `=`, `==`, `<`, `>` 等
+ * - 标点符号：`.`, `,`, `:`, `(`, `)`, `{`, `}` 等
+ * - 特殊 token：`INDENT`, `DEDENT`, `NEWLINE`, `EOF`
+ *
+ * @param input - 规范化后的 CNL 源代码（应先通过 canonicalizer.canonicalize 处理）
+ * @param lexicon - 可选的词法表，默认使用英语（en-US）配置
+ * @returns Token 数组，每个 token 包含类型、值和位置信息
+ *
+ * @throws {DiagnosticError} 当遇到非法字符或缩进错误时抛出
+ *
+ * @example
+ * ```typescript
+ * import { canonicalize, lex } from '@wontlost-ltd/aster-lang';
+ *
+ * // 英语（默认）
+ * const canonical = canonicalize(src);
+ * const tokens = lex(canonical);
+ *
+ * // 中文
+ * import { ZH_CN } from './config/lexicons/zh-CN.js';
+ * const zhCanonical = canonicalize(src, ZH_CN);
+ * const zhTokens = lex(zhCanonical, ZH_CN);
+ * ```
+ */
+export declare function lex(input: string, lexicon?: Lexicon): Token[];
+//# sourceMappingURL=lexer.d.ts.map

package/dist/src/frontend/lexer.d.ts.map

@@ -0,0 +1 @@
+{"version":3,"file":"lexer.d.ts","sourceRoot":"","sources":["../../../src/frontend/lexer.ts"],"names":[],"mappings":"AAAA;;;;;;;;;;;;;;;;;;;;GAoBG;AAGH,OAAO,KAAK,EAAE,KAAK,EAAY,MAAM,aAAa,CAAC;AAEnD,OAAO,KAAK,EAAE,OAAO,EAAE,MAAM,6BAA6B,CAAC;AAsF3D;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;GAiCG;AACH,wBAAgB,GAAG,CAAC,KAAK,EAAE,MAAM,EAAE,OAAO,CAAC,EAAE,OAAO,GAAG,KAAK,EAAE,CAia7D"}