@zwa73/utils 1.0.266 → 1.0.268

package/dist/UtilClass/Hbs.d.ts

@@ -10,8 +10,9 @@ export declare class Hbs<T extends Record<Keyable, any> = Record<Keyable, any>>
     */
     private constructor();
     /**创建一个新的 Hbs 实例
-    * @param context - 上下文对象，用于在渲染模板时提供数据
-    */
+     * 依赖于 handlebars@4.7.8 但不会自动安装
+     * @param context - 上下文对象，用于在渲染模板时提供数据
+     */
     static create<T extends Record<Keyable, any> = Record<Keyable, any>>(context?: T): Promise<Hbs<T>>;
     /**渲染模板
      * @param template - 要渲染的 Handlebars 模板字符串

package/dist/UtilClass/Hbs.js

@@ -31,8 +31,9 @@ class Hbs {
         });
     }
     /**创建一个新的 Hbs 实例
-    * @param context - 上下文对象，用于在渲染模板时提供数据
-    */
+     * 依赖于 handlebars@4.7.8 但不会自动安装
+     * @param context - 上下文对象，用于在渲染模板时提供数据
+     */
     static async create(context = {}) {
         const Handlebars = await js_utils_1.JsFunc.dynamicImport('handlebars');
         if (Handlebars == undefined)

package/dist/UtilClass/Markdown.d.ts

@@ -0,0 +1,28 @@
+import { stringify } from 'yaml';
+type ExtractBlockOpt = {
+    /**要提取的标题 必须为 "# 标题" 的格式 */
+    title: string;
+    /**将标题从结构中排除 */
+    trimTitle: boolean;
+};
+/**Markdown解析器 */
+export declare class Markdown {
+    data: Record<string, any>;
+    content: string;
+    constructor(data: Record<string, any>, content: string);
+    /**从内容文本构建Md */
+    static parse(ctx?: string): Promise<Markdown>;
+    /**从文件构建Md */
+    static fromFile(filepath: string): Promise<Markdown>;
+    /**输出md文本 */
+    stringify(opt: Exclude<Parameters<typeof stringify>[2], string | number>): Promise<string>;
+    /**根据标题提取块
+     * @param opt - 选项
+     */
+    extractBlock(opt: ExtractBlockOpt): string | undefined;
+    /**根据标题提取块内第一个json代码块
+     * @param opt - 选项
+     */
+    extractJson(title: string): string | undefined;
+}
+export {};

package/dist/UtilClass/Markdown.js

@@ -0,0 +1,72 @@
+"use strict";
+var __importDefault = (this && this.__importDefault) || function (mod) {
+    return (mod && mod.__esModule) ? mod : { "default": mod };
+};
+Object.defineProperty(exports, "__esModule", { value: true });
+exports.Markdown = void 0;
+const fs_1 = __importDefault(require("fs"));
+const js_utils_1 = require("@zwa73/js-utils");
+const UtilLogger_1 = require("../UtilLogger");
+const yaml_1 = require("yaml");
+const getMatter = async () => {
+    const matter = await js_utils_1.JsFunc.dynamicImport('gray-matter');
+    if (matter == undefined)
+        js_utils_1.JsFunc.throwError(`npm包 gray-matter 动态导入失败, 此包不会随@zwa73/utils自动安装, 可能是未安装, 可使用 npm i gray-matter@4.0.3 来安装`);
+    return matter;
+};
+/**Markdown解析器 */
+class Markdown {
+    data;
+    content;
+    constructor(data, content) {
+        this.data = data;
+        this.content = content;
+    }
+    /**从内容文本构建Md */
+    static async parse(ctx = '') {
+        const { data, content } = (await getMatter())(ctx);
+        return new Markdown(data, content);
+    }
+    /**从文件构建Md */
+    static async fromFile(filepath) {
+        const context = (await fs_1.default.promises.readFile(filepath, 'utf-8')).replace(/\r\n/g, '\n');
+        return Markdown.parse(context);
+    }
+    /**输出md文本 */
+    async stringify(opt) {
+        const yamlText = Object.values(this.data).length > 0 ? `---\n${(0, yaml_1.stringify)(this.data, opt)}---\n` : '';
+        return `${yamlText}${this.content}`;
+        //return (await getMatter()).stringify(this.content,this.data);
+    }
+    /**根据标题提取块
+     * @param opt - 选项
+     */
+    extractBlock(opt) {
+        const { title, trimTitle = false } = opt;
+        // 匹配标题格式，要求为 "# 标题" 或 "## 标题" 等
+        const matchTitle = title.match(/(#+) (.+)/);
+        if (matchTitle == null) {
+            UtilLogger_1.SLogger.warn(`${title} 不是有效的md标题, 必须为 "(#+) (标题)"`);
+            return undefined;
+        }
+        const [, level, content] = matchTitle;
+        /**构造正则：
+         * - (^|\n)${level} ${content}：匹配标题行（支持开头或换行）
+         * - [\s\S]*?：非贪婪匹配标题后的所有内容
+         * - (?=\n${level} |$)：直到下一个同级标题或文件结束
+         */
+        const pattern = new RegExp(`(^|\\n)${level} ${content}[\\s\\S]*?(?=\\n${level} |$)`);
+        const match = this.content.match(pattern);
+        const result = match ? match[0].trim() : undefined;
+        return trimTitle && result !== undefined
+            ? result.replace(new RegExp(`^${level} ${content}\\n?`), '')
+            : result;
+    }
+    /**根据标题提取块内第一个json代码块
+     * @param opt - 选项
+     */
+    extractJson(title) {
+        return this.extractBlock({ title, trimTitle: true })?.trim().replace(/```json\n([\s\S]+)\n```/, '$1');
+    }
+}
+exports.Markdown = Markdown;

package/dist/UtilCodecs.d.ts

@@ -11,31 +11,37 @@ export declare namespace UtilCodec {
      */
     function encodeHtmlEntities(str: string): string;
     /**token长度计算器 Turbo模型
+     * 依赖于 tiktoken@1.0.7 但不会自动安装
      * @param str = 所要计算的消息
      * @returns 整数长度结果
      */
     function tokenNumTurbo(str: string): Promise<number>;
     /**token长度计算器 Davinci模型
+     * 依赖于 tiktoken@1.0.7 但不会自动安装
      * @param str = 所要计算的消息
      * @returns 整数长度结果
      */
     function tokenNumDavinci(str: string): Promise<number>;
     /**token编码 Turbo模型
+     * 依赖于 tiktoken@1.0.7 但不会自动安装
      * @param str = 所要计算的消息
      * @returns Token数组
      */
     function encodeTokenTurbo(str: string): Promise<Uint32Array>;
     /**token编码 Davinci模型
+     * 依赖于 tiktoken@1.0.7 但不会自动安装
      * @param str = 所要计算的消息
      * @returns Token数组
      */
     function encodeTokenDavinci(str: string): Promise<Uint32Array>;
     /**token解码 Turbo模型
+     * 依赖于 tiktoken@1.0.7 但不会自动安装
      * @param arr = Token数组
      * @returns 消息字符串
      */
     function decodeTokenTurbo(arr: Uint32Array | number[]): Promise<string>;
     /**token解码 Davinci模型
+     * 依赖于 tiktoken@1.0.7 但不会自动安装
      * @param arr = Token数组
      * @returns 消息字符串
      */

package/dist/UtilCodecs.js

@@ -26,20 +26,22 @@ Object.defineProperty(exports, "__esModule", { value: true });
 exports.UtilCodec = void 0;
 const he = __importStar(require("html-entities"));
 const UtilFunctions_1 = require("./UtilFunctions");
+/**引入tiktoken
+ * 依赖于 tiktoken@1.0.7 但不会自动安装
+ */
 async function importTikToken() {
     const tik = await UtilFunctions_1.UtilFunc.dynamicImport("tiktoken");
     if (tik == undefined)
         UtilFunctions_1.UtilFunc.throwError(`npm包 tiktoken 动态导入失败, 此包不会随@zwa73/utils自动安装, 可能是未安装, 可使用 npm i tiktoken@1.0.7 来安装`);
     return tik;
 }
+//#endregion
 /**编码/解码器 */
 var UtilCodec;
 (function (UtilCodec) {
-    /**gpt-4, gpt-3.5-turbo, text-embedding-ada-002, text-embedding-3-small, text-embedding-3-large
-     */
+    /**gpt-4, gpt-3.5-turbo, text-embedding-ada-002, text-embedding-3-small, text-embedding-3-large */
     let encoderCl100kBase = null;
-    /**Codex models, text-davinci-002, text-davinci-003
-     */
+    /**Codex models, text-davinci-002, text-davinci-003 */
     let encoderP50kBase = null;
     const textDecoder = new TextDecoder();
     /**HTML实体解码 将一个字符串中的HTML实体转换为对应的字符
@@ -62,8 +64,10 @@ var UtilCodec;
     //token长度计算器
     //cl100k_base  ChatGPT models, text-embedding-ada-002
     //p50k_base    Code models, text-davinci-002, text-davinci-003
-    //r50k_base (or gpt2)    GPT-3 models like davinci
-    //避免在nextjs调用时出错
+    //r50k_base    (or gpt2)    GPT-3 models like davinci
+    /**避免在nextjs调用时出错
+     * 依赖于 tiktoken@1.0.7 但不会自动安装
+     */
     async function initTikTokenEncoder() {
         if (encoderCl100kBase != null && encoderP50kBase != null)
             return;
@@ -72,6 +76,7 @@ var UtilCodec;
         encoderP50kBase = get_encoding("p50k_base");
     }
     /**token长度计算器 Turbo模型
+     * 依赖于 tiktoken@1.0.7 但不会自动安装
      * @param str = 所要计算的消息
      * @returns 整数长度结果
      */
@@ -82,6 +87,7 @@ var UtilCodec;
     }
     UtilCodec.tokenNumTurbo = tokenNumTurbo;
     /**token长度计算器 Davinci模型
+     * 依赖于 tiktoken@1.0.7 但不会自动安装
      * @param str = 所要计算的消息
      * @returns 整数长度结果
      */
@@ -91,6 +97,7 @@ var UtilCodec;
     }
     UtilCodec.tokenNumDavinci = tokenNumDavinci;
     /**token编码 Turbo模型
+     * 依赖于 tiktoken@1.0.7 但不会自动安装
      * @param str = 所要计算的消息
      * @returns Token数组
      */
@@ -100,6 +107,7 @@ var UtilCodec;
     }
     UtilCodec.encodeTokenTurbo = encodeTokenTurbo;
     /**token编码 Davinci模型
+     * 依赖于 tiktoken@1.0.7 但不会自动安装
      * @param str = 所要计算的消息
      * @returns Token数组
      */
@@ -109,6 +117,7 @@ var UtilCodec;
     }
     UtilCodec.encodeTokenDavinci = encodeTokenDavinci;
     /**token解码 Turbo模型
+     * 依赖于 tiktoken@1.0.7 但不会自动安装
      * @param arr = Token数组
      * @returns 消息字符串
      */
@@ -120,6 +129,7 @@ var UtilCodec;
     }
     UtilCodec.decodeTokenTurbo = decodeTokenTurbo;
     /**token解码 Davinci模型
+     * 依赖于 tiktoken@1.0.7 但不会自动安装
      * @param arr = Token数组
      * @returns 消息字符串
      */

package/dist/UtilFileTools.js

@@ -144,7 +144,7 @@ var UtilFT;
     UtilFT.ensurePathExistsSync = ensurePathExistsSync;
     function loadJSONFileSync(filePath, opt) {
         try {
-            if (opt?.forceExt !== true && pathe_1.default.extname(filePath) !== '.json')
+            if (opt?.forceExt !== true && pathe_1.default.extname(filePath) == '')
                 filePath += '.json';
             const str = pathExistsSync(filePath)
                 ? fs.readFileSync(filePath, "utf-8")
@@ -167,7 +167,7 @@ var UtilFT;
     UtilFT.loadJSONFileSync = loadJSONFileSync;
     async function loadJSONFile(filePath, opt) {
         try {
-            if (opt?.forceExt !== true && pathe_1.default.extname(filePath) !== '.json')
+            if (opt?.forceExt !== true && pathe_1.default.extname(filePath) == '')
                 filePath += '.json';
             const str = (await pathExists(filePath))
                 ? await fs.promises.readFile(filePath, "utf-8")
@@ -202,7 +202,7 @@ var UtilFT;
      */
     async function writeJSONFile(filePath, token, opt) {
         const str = UtilFunctions_1.UtilFunc.stringifyJToken(token, opt);
-        if (opt?.forceExt !== true && pathe_1.default.extname(filePath) !== '.json')
+        if (opt?.forceExt !== true && pathe_1.default.extname(filePath) == '')
             filePath += '.json';
         // 判断文件路径是否存在 不存在则创建
         if (!(await pathExists(filePath)))

package/package.json

@@ -1,6 +1,6 @@
 {
 	"name": "@zwa73/utils",
-	"version": "1.0.266",
+	"version": "1.0.268",
 	"description": "my utils",
 	"main": "dist/index.js",
 	"scripts": {
@@ -27,7 +27,8 @@
 		"pathe": "^1.1.2",
 		"querystring": "^0.2.1",
 		"winston": "^3.10.0",
-		"winston-daily-rotate-file": "^4.7.1"
+		"winston-daily-rotate-file": "^4.7.1",
+		"yaml": "^2.8.1"
 	},
 	"devDependencies": {
 		"@deepkit/type": "^1.0.1-alpha.153",