@zwa73/utils 1.0.116 → 1.0.117

package/dist/UtilCodecs.js

@@ -29,8 +29,12 @@ const tiktoken_1 = require("tiktoken");
 /**编码/解码器 */
 var UtilCodec;
 (function (UtilCodec) {
-    let encoderTurbo = null;
-    let encoderDavinci = null;
+    /**gpt-4, gpt-3.5-turbo, text-embedding-ada-002, text-embedding-3-small, text-embedding-3-large
+     */
+    let encoderCl100kBase = null;
+    /**Codex models, text-davinci-002, text-davinci-003
+     */
+    let encoderP50kBase = null;
     const textDecoder = new TextDecoder();
     /**HTML实体解码 将一个字符串中的HTML实体转换为对应的字符
      * @param str - 要转换的字符串
@@ -55,10 +59,10 @@ var UtilCodec;
     //r50k_base (or gpt2)	GPT-3 models like davinci
     //避免在nextjs调用时出错
     function initTikTokenEncoder() {
-        if (encoderTurbo != null && encoderDavinci != null)
+        if (encoderCl100kBase != null && encoderP50kBase != null)
             return;
-        encoderTurbo = (0, tiktoken_1.get_encoding)("cl100k_base");
-        encoderDavinci = (0, tiktoken_1.get_encoding)("p50k_base");
+        encoderCl100kBase = (0, tiktoken_1.get_encoding)("cl100k_base");
+        encoderP50kBase = (0, tiktoken_1.get_encoding)("p50k_base");
     }
     /**token长度计算器 Turbo模型
      * @param str = 所要计算的消息
@@ -67,7 +71,7 @@ var UtilCodec;
     function tokenNumTurbo(str) {
         initTikTokenEncoder();
         //return encoder.encode(str).length
-        return encoderTurbo?.encode(str).length;
+        return encoderCl100kBase?.encode(str).length;
     }
     UtilCodec.tokenNumTurbo = tokenNumTurbo;
     /**token长度计算器 Davinci模型
@@ -76,7 +80,7 @@ var UtilCodec;
      */
     function tokenNumDavinci(str) {
         initTikTokenEncoder();
-        return encoderDavinci?.encode(str).length;
+        return encoderP50kBase?.encode(str).length;
     }
     UtilCodec.tokenNumDavinci = tokenNumDavinci;
     /**token编码 Turbo模型
@@ -85,7 +89,7 @@ var UtilCodec;
      */
     function encodeTokenTurbo(str) {
         initTikTokenEncoder();
-        return encoderTurbo?.encode(str);
+        return encoderCl100kBase?.encode(str);
     }
     UtilCodec.encodeTokenTurbo = encodeTokenTurbo;
     /**token编码 Davinci模型
@@ -94,7 +98,7 @@ var UtilCodec;
      */
     function encodeTokenDavinci(str) {
         initTikTokenEncoder();
-        return encoderDavinci?.encode(str);
+        return encoderP50kBase?.encode(str);
     }
     UtilCodec.encodeTokenDavinci = encodeTokenDavinci;
     /**token解码 Turbo模型
@@ -105,7 +109,7 @@ var UtilCodec;
         initTikTokenEncoder();
         if (Array.isArray(arr))
             arr = new Uint32Array(arr);
-        return textDecoder.decode(encoderTurbo?.decode(arr));
+        return textDecoder.decode(encoderCl100kBase?.decode(arr));
     }
     UtilCodec.decodeTokenTurbo = decodeTokenTurbo;
     /**token解码 Davinci模型
@@ -116,7 +120,7 @@ var UtilCodec;
         initTikTokenEncoder();
         if (Array.isArray(arr))
             arr = new Uint32Array(arr);
-        return textDecoder.decode(encoderDavinci?.decode(arr));
+        return textDecoder.decode(encoderP50kBase?.decode(arr));
     }
     UtilCodec.decodeTokenDavinci = decodeTokenDavinci;
     //#endregion

package/dist/UtilFunctions.d.ts

@@ -190,7 +190,7 @@ export declare class UtilFunc {
     };
     /**移除多行字符串中每行开始的最小空格数。
      *
-     * @param strings - 需要处理的多行字符串模板。
+     * @param input   - 需要处理的多行 字符串模板 或 字符串。
      * @param values  - 插入模板字符串中的值。
      * @returns 返回处理后的字符串，每行开始的空格数已被最小化。
      *
@@ -205,7 +205,7 @@ export declare class UtilFunc {
      * // Hello,
      * //     World!
      */
-    static dedent(strings: TemplateStringsArray, ...values: any[]): string;
+    static dedent(input: TemplateStringsArray | string, ...values: any[]): string;
     /**抛出错误
      * @param message - 错误信息
      * @param lvl     - 日志等级

package/dist/UtilFunctions.js

@@ -535,7 +535,7 @@ class UtilFunc {
     }
     /**移除多行字符串中每行开始的最小空格数。
      *
-     * @param strings - 需要处理的多行字符串模板。
+     * @param input   - 需要处理的多行 字符串模板 或 字符串。
      * @param values  - 插入模板字符串中的值。
      * @returns 返回处理后的字符串，每行开始的空格数已被最小化。
      *
@@ -550,8 +550,10 @@ class UtilFunc {
      * // Hello,
      * //     World!
      */
-    static dedent(strings, ...values) {
-        const str = strings.reduce((result, string, i) => result + string + (values[i] || ''), '');
+    static dedent(input, ...values) {
+        const str = typeof input === 'string'
+            ? input
+            : input.reduce((result, string, i) => result + string + (values[i] ?? ''), '');
         const lines = str.split('\n');
         const minIndent = Math.min(...lines.filter(line => line.trim() !== '').map(line => line.search(/\S/)));
         return lines.map(line => line.slice(minIndent)).join('\n');

package/package.json

@@ -1,6 +1,6 @@
 {
 	"name": "@zwa73/utils",
-	"version": "1.0.116",
+	"version": "1.0.117",
 	"description": "my utils",
 	"main": "index.js",
 	"scripts": {

package/src/UtilCodecs.ts

@@ -6,9 +6,12 @@ import {get_encoding,Tiktoken} from 'tiktoken';
 /**编码/解码器 */
 export namespace UtilCodec{
 
-
-let encoderTurbo:Tiktoken|null = null;
-let encoderDavinci:Tiktoken|null = null;
+/**gpt-4, gpt-3.5-turbo, text-embedding-ada-002, text-embedding-3-small, text-embedding-3-large
+ */
+let encoderCl100kBase:Tiktoken|null = null;
+/**Codex models, text-davinci-002, text-davinci-003
+ */
+let encoderP50kBase:Tiktoken|null = null;
 const textDecoder = new TextDecoder();
 
 /**HTML实体解码 将一个字符串中的HTML实体转换为对应的字符
@@ -36,11 +39,11 @@ export function encodeHtmlEntities(str:string) {
 
 //避免在nextjs调用时出错
 function initTikTokenEncoder (){
-	if(encoderTurbo!=null && encoderDavinci!=null)
+	if(encoderCl100kBase!=null && encoderP50kBase!=null)
 		return;
 
-	encoderTurbo = get_encoding("cl100k_base");
-	encoderDavinci = get_encoding("p50k_base");
+	encoderCl100kBase = get_encoding("cl100k_base");
+	encoderP50kBase = get_encoding("p50k_base");
 }
 
 /**token长度计算器 Turbo模型
@@ -50,7 +53,7 @@ function initTikTokenEncoder (){
 export function tokenNumTurbo(str:string):number{
 	initTikTokenEncoder();
 	//return encoder.encode(str).length
-	return encoderTurbo?.encode(str).length as any as number;
+	return encoderCl100kBase?.encode(str).length as any as number;
 }
 /**token长度计算器 Davinci模型
  * @param str = 所要计算的消息
@@ -58,7 +61,7 @@ export function tokenNumTurbo(str:string):number{
  */
 export function tokenNumDavinci(str:string):number{
 	initTikTokenEncoder();
-	return encoderDavinci?.encode(str).length as any as number;
+	return encoderP50kBase?.encode(str).length as any as number;
 }
 
 /**token编码 Turbo模型
@@ -67,7 +70,7 @@ export function tokenNumDavinci(str:string):number{
  */
 export function encodeTokenTurbo(str:string):Uint32Array{
 	initTikTokenEncoder();
-	return encoderTurbo?.encode(str) as any as Uint32Array
+	return encoderCl100kBase?.encode(str) as any as Uint32Array
 }
 /**token编码 Davinci模型
  * @param str = 所要计算的消息
@@ -75,7 +78,7 @@ export function encodeTokenTurbo(str:string):Uint32Array{
  */
 export function encodeTokenDavinci(str:string):Uint32Array{
 	initTikTokenEncoder();
-	return encoderDavinci?.encode(str) as any as Uint32Array;
+	return encoderP50kBase?.encode(str) as any as Uint32Array;
 }
 /**token解码 Turbo模型
  * @param arr = Token数组
@@ -84,7 +87,7 @@ export function encodeTokenDavinci(str:string):Uint32Array{
 export function decodeTokenTurbo(arr:Uint32Array|number[]):string{
 	initTikTokenEncoder();
 	if(Array.isArray(arr)) arr = new Uint32Array(arr);
-	return textDecoder.decode(encoderTurbo?.decode(arr));
+	return textDecoder.decode(encoderCl100kBase?.decode(arr));
 }
 /**token解码 Davinci模型
  * @param arr = Token数组
@@ -93,7 +96,7 @@ export function decodeTokenTurbo(arr:Uint32Array|number[]):string{
 export function decodeTokenDavinci(arr:Uint32Array|number[]):string{
 	initTikTokenEncoder();
 	if(Array.isArray(arr)) arr = new Uint32Array(arr);
-	return textDecoder.decode(encoderDavinci?.decode(arr));
+	return textDecoder.decode(encoderP50kBase?.decode(arr));
 }
 //#endregion
 }

package/src/UtilFunctions.ts

@@ -609,7 +609,7 @@ static bindTo<K extends Keyable, V, B extends {} = {}>
 }
 /**移除多行字符串中每行开始的最小空格数。
  *
- * @param strings - 需要处理的多行字符串模板。
+ * @param input   - 需要处理的多行 字符串模板 或 字符串。
  * @param values  - 插入模板字符串中的值。
  * @returns 返回处理后的字符串，每行开始的空格数已被最小化。
  *
@@ -624,8 +624,10 @@ static bindTo<K extends Keyable, V, B extends {} = {}>
  * // Hello,
  * //     World!
  */
-static dedent(strings: TemplateStringsArray, ...values: any[]): string {
-    const str = strings.reduce((result, string, i) => result + string + (values[i] || ''), '');
+static dedent(input: TemplateStringsArray|string, ...values: any[]): string {
+    const str = typeof input === 'string'
+        ? input
+        : input.reduce((result, string, i) => result + string + (values[i] ?? ''), '');
     const lines = str.split('\n');
     const minIndent = Math.min(
         ...lines.filter(line => line.trim() !== '').map(line => line.search(/\S/))

package/tsconfig.compile.json

@@ -1,5 +0,0 @@
-{
-    "extends": "./tsconfig.json",
-    "include": ["./src/**/*.ts", "./src/**/*.js"],
-    "exclude": ["./node_modules/**/*","./src/**/*.macro.ts"]
-}

package/tsconfig.json

@@ -1,22 +0,0 @@
-{
-  "compilerOptions": {
-	"allowJs": true,
-    "strict": true,
-    "target": "ES2022",
-    "module": "CommonJS",
-    "moduleResolution": "node",
-    "esModuleInterop": true,
-    "outDir": "./dist",
-    "declaration": true,
-    "baseUrl": ".",
-    "emitDecoratorMetadata": true,
-    "experimentalDecorators": true,
-    "paths": {
-      "@src/*": ["./src/*"],
-      "@/*"   : ["./*"],
-      "@"     : ["./src/index"]
-    }
-  },
-  "include": ["./src/**/*.ts", "./src/**/*.js","./jest/**/*.ts"],
-  "exclude": ["./node_modules/**/*"]
-}