pyxllib 0.3.96__py3-none-any.whl → 0.3.197__py3-none-any.whl

pyxllib/text/charclasslib.py

@@ -2,6 +2,7 @@
 # -*- coding: utf-8 -*-
 # @Author : 陈坤泽
 # @Email  : 877362867@qq.com
+# @Date   : 2023/12/29
 
 """
 字符分类
@@ -67,8 +68,11 @@ def get_charclass_num(content):
     return ct2
 
 
-def get_charclass_rate(content):
-    """ 检查字符类型分布数量 """
+def get_charclass_rate(content, round_digits=4):
+    """ 检查字符类型分布数量
+
+    :param str content: 文本内容
+    """
     ct = get_charclass_num(content)
 
     # 这一类权重要翻倍
@@ -80,12 +84,20 @@ def get_charclass_rate(content):
     ct2 = Counter()
     for k, v in ct.most_common():
         ct2[k] = v / total
+        if round_digits is not None:
+            ct2[k] = round(ct2[k], round_digits)
     return ct2
 
 
 def check_language_from_counter(ct):
-    """ 检查语言类型 """
-    # todo 这里的规则应该还可以再优化，以及不同的业务场景，这些规则应该也要再调整
+    """ 检查语言类型
+
+    todo 这里的规则应该还可以再优化，以及不同的业务场景，这些规则应该也要再调整
+        这个比例最早是给表格设计的，表格很可能表头是中文，中间都是英文、数字数据，此时仍然归为中文
+        但如果是一般性的文档，可能要提高中文的比例，才能视为中文文档
+    """
+    ct['常用汉字'] = ct.get('常用汉字', 0)
+    ct['偏僻汉字'] = ct.get('偏僻汉字', 0)
 
     if '繁体汉字' in ct:
         if safe_div(ct['繁体汉字'], ct['常用汉字']) > 0.1:
@@ -95,7 +107,7 @@ def check_language_from_counter(ct):
         return '中文'
 
     if '其他字符' in ct:
-        if ct['其他字符'] / ct['字母'] > 0.1:
+        if safe_div(ct['其他字符'], ct['字母']) > 0.1:
             return '其他'
 
     if '字母' in ct:

pyxllib/text/jiebalib.py

@@ -14,6 +14,7 @@ import pandas as pd
 
 import jieba
 import jieba.posseg as pseg
+from simhash import Simhash
 
 from pyxllib.prog.pupil import DictTool, run_once
 from pyxllib.file.specialist import XlPath
@@ -163,14 +164,16 @@ class TextClassifier:
 
         return ct
 
-    def compute_tfidf(self, outfile=None, sheet_name='tf-idf', normalize=False, function_word_weight=0.2, add_flag=False):
+    def compute_tfidf(self, outfile=None, sheet_name='tf-idf', normalize=False, function_word_weight=0.2,
+                      add_flag=False):
         """ 重算tfidf表 """
         from math import log10
 
         # 1 统计频数和出现该词的文章数
         d = dict()
         for text in tqdm(self.texts, '词频统计'):
-            ct = self.get_text_tf(text, normalize=normalize, function_word_weight=function_word_weight, add_flag=add_flag)
+            ct = self.get_text_tf(text, normalize=normalize, function_word_weight=function_word_weight,
+                                  add_flag=add_flag)
             for k, v in ct.items():
                 if k not in d:
                     d[k] = [0, 0]
@@ -247,7 +250,7 @@ class TextClassifier:
         return sims[:maxn]
 
     def refine_vecs(self):
-        """ 优化向量数据 """
+        """ 优化向量数据，去掉权重小余0.0001的维度 """
         # 1 计算每个向量的长度
         vecs = []
         for vec in tqdm(self.vecs, '优化向量'):

pyxllib/text/jinjalib.py

@@ -0,0 +1,32 @@
+#!/usr/bin/env python3
+# -*- coding: utf-8 -*-
+# @Author : 陈坤泽
+# @Email  : 877362867@qq.com
+# @Date   : 2024/05/26
+
+from pyxllib.prog.pupil import check_install_package
+
+# 一个xpath解析库
+check_install_package('jinja2')
+
+import jinja2
+from jinja2 import Template, Environment
+
+from pyxllib.file.specialist import XlPath
+
+
+def set_template(s, *args, **kwargs):
+    """ todo 这个名字会不会太容易冲突了？ """
+    return Template(s.strip(), *args, **kwargs)
+
+
+def set_meta_template(s, meta_start='[[', meta_end=']]', **kwargs):
+    """ 支持预先用某些格式渲染后，再返回标准渲染模板 """
+    t = Template(s.strip(), variable_start_string=meta_start,
+                 variable_end_string=meta_end).render(**kwargs)
+    return Template(t)
+
+
+def get_jinja_template(name, **kwargs):
+    template = Environment(**kwargs).from_string((XlPath(__file__).parent / f'templates/{name}').read_text())
+    return template

pyxllib/text/jsa_ai_prompt.md

@@ -0,0 +1,271 @@
+# 1 任务大纲
+1. 我们是"未来社"社团，我是社长code4101，负责设计你们AI社员们的提示词，用来处理来自USER的任务需求。
+2. USER有多种可能的角色：社长，其他社员，社团外的成员。
+3. 你是社团中"JSA组"的组长，协助JSA相关问题的专业处理。
+
+# 2 JSA简介
+
+1. wps办公在Javascript语言基础上，设计了一个叫jsa的编程语言，语法接口跟vba类似。
+2. 其实比较适合、需要用到编程的，也就Excel等表格场景，USER大部分问题都是跟表格相关的。
+3. wps的在线表格里，也称jsa为"AirScript"，或者简称as。
+4. 近期官网从jsa1.0更新到了jsa2.0版本，它们有些细微的区别。
+5. 你在涉及到提供jsa代码时，注意变量命名默认用尽量简洁的英文名，注释用中文，具体命名可以参考后文会给到的一些代码示例，写法风格。默认不写每句末尾的分号。
+
+# 3 常用工具介绍
+
+1. jsa本身那套vba风格功能，用来处理表格的一些复杂问题时，不够方便，所以我在平时使用中，封装积累了一些工具，这些工具函数都是你可以直接使用的。
+2. 为了篇幅简洁，部分函数给到的实现内容是空的，不是代表没有实现或没有功能，而是我这里省略掉了细节。
+3. 部分更细节的东西，或其他函数工具，USER会在具体聊天中再根据需要给到你，这里列出的都是我认为相对比较重要，常用的功能，以及你也可以通过这里的实现看出跟vba的相似性，更好掌握jsa的用法。
+
+## 3.1 定位操作
+
+```js
+/**
+ * @param what 要查找的内容
+ * @param ur 查找区域，默认当前表格UsedRange
+ * @param lookAt 可以选xlWhole（单元格内容=what）或xlPart（单元格内容包含了what）
+ * @return 找到的单元格
+ */
+function findCel(what, ur = ActiveSheet.UsedRange, lookAt = xlWhole) {
+    return ur.Find(what, undefined, undefined, lookAt)
+}
+
+function findRow(what, ur = ActiveSheet.UsedRange, lookAt = xlWhole) {}
+
+function findCol(what, ur = ActiveSheet.UsedRange, lookAt = xlWhole) {
+    let cel = findCel(what, ur, lookAt)
+    if (cel) return cel.Column
+}
+
+// 判断 cells 集合是否全空
+function isEmpty(cels) {}
+
+// 获取ws实际使用的区域：会裁剪掉四周没有数据的空白区域
+function getUsedRange(ws = ActiveSheet) {}
+
+/**
+ * 表格结构化定位工具
+ * @param sheet 输入表格名，或表格对象
+ * @param dataRow 输入两个值的数组，第1个值标记(不含表头的)数据起始行，第2个值标记数据结束行。
+ *  只输入单数值，未传入第2个参数时，默认以0填充，例如：4 -> [4, 0]
+ *  起始行标记：
+ *      0，智能检测。如果cols有给入字段名，以找到的第1个字段的下一行作为起始行。否则默认设置为ur的第2行。
+ *      正整数，人工精确指定数据起始行（输入的是整张表格的绝对行号）
+ *      '料理'等精确的字段名标记，以找到的单元格下一行作为数据起始行
+ *      负数，比如-2，表示基于第2列（B列），使用.End(xlDown)机制找到第1条有数据的行的下一行作为数据起始行
+ *  结束行标记：
+ *      0，智能检测。以getUsedRange的最后一行为准。
+ *      正整数，人工精确指定数据结束行（有时候数据实际可能有100行，可以只写10，实现少量部分样本的功能测试）
+ *      '料理'等精确的字段名标记，同负数模式，以找到的所在列，配合.End(xlUp)确定最后一行有数据的位置
+ *      负数，比如-3，表示基于第3列（C列），使用.End(xlUp)对这列的最后一行数据位置做判定，作为数据最后一行的标记
+ * @param colNames 后续要使用到的相关字段数据，使用as2.0版本的时候，该参数可以不输入，会在使用中动态检索
+ * @return [ur, rows, cols]
+ *      ur，表格实际的UsedRange
+ *      rows是字典，rows.start、rows.end分别存储了数据的起止行
+ *      cols也是字典，存储了个字段名对应的所在列编号，比如cols['料理']
+ *      注：返回的行、列，都是相对ur的位置，所以可以类似这样 ur.Cells(rows.start, cols[x]) 取到第1条数据在x字段的值
+ */
+function locateTableRange(sheet, dataRow = [0, 0], colNames = []) {}
+
+/**
+ * 表格结构化定位工具的增强版本，在locateTableRange基础上增加了tools简化一些常用操作
+ * @returns {Array} [ur, rows, cols, tools]
+ *   tools提供了如下便捷接口：
+ *     getcel(row, colName): 获取指定行列的单元格
+ *     getval(row, colName): 获取指定行列的单元格.Value2值
+ *     getval(row, colName): 获取指定行列的单元格.Text值
+ *     findargcel(argName, direction): 查找参数单元格及其关联值
+ *       direction可选'down'(下方)或'right'(右侧)，默认为'down'
+ */
+function locateTableRange2(sheetName, dataRow = [0, 0], colNames = []) {}
+```
+
+这里最关键的是locateTableRange函数，这个函数的实现用到了前面的那些函数。
+用这个函数可以方便地进行各种表格定位操作。
+
+注意这里locateTableRange2仅能在jsa2.0中使用。
+
+## 3.2 数据批量导入导出
+
+```js
+// 打包sheet下多个字段fields的数据
+// 使用示例：packTableDataFields('料理', ['名称', '标签']
+//  fields的参数支持字段名称或整数，明确指定某列的位置
+// 返回格式：{'名称': [x1, x2, ...], '标签': [y1, y2, ...]}
+function packTableDataFields(sheetName, fields, dataRow = [0, 0], filterEmptyRows = true) {}
+
+function clearSheetData(headerRow = 1, dataStartRow = 2, sheet = ActiveSheet) {}
+
+// 将py里df.to_dict(orient='split')的数据格式写入sheet
+// 这个数据一般有3个属性：index, columns, data
+function writeDfSplitDictToSheet(jsonData, headerRow = 1, dataStartRow = 2, sheet = ActiveSheet) {}
+
+function writeArrToSheet(arr, startCel) {}
+
+// 这个相比writeDfSplitDictToSheet全量覆盖协助，是专门用来插入新的数据进行增量更新的
+function insertNewDataWithHeaders(jsonData, headerRow = 1, dataStartRow = 2, sheet = ActiveSheet) {}
+```
+
+## 3.3 调用后端python服务
+
+我的服务器是有很多电脑的，比如codepc_mi15专门用来处理"考勤"相关任务。
+还有codepc_aw、titan2机器等。
+
+jsa里是可以联网去调用我这里的python后端服务的，我一般简称jsa-py。
+也可以反过来，py-jsa就是指在py去调用jsa，但py-jsa只能使用jsa1.0版本，不支持高级的jsa2.0。
+所以py-jsa，jsa1.0的场景无法使用locateTableRange2、tools相关功能。
+
+```js
+// 保留环境状态，运行短小任务，返回代码中print输出的内容
+function runPyScript(script, query = '', host = '{{JSA_POST_DEFAULT_HOST}}') {}
+
+// 每次都是独立环境状态，运行较长时间任务，返回代码中return的字典数据
+function runIsolatedPyScript(script, host = '{{JSA_POST_DEFAULT_HOST}}') {}
+function getPyTaskResult(taskId, retries = 1, host = '{{JSA_POST_DEFAULT_HOST}}', delay = 5000) {}
+```
+
+# 4 一些常见问题的示例代码
+
+（这里的示例想了下还是尽量写完善些好，但后续需要机制进行分流处理，都交一个节点操作有些麻烦）
+
+示例1：jsa调用py，在每一行匹配用户id
+```js
+// 遍历表格，每一行运行runPyScript来从后端取到结果
+function 更新匹配() {
+    const [ur, rows, cols] = locateTableRange('报名表', 4)
+
+    function getval(i, j) {
+        return ur.Cells(i, cols[j]).Text
+    }
+
+    for (let i = rows.start; i <= rows.end; i++) {
+        if (ur.Cells(i, cols['用户ID']).Text) continue
+        pyScript = `
+from xlsln.kq5034.ckz240412网课考勤 import 查找用户
+res = 查找用户(['${getval(i, '真实姓名')}', '${getval(i, '微信昵称')}'],
+              ['${getval(i, '手机号')}', '${getval(i, '错误手机号')}'], 
+              参考课程名='第29届觉观技术公益网课', shop_id=1, return_mode=1)
+print(res)
+`
+        const text = runPyScript(pyScript)
+        const matches = text.match(/\('([^']*)', (\d+)\)/)
+        if (matches) {
+            ur.Cells(i, cols['用户ID']).Value2 = matches[1]
+            ur.Cells(i, cols['匹配得分']).Value2 = matches[2]
+        }
+    }
+}
+```
+
+生成代码的时候注意，我大部分表格数据都是从第4行开始，第1行写合并单元格大标题，第2行写具体字段名，第3行写字段的注释。
+或者前3行用来放配置选项，功能数据等从第4行开始展示。
+
+以及大部分功能，都是要封装成函数来供应的，工具性的函数写英文命名，业务性的函数可以写中文名。
+
+示例2：
+（1）jsa调用py，获得问卷星增量数据
+（2）将py中的df数据增量写入表格
+```js
+const maxValue = Math.max(
+    0, // 默认值
+    ...packTableDataFields('问卷星', ['序号'], 4)['序号']
+        .filter(value => typeof value === 'number')
+)
+const pyScript = `
+from xlsln.kq5034.ckz240412网课考勤 import 获得问卷星数据
+exist_max_id = ${maxValue}  # 已有数据的最大id
+df = 获得问卷星数据()
+if min(df['序号']) > exist_max_id:  # 如果第一页数据不全，直接更新下载全量数据
+    df = 获得问卷星数据(True)
+df = df[df['序号'] > exist_max_id]  # 过滤出新数据
+data = df.to_dict(orient='split')  # 返回数据
+del data['index']
+return data
+`
+const jsonData = runIsolatedPyScript(pyScript, 'codepc_mi15')
+// formatLocalDatetime是我自定义的一个获得当期本地时间的函数
+Range('B3').Value2 = '最近运行更新时间：\n' + formatLocalDatetime()
+insertNewDataWithHeaders(jsonData, 2, 4)
+```
+
+示例3：
+（1）对一些需要运行很长时间的任务，一般需要一个配置单元格，比如这里是'E3'。
+如果E3为空，则启动程序，并且注意runIsolatedPyScript传参要给出long_task: true。
+（2）然后在E3记录task_id，还可以在F3做备注。 如果E3不为空，则去检查程序是否运行完了。
+
+```js
+if (isEmpty(Range('E3'))) {
+    const dataForPy = packTableDataFields(ActiveSheet, [1], 4)[1]
+    const pyScript = `
+import json
+from xlsln.kq5034.ckz240412网课考勤 import Kq5034
+data = json.loads(r"""${JSON.stringify(dataForPy)}""")
+Kq5034().update_shop1_all_lesson_playback_settings(data)
+return {'res': '更新完成'}
+`
+    const res = runIsolatedPyScript({script: pyScript, long_task: true}, 'codepc_mi15')
+    Range('E3').Value2 = res['task_id']
+    Range('F3').Value2 = `已启动程序，程序id见E3`
+} else {
+    taskId = Range('E3').Value2
+    Range('F3').Value2 = taskId + getPyTaskResult(taskId)['res']
+    Range('E3').Value2 = ''
+}
+```
+
+示例4：tools.getval用途
+
+1. 表格布局
+A1: '商品名'    B1: '价格'
+A2: '苹果'     B2: 5
+A3: '香蕉'     B3: 3
+
+2. 代码对比
+```js
+// jsa1.0 传统写法
+const [ur, rows, cols] = locateTableRange('商品表', 4)
+ur.Cells(2, cols['价格']).Value2  // 5
+ur.Cells(3, cols['价格']).Value2  // 3
+
+// jsa2.0 tools.findargcel自动处理了相邻单元格的定位，让配置项读取更加优雅
+const [ur, rows, cols, tools] = locateTableRange2('商品表', 4)
+tools.getval(2, '价格')
+tools.getval(3, '价格')
+```
+
+示例5：tools.findargcel用途
+
+1. 表格布局
+A1: '用户名：'    A2: '张三'
+B1: '密码：'      B2: '123456'
+
+2. 代码对比
+```js
+// 传统写法
+const [ur, rows, cols] = locateTableRange('配置表', 4)
+findCel('用户名：', ur).Offset(1, 0).Text
+findCel('密码：', ur).Offset(1, 0).Text
+
+// tools写法
+const [ur, rows, cols, tools] = locateTableRange2('配置表', 4)
+tools.findargcel('用户名：').Text
+tools.findargcel('密码：').Text
+```
+
+示例6: py-jsa用法
+除了在jsa里调用py，有时候可能要反过来py调用jsa，此时写法风格类似如下：
+
+```py
+from pyxllib.ext.wpsapi2 import WpsOnlineWorkbook, WpsOnlineScriptApi
+
+# 1 方案1：运行jsa现有脚本的方式，这种可以支持现有的写好的jsa2代码
+wb2 = WpsOnlineScriptApi('file_id', 'script_id')
+# content_argv的字典，到jsa后，可以类似这样取到值Context.argv.funcName
+wb2.run_script2('sum', 1, 2, 3)  # 第1个参数是要调用的jsa函数名，后面则是*args各位置参数值
+
+# 2 方案2：直接提供代码的方式，只能支持jsa1
+wb = WpsOnlineWorkbook('file_id')
+wb.run_airscript("return 'ok'")
+```
+
+注意py-jsa，是指jsa里不会再需要调用py的部分了，jsa-py则是py里不会再有调用jsa的部分，否则就循环引用了。

pyxllib/text/jscode.py

@@ -7,12 +7,18 @@
 from collections import Counter
 import re
 import textwrap
+import os
+
+from jinja2 import Template
 
 try:
     import jsbeautifier
 except ModuleNotFoundError:
     pass
 
+from pyxllib.file.specialist import XlPath
+from pyxllib.prog.cachetools import xlcache
+
 
 def __1_删注释功能():
     """
@@ -90,7 +96,7 @@ def 回溯区分正则除号(c):
     return True  # 正则
 
 
-class JSParser():
+class JSParser:
     def 普通引号(self, 号='"'):  # 号：开始结束定界符，下同
         while self.indexPointer < self.jsCodeLength:  # 正常会提前 return 见下
             self.indexPointer += 1
@@ -264,6 +270,13 @@ def remove_js_comments(jsSourceCode):  # 对外接口，将本来用得两行代
 
 
 def __2_类js的as处理功能():
+    """
+
+    250306周四15:23，airscript_head应该是旧版的jsa工具代码。
+    而get_airscript_head2应该是获得新版jsa工具代码的函数接口。
+
+    :return:
+    """
     pass
 
 
@@ -436,6 +449,27 @@ function isNextMonth(date) {
 """.strip()
 
 
+@xlcache()
+def get_airscript_head2(definitions=False):
+    """ 原始airscript.js并不是能直接全部运行的代码，里面有些占位变量要替换掉
+
+    :param bool definitions:
+        False: 正常填充变量后，返回全部代码
+        True: 填充后，拆分成一个个函数定义的字典返回
+    :return:
+    """
+    s = (XlPath(__file__).parent / 'airscript.js').read_text().strip()
+    vars = {
+        'JSA_POST_HOST_URL': os.getenv('JSA_POST_HOST_URL'),
+        'JSA_POST_TOKEN': os.getenv('JSA_POST_TOKEN'),
+        'JSA_POST_DEFAULT_HOST': os.getenv('JSA_POST_DEFAULT_HOST'),
+    }
+    content = Template(s).render(vars)
+    if not definitions:
+        return content
+    return extract_definitions_with_comments(content + '\n')
+
+
 class AirScriptCodeFixer:
     @classmethod
     def fix_colors(cls, code_text):
@@ -558,7 +592,8 @@ class AirScriptCodeFixer:
         包括代码美化，默认缩进是4，但在训练阶段，建议默认缩进是2，
         """
         # 1 代码精简
-        code_text = re.sub(r'Application\.(WorksheetFunction|ActiveWorkbook|ActiveSheet|Sheets|Range|Workbook)', r'\1', code_text)
+        code_text = re.sub(r'Application\.(WorksheetFunction|ActiveWorkbook|ActiveSheet|Sheets|Range|Workbook)', r'\1',
+                           code_text)
         code_text = re.sub(r'Workbook\.(Sheets)', r'\1', code_text)
         code_text = re.sub(r'ActiveSheet\.(Range|Rows|Columns|Cells)', r'\1', code_text)
         code_text = re.sub(r'(\w+)\.(Row|Column)\s*\+\s*\1\.\2s\.Count\s*-\s*1', r'\1.\2End', code_text)
@@ -646,7 +681,8 @@ class AirScriptCodeFixer:
     def remove_stdcode(cls, code_text):
         """ 删除开头固定的组件头代码 """
         code_text = re.sub(r'(.*?)(//\s*1[\.\s]+定位)', r'\2', code_text, flags=re.DOTALL)
-        code_text = re.sub(r'// 0 基础组件代码（可以放在功能代码之前，也能放在最后面）.+?$', '', code_text, flags=re.DOTALL)
+        code_text = re.sub(r'// 0 基础组件代码（可以放在功能代码之前，也能放在最后面）.+?$', '', code_text,
+                           flags=re.DOTALL)
         return 1, code_text
 
     @classmethod
@@ -763,5 +799,124 @@ class AirScriptCodeFixer:
         return 1, js_code2
 
 
-if __name__ == '__main__':
+def __3_js代码结构解析():
     pass
+
+
+def extract_definitions_with_comments(js_code):
+    """ 找出、切分每段函数的定义(包含函数开头的注释)
+
+    这里是用正则实现的版本，强制要求函数结束的时候用的是单行}结尾
+        如果实现中间内容也会出现这种单行}结尾，可以想写特殊手段规避开
+    """
+    pattern = r"""
+    # 第1组：前缀注释
+    ( (?:(?:/\*[^*]*\*+(?:[^/*][^*]*\*+)*/)|(?://[^\n]*))\s* )*
+    # 第2组：声明部分
+    ( \b(?:var|let|const|function|class)\b\s+ )
+    # 第3组：变量名或函数名
+    (\w+).*?
+    # 第4组：不以{结尾的行，或者已{结尾的行且后续有配对的}
+    ( (?:[^\{]\n) | (?:\{[\s\S]+?(?<=\n\}\n)) )
+    """
+    matches = re.finditer(pattern, js_code, flags=re.VERBOSE)
+
+    definitions = {}
+    for match in matches:
+        identifier = match.group(3).strip()  # 根据正则表达式的修改，更新捕获组的索引
+        full_definition = match.group(0).strip()
+        definitions[identifier] = full_definition
+    return definitions
+
+
+def find_identifiers_in_code(code):
+    """ 正则实现的找标识符的版本
+
+    用基于esprima的语法树实现的方式，遇到不是那么标准的代码的时候，太多问题和局限了
+    还会多此一举过滤掉注释部分等
+    """
+    return set(re.findall(r'\b(\w+)\b', code))
+
+
+def find_direct_dependencies(definitions):
+    """
+    查找每个定义中的直接依赖关系。
+    使用 esprima 提取代码中的标识符，并与定义列表求交集。
+
+    :param definitions: 要输入一组数据是因为只检查这一组内的命名空间的东西
+    """
+    keys = set(definitions.keys())
+    dependencies = {key: [] for key in definitions}
+
+    for key, code in definitions.items():
+        identifiers = find_identifiers_in_code(code)
+        direct_deps = identifiers.intersection(keys)
+        dependencies[key] = list(direct_deps - {key})  # 排除自身
+
+    return dependencies
+
+
+def assemble_dependencies_from_jstools(cur_code, jstools=None, place_tail=False, old_jsa=False):
+    """
+    根据输入的 cur_code ，从预设的jstools工具代码库中自动提取所有相关依赖定义
+
+    :param str cur_node: 当前代码
+    :param str jstools: 依赖的工具代码
+    :param bool place_tail: 把工具代码放在末尾
+        放在末尾的目的，是类似jsa那样的场景能在开头直接看到关键的业务代码逻辑
+
+        一般大部分工具函数都是可以放在末尾的
+        但是要注意也有个别特殊的实现，是以定义变量的模式来使用的，则不能放倒末尾
+
+    """
+    # 1 获得工具代码
+    # wps场景支持全局return处理，但这个在编译器里会报错，可以先暴力删掉，不影响我这里的相关处理逻辑
+    identifiers_in_input = find_identifiers_in_code(cur_code)
+
+    if jstools is None:
+        definitions = get_airscript_head2(True)
+    else:
+        definitions = extract_definitions_with_comments(jstools)
+    if old_jsa:  # 如果使用的是旧版的jsa1.0，需要做个转换处理
+        # definitions字典里会有类似 as1_func 这样的key，还会有对应的 func 这样的key
+        # 将原本func的删掉，然后把as1_func替换成func的定义
+        # 注意字典替换后，value里的代码函数名等也要改掉
+        for key in list(definitions.keys()):
+            if key.startswith('as1_'):
+                definitions[key[4:]] = re.sub(r'(function\s+)as1_', r'\1', definitions[key])
+
+    # 2 找到所有使用到的符号
+    # 初始化结果列表，并按照 definitions 的顺序存储
+    visited = set()
+    dependencies = find_direct_dependencies(definitions)
+
+    def resolve_dependencies(identifier):
+        """递归解决依赖，确保按照 definitions 的顺序添加"""
+        if identifier in visited:
+            return
+        visited.add(identifier)
+        for dep in dependencies[identifier]:
+            resolve_dependencies(dep)
+
+    # 从输入代码的标识符开始，递归查找依赖
+    for identifier in set(definitions.keys()).intersection(identifiers_in_input):
+        resolve_dependencies(identifier)
+
+    # 3 拼接代码
+    required_code = [definitions[identifier] for identifier in definitions if identifier in visited]
+    if place_tail:
+        # required_code.insert(0, '\n\n// 以下是工具代码')
+        required_code.insert(0, '\n\nfunction __x_工具代码() {\n}')
+        required_code.insert(0, cur_code)
+    else:
+        required_code.append(cur_code)
+
+    return "\n\n".join(required_code)
+
+
+if __name__ == '__main__':
+    # 1 检查正则匹配从代码提取的结构化字典
+    # d = get_airscript_head2(True)
+
+    # 2 检查使用runIsolatedPyScript函数时提取依赖项的具体效果
+    print(assemble_dependencies_from_jstools('runIsolatedPyScript'))

pyxllib/text/nestenv.py

@@ -865,7 +865,7 @@ class LatexNestEnv(NestEnv):
         return self.nest(core, invert)
 
     def latexenv1(self, inner=False, invert=False):
-        """ 定位文本中所有最外层的 \begin、\end 环境
+        r""" 定位文本中所有最外层的 \begin、\end 环境
 
         这个函数需要依赖基础功能latexenv来实现
         """

pyxllib/text/newbie.py

@@ -286,3 +286,15 @@ def fold_dict(d, m=5):
     vals = [f"'{k}': {v}" for k, v in d.items()]
     line = [', '.join(vals[i:i + 5]) for i in range(0, len(vals), m)]
     return '{' + ',\n'.join(line) + '}'
+
+
+def remove_prefix(original_string, prefix):
+    if original_string.startswith(prefix):
+        return original_string[len(prefix):]
+    return original_string
+
+
+def remove_suffix(original_string, suffix):
+    if original_string.endswith(suffix):
+        return original_string[:-len(suffix)]
+    return original_string

pyxllib/text/pupil/common.py

@@ -1093,3 +1093,29 @@ def trial_jsoneditconveter():
     trial_data(json_obj2)
     trial_data(json_obj3)
     trial_data(json_obj4)
+
+
+class UrlQueryBuilder:
+    def __init__(self):
+        self.params = {}
+
+    def add_param(self, key, value):
+        if value is not None:
+            self.params[key] = value
+        return self
+
+    def remove_param(self, key):
+        if key in self.params:
+            del self.params[key]
+        return self
+
+    def update_param(self, key, value):
+        self.add_param(key, value)
+        return self
+
+    def build_query(self):
+        query_string = '&'.join([f'{key}={value}' for key, value in self.params.items()])
+        return ('?' + query_string) if query_string else ''
+
+    def build_url(self, url):
+        return f'{url}{self.build_query()}'

pyxllib/text/specialist/ptag.py

@@ -143,7 +143,7 @@ def brieftexstr(s):
 # BRACE3 = '{(' + grp_bracket(3)[1:-1] + ')}'
 # BRACE4 = '{(' + grp_bracket(4)[1:-1] + ')}'
 # BRACE5 = '{(' + grp_bracket(5)[1:-1] + ')}'
-"""使用示例
+r""" 使用示例
 >> m = re.search(r'\\multicolumn' + BRACE3*3, r'\multicolumn{2}{|c|}{$2^{12}$个数}')
 >> m.groups()
 ('2', '|c|', '$2^{12}$个数')
@@ -160,7 +160,7 @@ def grp_topic(*, type_value=None):
 
 
 def grp_figure(cnt_groups=0, parpic=False):
-    """生成跟图片匹配相关的表达式
+    r""" 生成跟图片匹配相关的表达式
 
     D:\2017LaTeX\D招培试卷\高中地理，用过  \captionfig{3-3.eps}{图~3}
     奕本从2018秋季教材开始使用多种图片格式