pyxllib 0.3.96__py3-none-any.whl → 0.3.197__py3-none-any.whl

pyxllib/ext/utools.py

@@ -27,7 +27,7 @@ import pyautogui
 
 from pyxllib.prog.specialist import browser, TicToc, parse_datetime
 from pyxllib.file.specialist import XlPath
-from pyxllib.ext.autogui import type_text, clipboard_decorator
+from pyxllib.autogui.autogui import type_text, clipboard_decorator
 
 
 def _print_df_result(df, outfmt='text'):
@@ -113,6 +113,9 @@ class UtoolsBase:
 
         self.outfmt = self.cmds['outfmt'] if 'outfmt' in self.cmds else outfmt
 
+
+class UtoolsName(UtoolsBase):
+
     def check_cmds(self):
         """ 显示所有参数值 """
         df = pd.DataFrame.from_records([(k, v) for k, v in self.cmds.items()],
@@ -130,101 +133,10 @@ class UtoolsBase:
         except OSError:  # 忽略错误的扩展名
             f1 = XlPath.init('left', XlPath.tempdir())
             f2 = XlPath.init('right', XlPath.tempdir())
-        f1.write_text(suffix)
-        f2.write_text(self.cmds['ClipText'])
+        f1.write_text(self.cmds['ClipText'])
+        f2.write_text(self.cmds['ClipText'] + '\n')
         bcompare(f1, f2, wait=False)
 
-
-class UtoolsFile(UtoolsBase):
-    """ 文件相关操作工具 """
-
-    def __init__(self, cmds, *, outfmt='text'):
-        super().__init__(cmds, outfmt=outfmt)
-
-        # 如果是window等模式，补充 MatchedFiles
-        if 'MatchedFiles' in self.cmds:
-            self.paths = [pathlib.Path(f['path']) for f in self.cmds['MatchedFiles']]
-        else:
-            self.paths = [pathlib.Path(os.path.abspath(f)).resolve() for f in os.listdir('../robot')]
-
-    @classmethod
-    def is_image(cls, f):
-        return bool(re.match('jpe?g|png|gif|bmp', f.suffix.lower()[1:]))
-
-    def codefile(self):
-        """ 多用途文件处理器
-
-        核心理念是不设定具体功能，而是让用户在 subinput 自己写需要执行的py代码功能
-        而在subinput，可以用一些特殊的标识符来传参
-
-        以file为例，有4类参数：
-            file，处理当前目录 文件
-            rfile，递归处理所有目录下 文件
-            files，当前目录 所有文件
-            rfiles，递归获取所有目录下 所有文件
-
-        类型上，file可以改为
-            dir，只分析目录
-            path，所有文件和目录
-
-        扩展了一些特殊的类型：
-            imfile，图片文件
-        """
-        from functools import reduce
-        try:
-            from xlproject.xyz.kzconfig import KzDataSync
-            from pyxlpr.data.labelme import reduce_labelme_jsonfile
-        except ModuleNotFoundError:
-            pass
-
-        tt = TicToc()
-
-        # 1 获得所有标识符
-        # 每个单词前后都有空格，方便定界
-        keywords = filter(lambda x: re.match(r'[a-zA-Z_]+$', x),
-                          set(re.findall(r'\.?[a-zA-Z_]+\(?', self.cmds['subinput'])))
-        keywords = ' ' + ' '.join(keywords) + ' '
-        # print('keywords:', keywords)
-
-        # 2 生成一些备用的智能参数
-        # 一级目录下选中的文件
-        paths = self.paths
-        # 用正则判断一些智能参数是否要计算，注意不能只判断files，如果出现file，也是要引用files的
-        files = [XlPath(p) for p in paths if p.is_file()] if re.search(r'files? ', keywords) else []
-        imfiles = [f for f in files if self.is_image(f)] if re.search(r' imfiles? ', keywords) else []
-        # 出现r系列的递归操作，都是要计算出dirs的
-        dirs = [XlPath(p) for p in paths if p.is_dir()] if re.search(r' (dirs?|r[a-zA-Z_]+) ', keywords) else []
-
-        # 递归所有的文件
-        rpaths = reduce(lambda x, y: x + y.select('**/*').subpaths(), [paths] + dirs) \
-            if re.search(r' (r[a-zA-Z_]+) ', keywords) else []
-        rfiles = [XlPath(p) for p in rpaths if p.is_file()] if re.search(r' (r(im)?files?) ', keywords) else []
-        rimfiles = [f for f in rfiles if self.is_image(f)] if re.search(r' rimfiles? ', keywords) else []
-        rdirs = [XlPath(p) for p in rpaths if p.is_dir()] if re.search(r' (rdirs?) ', keywords) else []
-
-        # 3 判断是否要智能开循环处理
-        m = re.search(r' (r?(path|(im)?file|dir)) ', keywords)
-        if m:
-            name = m.group(1)
-            objs = eval(name + 's')
-            print('len(' + name + 's)=', len(objs))
-            for x in objs:
-                locals()[name] = x
-                eval(self.cmds['subinput'])
-        else:  # 没有的话就直接处理所有文件
-            eval(self.cmds['subinput'])
-
-        # 4 运行结束标志
-        print(f'finished in {format_timespan(tt.tocvalue())}.')
-
-    def open_jsonl(self):
-        """ 打开jsonl文件 """
-        from pyxllib.ext.JLineViewer import start_jlineviewer
-        start_jlineviewer(self.paths[0].as_posix())
-
-
-class UtoolsText(UtoolsBase):
-
     @clipboard_decorator(copy=False, typing=True)
     def common_dir(self):
         # 目录路径生成工具
@@ -302,7 +214,7 @@ class UtoolsText(UtoolsBase):
         fire.Fire(func, self.cmds['subinput'], 'create_text_image')
 
 
-class UtoolsRegex(UtoolsBase):
+class UtoolsText(UtoolsBase):
     def __init__(self, cmds, *, outfmt='text'):
         super().__init__(cmds, outfmt=outfmt)
 
@@ -333,6 +245,107 @@ class UtoolsRegex(UtoolsBase):
         bcompare(text1, text2)
 
 
+class UtoolsFile(UtoolsBase):
+    """ 文件相关操作工具 """
+
+    def __init__(self, cmds, *, outfmt='text'):
+        super().__init__(cmds, outfmt=outfmt)
+
+        # 如果是window等模式，补充 MatchedFiles
+        if 'MatchedFiles' in self.cmds:
+            self.paths = [pathlib.Path(f['path']) for f in self.cmds['MatchedFiles']]
+        else:
+            self.paths = [pathlib.Path(os.path.abspath(f)).resolve() for f in os.listdir('../robot')]
+
+    @classmethod
+    def is_image(cls, f):
+        return bool(re.match('jpe?g|png|gif|bmp', f.suffix.lower()[1:]))
+
+    def codefile(self):
+        """ 多用途文件处理器
+
+        核心理念是不设定具体功能，而是让用户在 subinput 自己写需要执行的py代码功能
+        而在subinput，可以用一些特殊的标识符来传参
+
+        以file为例，有4类参数：
+            file，处理当前目录 文件
+            rfile，递归处理所有目录下 文件
+            files，当前目录 所有文件
+            rfiles，递归获取所有目录下 所有文件
+
+        类型上，file可以改为
+            dir，只分析目录
+            path，所有文件和目录
+
+        扩展了一些特殊的类型：
+            imfile，图片文件
+        """
+        from functools import reduce
+        try:
+            from xlproject.xyz.kzconfig import KzDataSync
+            from pyxlpr.data.labelme import reduce_labelme_jsonfile
+        except ModuleNotFoundError:
+            pass
+
+        tt = TicToc()
+
+        # 1 获得所有标识符
+        # 每个单词前后都有空格，方便定界
+        keywords = filter(lambda x: re.match(r'[a-zA-Z_]+$', x),
+                          set(re.findall(r'\.?[a-zA-Z_]+\(?', self.cmds['subinput'])))
+        keywords = ' ' + ' '.join(keywords) + ' '
+        # print('keywords:', keywords)
+
+        # 2 生成一些备用的智能参数
+        # 一级目录下选中的文件
+        paths = self.paths
+        # 用正则判断一些智能参数是否要计算，注意不能只判断files，如果出现file，也是要引用files的
+        files = [XlPath(p) for p in paths if p.is_file()] if re.search(r'files? ', keywords) else []
+        imfiles = [f for f in files if self.is_image(f)] if re.search(r' imfiles? ', keywords) else []
+        # 出现r系列的递归操作，都是要计算出dirs的
+        dirs = [XlPath(p) for p in paths if p.is_dir()] if re.search(r' (dirs?|r[a-zA-Z_]+) ', keywords) else []
+
+        # 递归所有的文件
+        rpaths = reduce(lambda x, y: x + y.select('**/*').subpaths(), [paths] + dirs) \
+            if re.search(r' (r[a-zA-Z_]+) ', keywords) else []
+        rfiles = [XlPath(p) for p in rpaths if p.is_file()] if re.search(r' (r(im)?files?) ', keywords) else []
+        rimfiles = [f for f in rfiles if self.is_image(f)] if re.search(r' rimfiles? ', keywords) else []
+        rdirs = [XlPath(p) for p in rpaths if p.is_dir()] if re.search(r' (rdirs?) ', keywords) else []
+
+        # 3 判断是否要智能开循环处理
+        m = re.search(r' (r?(path|(im)?file|dir)) ', keywords)
+        if m:
+            name = m.group(1)
+            objs = eval(name + 's')
+            print('len(' + name + 's)=', len(objs))
+            for x in objs:
+                locals()[name] = x
+                eval(self.cmds['subinput'])
+        else:  # 没有的话就直接处理所有文件
+            eval(self.cmds['subinput'])
+
+        # 4 运行结束标志
+        print(f'finished in {format_timespan(tt.tocvalue())}.')
+
+    def open_jsonl(self):
+        """ 打开jsonl文件 """
+        from pyxllib.ext.JLineViewer import start_jlineviewer
+        start_jlineviewer(self.paths[0].as_posix())
+
+    def open_jsonl_with_excel(self):
+        """ 用excel打开jsonl文件 """
+        from pyxllib.algo.stat import write_dataframes_to_excel
+
+        file = self.paths[0].as_posix()
+        data = XlPath(file).read_jsonl()
+
+        file = XlPath.create_tempfile_path('.xlsx')
+        df = pd.DataFrame.from_dict(data)
+        write_dataframes_to_excel(file, {'Sheet1': df})
+
+        os.startfile(file)
+
+
 if __name__ == '__main__':
     with TicToc('utools'):
         pass

pyxllib/ext/webhook.py

@@ -4,7 +4,7 @@
 # @Email  : 877362867@qq.com
 # @Date   : 2020/10/21 09:22
 
-
+import os
 import time
 import hmac
 import hashlib
@@ -37,17 +37,11 @@ class DingtalkRobot:
     https://ding-doc.dingtalk.com/doc#/serverapi2/qf2nxq
     """
 
-    def __init__(self, url, secret):
-        self.base_url = url  # 原始url，不包含时间戳和签名
-        self.secret = secret
+    def __init__(self, access_token=None, secret=None):
+        access_token = access_token or os.getenv('DINGTALK_ROBOT_SECRET')
+        self.url = f'https://oapi.dingtalk.com/robot/send?access_token={access_token}'
+        self.url += self.add_secret(secret or os.getenv('DINGTALK_ROBOT_SECRET'))
         self.headers = {"Content-Type": "application/json"}
-        self.last_timestamp = 0  # 初始化上次时间戳
-        self.update_url()  # 初始化时更新URL
-
-    def update_url(self):
-        """更新URL中的时间戳和签名"""
-        self.url = self.base_url + self.add_secret(self.secret)
-        self.last_timestamp = round(time.time())  # 更新上次时间戳
 
     @classmethod
     def add_secret(cls, secret):
@@ -61,9 +55,6 @@ class DingtalkRobot:
         return f'&timestamp={timestamp}&sign={sign}'
 
     def send_data(self, data):
-        # 检查当前时间是否超过30分钟
-        if round(time.time()) - self.last_timestamp > 1800:  # 30 * 60
-            self.update_url()  # 更新URL
         try:
             requests.post(url=self.url, headers=self.headers, json=data)
         except requests.exceptions.ConnectionError as e:  # 没网发送失败的时候也不报错
@@ -99,3 +90,30 @@ class DingtalkRobot:
 
     def send_feedcard(self):
         raise NotImplementedError
+
+
+class DingtalkRobot2(DingtalkRobot):
+
+    def __init__(self, title=None):
+        super().__init__()
+        self.title = title
+
+    def send_text2(self, text):  # 增加一个更加定制化的便捷接口
+        from pyxllib.prog.pupil import utc_timestamp
+
+        if self.title:
+            self.send_text(f'{utc_timestamp()} {get_host_nickname()} [{self.title}] {text}')
+        else:
+            self.send_text(f'{utc_timestamp()} {get_host_nickname()} {text}')
+
+    def __enter__(self):
+        self.send_text2('启动')
+        return self
+
+    def __exit__(self, exc_type, exc_val, exc_tb):
+        from pyxllib.prog.pupil import format_exception
+
+        if exc_tb is None:
+            self.send_text2('完成')
+        else:
+            self.send_text2(f'报错\n{format_exception(exc_val, 3)}')

pyxllib/ext/wjxlib.py

@@ -0,0 +1,88 @@
+#!/usr/bin/env python3
+# -*- coding: utf-8 -*-
+# @Author : 陈坤泽
+# @Email  : 877362867@qq.com
+# @Date   : 2024/11/19
+
+""" 问卷星 相关工具 """
+
+import os
+import io
+import time
+
+from loguru import logger
+from DrissionPage import Chromium
+import pandas as pd
+
+from pyxllib.ext.drissionlib import DpWebBase
+
+
+class WjxWeb(DpWebBase):
+    """ 问卷星网页的爬虫 """
+
+    def __init__(self, url=None):
+        super().__init__(url or 'https://www.wjx.cn')
+        self.login()
+
+    def login(self):
+        tab = self.tab
+
+        if tab.url.startswith('https://www.wjx.cn/wjx/activitystat/resultlimit.aspx'):
+            tab('tag:a@@text():登录').click()
+
+        if tab.url.lower().startswith('https://www.wjx.cn/login.aspx'):
+            tab('tag:input@@name=UserName').input(os.getenv('WJX_USERNAME'), clear=True)
+            tab('tag:input@@name=Password').input(os.getenv('WJX_PASSWORD'), clear=True)
+            tab('tag:input@@type=submit').click()
+
+    def get_page_num(self):
+        """
+        返回当前页编号和总页数 (idx, num)。
+        """
+        idx, num = map(int, self.tab('tag:span@@class=paging-num').text.split('/'))
+        return idx, num
+
+    def prev_page(self):
+        self.tab('tag:a@@class=go-pre').click()
+
+    def next_page(self):
+        self.tab('tag:a@@class=go-next').click()
+
+    def _parse_table(self):
+        """处理并解析网页中的表格数据"""
+        table_html = self.tab('tag:table').html
+        df = pd.read_html(io.StringIO(table_html))[0]  # 读取表格
+        df.columns = [col.replace('\ue645', '') for col in df.columns]
+        # "星标"的内容特殊字符
+        df.replace('\ue66b', '', regex=True, inplace=True)
+        # "操作"的内容特殊字符
+        df.replace('\ue6a3\ue6d4', '', regex=True, inplace=True)
+        return df
+
+    def set_num_of_page(self, num_of_page):
+        """ 查看数据页面，设置每页显示多少条记录 """
+        select = self.tab('tag:span@@text():每页显示').next('tag:select')
+        select.click()
+        opt = select(f'tag:option@@text()={num_of_page}')
+        if opt.attr('selected') != 'selected':
+            opt.click()
+        else:
+            select.click()
+
+    def get_df(self, all_pages=False):
+        """获得当前页面的表格数据，如果 all_pages 为 True，则下载所有页面的数据"""
+        # 初始化DataFrame列表，用于存储每页的数据
+        dfs = [self._parse_table()]  # 获取当前页面的数据
+
+        # 如果需要下载所有页面数据
+        if all_pages:
+            current_idx, total_pages = self.get_page_num()
+            while current_idx < total_pages:
+                self.next_page()  # 翻到下一页
+                time.sleep(2)
+                dfs.append(self._parse_table())  # 获取并处理新一页的数据
+                current_idx, total_pages = self.get_page_num()  # 更新页码信息
+
+        # 将所有数据合并为一个DataFrame
+        final_df = pd.concat(dfs, ignore_index=True) if all_pages else dfs[0]
+        return final_df

pyxllib/ext/wpsapi.py

@@ -0,0 +1,124 @@
+#!/usr/bin/env python3
+# -*- coding: utf-8 -*-
+# @Author : 陈坤泽
+# @Date   : 2024/07/31
+
+import os
+import re
+
+import requests
+import pandas as pd
+
+
+class WpsOnlineBook:
+    """ wps的"脚本令牌"调用模式
+
+    官方文档：https://airsheet.wps.cn/docs/apitoken/api.html
+    """
+
+    def __1_基础功能(self):
+        pass
+
+    def __init__(self, file_id, script_id=None, *, token=None):
+        self.headers = {
+            'Content-Type': "application/json",
+            'AirScript-Token': token or os.getenv('WPS_SCRIPT_TOKEN', ''),
+        }
+        self.file_id = file_id
+        self.default_script_id = script_id
+
+    def post_request(self, url, payload):
+        """
+        发送 POST 请求到指定的 URL 并返回响应结果
+        """
+        try:
+            resp = requests.post(url, json=payload, headers=self.headers)
+            resp.raise_for_status()  # 如果请求失败会抛出异常
+            return resp.json()
+        except requests.exceptions.RequestException as e:
+            print(f"请求失败: {e}")
+            return None
+
+    def run_script(self, script_id=None, context_argv=None, sync=True):
+        """ 原本执行 WPS 脚本并返回执行结果
+
+        :param script_id: 脚本 ID
+        :param context_argv: 脚本参数 (可选)
+            context本来能支持这些参数的：
+                dict argv: 传入的上下文参数对象，比如传入{name: 'xiaomeng', age: 18}， 在 AS 代码中可通过Context.argv.name获取到传入的值
+                str sheet_name: et,ksheet 运行时所在表名
+                str range: et,ksheet 运行时所在区域，例如$B$156
+                str link_from: et,ksheet 点击超链接所在单元格
+                str db_active_view: db 运行时所在 view 名
+                str db_selection: db 运行时所在选区
+            但是，sheet_name, range等，并看不到对运行代码有什么实质影响，不影响active，而且as里也引用不了sheet_name等值
+                所以退化，简化为只要传入content_argv参数就行
+        :param sync:
+            True, 同步运行
+            False, 异步运行
+
+        这个接口跟普通as一样，运行有30秒时限
+        """
+        url = f"https://www.kdocs.cn/api/v3/ide/file/{self.file_id}/script/{script_id}/{'sync_task' if sync else 'task'}"
+        payload = {
+            "Context": {'argv': context_argv or {}}
+        }
+        res = self.post_request(url, payload)
+        if sync:
+            return res['data']['result']
+        else:
+            return res
+
+    def __2_封装的更高级的接口(self):
+        """ 这系列的功能需要配套这个框架范式使用：
+        https://github.com/XLPRUtils/pyxllib/blob/master/pyxllib/text/airscript.js
+        """
+        pass
+
+    def run_func(self, func_name, *args):
+        """ 我自己常用的jsa框架，jsa那边已经简化了对接模式，所以一般都只用这个高级的接口即可
+        （旧函数名run_script2不再使用）
+        """
+        return self.run_script(self.default_script_id, context_argv={'funcName': func_name, 'args': args})
+
+    def get_sheet_data(self, sheet_name, fields, data_row=0, filter_empty_rows=True, *,
+                       return_mode='pd') -> pd.DataFrame:
+        """ 获取某张sheet表格数据
+
+        :param sheet_name: sheet表名
+        :param list[str] fields: 字段名列表
+        :param int data_row: 数据起始行，详细用法见packTableDataFields
+        :param return_mode: 'pd' or 'json'
+        """
+        data = self.run_func('packTableDataFields', sheet_name, fields, data_row, filter_empty_rows)
+        if return_mode == 'json':
+            return data
+        elif return_mode == 'pd':
+            return pd.DataFrame(data)
+
+    def write_arr(self, rows, start_cell, batch_size=None):
+        """ 把一个二维数组数据写入表格
+
+        :param rows: 一个n*m的数据
+        :param start_cell: 写入的起始位置，例如'A1'，也可以使用Sheet1!A1的格式表示具体的表格位置
+        :param batch_size: 为了避免一次写入内容过多，超时写入失败，可以分成多批运行
+            这里写每批的数据行数
+            默认表示一次性全部提交
+        :return:
+        """
+        if batch_size is None:
+            batch_size = len(rows)  # 如果未指定批次大小，一次性写入所有行
+
+        def func(m):
+            return str(int(m.group()) + batch_size)
+
+        current_cell = start_cell
+        for start in range(0, len(rows), batch_size):
+            end = start + batch_size
+            batch_rows = rows[start:end]
+            self.run_func('writeArrToSheet', batch_rows, current_cell)
+            current_cell = re.sub(r'\d+$', func, current_cell)
+
+
+if __name__ == '__main__':
+    pass

pyxllib/ext/xlwork.py

@@ -0,0 +1,9 @@
+#!/usr/bin/env python3
+# -*- coding: utf-8 -*-
+# @Author : 陈坤泽
+# @Email  : 877362867@qq.com
+# @Date   : 2025/04/17
+
+""" code4101的众多账号密码管理接口，工作目录等控制位置 """
+
+