pyxllib 0.0.43__py3-none-any.whl → 0.3.197__py3-none-any.whl

pyxllib/ext/utools.py

@@ -0,0 +1,351 @@
+#!/usr/bin/env python3
+# -*- coding: utf-8 -*-
+# @Author : 陈坤泽
+# @Email  : 877362867@qq.com
+# @Date   : 2021/04/04 17:03
+
+""" 专门给utools的快捷命令扩展的一系列python工具库
+"""
+from pyxllib.prog.pupil import check_install_package
+
+check_install_package('fire')
+check_install_package('humanfriendly')
+check_install_package('pandas')
+check_install_package('pyautogui', 'PyAutoGui')  # 其实pip install不区分大小写，不过官方这里安装是驼峰名
+
+import datetime
+import json
+import os
+import pathlib
+import pyperclip
+import re
+
+import fire
+from humanfriendly import format_timespan
+import pandas as pd
+import pyautogui
+
+from pyxllib.prog.specialist import browser, TicToc, parse_datetime
+from pyxllib.file.specialist import XlPath
+from pyxllib.autogui.autogui import type_text, clipboard_decorator
+
+
+def _print_df_result(df, outfmt='text'):
+    # subinput可以强制重置输出类型
+    # TODO argparser可以对str类型进行参数解析？
+    # if 'browser' in kwargs['subinput']:
+    #     outfmt = 'browser'
+    # elif 'html' in kwargs['subinput']:
+    #     outfmt = 'html'
+    # elif 'text' in kwargs['subinput']:
+    #     outfmt = 'text'
+
+    if outfmt == 'html':
+        # content = df.to_html().replace('–', '-')  # 很多app会出现一个utf8特殊的-，转gbk编码会出错+
+        try:  # utools里按gbk会有很多编码问题，如果不能直接显示，就打开浏览器看
+            print(df.to_html())
+        except UnicodeEncodeError:
+            browser(df)
+    elif outfmt == 'browser':
+        browser(df)
+    else:
+        with pd.option_context('display.max_colwidth', -1, 'display.max_columns', 20,
+                               'display.width', 200):  # 上下文控制格式
+            print(df)
+
+
+class UtoolsBase:
+    def __init__(self, cmds, *, outfmt='text'):
+        """
+        :param cmds: "快捷命令"响应的命令集，即调用出可传入的输入文件、所在窗口、选中文件等信息
+        :param outfmt: 输出格式
+            text，纯文本
+            html，html格式
+            browser，用浏览器打开
+        """
+        # 1 删除没有值的键
+        self.cmds = dict()
+        for k, v in cmds.items():
+            if cmds[k] not in ('{{' + k + '}}', ''):
+                self.cmds[k] = v
+
+        # 2 「快捷命令」的ClipText宏展开，如果存在连续3个单引号，会跟py字符串定义冲突，产生bug
+        #   所以这段不建议用宏展开，这里该类会自动调用pyperclip获取
+        #   这个可以作为可选功能关闭，但实验证明这个对性能其实没有太大影响
+        if 'ClipText' not in self.cmds:
+            self.cmds['ClipText'] = pyperclip.paste().replace('\r\n', '\n')
+
+        # 3 解析json数据
+        # 解析window模式的WindowInfo
+        if 'WindowInfo' in self.cmds:
+            self.cmds['WindowInfo'] = json.loads(self.cmds['WindowInfo'].encode('utf8'))
+
+        # 解析files模式的MatchedFiles
+        if 'MatchedFiles' in self.cmds:
+            # 右边引用没写错。因为MatchedFiles本身获取内容不稳定，可能会有bug，取更稳定的payload来初始化MatchedFiles
+            self.cmds['MatchedFiles'] = json.loads(self.cmds['payload'].encode('utf8'))
+            # 在有些软件中，比如everything，是可以选中多个不同目录的文件的。。。所以严格来说不能直接按第一个文件算pwd
+            # 但这个讯息是可以写一个工具分析的
+            # self.cmds['pwd'] = os.path.dirname(self.cmds['MatchedFiles'][0]['path'])
+
+            # TODO 如果选中的文件全部是同一个目录下的，要存储pwd
+            dirs = {os.path.dirname(f['path']) for f in self.cmds['MatchedFiles']}
+            if len(dirs) == 1:
+                self.cmds['pwd'] = list(dirs)[0]
+
+        # 4 当前工作目录
+        # 要根据场景切换pwd
+        #   files默认工作目录是app: C:\Users\chen\AppData\Local\Programs\utools
+        #   window默认工作目录是exe
+        # window模式存储的pwd跟各种软件有关
+        #   explorer就是当前窗口，没问题
+        #   onenote存的是桌面
+        if 'pwd' in self.cmds:
+            os.chdir(self.cmds['pwd'])
+
+        # 5 subinput可以用字典结构扩展参数
+        if 'subinput' in self.cmds:
+            if re.match(r'\{.+\}$', self.cmds['subinput']):
+                ext_kwargs = eval(self.cmds['subinput'])
+                self.cmds.update(ext_kwargs)
+        else:
+            self.cmds['subinput'] = ''
+
+        self.outfmt = self.cmds['outfmt'] if 'outfmt' in self.cmds else outfmt
+
+
+class UtoolsName(UtoolsBase):
+
+    def check_cmds(self):
+        """ 显示所有参数值 """
+        df = pd.DataFrame.from_records([(k, v) for k, v in self.cmds.items()],
+                                       columns=['key', 'content'])
+        _print_df_result(df, self.outfmt)
+
+    def bcompare(self):
+        """ 可以通过subinput设置文件后缀类型 """
+        from pyxllib.prog.specialist import bcompare
+
+        suffix = self.cmds.get('subinput', None)
+        try:
+            f1 = XlPath.init('left', XlPath.tempdir(), suffix=suffix)
+            f2 = XlPath.init('right', XlPath.tempdir(), suffix=suffix)
+        except OSError:  # 忽略错误的扩展名
+            f1 = XlPath.init('left', XlPath.tempdir())
+            f2 = XlPath.init('right', XlPath.tempdir())
+        f1.write_text(self.cmds['ClipText'])
+        f2.write_text(self.cmds['ClipText'] + '\n')
+        bcompare(f1, f2, wait=False)
+
+    @clipboard_decorator(copy=False, typing=True)
+    def common_dir(self):
+        # 目录路径生成工具
+        from pyxlpr.data.datasets import common_path
+
+        def func(name, unix_path=False):
+            p = getattr(common_path, name)
+
+            if unix_path:
+                # 因为用了符号链接，实际位置会变回D:/slns，这里需要反向替换下
+                p = str(p).replace('D:/slns', 'D:/home/chenkunze/slns')
+                p = str(p)[2:]
+            else:
+                # slns比较特别，本地要重定向到D:/slns
+                p = str(p).replace('D:/home/chenkunze/slns', 'D:/slns')
+                p = p.replace('/', '\\')
+
+            return p
+
+        return fire.Fire(func, self.cmds['subinput'], 'CommonDir')
+
+    def wdate(self):
+        """ week dates 输入一周的简略日期值 """
+
+        def func(start):
+            weektag = '一二三四五六日'
+            for i in range(7):
+                dt = parse_datetime(start) + datetime.timedelta(i)
+                type_text(dt.strftime('%y%m%d') + f'周{weektag[dt.weekday()]}')
+                pyautogui.press('down')
+
+        fire.Fire(func, self.cmds['subinput'], 'wdate')
+
+    def input_digits(self):
+        """ 输入数字 """
+
+        def func(start, stop, step=1):
+            for i in range(start, stop, step):
+                pyautogui.write(str(i))
+                pyautogui.press('down')
+
+        fire.Fire(func, self.cmds['subinput'], 'input_digits')
+
+    def __win32(self):
+        """ win32相关自动化
+
+        目前主要是word自动化相关的功能，这里有很多demo可以学习怎么用win32做word的自动化
+        """
+        pass
+
+    def browser(self):
+        """ 将内容复制到word，另存为html文件后，用浏览器打开查看 """
+        from pyxllib.file.docxlib import rebuild_document_by_word
+
+        file = fire.Fire(rebuild_document_by_word, self.cmds['subinput'], 'browser')
+        browser(file)
+
+    def create_text_image(self):
+        from pyxllib.xl import XlPath
+        from pyxllib.xlcv import xlpil, create_text_image
+
+        @clipboard_decorator('html')
+        def func(text, font_size=20, *, size=None, xy=None, bg_color=None, text_color=None):
+            im = create_text_image(text, size, xy=xy, font_size=font_size, bg_color=bg_color, text_color=text_color)
+            # 这种只能语雀里用
+            data = xlpil.to_buffer(im, b64encode=True).decode()
+            res = '<img src="data:image/jpg;base64,' + data + '"/>'
+            # 这种只能onenote、qq、微信里用
+            p = XlPath.tempdir() / 'create_text_image.jpg'
+            im.save(p)
+            res += f'<img src="{p}"/>'
+            # 那么我把两种都复制，就能兼容多种场景了~~
+            return res
+
+        fire.Fire(func, self.cmds['subinput'], 'create_text_image')
+
+
+class UtoolsText(UtoolsBase):
+    def __init__(self, cmds, *, outfmt='text'):
+        super().__init__(cmds, outfmt=outfmt)
+
+    @clipboard_decorator(paste=True)
+    def coderegex(self):
+        # tt = TicToc()
+        s = self.cmds['ClipText']
+        return eval(self.cmds['subinput'])
+        # print(f'finished in {format_timespan(tt.tocvalue())}.')
+
+    def refine_text(self, func, rtype='text', *, copy=True, paste=True, typing=False):
+        from functools import partial
+
+        @clipboard_decorator(rtype=rtype, copy=copy, paste=paste, typing=typing)
+        def _refine():
+            return fire.Fire(partial(func, self.cmds['ClipText']),
+                             self.cmds['subinput'], func.__name__)
+
+        return _refine()
+
+    def bc_text(self, func):
+        """ 用bc软件打开，对比前后文本变化，有用户自己决定如何处理保留 """
+        from functools import partial
+        from pyxllib.prog.specialist import bcompare
+
+        text1 = self.cmds['ClipText']
+        text2 = fire.Fire(partial(func, text1), self.cmds['subinput'], func.__name__)
+        bcompare(text1, text2)
+
+
+class UtoolsFile(UtoolsBase):
+    """ 文件相关操作工具 """
+
+    def __init__(self, cmds, *, outfmt='text'):
+        super().__init__(cmds, outfmt=outfmt)
+
+        # 如果是window等模式，补充 MatchedFiles
+        if 'MatchedFiles' in self.cmds:
+            self.paths = [pathlib.Path(f['path']) for f in self.cmds['MatchedFiles']]
+        else:
+            self.paths = [pathlib.Path(os.path.abspath(f)).resolve() for f in os.listdir('../robot')]
+
+    @classmethod
+    def is_image(cls, f):
+        return bool(re.match('jpe?g|png|gif|bmp', f.suffix.lower()[1:]))
+
+    def codefile(self):
+        """ 多用途文件处理器
+
+        核心理念是不设定具体功能，而是让用户在 subinput 自己写需要执行的py代码功能
+        而在subinput，可以用一些特殊的标识符来传参
+
+        以file为例，有4类参数：
+            file，处理当前目录 文件
+            rfile，递归处理所有目录下 文件
+            files，当前目录 所有文件
+            rfiles，递归获取所有目录下 所有文件
+
+        类型上，file可以改为
+            dir，只分析目录
+            path，所有文件和目录
+
+        扩展了一些特殊的类型：
+            imfile，图片文件
+        """
+        from functools import reduce
+        try:
+            from xlproject.xyz.kzconfig import KzDataSync
+            from pyxlpr.data.labelme import reduce_labelme_jsonfile
+        except ModuleNotFoundError:
+            pass
+
+        tt = TicToc()
+
+        # 1 获得所有标识符
+        # 每个单词前后都有空格，方便定界
+        keywords = filter(lambda x: re.match(r'[a-zA-Z_]+$', x),
+                          set(re.findall(r'\.?[a-zA-Z_]+\(?', self.cmds['subinput'])))
+        keywords = ' ' + ' '.join(keywords) + ' '
+        # print('keywords:', keywords)
+
+        # 2 生成一些备用的智能参数
+        # 一级目录下选中的文件
+        paths = self.paths
+        # 用正则判断一些智能参数是否要计算，注意不能只判断files，如果出现file，也是要引用files的
+        files = [XlPath(p) for p in paths if p.is_file()] if re.search(r'files? ', keywords) else []
+        imfiles = [f for f in files if self.is_image(f)] if re.search(r' imfiles? ', keywords) else []
+        # 出现r系列的递归操作，都是要计算出dirs的
+        dirs = [XlPath(p) for p in paths if p.is_dir()] if re.search(r' (dirs?|r[a-zA-Z_]+) ', keywords) else []
+
+        # 递归所有的文件
+        rpaths = reduce(lambda x, y: x + y.select('**/*').subpaths(), [paths] + dirs) \
+            if re.search(r' (r[a-zA-Z_]+) ', keywords) else []
+        rfiles = [XlPath(p) for p in rpaths if p.is_file()] if re.search(r' (r(im)?files?) ', keywords) else []
+        rimfiles = [f for f in rfiles if self.is_image(f)] if re.search(r' rimfiles? ', keywords) else []
+        rdirs = [XlPath(p) for p in rpaths if p.is_dir()] if re.search(r' (rdirs?) ', keywords) else []
+
+        # 3 判断是否要智能开循环处理
+        m = re.search(r' (r?(path|(im)?file|dir)) ', keywords)
+        if m:
+            name = m.group(1)
+            objs = eval(name + 's')
+            print('len(' + name + 's)=', len(objs))
+            for x in objs:
+                locals()[name] = x
+                eval(self.cmds['subinput'])
+        else:  # 没有的话就直接处理所有文件
+            eval(self.cmds['subinput'])
+
+        # 4 运行结束标志
+        print(f'finished in {format_timespan(tt.tocvalue())}.')
+
+    def open_jsonl(self):
+        """ 打开jsonl文件 """
+        from pyxllib.ext.JLineViewer import start_jlineviewer
+        start_jlineviewer(self.paths[0].as_posix())
+
+    def open_jsonl_with_excel(self):
+        """ 用excel打开jsonl文件 """
+        from pyxllib.algo.stat import write_dataframes_to_excel
+
+        file = self.paths[0].as_posix()
+        data = XlPath(file).read_jsonl()
+
+        file = XlPath.create_tempfile_path('.xlsx')
+        df = pd.DataFrame.from_dict(data)
+        write_dataframes_to_excel(file, {'Sheet1': df})
+
+        os.startfile(file)
+
+
+if __name__ == '__main__':
+    with TicToc('utools'):
+        pass

pyxllib/{util/webhooklib.py → ext/webhook.py}

@@ -2,9 +2,9 @@
 # -*- coding: utf-8 -*-
 # @Author : 陈坤泽
 # @Email  : 877362867@qq.com
-# @Data   : 2020/10/21 09:22
-
+# @Date   : 2020/10/21 09:22
 
+import os
 import time
 import hmac
 import hashlib
@@ -16,6 +16,7 @@ import requests
 
 class WeixinRobot:
     """ 企业微信 机器人 """
+
     def __init__(self, url):
         self.url = url
 
@@ -36,9 +37,10 @@ class DingtalkRobot:
     https://ding-doc.dingtalk.com/doc#/serverapi2/qf2nxq
     """
 
-    def __init__(self, url, secret):
-        self.url = url
-        self.url += self.add_secret(secret)
+    def __init__(self, access_token=None, secret=None):
+        access_token = access_token or os.getenv('DINGTALK_ROBOT_SECRET')
+        self.url = f'https://oapi.dingtalk.com/robot/send?access_token={access_token}'
+        self.url += self.add_secret(secret or os.getenv('DINGTALK_ROBOT_SECRET'))
         self.headers = {"Content-Type": "application/json"}
 
     @classmethod
@@ -50,23 +52,22 @@ class DingtalkRobot:
         string_to_sign_enc = string_to_sign.encode('utf-8')
         hmac_code = hmac.new(secret_enc, string_to_sign_enc, digestmod=hashlib.sha256).digest()
         sign = urllib.parse.quote_plus(base64.b64encode(hmac_code))
-
         return f'&timestamp={timestamp}&sign={sign}'
 
-    def push_data(self, data):
+    def send_data(self, data):
         try:
             requests.post(url=self.url, headers=self.headers, json=data)
-        except requests.exceptions.ConnectionError:  # 没网发送失败的时候也不报错
-            pass
+        except requests.exceptions.ConnectionError as e:  # 没网发送失败的时候也不报错
+            raise e
 
-    def push_text(self, content):
+    def send_text(self, content):
         msgtype = 'text'
         d = {}
         if content: d['content'] = content
         data = {"msgtype": msgtype, msgtype: d}
-        self.push_data(data)
+        self.send_data(data)
 
-    def push_link(self, text='', title='', pic_url='', message_url=''):
+    def send_link(self, text='', title='', pic_url='', message_url=''):
         msgtype = 'link'
         d = {}
         if text: d['text'] = text
@@ -74,18 +75,45 @@ class DingtalkRobot:
         if pic_url: d['picUrl'] = pic_url
         if message_url: d['messageUrl'] = message_url
         data = {"msgtype": msgtype, msgtype: d}
-        self.push_data(data)
+        self.send_data(data)
 
-    def push_markdown(self, text='', title=''):
+    def send_markdown(self, text='', title=''):
         msgtype = 'link'
         d = {}
         if text: d['text'] = text
         if title: d['title'] = title
         data = {"msgtype": msgtype, msgtype: d}
-        self.push_data(data)
+        self.send_data(data)
 
-    def push_actioncard(self, text='', title='', siggle_url='', siggle_title='', btn_orientation='0'):
+    def send_actioncard(self, text='', title='', siggle_url='', siggle_title='', btn_orientation='0'):
         raise NotImplementedError
 
-    def push_feedcard(self):
+    def send_feedcard(self):
         raise NotImplementedError
+
+
+class DingtalkRobot2(DingtalkRobot):
+
+    def __init__(self, title=None):
+        super().__init__()
+        self.title = title
+
+    def send_text2(self, text):  # 增加一个更加定制化的便捷接口
+        from pyxllib.prog.pupil import utc_timestamp
+
+        if self.title:
+            self.send_text(f'{utc_timestamp()} {get_host_nickname()} [{self.title}] {text}')
+        else:
+            self.send_text(f'{utc_timestamp()} {get_host_nickname()} {text}')
+
+    def __enter__(self):
+        self.send_text2('启动')
+        return self
+
+    def __exit__(self, exc_type, exc_val, exc_tb):
+        from pyxllib.prog.pupil import format_exception
+
+        if exc_tb is None:
+            self.send_text2('完成')
+        else:
+            self.send_text2(f'报错\n{format_exception(exc_val, 3)}')

pyxllib/ext/win32lib.py

@@ -0,0 +1,40 @@
+#!/usr/bin/env python3
+# -*- coding: utf-8 -*-
+# @Author : 陈坤泽
+# @Email  : 877362867@qq.com
+# @Date   : 2021/09/07 10:21
+
+
+import win32com.client as win32
+import pythoncom
+
+
+def get_win32_app(name, visible=False):
+    """ 启动可支持pywin32自动化处理的应用
+
+    Args:
+        str name: 应用名称，不区分大小写，比如word, excel, powerpoint, onenote
+            不带'.'的情况下，会自动添加'.Application'的后缀
+        visible: 应用是否可见
+
+    Returns: app
+
+    """
+    # 1 name
+    name = name.lower()
+    if '.' not in name:
+        name += '.application'
+
+    # 2 app
+    # 这里可能还有些问题，不同的应用，机制不太一样，后面再细化完善吧
+    try:
+        app = win32.GetActiveObject(f'{name}')  # 不能关联到普通方式打开的应用。但代码打开的应用都能找得到。
+    except pythoncom.com_error:
+        app = win32.gencache.EnsureDispatch(f'{name}')
+        # 还有种常见的初始化方法，是 win32com.client.Dispatch和win32com.client.dynamic.Dispatch
+        # from win32com.client.dynamic import Disypatch
+
+    if visible is not None:
+        app.Visible = visible
+
+    return app

pyxllib/ext/wjxlib.py

@@ -0,0 +1,88 @@
+#!/usr/bin/env python3
+# -*- coding: utf-8 -*-
+# @Author : 陈坤泽
+# @Email  : 877362867@qq.com
+# @Date   : 2024/11/19
+
+""" 问卷星 相关工具 """
+
+import os
+import io
+import time
+
+from loguru import logger
+from DrissionPage import Chromium
+import pandas as pd
+
+from pyxllib.ext.drissionlib import DpWebBase
+
+
+class WjxWeb(DpWebBase):
+    """ 问卷星网页的爬虫 """
+
+    def __init__(self, url=None):
+        super().__init__(url or 'https://www.wjx.cn')
+        self.login()
+
+    def login(self):
+        tab = self.tab
+
+        if tab.url.startswith('https://www.wjx.cn/wjx/activitystat/resultlimit.aspx'):
+            tab('tag:a@@text():登录').click()
+
+        if tab.url.lower().startswith('https://www.wjx.cn/login.aspx'):
+            tab('tag:input@@name=UserName').input(os.getenv('WJX_USERNAME'), clear=True)
+            tab('tag:input@@name=Password').input(os.getenv('WJX_PASSWORD'), clear=True)
+            tab('tag:input@@type=submit').click()
+
+    def get_page_num(self):
+        """
+        返回当前页编号和总页数 (idx, num)。
+        """
+        idx, num = map(int, self.tab('tag:span@@class=paging-num').text.split('/'))
+        return idx, num
+
+    def prev_page(self):
+        self.tab('tag:a@@class=go-pre').click()
+
+    def next_page(self):
+        self.tab('tag:a@@class=go-next').click()
+
+    def _parse_table(self):
+        """处理并解析网页中的表格数据"""
+        table_html = self.tab('tag:table').html
+        df = pd.read_html(io.StringIO(table_html))[0]  # 读取表格
+        df.columns = [col.replace('\ue645', '') for col in df.columns]
+        # "星标"的内容特殊字符
+        df.replace('\ue66b', '', regex=True, inplace=True)
+        # "操作"的内容特殊字符
+        df.replace('\ue6a3\ue6d4', '', regex=True, inplace=True)
+        return df
+
+    def set_num_of_page(self, num_of_page):
+        """ 查看数据页面，设置每页显示多少条记录 """
+        select = self.tab('tag:span@@text():每页显示').next('tag:select')
+        select.click()
+        opt = select(f'tag:option@@text()={num_of_page}')
+        if opt.attr('selected') != 'selected':
+            opt.click()
+        else:
+            select.click()
+
+    def get_df(self, all_pages=False):
+        """获得当前页面的表格数据，如果 all_pages 为 True，则下载所有页面的数据"""
+        # 初始化DataFrame列表，用于存储每页的数据
+        dfs = [self._parse_table()]  # 获取当前页面的数据
+
+        # 如果需要下载所有页面数据
+        if all_pages:
+            current_idx, total_pages = self.get_page_num()
+            while current_idx < total_pages:
+                self.next_page()  # 翻到下一页
+                time.sleep(2)
+                dfs.append(self._parse_table())  # 获取并处理新一页的数据
+                current_idx, total_pages = self.get_page_num()  # 更新页码信息
+
+        # 将所有数据合并为一个DataFrame
+        final_df = pd.concat(dfs, ignore_index=True) if all_pages else dfs[0]
+        return final_df