pyxllib 0.3.104__tar.gz → 0.3.106__tar.gz

{pyxllib-0.3.104/pyxllib.egg-info → pyxllib-0.3.106}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: pyxllib
-Version: 0.3.104
+Version: 0.3.106
 Summary: 厦门理工模式识别团队通用python代码工具库
 Home-page: https://github.com/XLPRUtils/pyxllib
 Author: code4101

{pyxllib-0.3.104 → pyxllib-0.3.106}/pyxllib/algo/stat.py

@@ -18,6 +18,10 @@ from pyxllib.prog.pupil import dprint, typename
 from pyxllib.file.specialist import XlPath
 
 pd.options.display.unicode.east_asian_width = True  # 优化中文输出对齐问题
+try:
+    pd.set_option('future.no_silent_downcasting', True)
+except Exception as e:
+    pass
 
 
 def treetable(childreds, parents, arg3=None, nodename_colname=None):

{pyxllib-0.3.104 → pyxllib-0.3.106}/pyxllib/data/pglib.py

@@ -34,6 +34,7 @@ import json
 import json
 import textwrap
 import datetime
+import re
 
 from tqdm import tqdm
 
@@ -99,6 +100,37 @@ class Connection(psycopg.Connection, SqlBase):
         self.execute(f"COMMENT ON COLUMN {table_name}.{col_name} IS $zyzf${comment}$zyzf$")
         self.commit()
 
+    def reset_table_item_id(self, table_name, item_id_name=None, counter_name=None):
+        """ 重置表格的数据的id值，也重置计数器
+
+        :param item_id_name: 表格的自增id字段名，有一套我自己风格的自动推算算法
+        :param counter_name: 计数器字段名，如果有的话，也会重置
+        """
+        # 1 重置数据的编号
+        if item_id_name is None:
+            m = re.match(r'(.+?)(_table)?$', table_name)
+            item_id_name = m.group(1) + '_id'
+
+        sql = f"""WITH cte AS (
+    SELECT {item_id_name}, ROW_NUMBER() OVER (ORDER BY {item_id_name}) AS new_{item_id_name}
+    FROM {table_name}
+)
+UPDATE {table_name}
+SET {item_id_name} = cte.new_{item_id_name}
+FROM cte
+WHERE {table_name}.{item_id_name} = cte.{item_id_name}"""
+        self.execute(sql)  # todo 这种sql写法好像偶尔有bug会出问题
+        self.commit()
+
+        # 2 重置计数器
+        if counter_name is None:
+            counter_name = f'{table_name}_{item_id_name}_seq'
+
+        # 找到目前最大的id值
+        max_id = self.exec2one(f'SELECT MAX({item_id_name}) FROM {table_name}')
+        self.execute(f'ALTER SEQUENCE {counter_name} RESTART WITH {max_id + 1}')
+        self.commit()
+
     def __3_execute(self):
         pass
 

{pyxllib-0.3.104 → pyxllib-0.3.106}/pyxllib/data/sqlite.py

@@ -12,7 +12,10 @@ from collections import defaultdict
 
 import pandas as pd
 
+# 旧版的pandas警告
 warnings.filterwarnings('ignore', message="pandas only support SQLAlchemy connectable")
+# 新版的pandas警告多了个's‘
+warnings.filterwarnings('ignore', message="pandas only supports SQLAlchemy connectable")
 
 
 class SqlBase:
@@ -191,6 +194,8 @@ class SqlBase:
             cur.close()
             self.commit()
 
+        self._commit_cache = defaultdict(list)
+
     def update_row(self, table_name, cols, where, *, commit=False):
         """ 【改】更新数据
 

pyxllib-0.3.106/pyxllib/ext/drissionlib.py

@@ -0,0 +1,103 @@
+#!/usr/bin/env python3
+# -*- coding: utf-8 -*-
+# @Author : 陈坤泽
+# @Email  : 877362867@qq.com
+# @Date   : 2024/04/12
+
+from pyxllib.prog.pupil import check_install_package
+
+check_install_package('DrissionPage')
+
+import re
+from urllib.parse import unquote
+
+import DrissionPage
+from DrissionPage import ChromiumPage
+from DrissionPage._base.base import BasePage, BaseElement
+
+from pyxllib.prog.pupil import inject_members
+
+
+def get_latest_not_dev_tab(page=None):
+    """ 开发工具本身也会算一个tab，这个函数返回最新的一个不是开发工具的tab """
+    if page is None:
+        page = ChromiumPage()
+    tabs = page.get_tabs()
+    for tab in tabs:
+        if tab.url.startswith('devtools://'):
+            continue
+        return tab
+
+
+def set_input_text(input_ele, text):
+    """ 因为input输入框可能原本就自带了内容，为了不重复输入，先清空再输入 """
+    input_ele.clear()
+    input_ele.input(text)
+
+
+def search_download_file(file_name):
+    file_name = file_name.replace(':', '_')
+    files = ChromiumPage().get_download_files()
+    for file in files:
+        if file_name in file['file']:  # 正常情况下的匹配
+            return file
+        if file_name in file['file'].replace('+', ' '):  # 但有时候'+'好像有点特别
+            return file
+
+
+class XlBasePage(BasePage):
+    def get2(self, url, show_errmsg=False, retry=None, interval=None):
+        """
+        240418周四21:57，DrissionPage-4.0.4.21 官方自带page.get，有时候会有bug，不会实际刷新url，这里加个代码进行fix
+        """
+        old_url = self.url
+        if old_url == url:
+            # page.refresh()
+            return
+
+        ele = self.active_ele
+        self.get(url, show_errmsg=show_errmsg, retry=retry, interval=interval)
+        try:  # 如果新页面获取成功，理论上旧的ele会失效
+            ele
+            self.refresh()  # 如果不报错，这里网站要强制更新
+            return self
+        except DrissionPage.errors.ElementLostError:
+            return self
+
+    def get_download_files(self):
+        """ 获取下载列表
+
+        :param search_name: 搜索文件名，输入该参数时，只会从上往下找到第一个匹配的文件
+            否则返回一个list结构，存储下载清单里的文件
+        :return:
+
+        todo 默认应该显示是不全的，有时间可以考虑往下滑动继续检索的功能
+        """
+        files = []
+        page2 = self.new_tab('chrome://downloads/')
+        items = page2('tag:downloads-manager', timeout=1).sr('#mainContainer')('#downloadsList').eles(
+            'tag:downloads-item')
+        for item in items:
+            loc = unquote(item.sr('tag:img').attr('src').replace('+', ' '))
+            file = re.search(r'path=(.+?)(&scale=\d+x)?$', loc).group(1)
+
+            files.append({
+                'file': file,
+                'url': unquote(item.sr('#url').attr('href'))
+            })
+
+        page2.close()
+
+        return files
+
+
+inject_members(XlBasePage, BasePage)
+
+
+class XlBaseElement(BaseElement):
+    def input2(self, vals, clear=False, by_js=False):
+        self.clear()
+        self.input(vals)
+
+
+inject_members(XlBaseElement, BaseElement)

{pyxllib-0.3.104 → pyxllib-0.3.106}/pyxllib/ext/utools.py

@@ -130,8 +130,8 @@ class UtoolsBase:
         except OSError:  # 忽略错误的扩展名
             f1 = XlPath.init('left', XlPath.tempdir())
             f2 = XlPath.init('right', XlPath.tempdir())
-        f1.write_text(suffix)
-        f2.write_text(self.cmds['ClipText'])
+        f1.write_text(self.cmds['ClipText'])
+        f2.write_text(self.cmds['ClipText'] + '\n')
         bcompare(f1, f2, wait=False)
 
 

pyxllib-0.3.106/pyxllib/file/libreoffice.py

@@ -0,0 +1,158 @@
+#!/usr/bin/env python3
+# -*- coding: utf-8 -*-
+# @Author : 陈坤泽
+# @Email  : 877362867@qq.com
+# @Date   : 2024/04/27
+
+"""
+libreoffice这个软件相关的功能
+
+官网：https://www.libreoffice.org/download/download-libreoffice/
+
+linux的安装：
+sudo apt-get update
+sudo apt-get install libreoffice -y
+"""
+
+import os
+from pathlib import Path
+import subprocess
+import sys
+import tempfile
+from datetime import datetime
+
+
+def check_libreoffice():
+    """ 检查LibreOffice是否安装 """
+    executor = get_libreoffice_executor()
+    try:
+        subprocess.run([executor, '--version'], check=True)
+    except FileNotFoundError:
+        return False
+    except subprocess.CalledProcessError:
+        return False
+    return True
+
+
+def get_libreoffice_executor():
+    """ 获得可执行文件的名称 """
+    # 根据所在系统区分
+    if sys.platform == 'win32':
+        return 'soffice.exe'
+    else:
+        return 'libreoffice'
+
+
+def infer_file_format(file_path):
+    """ 推断文件所属办公文档的'主类' """
+    ext = Path(file_path).suffix.lower()
+    if ext in ['.doc', '.docx']:
+        fmt = 'docx'
+    elif ext in ['.ppt', '.pptx']:
+        fmt = 'pptx'
+    elif ext in ['.xls', '.xlsx']:
+        fmt = 'xlsx'
+    else:
+        raise ValueError("不支持的文件格式")
+    return fmt
+
+
+class UpgradeOfficeFile:
+    @classmethod
+    def to_dir(cls, file_path, out_dir=None, fmt=None):
+        """ 将doc文件转换为docx文件
+
+        :param file_path: 待升级的文件路径
+        :param out_dir: 输出文件目录
+            官方接口默认只能设置导出目录，不能设置导出文件名，文件名是跟原始文件一样的
+        :param fmt: 输出文件格式
+            docx, xlsx, pptx
+        """
+        if isinstance(file_path, Path):
+            file_path = file_path.as_posix()
+
+        # 获取LibreOffice可执行文件的名称
+        executor = get_libreoffice_executor()
+
+        # 如果未指定输出路径，则默认在输入文件的同目录下生成同名的DOCX文件
+        if out_dir is None:
+            out_dir = os.path.dirname(file_path)
+
+        if fmt is None:
+            fmt = infer_file_format(file_path)
+
+        # 构建转换命令
+        command = [
+            executor,
+            '--headless',  # 无界面模式
+            '--convert-to', fmt,  # 转换为docx格式
+            '--outdir', out_dir,  # 输出目录
+            file_path  # 输入文件路径
+        ]
+
+        subprocess.run(command, check=True)
+
+        # 返回转换后的文件路径
+        base_name = os.path.basename(file_path)
+        name, _ = os.path.splitext(base_name)
+        new_file_path = os.path.join(out_dir, f"{name}.{fmt}")
+        return new_file_path
+
+    @classmethod
+    def to_file(cls, in_file, out_file=None, fmt=None):
+        """ 可以指定转换出的文件名的版本
+
+        :param in_file: 待转换的文件路径
+        :param out_file: 输出文件路径
+            若未指定,默认与原文件同名,在原文件所在目录生成
+        :param fmt: 输出文件格式
+            docx, xlsx, pptx
+            若未指定,则根据in_file的后缀名自动判断
+        """
+        # 将in_file转换为Path对象
+        in_file = Path(in_file)
+
+        # 如果fmt为None,则根据in_file推断
+        if fmt is None:
+            fmt = infer_file_format(in_file)
+
+        # 如果out_file为None,则默认在原文件目录生成同名的新格式文件
+        if out_file is None:
+            out_file = in_file.with_suffix(f'.{fmt}')
+        else:
+            out_file = Path(out_file)
+
+        # 确保out_file的父目录存在,不存在则创建
+        out_file.parent.mkdir(parents=True, exist_ok=True)
+
+        # 调用upgrade_office_file函数进行转换
+        temp_file = cls.to_dir(in_file, out_dir=out_file.parent, fmt=fmt)
+
+        # 将生成的临时文件重命名为out_file
+        os.rename(temp_file, out_file)
+
+        return out_file
+
+    @classmethod
+    def to_tempfile(cls, in_file, fmt=None, *, timestamp_stem=False, create_subdir=False):
+        """ 将文件转换为临时文件
+
+        :param timestamp_stem: 时间戳文件名
+        :param create_subdir: 是否在临时目录中创建新的子目录
+        """
+        if fmt is None:
+            fmt = infer_file_format(in_file)
+
+        root = Path(tempfile.gettempdir())
+        if create_subdir:
+            root2 = root / datetime.now().strftime('%Y%m%d.%H%M%S.%f')
+            root2.mkdir(parents=True, exist_ok=True)
+            root = root2
+
+        if timestamp_stem:
+            stem = datetime.now().strftime('%Y%m%d.%H%M%S.%f')
+            out_file = cls.to_file(in_file, out_file=root / f"{stem}.{fmt}", fmt=fmt)
+        else:
+            out_file = cls.to_dir(in_file, out_dir=root, fmt=fmt)
+
+        return out_file

{pyxllib-0.3.104 → pyxllib-0.3.106}/pyxllib/prog/pupil.py

@@ -979,7 +979,7 @@ class MultiProcessLauncher:
     def __init__(self):
         self.workers = []
 
-    def add_process(self, cmd, name=None, **kwargs):
+    def add_process_cmd(self, cmd, name=None, **kwargs):
         if name is None:
             name = cmd.split()[0]
 
@@ -988,7 +988,7 @@ class MultiProcessLauncher:
         worker.update(kwargs)
         self.workers.append(worker)
 
-    def add_python_module(self, module, args='', name=None):
+    def add_process_python_module(self, module, args='', name=None):
         """ 添加并启动一个Python模块作为后台进程。
 
         :param module: 要执行的Python模块名（python -m 后面的部分）
@@ -996,7 +996,7 @@ class MultiProcessLauncher:
         :param name: 进程的名称，默认为模块名
         """
         cmd = f'{sys.executable} -m {module} {args}'
-        self.add_process(cmd, name=name)
+        self.add_process_cmd(cmd, name=name)
 
     def stop_all(self):
         """ 停止所有后台进程 """

{pyxllib-0.3.104 → pyxllib-0.3.106/pyxllib.egg-info}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: pyxllib
-Version: 0.3.104
+Version: 0.3.106
 Summary: 厦门理工模式识别团队通用python代码工具库
 Home-page: https://github.com/XLPRUtils/pyxllib
 Author: code4101

{pyxllib-0.3.104 → pyxllib-0.3.106}/pyxllib.egg-info/SOURCES.txt

@@ -60,6 +60,7 @@ pyxllib/ext/autogui/virtualkey.py
 pyxllib/file/__init__.py
 pyxllib/file/docxlib.py
 pyxllib/file/gitlib.py
+pyxllib/file/libreoffice.py
 pyxllib/file/movielib.py
 pyxllib/file/newbie.py
 pyxllib/file/onenotelib.py

{pyxllib-0.3.104 → pyxllib-0.3.106}/setup.py

@@ -30,7 +30,7 @@ _dir = Path(__file__).parent
 
 setup(
     name='pyxllib',  # pip 安装时用的名字
-    version='0.3.104',  # 当前版本，每次更新上传到pypi都需要修改; 第4位版本号一般是修紧急bug
+    version='0.3.106',  # 当前版本，每次更新上传到pypi都需要修改; 第4位版本号一般是修紧急bug
     author='code4101',
     author_email='877362867@qq.com',
     url='https://github.com/XLPRUtils/pyxllib',

pyxllib-0.3.104/pyxllib/ext/drissionlib.py

@@ -1,67 +0,0 @@
-#!/usr/bin/env python3
-# -*- coding: utf-8 -*-
-# @Author : 陈坤泽
-# @Email  : 877362867@qq.com
-# @Date   : 2024/04/12
-
-from pyxllib.prog.pupil import check_install_package
-
-check_install_package('DrissionPage')
-
-import re
-from urllib.parse import unquote
-
-from DrissionPage import ChromiumPage
-
-
-def get_latest_not_dev_tab(page=None):
-    """ 开发工具本身也会算一个tab，这个函数返回最新的一个不是开发工具的tab """
-    if page is None:
-        page = ChromiumPage()
-    tabs = page.get_tabs()
-    for tab in tabs:
-        if tab.url.startswith('devtools://'):
-            continue
-        return tab
-
-
-def set_input_text(input_ele, text):
-    """ 因为input输入框可能原本就自带了内容，为了不重复输入，先清空再输入 """
-    input_ele.clear()
-    input_ele.input(text)
-
-
-def get_download_files(page=None):
-    """ 获取下载列表
-
-    :param search_name: 搜索文件名，输入该参数时，只会从上往下找到第一个匹配的文件
-        否则返回一个list结构，存储下载清单里的文件
-    :return:
-
-    todo 默认应该显示是不全的，有时间可以考虑往下滑动继续检索的功能
-    """
-    if page is None:
-        page = ChromiumPage()
-
-    files = []
-    page2 = page.new_tab('chrome://downloads/')
-    items = page2('tag:downloads-manager', timeout=1).sr('#mainContainer')('#downloadsList').eles('tag:downloads-item')
-    for item in items:
-        loc = unquote(item.sr('tag:img').attr('src'))
-        file = re.search(r'path=(.+?)(&scale=\d+x)?$', loc).group(1)
-
-        files.append({
-            'file': file,
-            'url': unquote(item.sr('#url').attr('href'))
-        })
-
-    page2.close()
-
-    return files
-
-
-def search_download_file(file_name):
-    files = get_download_files()
-    for file in files:
-        if file_name in file['file']:
-            return file