pyxllib 0.3.105__tar.gz → 0.3.107__tar.gz

{pyxllib-0.3.105/pyxllib.egg-info → pyxllib-0.3.107}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: pyxllib
-Version: 0.3.105
+Version: 0.3.107
 Summary: 厦门理工模式识别团队通用python代码工具库
 Home-page: https://github.com/XLPRUtils/pyxllib
 Author: code4101

{pyxllib-0.3.105 → pyxllib-0.3.107}/pyxllib/algo/stat.py

@@ -18,6 +18,10 @@ from pyxllib.prog.pupil import dprint, typename
 from pyxllib.file.specialist import XlPath
 
 pd.options.display.unicode.east_asian_width = True  # 优化中文输出对齐问题
+try:
+    pd.set_option('future.no_silent_downcasting', True)
+except Exception as e:
+    pass
 
 
 def treetable(childreds, parents, arg3=None, nodename_colname=None):

pyxllib-0.3.107/pyxllib/file/libreoffice.py

@@ -0,0 +1,164 @@
+#!/usr/bin/env python3
+# -*- coding: utf-8 -*-
+# @Author : 陈坤泽
+# @Email  : 877362867@qq.com
+# @Date   : 2024/04/27
+
+"""
+libreoffice这个软件相关的功能
+
+官网：https://www.libreoffice.org/download/download-libreoffice/
+
+linux的安装：
+sudo apt-get update
+sudo apt-get install libreoffice -y
+"""
+
+import os
+from pathlib import Path
+import subprocess
+import sys
+import tempfile
+from datetime import datetime
+
+
+def check_libreoffice():
+    """ 检查LibreOffice是否安装 """
+    executor = get_libreoffice_executor()
+    try:
+        subprocess.run([executor, '--version'], check=True)
+    except FileNotFoundError:
+        return False
+    except subprocess.CalledProcessError:
+        return False
+    return True
+
+
+def get_libreoffice_executor():
+    """ 获得可执行文件的名称 """
+    # 根据所在系统区分
+    if sys.platform == 'win32':
+        return 'soffice.exe'
+    else:
+        return 'libreoffice'
+
+
+def infer_file_format(file_path):
+    """ 推断文件所属办公文档的'主类' """
+    ext = Path(file_path).suffix.lower()
+    if ext in ['.doc', '.docx']:
+        fmt = 'docx'
+    elif ext in ['.ppt', '.pptx']:
+        fmt = 'pptx'
+    elif ext in ['.xls', '.xlsx']:
+        fmt = 'xlsx'
+    else:
+        raise ValueError("不支持的文件格式")
+    return fmt
+
+
+class UpgradeOfficeFile:
+    @classmethod
+    def to_dir(cls, file_path, out_dir=None, fmt=None, timeout=10):
+        """ 将doc文件转换为docx文件
+
+        :param file_path: 待升级的文件路径
+        :param out_dir: 输出文件目录
+            官方接口默认只能设置导出目录，不能设置导出文件名，文件名是跟原始文件一样的
+        :param fmt: 输出文件格式
+            docx, xlsx, pptx
+        """
+        if isinstance(file_path, Path):
+            file_path = file_path.as_posix()
+
+        # 获取LibreOffice可执行文件的名称
+        executor = get_libreoffice_executor()
+
+        # 如果未指定输出路径，则默认在输入文件的同目录下生成同名的DOCX文件
+        if out_dir is None:
+            out_dir = os.path.dirname(file_path)
+
+        if fmt is None:
+            fmt = infer_file_format(file_path)
+
+        # 构建转换命令
+        command = [
+            executor,
+            '--headless',  # 无界面模式
+            '--convert-to', fmt,  # 转换为docx格式
+            '--outdir', str(out_dir),  # 输出目录
+            file_path  # 输入文件路径
+        ]
+
+        subprocess.run(command, timeout=timeout, check=True)
+
+        # 返回转换后的文件路径
+        base_name = os.path.basename(file_path)
+        name, _ = os.path.splitext(base_name)
+        new_file_path = os.path.join(out_dir, f"{name}.{fmt}")
+
+        # todo 以目标文件是否存在判断转换是否成功也是有一定bug的，可能目标文件本来就存在
+        #   但如果严谨判断，就要分析subprocess.run的输出结果了，那个太麻烦，先用简便方法处理
+        if not Path(new_file_path).exists():
+            raise ValueError(f"升级文档失败")
+
+        return new_file_path
+
+    @classmethod
+    def to_file(cls, in_file, out_file=None, fmt=None, timeout=10):
+        """ 可以指定转换出的文件名的版本
+
+        :param in_file: 待转换的文件路径
+        :param out_file: 输出文件路径
+            若未指定,默认与原文件同名,在原文件所在目录生成
+        :param fmt: 输出文件格式
+            docx, xlsx, pptx
+            若未指定,则根据in_file的后缀名自动判断
+        """
+        # 将in_file转换为Path对象
+        in_file = Path(in_file)
+
+        # 如果fmt为None,则根据in_file推断
+        if fmt is None:
+            fmt = infer_file_format(in_file)
+
+        # 如果out_file为None,则默认在原文件目录生成同名的新格式文件
+        if out_file is None:
+            out_file = in_file.with_suffix(f'.{fmt}')
+        else:
+            out_file = Path(out_file)
+
+        # 确保out_file的父目录存在,不存在则创建
+        out_file.parent.mkdir(parents=True, exist_ok=True)
+
+        # 调用upgrade_office_file函数进行转换
+        temp_file = cls.to_dir(in_file, out_dir=out_file.parent, fmt=fmt, timeout=timeout)
+
+        # 将生成的临时文件重命名为out_file
+        os.rename(temp_file, out_file)
+
+        return out_file
+
+    @classmethod
+    def to_tempfile(cls, in_file, fmt=None, *, timestamp_stem=False, create_subdir=False, timeout=10):
+        """ 将文件转换为临时文件
+
+        :param timestamp_stem: 时间戳文件名
+        :param create_subdir: 是否在临时目录中创建新的子目录
+        """
+        if fmt is None:
+            fmt = infer_file_format(in_file)
+
+        root = Path(tempfile.gettempdir())
+        if create_subdir:
+            root2 = root / datetime.now().strftime('%Y%m%d.%H%M%S.%f')
+            root2.mkdir(parents=True, exist_ok=True)
+            root = root2
+
+        if timestamp_stem:
+            stem = datetime.now().strftime('%Y%m%d.%H%M%S.%f')
+            out_file = cls.to_file(in_file, out_file=root / f"{stem}.{fmt}", fmt=fmt, timeout=timeout)
+        else:
+            out_file = cls.to_dir(in_file, out_dir=root, fmt=fmt, timeout=timeout)
+
+        return out_file

{pyxllib-0.3.105 → pyxllib-0.3.107}/pyxllib/file/xlsxlib.py

@@ -2650,30 +2650,39 @@ class WorkbookSummary3:
                     for addr, _ in row:
                         new_cells[addr] = cells[addr]
 
-            new_cells = {}
-            for rows in rows_groups:
+            total_new_cells = []
+            for rows in reversed(rows_groups):
+                new_cells = {}
                 if len(rows) < 10:
                     extract_cells_from_rows(rows)
                 else:  # 压缩中间的数据
                     # 如果评估到最终摘要可能太小，要收敛下删除的范围
                     n, m = len(rows), len(rows[0])
                     target_n = int(target_reduce_cells_num / m + 0.5)  # 本来应该删除多少行才行
-                    cur_n = n - 4 if target_n > n - 4 else target_n  # 实际删除多少行
-                    left_n = n - cur_n  # 剩余多少行
-                    b = left_n // 2
-                    a = left_n - b
-
-                    extract_cells_from_rows(rows[:a])
-                    addr = combine_addresses(rows[a][0][0], rows[-b - 1][-1][0])
-                    # new_cells[addr] = '这块区域的内容跟前面几行、后面几行的内容结构是一致的，省略显示'
-                    new_cells[addr] = '...'
-                    extract_cells_from_rows(rows[-b:])
-
-                    target_reduce_cells_num -= cur_n * m
-                    if target_reduce_cells_num <= 0:
-                        break
-
-            sheet['cells'] = new_cells
+                    if target_n <= 0:  # 如果删除的行数太少，那么就不压缩了
+                        extract_cells_from_rows(rows)
+                    else:
+                        cur_n = n - 4 if target_n > n - 4 else target_n  # 实际删除多少行
+                        left_n = n - cur_n  # 剩余多少行
+                        b = left_n // 2
+                        a = left_n - b
+
+                        extract_cells_from_rows(rows[:a])
+                        addr = combine_addresses(rows[a][0][0], rows[-b - 1][-1][0])
+                        # new_cells[addr] = '这块区域的内容跟前面几行、后面几行的内容结构是一致的，省略显示'
+                        new_cells[addr] = '...'
+                        extract_cells_from_rows(rows[-b:])
+
+                        target_reduce_cells_num -= cur_n * m
+                        # 240429周一21:57，这两行不能开，否则会过渡精简。如果压缩够了，那么后面的单元格需要全量补上。
+                        # if target_reduce_cells_num <= 0:  # 满足以后不是直接break，而是要把后续的内容都保留
+                        #     break
+                total_new_cells.append(new_cells)
+
+            new_cells2 = {}
+            for rows in reversed(total_new_cells):
+                new_cells2.update(rows)
+            sheet['cells'] = new_cells2
 
     @classmethod
     def reduce4_truncate_cells(cls, y, summary_limit_len, *, cur_summary_len=None):
@@ -2805,6 +2814,7 @@ class WorkbookSummary3:
         if cur_summary_len is None:
             cur_summary_len = cls.count_length(y)
 
+        cur_summary_len0 = cur_summary_len
         active_sheet = y['ActiveSheet']
 
         # 1 预计要删除单元格数
@@ -2836,7 +2846,8 @@ class WorkbookSummary3:
             return cls.count_length(y)
 
         # 4 否则每张表按照比例删单元格，只保留前面部分的单元格
-        left_rate = 1 - r  # 原始保留比例
+        # todo 这里应该有更好的筛选机制，后续可以思考思考
+        left_rate = min((summary_limit_len + cur_summary_len) / 2 * cur_summary_len, 0.9)  # 首轮减小一点调整幅度
         while True:
             for i, st in enumerate(y['sheets']):
                 if i == active_sheet_index:
@@ -2848,10 +2859,10 @@ class WorkbookSummary3:
             cur_summary_len = cls.count_length(y)
             if cur_summary_len <= summary_limit_len:
                 return cur_summary_len
-            if left_rate * total_cells_num < 1:
+            if left_rate * total_cells_num < 1:  # 都没有单元格，别删了
                 break
-            else:
-                left_rate *= 0.8  # 缩小保留比例，再试
+            else:  # 更新保留比率，再试
+                left_rate *= min(summary_limit_len / cur_summary_len, 0.9)
 
         return cur_summary_len
 

{pyxllib-0.3.105 → pyxllib-0.3.107}/pyxllib/prog/pupil.py

@@ -979,7 +979,7 @@ class MultiProcessLauncher:
     def __init__(self):
         self.workers = []
 
-    def add_process(self, cmd, name=None, **kwargs):
+    def add_process_cmd(self, cmd, name=None, **kwargs):
         if name is None:
             name = cmd.split()[0]
 
@@ -988,7 +988,7 @@ class MultiProcessLauncher:
         worker.update(kwargs)
         self.workers.append(worker)
 
-    def add_python_module(self, module, args='', name=None):
+    def add_process_python_module(self, module, args='', name=None):
         """ 添加并启动一个Python模块作为后台进程。
 
         :param module: 要执行的Python模块名（python -m 后面的部分）
@@ -996,7 +996,7 @@ class MultiProcessLauncher:
         :param name: 进程的名称，默认为模块名
         """
         cmd = f'{sys.executable} -m {module} {args}'
-        self.add_process(cmd, name=name)
+        self.add_process_cmd(cmd, name=name)
 
     def stop_all(self):
         """ 停止所有后台进程 """

{pyxllib-0.3.105 → pyxllib-0.3.107}/pyxllib/prog/specialist/tictoc.py

@@ -70,7 +70,7 @@ class TicToc:
 
     def tocvalue(self, restart=False):
         """
-        Return time elapsed since last call to tic().
+        Return time elapsed seconds since last call to tic().
 
         Optional argument:
             restart - Boolean specifying whether to restart the timer

{pyxllib-0.3.105 → pyxllib-0.3.107/pyxllib.egg-info}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: pyxllib
-Version: 0.3.105
+Version: 0.3.107
 Summary: 厦门理工模式识别团队通用python代码工具库
 Home-page: https://github.com/XLPRUtils/pyxllib
 Author: code4101

{pyxllib-0.3.105 → pyxllib-0.3.107}/pyxllib.egg-info/SOURCES.txt

@@ -60,6 +60,7 @@ pyxllib/ext/autogui/virtualkey.py
 pyxllib/file/__init__.py
 pyxllib/file/docxlib.py
 pyxllib/file/gitlib.py
+pyxllib/file/libreoffice.py
 pyxllib/file/movielib.py
 pyxllib/file/newbie.py
 pyxllib/file/onenotelib.py

{pyxllib-0.3.105 → pyxllib-0.3.107}/setup.py

@@ -30,7 +30,7 @@ _dir = Path(__file__).parent
 
 setup(
     name='pyxllib',  # pip 安装时用的名字
-    version='0.3.105',  # 当前版本，每次更新上传到pypi都需要修改; 第4位版本号一般是修紧急bug
+    version='0.3.107',  # 当前版本，每次更新上传到pypi都需要修改; 第4位版本号一般是修紧急bug
     author='code4101',
     author_email='877362867@qq.com',
     url='https://github.com/XLPRUtils/pyxllib',

{pyxllib-0.3.105 → pyxllib-0.3.107}/pyxllib.egg-info/requires.txt

@@ -22,13 +22,13 @@ pandas>=0.23.4
 
 [xlai]
 visdom
-pynvml
-pillow
 opsdroid-get-image-size
-opencv-python
 xlcocotools
+opencv-python
+pynvml
+pillow
 
 [xlcv]
 opsdroid-get-image-size
-opencv-python
 pillow
+opencv-python