pyxllib 0.3.106__tar.gz → 0.3.107__tar.gz

{pyxllib-0.3.106/pyxllib.egg-info → pyxllib-0.3.107}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: pyxllib
-Version: 0.3.106
+Version: 0.3.107
 Summary: 厦门理工模式识别团队通用python代码工具库
 Home-page: https://github.com/XLPRUtils/pyxllib
 Author: code4101

{pyxllib-0.3.106 → pyxllib-0.3.107}/pyxllib/file/libreoffice.py

@@ -59,7 +59,7 @@ def infer_file_format(file_path):
 
 class UpgradeOfficeFile:
     @classmethod
-    def to_dir(cls, file_path, out_dir=None, fmt=None):
+    def to_dir(cls, file_path, out_dir=None, fmt=None, timeout=10):
         """ 将doc文件转换为docx文件
 
         :param file_path: 待升级的文件路径
@@ -86,20 +86,26 @@ class UpgradeOfficeFile:
             executor,
             '--headless',  # 无界面模式
             '--convert-to', fmt,  # 转换为docx格式
-            '--outdir', out_dir,  # 输出目录
+            '--outdir', str(out_dir),  # 输出目录
             file_path  # 输入文件路径
         ]
 
-        subprocess.run(command, check=True)
+        subprocess.run(command, timeout=timeout, check=True)
 
         # 返回转换后的文件路径
         base_name = os.path.basename(file_path)
         name, _ = os.path.splitext(base_name)
         new_file_path = os.path.join(out_dir, f"{name}.{fmt}")
+
+        # todo 以目标文件是否存在判断转换是否成功也是有一定bug的，可能目标文件本来就存在
+        #   但如果严谨判断，就要分析subprocess.run的输出结果了，那个太麻烦，先用简便方法处理
+        if not Path(new_file_path).exists():
+            raise ValueError(f"升级文档失败")
+
         return new_file_path
 
     @classmethod
-    def to_file(cls, in_file, out_file=None, fmt=None):
+    def to_file(cls, in_file, out_file=None, fmt=None, timeout=10):
         """ 可以指定转换出的文件名的版本
 
         :param in_file: 待转换的文件路径
@@ -126,7 +132,7 @@ class UpgradeOfficeFile:
         out_file.parent.mkdir(parents=True, exist_ok=True)
 
         # 调用upgrade_office_file函数进行转换
-        temp_file = cls.to_dir(in_file, out_dir=out_file.parent, fmt=fmt)
+        temp_file = cls.to_dir(in_file, out_dir=out_file.parent, fmt=fmt, timeout=timeout)
 
         # 将生成的临时文件重命名为out_file
         os.rename(temp_file, out_file)
@@ -134,7 +140,7 @@ class UpgradeOfficeFile:
         return out_file
 
     @classmethod
-    def to_tempfile(cls, in_file, fmt=None, *, timestamp_stem=False, create_subdir=False):
+    def to_tempfile(cls, in_file, fmt=None, *, timestamp_stem=False, create_subdir=False, timeout=10):
         """ 将文件转换为临时文件
 
         :param timestamp_stem: 时间戳文件名
@@ -151,8 +157,8 @@ class UpgradeOfficeFile:
 
         if timestamp_stem:
             stem = datetime.now().strftime('%Y%m%d.%H%M%S.%f')
-            out_file = cls.to_file(in_file, out_file=root / f"{stem}.{fmt}", fmt=fmt)
+            out_file = cls.to_file(in_file, out_file=root / f"{stem}.{fmt}", fmt=fmt, timeout=timeout)
         else:
-            out_file = cls.to_dir(in_file, out_dir=root, fmt=fmt)
+            out_file = cls.to_dir(in_file, out_dir=root, fmt=fmt, timeout=timeout)
 
         return out_file

{pyxllib-0.3.106 → pyxllib-0.3.107}/pyxllib/file/xlsxlib.py

@@ -2650,30 +2650,39 @@ class WorkbookSummary3:
                     for addr, _ in row:
                         new_cells[addr] = cells[addr]
 
-            new_cells = {}
-            for rows in rows_groups:
+            total_new_cells = []
+            for rows in reversed(rows_groups):
+                new_cells = {}
                 if len(rows) < 10:
                     extract_cells_from_rows(rows)
                 else:  # 压缩中间的数据
                     # 如果评估到最终摘要可能太小，要收敛下删除的范围
                     n, m = len(rows), len(rows[0])
                     target_n = int(target_reduce_cells_num / m + 0.5)  # 本来应该删除多少行才行
-                    cur_n = n - 4 if target_n > n - 4 else target_n  # 实际删除多少行
-                    left_n = n - cur_n  # 剩余多少行
-                    b = left_n // 2
-                    a = left_n - b
-
-                    extract_cells_from_rows(rows[:a])
-                    addr = combine_addresses(rows[a][0][0], rows[-b - 1][-1][0])
-                    # new_cells[addr] = '这块区域的内容跟前面几行、后面几行的内容结构是一致的，省略显示'
-                    new_cells[addr] = '...'
-                    extract_cells_from_rows(rows[-b:])
-
-                    target_reduce_cells_num -= cur_n * m
-                    if target_reduce_cells_num <= 0:
-                        break
-
-            sheet['cells'] = new_cells
+                    if target_n <= 0:  # 如果删除的行数太少，那么就不压缩了
+                        extract_cells_from_rows(rows)
+                    else:
+                        cur_n = n - 4 if target_n > n - 4 else target_n  # 实际删除多少行
+                        left_n = n - cur_n  # 剩余多少行
+                        b = left_n // 2
+                        a = left_n - b
+
+                        extract_cells_from_rows(rows[:a])
+                        addr = combine_addresses(rows[a][0][0], rows[-b - 1][-1][0])
+                        # new_cells[addr] = '这块区域的内容跟前面几行、后面几行的内容结构是一致的，省略显示'
+                        new_cells[addr] = '...'
+                        extract_cells_from_rows(rows[-b:])
+
+                        target_reduce_cells_num -= cur_n * m
+                        # 240429周一21:57，这两行不能开，否则会过渡精简。如果压缩够了，那么后面的单元格需要全量补上。
+                        # if target_reduce_cells_num <= 0:  # 满足以后不是直接break，而是要把后续的内容都保留
+                        #     break
+                total_new_cells.append(new_cells)
+
+            new_cells2 = {}
+            for rows in reversed(total_new_cells):
+                new_cells2.update(rows)
+            sheet['cells'] = new_cells2
 
     @classmethod
     def reduce4_truncate_cells(cls, y, summary_limit_len, *, cur_summary_len=None):
@@ -2805,6 +2814,7 @@ class WorkbookSummary3:
         if cur_summary_len is None:
             cur_summary_len = cls.count_length(y)
 
+        cur_summary_len0 = cur_summary_len
         active_sheet = y['ActiveSheet']
 
         # 1 预计要删除单元格数
@@ -2836,7 +2846,8 @@ class WorkbookSummary3:
             return cls.count_length(y)
 
         # 4 否则每张表按照比例删单元格，只保留前面部分的单元格
-        left_rate = 1 - r  # 原始保留比例
+        # todo 这里应该有更好的筛选机制，后续可以思考思考
+        left_rate = min((summary_limit_len + cur_summary_len) / 2 * cur_summary_len, 0.9)  # 首轮减小一点调整幅度
         while True:
             for i, st in enumerate(y['sheets']):
                 if i == active_sheet_index:
@@ -2848,10 +2859,10 @@ class WorkbookSummary3:
             cur_summary_len = cls.count_length(y)
             if cur_summary_len <= summary_limit_len:
                 return cur_summary_len
-            if left_rate * total_cells_num < 1:
+            if left_rate * total_cells_num < 1:  # 都没有单元格，别删了
                 break
-            else:
-                left_rate *= 0.8  # 缩小保留比例，再试
+            else:  # 更新保留比率，再试
+                left_rate *= min(summary_limit_len / cur_summary_len, 0.9)
 
         return cur_summary_len
 

{pyxllib-0.3.106 → pyxllib-0.3.107}/pyxllib/prog/specialist/tictoc.py

@@ -70,7 +70,7 @@ class TicToc:
 
     def tocvalue(self, restart=False):
         """
-        Return time elapsed since last call to tic().
+        Return time elapsed seconds since last call to tic().
 
         Optional argument:
             restart - Boolean specifying whether to restart the timer

{pyxllib-0.3.106 → pyxllib-0.3.107/pyxllib.egg-info}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: pyxllib
-Version: 0.3.106
+Version: 0.3.107
 Summary: 厦门理工模式识别团队通用python代码工具库
 Home-page: https://github.com/XLPRUtils/pyxllib
 Author: code4101

{pyxllib-0.3.106 → pyxllib-0.3.107}/setup.py

@@ -30,7 +30,7 @@ _dir = Path(__file__).parent
 
 setup(
     name='pyxllib',  # pip 安装时用的名字
-    version='0.3.106',  # 当前版本，每次更新上传到pypi都需要修改; 第4位版本号一般是修紧急bug
+    version='0.3.107',  # 当前版本，每次更新上传到pypi都需要修改; 第4位版本号一般是修紧急bug
     author='code4101',
     author_email='877362867@qq.com',
     url='https://github.com/XLPRUtils/pyxllib',

{pyxllib-0.3.106 → pyxllib-0.3.107}/pyxllib.egg-info/requires.txt

@@ -21,12 +21,12 @@ Jinja2
 pandas>=0.23.4
 
 [xlai]
-xlcocotools
 visdom
-pynvml
 opsdroid-get-image-size
-pillow
+xlcocotools
 opencv-python
+pynvml
+pillow
 
 [xlcv]
 opsdroid-get-image-size