pyxllib 0.3.96__py3-none-any.whl → 0.3.197__py3-none-any.whl

pyxllib/file/docxlib.py

@@ -6,7 +6,7 @@
 
 from pyxllib.prog.pupil import check_install_package
 
-check_install_package('win32com', 'pypiwin32')
+check_install_package('win32com', 'pywin32')
 check_install_package('docx', 'python-docx')
 
 import json

pyxllib/file/libreoffice.py

@@ -0,0 +1,165 @@
+#!/usr/bin/env python3
+# -*- coding: utf-8 -*-
+# @Author : 陈坤泽
+# @Email  : 877362867@qq.com
+# @Date   : 2024/04/27
+
+"""
+libreoffice这个软件相关的功能
+
+官网：https://www.libreoffice.org/download/download-libreoffice/
+
+linux的安装：
+sudo apt-get update
+sudo apt-get install libreoffice -y
+"""
+
+import os
+from pathlib import Path
+import subprocess
+import sys
+import tempfile
+from datetime import datetime
+
+
+def check_libreoffice():
+    """ 检查LibreOffice是否安装 """
+    executor = get_libreoffice_executor()
+    try:
+        subprocess.run([executor, '--version'], check=True)
+    except FileNotFoundError:
+        return False
+    except subprocess.CalledProcessError:
+        return False
+    return True
+
+
+def get_libreoffice_executor():
+    """ 获得可执行文件的名称 """
+    # 根据所在系统区分
+    if sys.platform == 'win32':
+        return 'soffice.exe'
+    else:
+        return 'libreoffice'
+
+
+def infer_file_format(file_path):
+    """ 推断文件所属办公文档的'主类' """
+    ext = Path(file_path).suffix.lower()
+    if ext in ['.doc', '.docx']:
+        fmt = 'docx'
+    elif ext in ['.ppt', '.pptx']:
+        fmt = 'pptx'
+    elif ext in ['.xls', '.xlsx']:
+        # todo 其实excel还有xlsm的可能，但是用libreoffice可能没有微软365那样可以判断出宏的情况保存为xlsm
+        fmt = 'xlsx'
+    else:
+        raise ValueError("不支持的文件格式")
+    return fmt
+
+
+class UpgradeOfficeFile:
+    @classmethod
+    def to_dir(cls, file_path, out_dir=None, fmt=None, timeout=10):
+        """ 将doc文件转换为docx文件
+
+        :param file_path: 待升级的文件路径
+        :param out_dir: 输出文件目录
+            官方接口默认只能设置导出目录，不能设置导出文件名，文件名是跟原始文件一样的
+        :param fmt: 输出文件格式
+            docx, xlsx, pptx
+        """
+        if isinstance(file_path, Path):
+            file_path = file_path.as_posix()
+
+        # 获取LibreOffice可执行文件的名称
+        executor = get_libreoffice_executor()
+
+        # 如果未指定输出路径，则默认在输入文件的同目录下生成同名的DOCX文件
+        if out_dir is None:
+            out_dir = os.path.dirname(file_path)
+
+        if fmt is None:
+            fmt = infer_file_format(file_path)
+
+        # 构建转换命令
+        command = [
+            executor,
+            '--headless',  # 无界面模式
+            '--convert-to', fmt,  # 转换为docx格式
+            '--outdir', str(out_dir),  # 输出目录
+            file_path  # 输入文件路径
+        ]
+
+        subprocess.run(command, timeout=timeout, check=True)
+
+        # 返回转换后的文件路径
+        base_name = os.path.basename(file_path)
+        name, _ = os.path.splitext(base_name)
+        new_file_path = os.path.join(out_dir, f"{name}.{fmt}")
+
+        # todo 以目标文件是否存在判断转换是否成功也是有一定bug的，可能目标文件本来就存在
+        #   但如果严谨判断，就要分析subprocess.run的输出结果了，那个太麻烦，先用简便方法处理
+        if not Path(new_file_path).exists():
+            raise ValueError(f"升级文档失败")
+
+        return new_file_path
+
+    @classmethod
+    def to_file(cls, in_file, out_file=None, fmt=None, timeout=10):
+        """ 可以指定转换出的文件名的版本
+
+        :param in_file: 待转换的文件路径
+        :param out_file: 输出文件路径
+            若未指定,默认与原文件同名,在原文件所在目录生成
+        :param fmt: 输出文件格式
+            docx, xlsx, pptx
+            若未指定,则根据in_file的后缀名自动判断
+        """
+        # 将in_file转换为Path对象
+        in_file = Path(in_file)
+
+        # 如果fmt为None,则根据in_file推断
+        if fmt is None:
+            fmt = infer_file_format(in_file)
+
+        # 如果out_file为None,则默认在原文件目录生成同名的新格式文件
+        if out_file is None:
+            out_file = in_file.with_suffix(f'.{fmt}')
+        else:
+            out_file = Path(out_file)
+
+        # 确保out_file的父目录存在,不存在则创建
+        out_file.parent.mkdir(parents=True, exist_ok=True)
+
+        # 调用upgrade_office_file函数进行转换
+        temp_file = cls.to_dir(in_file, out_dir=out_file.parent, fmt=fmt, timeout=timeout)
+
+        # 将生成的临时文件重命名为out_file
+        os.rename(temp_file, out_file)
+
+        return out_file
+
+    @classmethod
+    def to_tempfile(cls, in_file, fmt=None, *, timestamp_stem=False, create_subdir=False, timeout=10):
+        """ 将文件转换为临时文件
+
+        :param timestamp_stem: 时间戳文件名
+        :param create_subdir: 是否在临时目录中创建新的子目录
+        """
+        if fmt is None:
+            fmt = infer_file_format(in_file)
+
+        root = Path(tempfile.gettempdir())
+        if create_subdir:
+            root2 = root / datetime.now().strftime('%Y%m%d.%H%M%S.%f')
+            root2.mkdir(parents=True, exist_ok=True)
+            root = root2
+
+        if timestamp_stem:
+            stem = datetime.now().strftime('%Y%m%d.%H%M%S.%f')
+            out_file = cls.to_file(in_file, out_file=root / f"{stem}.{fmt}", fmt=fmt, timeout=timeout)
+        else:
+            out_file = cls.to_dir(in_file, out_dir=root, fmt=fmt, timeout=timeout)
+
+        return out_file

pyxllib/file/movielib.py

@@ -10,6 +10,7 @@ check_install_package('moviepy')
 
 import cv2
 from moviepy.editor import VideoFileClip
+from moviepy.editor import cvsecs
 import numpy as np
 from tqdm import tqdm
 
@@ -137,3 +138,11 @@ class XlVideoFileClip(VideoFileClip):
 
 
 inject_members(XlVideoFileClip, VideoFileClip)
+
+
+def clip_video(input_file, output_file, start_time, end_time):
+    start_time = cvsecs(start_time)
+    end_time = cvsecs(end_time)
+    clip = VideoFileClip(input_file).subclip(start_time, end_time)
+    clip.write_videofile(output_file)
+    clip.reader.close()

pyxllib/file/packlib/__init__.py

@@ -8,8 +8,11 @@ import os
 import shutil
 from tarfile import TarFile
 # 这个包里的ZipFile是拷贝后修改过的，不影响标准库zipfile里的功能
-import pyxllib.file.packlib.zipfile as zipfile
-from pyxllib.file.packlib.zipfile import ZipFile
+# import pyxllib.file.packlib.zipfile as zipfile
+# from pyxllib.file.packlib.zipfile import ZipFile
+import zipfile
+from zipfile import ZipFile
+import tempfile
 
 from pyxllib.file.specialist import XlPath, reduce_dir_depth
 from pyxllib.prog.pupil import inject_members
@@ -126,6 +129,25 @@ def _unpack_base(packfile, namelist, format=None, extract_dir=None, wrap=0):
         shutil.unpack_archive(packfile, extract_dir, format)
 
 
+def zip_filter_rule(path):
+    p = XlPath(path)
+
+    # 排除特定目录或文件
+    if set(p.parts) & {'__pycache__', '.git', '.idea', 'dist', 'build', '.pytest_cache', '.venv'}:
+        return 0
+
+    # 排除特定文件扩展名
+    if p.suffix in {'.egg-info', '.lock'}:
+        return 0
+
+    # 精细检查内部文件
+    if p.is_dir():
+        return 1
+
+    # 全部包含其他情况
+    return 2
+
+
 class XlZipFile(ZipFile):
 
     def infolist2(self, prefix=None, zipinfo=True):
@@ -151,6 +173,94 @@ class XlZipFile(ZipFile):
     def unpack(self, extract_dir=None, format='zip', wrap=0):
         _unpack_base(self.filename, self.namelist(), format, extract_dir, wrap)
 
+    def write_dir(self, directory, arcname=None, filter_rule=None):
+        """
+        将指定目录（包含子目录）添加到 zip 文件中，并可自定义在 zip 中的存储路径。
+
+        :param directory: 要压缩的目录路径
+        :param arcname: 在 zip 文件中存储的根目录名，
+            None, 默认跟ZipFile.write的arcname一样，直接取输入的目录名
+        :param filter_rule: 过滤规则函数，用于排除不需要的文件。函数应接受文件路径作为参数，
+                           返回0, 1, 或 2，分别表示排除、递归检查、全部包括。
+        """
+        if arcname is None:
+            arcname = directory
+
+        if filter_rule is True:
+            filter_rule = zip_filter_rule
+
+        for root, dirs, files in os.walk(directory):
+            for file in files:
+                file_path = os.path.join(root, file)
+
+                # 调用过滤函数获取过滤状态
+                if filter_rule:
+                    result = filter_rule(file_path)
+                    if result == 0:  # 明确不要
+                        continue
+                    elif result == 1:  # 需要递归精细检查
+                        pass  # 继续执行文件写入逻辑
+                    elif result == 2:  # 全部包含
+                        # 计算文件在 zip 文件中的相对路径
+                        zip_path = os.path.join(arcname, os.path.relpath(file_path, directory))
+                        self.write(file_path, zip_path)
+                        continue
+
+                # 默认情况下，递归处理
+                zip_path = os.path.join(arcname, os.path.relpath(file_path, directory))
+                self.write(file_path, zip_path)
+
+            for dir in dirs[:]:
+                dir_path = os.path.join(root, dir)
+
+                if filter_rule:
+                    result = filter_rule(dir_path)
+                    if result == 0:  # 明确不要
+                        dirs.remove(dir)  # 排除整个目录
+                    elif result == 2:  # 全部包含
+                        # 添加整个目录
+                        for root2, _, files2 in os.walk(dir_path):
+                            for file2 in files2:
+                                file_path = os.path.join(root2, file2)
+                                zip_path = os.path.join(arcname, os.path.relpath(file_path, directory))
+                                self.write(file_path, zip_path)
+                        dirs.remove(dir)  # 递归中不再处理此目录
+
+    def write_path(self, path, arcname=None, filter_rule=None):
+        """ 封装的同时支持文件或目录的操作 """
+        if XlPath(path).is_dir():
+            self.write_dir(path, arcname, filter_rule)
+        elif XlPath(path).is_file():
+            self.write(path, arcname)
+        else:
+            raise ValueError
+
+    def xlwrite(self, path, arcname=None, filter_rule=True):
+        self.write_path(path, arcname, filter_rule)
+
+    @classmethod
+    def create(cls, name=None):
+        """ 在临时目录下新建一个目录，然后放一个压缩包文件 """
+        # 如果没有提供 name，则生成一个临时的文件名
+        if name is None:
+            name = tempfile.mktemp(suffix=".zip").split('/')[-1]  # 提取生成的文件名
+
+        # 创建临时目录（因为可能有并发操作，每个处理都建立一个目录更安全）
+        temp_dir = tempfile.mkdtemp()
+        temp_zip_path = f"{temp_dir}/{name}"
+
+        # 创建 ZipFile 对象
+        zipf = ZipFile(temp_zip_path, 'w')
+        return zipf
+
+    def fastapi_resp(self):
+        """ 返回供fastapi后端使用的文件接口 """
+        from fastapi.responses import FileResponse
+
+        self.close()
+        return FileResponse(self.filename, media_type='application/zip',
+                            filename=XlPath(self.filename).name)
+
 
 class XlTarFile(TarFile):
 
@@ -218,76 +328,3 @@ def compress_to_zip(source_path, target_zip_path=None, wrap=None,
             zipf.write(source_path, arcname)
 
     return target_zip_path
-
-
-def smart_compress_zip(root, paths, check_func=None):
-    """ 智能压缩，比compress_to_zip功能会更强些
-
-    :param root: 要有个根目录，才知道paths里添加到压缩包的时候存储到怎样的相对目录下
-    :param paths: 所有待添加到压缩包的文件或目录
-    :param check_func: 规则判断函数，输入文件或目录的路径
-        return
-            0，明确不要
-            1，要使用，但要递归内部文件精细检查
-            2，全部都要
-    """
-
-    if check_func is None:
-        def check_func(path):
-            p = XlPath(path)
-
-            if set(p.parts) & {'__pycache__', '.git', '.idea', 'dist', 'build', '.pytest_cache'}:
-                return 0
-
-            if p.parts[-1].endswith('.egg-info'):
-                return 0
-
-            return 1
-
-    def add_dir(dir):
-        for subroot, _, names in os.walk(dir):
-            for name in names:
-                file = XlPath(subroot) / name
-                zipf.write(file, file.relpath(root))
-
-    def add_path(path):
-        tag = check_func(path)
-
-        if path.is_file():
-            if tag:
-                zipf.write(path, path.relpath(root))
-        elif path.is_dir():
-            if tag == 2:
-                add_dir(path)
-            elif tag == 1:
-                for subroot, _, names in os.walk(path):
-                    tag2 = check_func(subroot)
-                    if tag2 == 2:
-                        add_dir(subroot)
-                    elif tag2 == 1:
-                        for name in names:
-                            file = XlPath(subroot) / name
-                            if check_func(file):
-                                zipf.write(file, file.relpath(root))
-
-    # 工作目录会自动切换的，这里取工作目录名即可
-    if not isinstance(paths, list):
-        paths = [paths]
-
-    root = XlPath(root)
-    num = len(paths)
-    outfile = None
-    if num > 1:
-        outfile = root / XlPath(root.name + '.zip')
-    elif num == 1:
-        outfile = root / (XlPath(paths[0]).name + '.zip')
-    else:
-        return
-    zipf = XlZipFile(outfile, 'w', zipfile.ZIP_DEFLATED)
-
-    for subroot in paths:
-        add_path(XlPath(subroot))
-
-    zipf.close()
-
-    return outfile

pyxllib/file/pdflib.py

@@ -19,7 +19,7 @@ from pyxllib.prog.newbie import round_int, decode_bitflags
 from pyxllib.prog.pupil import DictTool, inject_members, dprint
 from pyxllib.prog.specialist import browser
 from pyxllib.algo.newbie import round_unit
-from pyxllib.algo.pupil import get_number_width
+from pyxllib.prog.pupil import get_number_width
 from pyxllib.file.specialist import XlPath, writefile, get_etag
 from pyxllib.cv.expert import xlcv, xlpil
 from pyxlpr.data.labelme import LabelmeDict

pyxllib/file/pupil.py

@@ -140,7 +140,7 @@ def gen_file_filter(s):
 
 
 def getfiles(root, filter_rule=None):
-    """对os.walk进一步封装，返回所有匹配的文件
+    r""" 对os.walk进一步封装，返回所有匹配的文件
 
     可以这样遍历一个目录下的所有文件：
     for f in getfiles(r'C:\pycode\code4101py', r'.py'):

pyxllib/file/specialist/dirlib.py

@@ -38,7 +38,7 @@ class Dir(PathBase):
 
     # 零、常用的目录类
     TEMP = pathlib.Path(tempfile.gettempdir())
-    if os.environ.get('Desktop', None):  # 如果修改了win10默认的桌面路径，需要在环境变量添加一个正确的Desktop路径值
+    if os.getenv('Desktop', None):  # 如果修改了win10默认的桌面路径，需要在环境变量添加一个正确的Desktop路径值
         DESKTOP = os.environ['Desktop']
     else:
         DESKTOP = os.path.join(str(pathlib.Path.home()), 'Desktop')  # 这个不一定准，桌面是有可能被移到D盘等的

pyxllib/file/specialist/download.py

@@ -13,19 +13,26 @@ from urllib import request
 import requests
 from bs4 import BeautifulSoup
 
-from pyxllib.file.specialist import File, Dir
+from pyxllib.file.specialist import File, Dir, refinepath
 
 
 def download_file(url, fn=None, *, encoding=None, if_exists=None, ext=None, temp=False):
-    """ 类似writefile，只是源数据是从url里下载
+    r""" 类似writefile，只是源数据是从url里下载
 
     :param url: 数据下载链接
     :param fn: 保存位置，会从url智能提取文件名
     :param if_exists: 详见 File.write 参数解释
     :para temp: 将文件写到临时文件夹
     :return:
+
+    >> download_file(image_url)  # 保存在当前工作目录下
+    D:/home/chenkunze/slns/xlproject/xlsln/ckz2024/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg
+    >> download_file(image_url, fn=r"D:/home/chenkunze/slns/xlproject/xlsln/ckz2024/a.png")  # 指定路径
+    D:/home/chenkunze/slns/xlproject/xlsln/ckz2024/a.png
+    >> download_file(image_url, fn=r"D:/home/chenkunze/slns/xlproject/xlsln/ckz2024")  # 暂不支持目录
+    ValueError: 不能用目录初始化一个File对象 D:\home\chenkunze\slns\xlproject\xlsln\ckz2023
     """
-    if not fn: fn = url.split('/')[-1]
+    if not fn: fn = refinepath(url.split('/')[-1])[-80:]  # 这里故意截断文件名最长80个字符
     root = Dir.TEMP if temp else None
     fn = File(fn, root, suffix=ext).write(requests.get(url).content,
                                           encoding=encoding, if_exists=if_exists, etag=(not fn))