pyxllib 0.0.43__py3-none-any.whl → 0.3.197__py3-none-any.whl

pyxllib/{util → file}/gitlib.py

@@ -2,7 +2,7 @@
 # -*- coding: utf-8 -*-
 # @Author : 陈坤泽
 # @Email  : 877362867@qq.com
-# @Data   : 2020/05/30 11:50
+# @Date   : 2020/05/30 11:50
 
 
 """
@@ -19,20 +19,28 @@ TODO 清单
 3、将数据以图片的直观形式展现
 """
 
-import subprocess
+from pyxllib.prog.pupil import check_install_package
 
-try:
-    import git
-except ModuleNotFoundError:
-    subprocess.run(['pip', 'install', 'gitpython'])
-    import git
+check_install_package('git', 'gitpython')
 
-from pyxllib.util.filelib import *
+import os
+import re
 
+import git
+import pandas as pd
 
-class Git:
+from pyxllib.prog.newbie import swap_rowcol
+from pyxllib.prog.pupil import dprint
+from pyxllib.prog.specialist import dataframe_str, bcompare
+from pyxllib.text.pupil import digit2weektag
+from pyxllib.file.specialist import Dir, File, filesmatch
+
+
+# TODO 可以学习了解使用二次封装的 https://github.com/ishepard/pydriller 库来实现需求
+
+class Git(git.Git):
     def __init__(self, repo_path):
-        self.g = git.Git(repo_path)
+        super().__init__(str(repo_path))
 
     def commits_name(self, n=None, file=None):
         """ 每条commit的标题名称
@@ -45,29 +53,31 @@ class Git:
             cmd.append(f'-{n}')
         if file:
             cmd.append(file)
-        return self.g.log(*cmd).splitlines()
+        return self.log(*cmd).splitlines()
 
     def commits_time0(self, n=None, file=None):
         """每条commit的提交时间
-        使用excel可以识别的时间格式"""
+        使用excel可以识别的时间格式
+        """
         cmd = ['--pretty=%cd', '--date=format:%Y/%m/%d %H:%M']
         if n:
             cmd.append(f'-{n}')
         if file:
             cmd.append(file)
-        t = self.g.log(*cmd)
+        t = self.log(*cmd)
 
         return t.splitlines()
 
     def commits_time(self, n=None, file=None):
         """每条commit的提交时间
-        参数含义参考commits_name里的解释"""
+        参数含义参考commits_name里的解释
+        """
         cmd = ['--pretty=%cd', '--date=format:%y%m%d-%w-%H:%M']
         if n:
             cmd.append(f'-{n}')
         if file:
             cmd.append(file)
-        t = self.g.log(*cmd)
+        t = self.log(*cmd)
 
         def myweektag(m):
             s = m.group().replace('0', '7')
@@ -79,16 +89,18 @@ class Git:
 
     def commits_sha(self, n=None, file=None) -> [str, str, ...]:
         """每条commit的sha哈希值
-        参数含义参考commits_name里的解释"""
+        参数含义参考commits_name里的解释
+        """
         cmd = ['--pretty=%h']
         if n:
             cmd.append(f'-{n}')
         if file:
             cmd.append(file)
-        return self.g.log(*cmd).splitlines()
+        return self.log(*cmd).splitlines()
 
     def commits_stat(self, n=None, file=None):
-        """统计每个commits修改的文件数和插入行数、删除行数
+        """ 统计每个commits修改的文件数和插入行数、删除行数
+
         :param n: 输出条目数，默认为全部
         :param file: 仅摘取file文件（文件夹）的历史记录
         :return: 一个n*3的二维list，第0列是修改的文件数，第1列是插入的代码行数，第2列是删除的代码行数
@@ -98,7 +110,7 @@ class Git:
             cmd.append(f'-{n}')
         if file:
             cmd.append(file)
-        s = self.g.log(*cmd)
+        s = self.log(*cmd)
 
         file_changed = []
         insertion = []
@@ -116,13 +128,14 @@ class Git:
 
     def commits_author(self, n=None, file=None):
         """每条commit的作者
-        参数含义参考commits_name里的解释"""
+        参数含义参考commits_name里的解释
+        """
         cmd = ['--pretty=%an']
         if n:
             cmd.append(f'-{n}')
         if file:
             cmd.append(file)
-        return self.g.log(*cmd).splitlines()
+        return self.log(*cmd).splitlines()
 
     def list_commits(self, n=None, file=None, exceltime=False) -> pd.DataFrame:
         """
@@ -147,7 +160,7 @@ class Git:
         ls.extend(self.commits_stat(n, file))
         ls.append(self.commits_author(n, file))
         ls = swap_rowcol(ls)
-        t = file or self.g.working_dir
+        t = file or self.working_dir
         col_tag = (t + ' / commit名称', '时间', 'sha', 'files_changed', 'insertions', 'deletions', 'author')
         df = pd.DataFrame.from_records(ls, columns=col_tag)
         return df
@@ -220,9 +233,9 @@ class Git:
         sha = self.smartsha(sha, file)
 
         if sha:
-            s = self.g.show(f'{sha}:{file}')
+            s = self.show(f'{sha}:{file}')
         else:
-            s = ensure_content(os.path.join(self.g.working_dir, file))
+            s = File(os.path.join(self.working_dir, file)).read()
         return s
 
     def bcompare(self, file, sha1=0, sha2=None):
@@ -248,7 +261,7 @@ class Git:
             s2 = self.show(file, sha2_id)
         else:
             sha2_id = None
-            s2 = os.path.join(self.g.working_dir, file)  # 存储文件名而不是内容
+            s2 = os.path.join(self.working_dir, file)  # 存储文件名而不是内容
 
         # 3 对比
         dprint(sha1, sha2, sha1_id, sha2_id)
@@ -262,7 +275,7 @@ class Git:
         :param files: 要搜索的文件清单
 
         191108周五10:40，目前跑 c:/pycode 要2分钟
-        >> chrome(Git('C:/pycode/').find_pattern(re.compile(r'ssb等改明文')))
+        >> browser(Git('C:/pycode/').find_pattern(re.compile(r'ssb等改明文')))
 
         """
         # 1 主对象
@@ -272,7 +285,7 @@ class Git:
         # 2 files没有设置则匹配所有文件
         # TODO 当前已经不存在的文件这样是找不到的，有办法把历史文件也挖出来？
         if not files:
-            with Dir(self.g.working_dir):
+            with Dir(self.working_dir):
                 files = filesmatch('**/*.py')
 
         # 3 遍历文件

pyxllib/file/libreoffice.py

@@ -0,0 +1,165 @@
+#!/usr/bin/env python3
+# -*- coding: utf-8 -*-
+# @Author : 陈坤泽
+# @Email  : 877362867@qq.com
+# @Date   : 2024/04/27
+
+"""
+libreoffice这个软件相关的功能
+
+官网：https://www.libreoffice.org/download/download-libreoffice/
+
+linux的安装：
+sudo apt-get update
+sudo apt-get install libreoffice -y
+"""
+
+import os
+from pathlib import Path
+import subprocess
+import sys
+import tempfile
+from datetime import datetime
+
+
+def check_libreoffice():
+    """ 检查LibreOffice是否安装 """
+    executor = get_libreoffice_executor()
+    try:
+        subprocess.run([executor, '--version'], check=True)
+    except FileNotFoundError:
+        return False
+    except subprocess.CalledProcessError:
+        return False
+    return True
+
+
+def get_libreoffice_executor():
+    """ 获得可执行文件的名称 """
+    # 根据所在系统区分
+    if sys.platform == 'win32':
+        return 'soffice.exe'
+    else:
+        return 'libreoffice'
+
+
+def infer_file_format(file_path):
+    """ 推断文件所属办公文档的'主类' """
+    ext = Path(file_path).suffix.lower()
+    if ext in ['.doc', '.docx']:
+        fmt = 'docx'
+    elif ext in ['.ppt', '.pptx']:
+        fmt = 'pptx'
+    elif ext in ['.xls', '.xlsx']:
+        # todo 其实excel还有xlsm的可能，但是用libreoffice可能没有微软365那样可以判断出宏的情况保存为xlsm
+        fmt = 'xlsx'
+    else:
+        raise ValueError("不支持的文件格式")
+    return fmt
+
+
+class UpgradeOfficeFile:
+    @classmethod
+    def to_dir(cls, file_path, out_dir=None, fmt=None, timeout=10):
+        """ 将doc文件转换为docx文件
+
+        :param file_path: 待升级的文件路径
+        :param out_dir: 输出文件目录
+            官方接口默认只能设置导出目录，不能设置导出文件名，文件名是跟原始文件一样的
+        :param fmt: 输出文件格式
+            docx, xlsx, pptx
+        """
+        if isinstance(file_path, Path):
+            file_path = file_path.as_posix()
+
+        # 获取LibreOffice可执行文件的名称
+        executor = get_libreoffice_executor()
+
+        # 如果未指定输出路径，则默认在输入文件的同目录下生成同名的DOCX文件
+        if out_dir is None:
+            out_dir = os.path.dirname(file_path)
+
+        if fmt is None:
+            fmt = infer_file_format(file_path)
+
+        # 构建转换命令
+        command = [
+            executor,
+            '--headless',  # 无界面模式
+            '--convert-to', fmt,  # 转换为docx格式
+            '--outdir', str(out_dir),  # 输出目录
+            file_path  # 输入文件路径
+        ]
+
+        subprocess.run(command, timeout=timeout, check=True)
+
+        # 返回转换后的文件路径
+        base_name = os.path.basename(file_path)
+        name, _ = os.path.splitext(base_name)
+        new_file_path = os.path.join(out_dir, f"{name}.{fmt}")
+
+        # todo 以目标文件是否存在判断转换是否成功也是有一定bug的，可能目标文件本来就存在
+        #   但如果严谨判断，就要分析subprocess.run的输出结果了，那个太麻烦，先用简便方法处理
+        if not Path(new_file_path).exists():
+            raise ValueError(f"升级文档失败")
+
+        return new_file_path
+
+    @classmethod
+    def to_file(cls, in_file, out_file=None, fmt=None, timeout=10):
+        """ 可以指定转换出的文件名的版本
+
+        :param in_file: 待转换的文件路径
+        :param out_file: 输出文件路径
+            若未指定,默认与原文件同名,在原文件所在目录生成
+        :param fmt: 输出文件格式
+            docx, xlsx, pptx
+            若未指定,则根据in_file的后缀名自动判断
+        """
+        # 将in_file转换为Path对象
+        in_file = Path(in_file)
+
+        # 如果fmt为None,则根据in_file推断
+        if fmt is None:
+            fmt = infer_file_format(in_file)
+
+        # 如果out_file为None,则默认在原文件目录生成同名的新格式文件
+        if out_file is None:
+            out_file = in_file.with_suffix(f'.{fmt}')
+        else:
+            out_file = Path(out_file)
+
+        # 确保out_file的父目录存在,不存在则创建
+        out_file.parent.mkdir(parents=True, exist_ok=True)
+
+        # 调用upgrade_office_file函数进行转换
+        temp_file = cls.to_dir(in_file, out_dir=out_file.parent, fmt=fmt, timeout=timeout)
+
+        # 将生成的临时文件重命名为out_file
+        os.rename(temp_file, out_file)
+
+        return out_file
+
+    @classmethod
+    def to_tempfile(cls, in_file, fmt=None, *, timestamp_stem=False, create_subdir=False, timeout=10):
+        """ 将文件转换为临时文件
+
+        :param timestamp_stem: 时间戳文件名
+        :param create_subdir: 是否在临时目录中创建新的子目录
+        """
+        if fmt is None:
+            fmt = infer_file_format(in_file)
+
+        root = Path(tempfile.gettempdir())
+        if create_subdir:
+            root2 = root / datetime.now().strftime('%Y%m%d.%H%M%S.%f')
+            root2.mkdir(parents=True, exist_ok=True)
+            root = root2
+
+        if timestamp_stem:
+            stem = datetime.now().strftime('%Y%m%d.%H%M%S.%f')
+            out_file = cls.to_file(in_file, out_file=root / f"{stem}.{fmt}", fmt=fmt, timeout=timeout)
+        else:
+            out_file = cls.to_dir(in_file, out_dir=root, fmt=fmt, timeout=timeout)
+
+        return out_file

pyxllib/file/movielib.py

@@ -0,0 +1,148 @@
+#!/usr/bin/env python3
+# -*- coding: utf-8 -*-
+# @Author : 陈坤泽
+# @Email  : 877362867@qq.com
+# @Date   : 2022/02/25 17:54
+
+from pyxllib.prog.pupil import check_install_package
+
+check_install_package('moviepy')
+
+import cv2
+from moviepy.editor import VideoFileClip
+from moviepy.editor import cvsecs
+import numpy as np
+from tqdm import tqdm
+
+from pyxllib.prog.pupil import inject_members
+from pyxllib.file.specialist import XlPath
+from pyxllib.cv.imhash import get_init_hash, phash
+from pyxllib.cv.xlcvlib import xlcv
+
+
+class XlVideoFileClip(VideoFileClip):
+
+    def get_frame2(self, time_point, *, scale=None):
+        """ 官方获得的图片通道是RGB，但是cv2处理的统一规则是BGR，要转换过来
+
+        :param scale: 获取图片后是否要按统一的比例再缩放一下
+        """
+        frame = self.get_frame(time_point)
+        frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
+
+        if scale:
+            frame = cv2.resize(frame, (0, 0), fx=scale, fy=scale)
+
+        return frame
+
+    def get_frames(self, time_points=None, *, interval_second=0.1, cur_hash=None, head_frame=None, scale=None,
+                   filter_mode=2, print_mode=True):
+        """ 同时获得多帧图片
+
+        :param time_points: 类list对象，元素是时间点（可以是字符串格式，也可以是数值秒数）
+            常见生成方法参考：np.array(0, clip.duration, 0.1)
+        :param filter_mode: 过滤强度
+            因为times如果取的非常密集，比如每0.1秒取一帧，会有很大概率是重复、相近的图
+            此时可以用这个参数控制误差在多大以内的图会保留
+            使用phash判断帧之间相似度，只要误差在该设定阈值内，都会被跳过
+            可以设置0，不过这样过滤程度是最低的
+            也可以输入-1，表示完全不过滤，不计算phash。当这种情况也不太必要用这个函数了，可以直接普通循环。
+            也可以故意设置的特别大（phash最大差距是64），那这样相当于差异很大的也过滤掉了
+        :param head_frame: 提供一张初始图片，主要是配合filter_mode用于去重的
+        :param cur_hash: 类似head_frame作用，但直接提供hash值
+        :return: 使用yield机制，防止图片数据太多，内存爆炸了
+            当filter_mode>=0时，返回 时间点time_point和对应的图片im
+        """
+        if cur_hash is None:
+            if head_frame is None:
+                cur_hash = get_init_hash()
+            else:
+                cur_hash = phash(head_frame)
+
+        if time_points is None:
+            time_points = np.arange(0, self.duration, interval_second)
+
+        for time_point in tqdm(time_points, disable=not print_mode):
+            im = self.get_frame2(time_point, scale=scale)
+
+            if filter_mode >= 0:
+                last_hash, cur_hash = cur_hash, phash(im)
+                if cur_hash - last_hash <= filter_mode:
+                    continue
+                yield time_point, im
+            else:
+                yield im
+
+    def save_frames(self, out_dir, time_points=None, interval_second=0.1, **kwargs):
+        """ 跟get_frames差不多，多了一步自动存储图片文件到目录里
+
+        这个功能是比较定制化的，不是那么泛用，但会有很多相关类似的操作需求，可以参考这里的代码实现
+        """
+        # 1 time_points
+        if time_points is None:
+            time_points = np.arange(0, self.duration, interval_second)
+        out_dir = XlPath(out_dir)
+
+        # 2 按时间点取图片，保存文件
+        for time_point, frame in self.get_frames(time_points, **kwargs):
+            tt = int(time_point * 10)
+            m, s, ms = tt // 600, (tt // 10) % 60, tt % 10
+            xlcv.write(frame, out_dir / f'{m:03}_{s:02}.{ms}.jpg')
+
+    def join_subtitles_image(self, time_points, ltrb_pos=None, *,
+                             crop_first_frame=False,
+                             filter_mode=2):
+        """ 生成字幕拼图
+
+        :param time_points: 在哪些时间点截图
+        :param ltrb_pos: 字幕所在位置，没有输入则默认全部全图拼接，
+            一般指定上下就行了，即 [None, 640, None, 700]
+        :param crop_first_frame:
+            False，保留第一帧的完整性
+            True，第一帧也只裁剪字幕部分
+        :param filter_mode: 对于给出的时间点图片，去除相邻相同的图片
+        :return:
+
+        参考用法：
+            from pyxllib.file.movielib import VideoFileClip
+            clip = VideoFileClip(str(Paths.videos / '觉观01.mp4'))  # 必须要转str类型
+            im = clip.join_subtitles_image(np.arange(30, 40, 0.1), [None, 640, None, 695])
+            xlcv.write(im, Paths.videos / 'test.jpg')
+        """
+        # 1 如果有左右裁剪要提前处理
+        x1, y1, x2, y2 = ltrb_pos
+        if x1 or x2:
+            clip = self.crop(x1=x1, x2=x2)
+        else:
+            clip = self
+
+        # 2 第1帧是否要保留全图
+        frame_list = []
+        if crop_first_frame:
+            head_frame = None
+        else:
+            time_points = tuple(time_points)
+            head_frame = clip.get_frame2(time_points[0])
+            frame_list.append(head_frame[:y2])
+            head_frame = head_frame[y1:y2]
+            time_points = time_points[1:]
+
+        # 3 裁剪字幕区域
+        clip = clip.crop(y1=y1, y2=y2)
+        for time_point, frame in clip.get_frames(time_points, filter_mode=filter_mode, head_frame=head_frame):
+            frame_list.append(frame)
+
+        # 4 拼接完整图
+        im = xlcv.concat(frame_list, pad=0)
+        return im
+
+
+inject_members(XlVideoFileClip, VideoFileClip)
+
+
+def clip_video(input_file, output_file, start_time, end_time):
+    start_time = cvsecs(start_time)
+    end_time = cvsecs(end_time)
+    clip = VideoFileClip(input_file).subclip(start_time, end_time)
+    clip.write_videofile(output_file)
+    clip.reader.close()

pyxllib/file/newbie.py

@@ -0,0 +1,10 @@
+#!/usr/bin/env python3
+# -*- coding: utf-8 -*-
+# @Author : 陈坤泽
+# @Email  : 877362867@qq.com
+# @Date   : 2021/06/06 10:51
+
+def linux_path_fmt(p):
+    p = str(p)
+    p = p.replace('\\', '/')
+    return p