pyxllib 0.0.43__py3-none-any.whl → 0.3.197__py3-none-any.whl

pyxllib/file/pdflib.py

@@ -0,0 +1,426 @@
+#!/usr/bin/env python3
+# -*- coding: utf-8 -*-
+# @Author : 陈坤泽
+# @Email  : 877362867@qq.com
+# @Date   : 2020/06/02 16:06
+
+from pyxllib.prog.pupil import check_install_package
+
+check_install_package('fitz', 'PyMuPdf>=1.18.17')
+
+import json
+import os
+import pprint
+import re
+
+import fitz
+
+from pyxllib.prog.newbie import round_int, decode_bitflags
+from pyxllib.prog.pupil import DictTool, inject_members, dprint
+from pyxllib.prog.specialist import browser
+from pyxllib.algo.newbie import round_unit
+from pyxllib.prog.pupil import get_number_width
+from pyxllib.file.specialist import XlPath, writefile, get_etag
+from pyxllib.cv.expert import xlcv, xlpil
+from pyxlpr.data.labelme import LabelmeDict
+
+
+def __fitz():
+    print(fitz.__doc__)
+
+
+class FitzDoc:
+    """ 原名叫FitzPdf，但不一定是处理pdf，也可能是其他文档，所以改名 FitzDoc
+    """
+
+    def __init__(self, file):
+        self.src_file = XlPath(file)
+        self.doc = fitz.open(str(file))
+
+    def to_images(self, dst_dir=None, file_fmt='{filestem}_{number}.jpg', num_width=None, *,
+                  scale=1, start=1, fmt_onepage=False):
+        """ 将pdf转为若干页图片
+
+        :param dst_dir: 目标目录
+            默认情况下，只有一页pdf则存储到对应的pdf目录，多页则存储到同名子目录下
+            如果不想这样被智能控制，只要指定明确的dst即可
+        :param file_fmt: 后缀格式，包括修改导出的图片类型，注意要用 {} 占位符表示页码编号
+        :param num_width: 生成的每一页文件编号，使用的数字前导0域宽
+            默认根据pdf总页数来设置对应所用域宽
+            0表示不设域宽
+        :param scale: 对每页图片进行缩放，一般推荐都要设成2，导出的图片才清晰
+        :param start: 起始页码，一般建议从1开始比较符合常识直觉
+        :param fmt_onepage: 当pdf就只有一页的时候，是否还对导出的图片编号
+            默认只有一页的时候，进行优化，不增设后缀格式
+        :return: 返回转换完的图片名称清单
+
+        注：如果要导出单张图，可以用 FitzPdfPage.get_cv_image
+        """
+        # 1 基本参数计算
+        srcfile, doc = self.src_file, self.doc
+        filestem, n_page = srcfile.stem, doc.page_count
+
+        # 自动推导目标目录
+        if dst_dir is None:
+            dst_dir = XlPath.init(srcfile.stem, srcfile.parent) if n_page > 1 else XlPath(srcfile.parent)
+        os.makedirs(dst_dir, exist_ok=True)
+
+        # 域宽
+        num_width = num_width or get_number_width(n_page)  # 根据总页数计算需要的对齐域宽
+
+        # 2 导出图片
+        if fmt_onepage or n_page != 1:  # 多页的处理规则
+            res = []
+            for i in range(n_page):
+                im = self.load_page(i).get_cv_image(scale)
+                number = ('{:0' + str(num_width) + 'd}').format(i + start)  # 前面的括号不要删，这样才是完整的一个字符串来使用format
+                f = xlcv.write(im, XlPath.init(file_fmt.format(filestem=filestem, number=number), dst_dir))
+                res.append(f)
+            return res
+        else:
+            im = self.load_page(0).get_cv_image(scale)
+            return [xlcv.write(im, XlPath.init(srcfile.stem + os.path.splitext(file_fmt)[1], dst_dir))]
+
+    def to_labelmes(self, imfiles, opt='dict', *, views=(0, 0, 1, 0), scale=1, indent=None):
+        """ 生成图片对应的标注，常跟to_images配合使用 """
+        for i, imfile in enumerate(imfiles):
+            page = self.load_page(i)
+            lmdict = LabelmeDict.gen_data(imfile)
+            lmdict['shapes'] = page.get_labelme_shapes(opt, views=views, scale=scale)
+            imfile.with_suffix('.json').write(lmdict, indent=indent)
+
+    def to_docx(self, docx_file=None):
+        """ pdf转docx """
+        check_install_package('pdf2docx')
+        from pdf2docx import parse
+
+        pdf_file = self.src_file
+
+        if docx_file is None:
+            docx_file = pdf_file.with_suffix('.docx')
+
+        # 注意这里是日志显示进度，不是printf输出.
+        parse(str(pdf_file), str(docx_file))
+
+    def browser(self, opt='pdf'):
+        if opt == 'pdf':
+            f = self.src_file
+            browser(self.src_file)
+        elif opt == 'html':
+            ls = []
+            for i in range(self.page_count):
+                page = self.load_page(i)
+                ls.append(page.get_text('html'))
+            data = '\n'.join(ls)
+            etag = get_etag(data)
+            f = XlPath.init(etag, XlPath.tempdir(), suffix='.html')
+            f.write(data)
+            browser(f)
+        else:
+            raise ValueError(f'{opt}')
+        return f
+
+    def __getattr__(self, item):
+        return getattr(self.doc, item)
+
+
+class XlFitzPage(fitz.fitz.Page):
+    """ 对fitz.fitz.Page的扩展成员方法 """
+
+    def get_svg_image2(self, scale=1):
+        # svg 是一段表述性文本
+        if scale != 1:
+            txt = self.get_svg_image(matrix=fitz.Matrix(scale, scale))
+        else:
+            txt = self.get_svg_image()
+        return txt
+
+    def _get_png_data(self, scale=1):
+        # TODO 增加透明通道？
+        if scale != 1:
+            pix = self.get_pixmap(matrix=fitz.Matrix(scale, scale))  # 长宽放大到scale倍
+        else:
+            pix = self.get_pixmap()
+        return pix.tobytes()
+
+    def get_cv_image(self, scale=1):
+        return xlcv.read_from_buffer(self._get_png_data(scale), flags=1)
+
+    def get_pil_image(self, scale=1):
+        # TODO 可以优化，直接从内存数据转pil，不用这样先转cv再转pil
+        return xlpil.read_from_buffer(self._get_png_data(scale), flags=1)
+
+    def to_image(self, outfile, *, scale=1, if_exists=None):
+        """ 转成为文件 """
+        f = XlPath(outfile)
+        suffix = f.suffix.lower()
+
+        if suffix == '.svg':
+            content = self.get_svg_image()
+            f.write(content, if_exists=if_exists)
+        else:
+            im = self.get_cv_image(scale)
+            xlcv.write(im, if_exists=if_exists)
+
+    def get_labelme_shapes(self, opt='dict', *, views=1, scale=1):
+        """ 得到labelme版本的shapes标注信息
+
+        :param opt: get_text的参数，默认使用无字符集标注的精简的dict
+            也可以使用rawdict，带有字符集标注的数据
+        :param views: 若非list或者长度不足4，会补足
+            各位标记依次代表是否显示对应细粒度的标注：blocks、lines、spans、chars
+            默认只显示blocks
+            例如 (0, 0, 1, 0)，表示只显示spans的标注
+        :param scale: 是否需要对坐标按比例放大 （pdf经常放大两倍提取图片，则这里标注也要对应放大两倍）
+
+        【字典属性解释】
+        blocks:
+            number: int, 区块编号
+            type: 0表示文本行，1表示图片
+        lines:
+            wmode: 好像都是0，不知道啥东西
+            dir: [1, 0]，可能是文本方向吧
+        spans:
+            size: 字号
+            flags: 格式标记
+                1，superscript，上标
+                2，italic，斜体
+                4，serifed，有衬线。如果没开，对立面就是"sans"，无衬线。
+                8，monospaced，等距。对立面proportional，均衡。
+                16，bold，加粗
+            font：字体名称（直接用字符串赋值）
+            color：颜色
+            ascender：？
+            descender：？
+            origin：所在方格右上角坐标
+            text/chars: dict模式有text内容，rawdict有chars详细信息。我扩展的版本，rawdict也会有text属性。
+        char:
+            origin: 差不多是其所在方格的右上角坐标，同一行文本，其top位置是会对齐的
+            c: 字符内容
+        """
+        from pyxlpr.data.labelme import LabelmeDict
+
+        # 1 参数配置
+        if isinstance(views, int):
+            views = [views]
+        if len(views) < 4:
+            views += [0] * (4 - len(views))
+
+        shapes = []
+        page_dict = self.get_text(opt)
+
+        # 2 辅助函数
+        def add_shape(name, refdict, add_keys, drop_keys=('bbox',)):
+            """ 生成一个标注框 """
+            msgdict = {'category_name': name}
+            msgdict.update(add_keys)
+            DictTool.ior(msgdict, refdict)
+            DictTool.isub(msgdict, drop_keys)
+            bbox = [round_int(v * scale) for v in refdict['bbox']]
+
+            if 'size' in msgdict:
+                x = round_unit(msgdict['size'], 0.5)
+                msgdict['size'] = round_int(x) if (x * 10) % 10 < 1 else x  # 没有小数的时候，优先展示为11，而不是11.0
+            if 'color' in msgdict:
+                # 把color映射为直观的(r, g, b)
+                # 这个pdf解析器获取的color，不一定精确等于原值，可能会有偏差，小一个像素
+                v = msgdict['color']
+                msgdict['color'] = (v // 256 // 256, (v // 256) % 256, v % 256)
+            if 'origin' in msgdict:
+                msgdict['origin'] = [round_int(v) for v in msgdict['origin']]
+
+            sp = LabelmeDict.gen_shape(json.dumps(msgdict), bbox)
+            shapes.append(sp)
+
+        # 3 遍历获取标注数据
+        for block in page_dict['blocks']:
+            if block['type'] == 0:  # 普通的文本行
+                if views[0]:
+                    add_shape('text_block', block, {'n_lines': len(block['lines'])}, ['bbox', 'lines'])
+                for line in block['lines']:
+                    if views[1]:
+                        add_shape('line', line, {'n_spans': len(line['spans'])}, ['bbox', 'spans'])
+                    for span in line['spans']:
+                        if 'text' not in span and 'chars' in span:
+                            span['text'] = ''.join([x['c'] for x in span['chars']])
+                        if views[2]:
+                            add_shape('span', span, {'n_chars': len(span.get('text', ''))}, ['bbox', 'chars'])
+                        if views[3] and 'chars' in span:  # 最后层算法不太一样，这样写可以加速
+                            for char in span['chars']:
+                                add_shape('char', char, {}, ['bbox'])
+            elif block['type'] == 1:  # 应该是图片
+                add_shape('image', block, {'image_filesize': len(block['image'])}, ['bbox', 'image'])
+            else:
+                raise ValueError
+
+        return shapes
+
+    @classmethod
+    def parse_flags(cls, n):
+        """ 解析spans的flags参数明文含义 """
+        flags = decode_bitflags(n, ('superscript', 'italic', 'serifed', 'monospaced', 'bold'))
+        flags['sans'] = not flags['serifed']
+        flags['proportional'] = not flags['monospaced']
+        return flags
+
+    def browser(self, opt='html'):
+        if opt == 'html':
+            data = self.get_text('html')  # html、xhtml 可以转网页，虽然排版相对来说还是会乱一点
+            data = ''.join(data)
+            etag = get_etag(data)
+            f = XlPath.init(etag, XlPath.tempdir(), suffix='.html')
+            f.write(data)
+            browser(f)
+        else:
+            raise ValueError
+
+
+inject_members(XlFitzPage, fitz.fitz.Page)
+
+
+class DemoFitz:
+    """
+    安装： pip install PyMuPdf
+    使用： import fitz
+    官方文档： https://pymupdf.readthedocs.io/en/latest/intro/
+        demo： https://github.com/rk700/PyMuPDF/tree/master/demo
+        examples： https://github.com/rk700/PyMuPDF/tree/master/examples
+    """
+
+    def __init__(self, file):
+        self.doc = fitz.open(file)
+
+    def message(self):
+        """查看pdf文档一些基础信息"""
+        dprint(fitz.version)  # fitz模块的版本
+        dprint(self.doc.pageCount)  # pdf页数
+        dprint(self.doc._getXrefLength())  # 文档的对象总数
+
+    def getToC(self):
+        """获得书签目录"""
+        toc = self.doc.getToC()
+        browser(toc)
+
+    def setToC(self):
+        """设置书签目录
+        可以调层级、改名称、修改指向页码
+        """
+        toc = self.doc.getToC()
+        toc[1][1] = '改标题名称'
+        self.doc.setToC(toc)
+        file = XlPath('a.pdf', XlPath.tempdir()).to_str()
+        self.doc.save(file, garbage=4)
+        browser(file)
+
+    def setToC2(self):
+        """修改人教版教材的标签名"""
+        toc = self.doc.getToC()
+        newtoc = []
+        for i in range(len(toc)):
+            name = toc[i][1]
+            if '.' in name: continue
+            # m = re.search(r'\d+', name)
+            # if m: name = name.replace(m.group(), digits2chinese(int(m.group())))
+            m = re.search(r'([一二三四五六]年级).*?([上下])', name)
+            if i < len(toc) - 1:
+                pages = toc[i + 1][2] - toc[i][2] + 1
+            else:
+                pages = self.doc.pageCount - toc[i][2] + 1
+            toc[i][1] = m.group(1) + m.group(2) + '，' + str(pages)
+            newtoc.append(toc[i])
+        self.doc.setToC(newtoc)
+        file = writefile(b'', 'a.pdf', if_exists='replace')
+        self.doc.save(file, garbage=4)
+
+    def rearrange_pages(self):
+        """重新布局页面"""
+        self.doc.select([0, 0, 1])  # 第1页展示两次后，再跟第2页
+        file = writefile(b'', 'a.pdf', root=XlPath.tempdir(), if_exists='replace')
+        self.doc.save(file, garbage=4)  # 注意要设置garbage，否则文档并没有实际删除内容压缩文件大小
+        browser(file)
+
+    def page2png(self, page=0):
+        """ 查看单页渲染图片 """
+        page = self.doc.loadPage(page)  # 索引第i页，下标规律同py，支持-1索引最后页
+        # dprint(page.bound())  # 页面边界，x,y轴同图像处理中的常识定义，返回Rect(x0, y0, x1, y1)
+
+        pix = page.getPixmap(fitz.Matrix(2, 2))  # 获得页面的RGBA图像，Pixmap类型；还可以用page.getSVGimage()获得矢量图
+        # pix.writePNG('page-0.png')  # 将Pixmal
+        pngdata = pix.tobytes()  # 获png文件的bytes字节码
+        # print(len(pngdata))
+        # browser(pngdata, 'a.png')  # 用我的工具函数打开图片
+
+        return pngdata
+
+    def pagetext(self):
+        """单页上的文本"""
+        page = self.doc[0]
+
+        # 获得页面上的所有文本，还支持参数： html，dict，xml，xhtml，json
+        text = page.getText('text')
+        dprint(text)
+
+        # 获得页面上的所有文本（返回字典对象）
+        textdict = page.getText('dict')
+        textdict['blocks'] = textdict['blocks'][:-1]
+        browser(pprint.pformat(textdict))
+
+    def text(self):
+        """获得整份pdf的所有文本"""
+        return '\n'.join([page.getText('text') for page in self.doc])
+
+    def xrefstr(self):
+        """查看pdf文档的所有对象"""
+        xrefstr = []
+        n = self.doc._getXrefLength()
+        for i in range(1, n):  # 注意下标实际要从1卡开始
+            # 可以边遍历边删除，不影响下标位置，因为其本质只是去除关联引用而已
+            xrefstr.append(self.doc._getXrefString(i))
+        browser('\n'.join(xrefstr))
+
+    def page_add_ele(self):
+        """往页面添加元素
+        添加元素前后xrefstr的区别： https://paste.ubuntu.com/p/Dxhnzp4XJ2/
+        """
+        self.doc.select([0])
+        page = self.doc.loadPage(0)
+        # page.insertText(fitz.Point(100, 200), 'test\ntest')
+        file = str(XlPath.tempdir() / 'a.pdf')
+        dprint(file)
+        self.doc.save(file, garbage=4)
+        browser(file)
+
+
+def __pdfminer():
+    """ pdfminer的实验代码也先放这里
+
+    !pip install pdfminer.six
+    """
+
+    import pdfminer
+    print(pdfminer.__version__)
+    # 20201018
+
+
+class PdfMiner:
+    @classmethod
+    def to_html(cls, pdf_file):
+        """ 相比fitz，pdfminer能正常提取出下划线
+
+        文本重叠比fitz更严重，整体来说其实更不好用~~
+        """
+
+        from io import StringIO
+
+        from pdfminer.high_level import extract_text_to_fp
+        from pdfminer.layout import LAParams
+
+        output_string = StringIO()
+        with open(str(pdf_file)) as fin:
+            extract_text_to_fp(fin, output_string, laparams=LAParams(),
+                               output_type='html', codec=None)
+
+        # 打开浏览器查看重建的html效果
+        f = pdf_file.with_suffix('.html')
+        f.write(output_string.getvalue())
+        browser(f)

pyxllib/file/pupil.py

@@ -0,0 +1,185 @@
+#!/usr/bin/env python3
+# -*- coding: utf-8 -*-
+# @Author : 陈坤泽
+# @Email  : 877362867@qq.com
+# @Date   : 2021/06/03 21:17
+
+import os
+import re
+import shutil
+import struct
+
+
+def struct_unpack(f, fmt):
+    r""" 类似np.fromfile的功能，读取并解析二进制数据
+
+    :param f:
+        如果带有read方法，则用read方法读取指定字节数
+        如果bytes对象则直接处理
+    :param fmt: 格式
+        默认按小端解析(2, 1, 0, 0) -> 258，如果需要大端，可以加前缀'>'
+        字节：c=char, b=signed char, B=unsigned char, ?=bool
+        2字节整数：h=short, H=unsigned short（后文同理，大写只是变成unsigned模式，不在累述）
+        4字节整数：i, I, l, L
+        8字节整数：q, Q
+        浮点数：e=2字节，f=4字节，d=8字节
+
+    >>> b = struct.pack('B', 127)
+    >>> b
+    b'\x7f'
+    >>> struct_unpack(b, 'c')
+    b'\x7f'
+    >>> struct_unpack(b, 'B')
+    127
+
+    >>> b = struct.pack('I', 258)
+    >>> b
+    b'\x02\x01\x00\x00'
+    >>> struct_unpack(b, 'I')  # 默认都是按小端打包、解析
+    258
+    >>> struct_unpack(b, '>I') # 错误示范，按大端解析的值
+    33619968
+    >>> struct_unpack(b, 'H'*2)  # 解析两个值，fmt*2即可
+    (258, 0)
+
+    >>> f = io.BytesIO(b'\x02\x01\x03\x04')
+    >>> struct_unpack(f, 'B'*3)  # 取前3个值，等价于np.fromfile(f, dtype='uint8', count=3)
+    (2, 1, 3)
+    >>> struct_unpack(f, 'B')  # 取出第4个值
+    4
+    """
+    # 1 取数据
+    size_ = struct.calcsize(fmt)
+    if hasattr(f, 'read'):
+        data = f.read(size_)
+        if len(data) < size_:
+            raise ValueError(f'剩余数据长度 {len(data)} 小于 fmt 需要的长度 {size_}')
+    else:  # 对于bytes等矩阵，可以多输入，但是只解析前面一部分
+        data = f[:size_]
+
+    # 2 解析
+    res = struct.unpack(fmt, data)
+    if len(res) == 1:  # 解析结果恰好只有一个的时候，返回值本身
+        return res[0]
+    else:
+        return res
+
+
+def recreate_folders(*dsts):
+    """重建一个空目录"""
+    for dst in dsts:
+        try:
+            # 删除一个目录（含内容），设置ignore_errors可以忽略目录不存在时的错误
+            shutil.rmtree(dst, ignore_errors=True)
+            os.makedirs(dst)  # 重新新建一个目录，注意可能存在层级关系，所以要用makedirs
+        except TypeError:
+            pass
+
+
+def checkpathfile(name):
+    r"""判断环境变量path下是否有name这个文件，有则返回绝对路径，无则返回None
+    常用的有：BCompare.exe、Chrome.exe、mogrify.exe、xelatex.exe
+
+    >> checkpathfile('xelatex.exe')
+    'C:\\CTEX\\MiKTeX\\miktex\\bin\\xelatex.exe'
+    >> checkpathfile('abcd.exe')
+    """
+    for path in os.getenv('path').split(';'):
+        fn = os.path.join(path, name)
+        if os.path.exists(fn):
+            return fn
+    return None
+
+
+def filename_tail(fn, tail):
+    """在文件名末尾和扩展名前面加上一个tail"""
+    names = os.path.splitext(fn)
+    return names[0] + tail + names[1]
+
+
+def hasext(f, *exts):
+    """判断文件f是否是exts扩展名中的一种，如果不是返回False，否则返回对应的值
+
+    所有文件名统一按照小写处理
+    """
+    ext = os.path.splitext(f)[1].lower()
+    exts = tuple(map(lambda x: x.lower(), exts))
+    if ext in exts:
+        return ext
+    else:
+        return False
+
+
+def isdir(fn):
+    """判断输入的是不是合法的路径格式，且存在确实是一个文件夹"""
+    try:
+        return os.path.isdir(fn)
+    except ValueError:  # 出现文件名过长的问题
+        return False
+    except TypeError:  # 输入不是字符串类型
+        return False
+
+
+__mygetfiles = """
+py有os.walk可以递归遍历得到一个目录下的所有文件
+但是“我们”常常要过滤掉备份文件（171020-153959），Old、temp目、.git等目录
+特别是windows还有一个很坑爹的$RECYCLE.BIN目录。
+所以在os.walk的基础上，再做了封装得到myoswalk。
+
+然后在myoswalk基础上，实现mygetfiles。
+"""
+
+
+def gen_file_filter(s):
+    """生成一个文件名过滤函数"""
+    if s[0] == '.':
+        return lambda x: x.endswith(s)
+    else:
+        s = s.replace('？', r'[\u4e00-\u9fa5]')  # 中文问号可以匹配任意中文字符
+        return lambda x: re.search(s, x)
+
+
+def getfiles(root, filter_rule=None):
+    r""" 对os.walk进一步封装，返回所有匹配的文件
+
+    可以这样遍历一个目录下的所有文件：
+    for f in getfiles(r'C:\pycode\code4101py', r'.py'):
+        print(f)
+    筛选规则除了“.+后缀”，还可以写正则匹配
+    """
+    if isinstance(filter_rule, str):
+        filter_rule = gen_file_filter(filter_rule)
+
+    for root, _, files in os.walk(root, filter_rule):
+        for f in files:
+            if filter_rule and not filter_rule(f):
+                continue
+            yield root + '\\' + f
+
+
+def tex_content_filefilter(f):
+    """只获取正文类tex文件"""
+    if f.endswith('.tex') and 'Conf' not in f and 'settings' not in f:
+        return True
+    else:
+        return False
+
+
+def tex_conf_filefilter(f):
+    """只获取配置类tex文件"""
+    if f.endswith('.tex') and ('Conf' in f or 'settings' in f):
+        return True
+    else:
+        return False
+
+
+def change_ext(filename, ext):
+    """更改文件名后缀
+    返回第1个参数是新的文件名，第2个参数是这个文件是否存在
+
+    输入的fileName可以没有扩展名，如'A/B/C/a'，仍然可以找对应的扩展名为ext的文件
+    输入的ext不要含有'.'，例如正确格式是输入'tex'、'txt'
+    """
+    name = os.path.splitext(filename)[0]  # 'A/B/C/a.txt' --> 'A/B/C/a'
+    newname = name + '.' + ext
+    return newname, os.path.exists(newname)