pyxllib 0.0.43__py3-none-any.whl → 0.3.197__py3-none-any.whl

pyxllib/debug/_4_bcompare.py

@@ -1,140 +0,0 @@
-#!/usr/bin/env python3
-# -*- coding: utf-8 -*-
-# @Author : 陈坤泽
-# @Email  : 877362867@qq.com
-# @Data   : 2020/06/01 18:13
-
-
-from pyxllib.basic import func_input_message, dprint, natural_sort_key, Path, refinepath
-from pyxllib.debug._1_typelib import prettifystr
-from pyxllib.debug._2_chrome import viewfiles
-
-
-def intersection_split(a, b):
-    """输入两个对象a,b，可以是dict或set类型，list等
-
-    会分析出二者共有的元素值关系
-    返回值是 ls1, ls2, ls3, ls4，大部分是list类型，但也有可能遵循原始情况是set类型
-        ls1：a中，与b共有key的元素值
-        ls2：a中，独有key的元素值
-        ls3：b中，与a共有key的元素值
-        ls4：b中，独有key的元素值
-    """
-    # 1 获得集合的key关系
-    keys1 = set(a)
-    keys2 = set(b)
-    keys0 = keys1 & keys2  # 两个集合共有的元素
-
-    # TODO 如果是字典，希望能保序
-
-    # 2 组合出ls1、ls2、ls3、ls4
-
-    def split(t, s, ks):
-        """原始元素为t，集合化的值为s，共有key是ks"""
-        if isinstance(t, (set, list, tuple)):
-            return ks, s - ks
-        elif isinstance(t, dict):
-            ls1 = sorted(map(lambda x: (x, t[x]), ks), key=lambda x: natural_sort_key(x[0]))
-            ls2 = sorted(map(lambda x: (x, t[x]), s - ks), key=lambda x: natural_sort_key(x[0]))
-            return ls1, ls2
-        else:
-            dprint(type(s))  # s不是可以用来进行集合规律分析的类型
-            raise ValueError
-
-    ls1, ls2 = split(a, keys1, keys0)
-    ls3, ls4 = split(b, keys2, keys0)
-    return ls1, ls2, ls3, ls4
-
-
-def bcompare(oldfile, newfile=None, basefile=None, wait=True, sameoff=False, oldfilename=None, newfilename=None):
-    """ 调用Beyond Compare软件对比两段文本（请确保有把BC的bcompare.exe加入环境变量）
-
-    :param oldfile:
-    :param newfile:
-    :param basefile: 一般用于冲突合并时，oldfile、newfile共同依赖的旧版本
-    :param wait: 见viewfiles的kwargs参数解释
-        一般调用bcompare的时候，默认值wait=True，python是打开一个子进程并等待bcompare软件关闭后，才继续执行后续代码。
-        如果你的业务场景并不需要等待bcompare关闭后执行后续python代码，可以设为wait=False，不等待。
-    :param sameoff: 如果设为True，则会判断内容，两份内容如果相同则不打开bc
-        这个参数一定程度会影响性能，非必要的时候不要开。
-        或者在外部的时候，更清楚数据情况，可以在外部判断内容不重复再跑bcompare函数。
-    :param oldfilename: 强制指定旧的文件名，如果oldfile已经是一个文件路径，则不生效
-    :param newfilename: 强制指定新的文件名，如果newfile已经是一个文件路径，则不生效
-    :return: 程序返回被修改的oldfile内容
-        注意如果没有修改，或者wait=False，会返回原始值
-    这在进行调试、检测一些正则、文本处理算法是否正确时，特别方便有用
-    >> bcompare('oldfile.txt', 'newfile.txt')
-
-    180913周四：如果第1、2个参数都是set或都是dict，会进行特殊的文本化后比较
-    """
-    # 1 如果oldfile和newfile都是dict、set、list、tuple，则使用特殊方法文本化
-    #   如果两个都是list，不应该提取key后比较，所以限制第1个类型必须是dict或set，然后第二个类型可以适当放宽条件
-    if not oldfile: oldfile = str(oldfile)
-    if isinstance(oldfile, (dict, set)) and isinstance(newfile, (dict, set, list, tuple)):
-        t = [prettifystr(li) for li in intersection_split(oldfile, newfile)]
-        oldfile = f'【共有部分】，{t[0]}\n\n【独有部分】，{t[1]}'
-        newfile = f'【共有部分】，{t[2]}\n\n【独有部分】，{t[3]}'
-
-    # 2 获取文件扩展名ext
-    if Path(oldfile).is_file():
-        ext = Path(oldfile).suffix
-    elif Path(newfile).is_file():
-        ext = Path(newfile).suffix
-    elif Path(basefile).is_file():
-        ext = Path(basefile).suffix
-    else:
-        ext = '.txt'  # 默认为txt文件
-
-    # 3 生成所有文件
-    ls = []
-    names = func_input_message()['argnames']
-    if not names[0]:
-        names = ('oldfile.txt', 'newfile.txt', 'basefile.txt')
-
-    def func(file, d):
-        if file is not None:
-            p = Path(file)
-            if p.is_file():
-                ls.append(p.fullpath)
-            else:
-                if d == 0 and oldfilename:
-                    name = oldfilename
-                elif d == 1 and newfilename:
-                    name = newfilename
-                else:
-                    name = refinepath(names[d] + ext)
-                ls.append(Path(name, root=Path.TEMP).write(file, if_exists='replace').fullpath)
-
-    func(oldfile, 0)
-    func(newfile, 1)
-    func(basefile, 2)  # 注意这里不要写names[2]，因为names[2]不一定有存在
-
-    # 4 调用程序（并计算外部操作时间）
-    if sameoff:
-        if Path(ls[0]).read() != Path(ls[1]).read():
-            viewfiles('BCompare.exe', *ls, wait=wait)
-    else:
-        viewfiles('BCompare.exe', *ls, wait=wait)
-    return Path(ls[0]).read()
-
-
-def refine_file(file, func, *args, file_mode=None, debug=False, **kwargs):
-    """ 对单个文件就行优化的功能函数
-
-    :param file_mode: 指定文件读取类型格式，例如'.json'是json文件，读取为字典
-    :param debug: 如果设置 debug=True，则会打开BC比较差异，否则就是静默替换
-    """
-    p = Path(file)
-    data = p.read(mode=file_mode)
-    origin_content = str(data)
-    new_data = func(data, *args, **kwargs)
-
-    isdiff = origin_content != str(new_data)
-    if isdiff:
-        if debug:
-            temp_file = Path('refine_file', p.suffix, root=Path.TEMP).write(new_data, if_exists='replace').fullpath
-            bcompare(file, temp_file)  # 使用beyond compare软件打开对比查看
-        else:
-            p.write(new_data, mode=file_mode, if_exists='replace')  # 直接原地替换
-
-    return isdiff

pyxllib/debug/__init__.py

@@ -1,49 +0,0 @@
-#!/usr/bin/env python3
-# -*- coding: utf-8 -*-
-# @Author : 陈坤泽
-# @Email  : 877362867@qq.com
-# @Data   : 2020/06/02 15:48
-
-"""调试功能，通用底层功能
-
-文中所有前缀4个下划线_的是模块划分标记，且
-    前4个下划线_是一级结构
-    前8个下划线_是二级结构
-
-相关文档： https://blog.csdn.net/code4101/article/details/83269101
-"""
-
-____main = """
-这里会加载好主要功能，但并不会加载所有功能
-"""
-
-from ._0_installer import *
-from ._1_typelib import *
-from ._2_chrome import *
-from ._3_showdir import *
-from ._4_bcompare import *
-
-____other = """
-"""
-
-
-def render_echart(ob, name, show=False):
-    """ 渲染显示echart图表
-
-    https://www.yuque.com/xlpr/pyxllib/render_echart
-
-    :param ob: 一个echart图表对象
-    :param name: 存储的文件名
-    :param show: 是否要立即在浏览器显示
-    :return: 存储的文件路径
-    """
-    # 如果没有设置页面标题，则默认采用文件名作为标题
-    if not ob.page_title or ob.page_title == 'Awesome-pyecharts':
-        ob.page_title = name
-    f = ob.render(Path(f'{name}.html', root=Path.TEMP).fullpath)
-    if show: chrome(f)
-    return f
-
-
-if __name__ == '__main__':
-    pass

pyxllib/debug/bcompare.py

@@ -1,132 +0,0 @@
-#!/usr/bin/env python3
-# -*- coding: utf-8 -*-
-# @Author : 陈坤泽
-# @Email  : 877362867@qq.com
-# @Data   : 2020/06/01 18:13
-
-
-from pyxllib.basic import func_input_message, dprint, natural_sort_key, Path, refinepath
-from .typelib import prettifystr
-from .chrome import viewfiles
-
-
-def intersection_split(a, b):
-    """输入两个对象a,b，可以是dict或set类型，list等
-
-    会分析出二者共有的元素值关系
-    返回值是 ls1, ls2, ls3, ls4，大部分是list类型，但也有可能遵循原始情况是set类型
-        ls1：a中，与b共有key的元素值
-        ls2：a中，独有key的元素值
-        ls3：b中，与a共有key的元素值
-        ls4：b中，独有key的元素值
-    """
-    # 1 获得集合的key关系
-    keys1 = set(a)
-    keys2 = set(b)
-    keys0 = keys1 & keys2  # 两个集合共有的元素
-
-    # TODO 如果是字典，希望能保序
-
-    # 2 组合出ls1、ls2、ls3、ls4
-
-    def split(t, s, ks):
-        """原始元素为t，集合化的值为s，共有key是ks"""
-        if isinstance(t, (set, list, tuple)):
-            return ks, s - ks
-        elif isinstance(t, dict):
-            ls1 = sorted(map(lambda x: (x, t[x]), ks), key=lambda x: natural_sort_key(x[0]))
-            ls2 = sorted(map(lambda x: (x, t[x]), s - ks), key=lambda x: natural_sort_key(x[0]))
-            return ls1, ls2
-        else:
-            dprint(type(s))  # s不是可以用来进行集合规律分析的类型
-            raise ValueError
-
-    ls1, ls2 = split(a, keys1, keys0)
-    ls3, ls4 = split(b, keys2, keys0)
-    return ls1, ls2, ls3, ls4
-
-
-def bcompare(oldfile, newfile=None, basefile=None, wait=True, sameoff=False):
-    """ 调用Beyond Compare软件对比两段文本（请确保有把BC的bcompare.exe加入环境变量）
-
-    :param oldfile:
-    :param newfile:
-    :param basefile: 一般用于冲突合并时，oldfile、newfile共同依赖的旧版本
-    :param wait: 见viewfiles的kwargs参数解释
-        一般调用bcompare的时候，默认值wait=True，python是打开一个子进程并等待bcompare软件关闭后，才继续执行后续代码。
-        如果你的业务场景并不需要等待bcompare关闭后执行后续python代码，可以设为wait=False，不等待。
-    :param sameoff: 如果设为True，则会判断内容，两份内容如果相同则不打开bc
-        这个参数一定程度会影响性能，非必要的时候不要开。
-        或者在外部的时候，更清楚数据情况，可以在外部判断内容不重复再跑bcompare函数。
-    :return: 程序返回被修改的oldfile内容
-        注意如果没有修改，或者wait=False，会返回原始值
-    这在进行调试、检测一些正则、文本处理算法是否正确时，特别方便有用
-    >> bcompare('oldfile.txt', 'newfile.txt')
-
-    180913周四：如果第1、2个参数都是set或都是dict，会进行特殊的文本化后比较
-    """
-    # 1 如果oldfile和newfile都是dict、set、list、tuple，则使用特殊方法文本化
-    #   如果两个都是list，不应该提取key后比较，所以限制第1个类型必须是dict或set，然后第二个类型可以适当放宽条件
-    if not oldfile: oldfile = str(oldfile)
-    if isinstance(oldfile, (dict, set)) and isinstance(newfile, (dict, set, list, tuple)):
-        t = [prettifystr(li) for li in intersection_split(oldfile, newfile)]
-        oldfile = f'【共有部分】，{t[0]}\n\n【独有部分】，{t[1]}'
-        newfile = f'【共有部分】，{t[2]}\n\n【独有部分】，{t[3]}'
-
-    # 2 获取文件扩展名ext
-    if Path(oldfile).is_file():
-        ext = Path(oldfile).suffix
-    elif Path(newfile).is_file():
-        ext = Path(newfile).suffix
-    elif Path(basefile).is_file():
-        ext = Path(basefile).suffix
-    else:
-        ext = '.txt'  # 默认为txt文件
-
-    # 3 生成所有文件
-    ls = []
-    names = func_input_message()['argnames']
-    if not names[0]:
-        names = ('oldfile.txt', 'newfile.txt', 'basefile.txt')
-
-    def func(file, d):
-        if file is not None:
-            p = Path(file)
-            if p.is_file():
-                ls.append(p.fullpath)
-            else:
-                ls.append(Path(refinepath(names[d] + ext), root=Path.TEMP).write(file, if_exists='replace').fullpath)
-
-    func(oldfile, 0)
-    func(newfile, 1)
-    func(basefile, 2)  # 注意这里不要写names[2]，因为names[2]不一定有存在
-
-    # 4 调用程序（并计算外部操作时间）
-    if sameoff:
-        if Path(ls[0]).read() != Path(ls[1]).read():
-            viewfiles('BCompare.exe', *ls, wait=wait)
-    else:
-        viewfiles('BCompare.exe', *ls, wait=wait)
-    return Path(ls[0]).read()
-
-
-def refine_file(file, func, *args, file_mode=None, debug=False, **kwargs):
-    """ 对单个文件就行优化的功能函数
-
-    :param file_mode: 指定文件读取类型格式，例如'.json'是json文件，读取为字典
-    :param debug: 如果设置 debug=True，则会打开BC比较差异，否则就是静默替换
-    """
-    p = Path(file)
-    data = p.read(mode=file_mode)
-    origin_content = str(data)
-    new_data = func(data, *args, **kwargs)
-
-    isdiff = origin_content != str(new_data)
-    if isdiff:
-        if debug:
-            temp_file = Path('refine_file', p.suffix, root=Path.TEMP).write(new_data, if_exists='replace').fullpath
-            bcompare(file, temp_file)  # 使用beyond compare软件打开对比查看
-        else:
-            p.write(new_data, mode=file_mode, if_exists='replace')  # 直接原地替换
-
-    return isdiff

pyxllib/debug/chrome.py

@@ -1,198 +0,0 @@
-#!/usr/bin/env python3
-# -*- coding: utf-8 -*-
-# @Author : 陈坤泽
-# @Email  : 877362867@qq.com
-# @Data   : 2020/05/30 22:43
-
-
-import html
-import subprocess
-import pandas as pd
-
-from .typelib import *
-
-
-def getasizeof(*objs, **opts):
-    """获得所有类的大小，底层用pympler.asizeof实现"""
-    from pympler import asizeof
-
-    try:
-        res = asizeof.asizeof(*objs, **opts)
-    # except TypeError:  # sqlalchemy.exc.InvalidRequestError
-    except:
-        res = -1
-    return res
-
-
-def viewfiles(procname, *files, **kwargs):
-    """调用procname相关的文件程序打开files
-    :param procname: 程序名
-    :param files: 一个文件名参数清单，每一个都是文件路径，或者是字符串等可以用writefile转成文件的路径
-    :param kwargs:
-        save: 如果True，则会按时间保存文件名；否则采用特定名称，每次运行就会把上次的覆盖掉
-        wait: 是否等待当前进程结束后，再运行后续py代码
-        filename: 控制写入的文件名
-        TODO：根据不同软件，这里还可以扩展很多功能
-    :param kwargs:
-        wait:
-            True：在同一个进程中执行子程序，即会等待bc退出后，再进入下一步
-            False：在新的进程中执行子程序
-
-    细节：注意bc跟其他程序有比较大不同，建议使用专用的bcompare函数
-    目前已知可以扩展多文件的有：chrome、notepad++、texstudio
-
-    >> ls = list(range(100))
-    >> viewfiles('notepad++', ls, save=True)
-    """
-    # 1 生成文件名
-    ls = []  # 将最终所有绝对路径文件名存储到ls
-    save = kwargs.get('save')
-
-    basename = ext = None
-    if 'filename' in kwargs and kwargs['filename']:
-        basename, ext = os.path.splitext(kwargs['filename'])
-
-    for i, t in enumerate(files):
-        if Path(t).is_file() or is_url(t):
-            ls.append(str(t))
-        else:
-            bn = basename or ''
-            ls.append(Path(bn, ext, Path.TEMP).write(t, if_exists=kwargs.get('if_exists', 'error')).fullpath)
-
-    # 2 调用程序（并计算外部操作时间）
-    tictoc = TicToc()
-    try:
-        if kwargs.get('wait'):
-            subprocess.run([procname, *ls])
-        else:
-            subprocess.Popen([procname, *ls])
-    except FileNotFoundError:
-        if procname in ('chrome', 'chrome.exe'):
-            procname = 'explorer'  # 如果是谷歌浏览器找不到，尝试用系统默认浏览器
-            viewfiles(procname, *files, **kwargs)
-        else:
-            raise FileNotFoundError(f'未找到程序：{procname}。请检查是否有安装及设置了环境变量。')
-    return tictoc.tocvalue()
-
-
-def chrome(arg_, **kwargs):
-    r"""使用谷歌浏览器查看变量、文件等内容，详细用法见底层函数 viewfiles
-
-    :param arg_: 支持输入多种类型
-        文件、url，会用浏览器直接打开
-        dict，会先转df
-    :param kwargs: 如果数据可以转为df，在使用to_html接口的时候可以设置相关格式参数，常用的有
-        escape=True，是否解析html内容，默认True不解析
-
-    >> chrome(r'C:\Users\kzche\Desktop\b.xml')  # 使用chrome查看文件内容
-    >> chrome('aabb')  # 使用chrome查看一个字符串值
-    >> chrome([123, 456])  # 使用chrome查看一个变量值
-
-    这个函数可以浏览文本、list、dict、DataFrame表格数据、图片、html等各种文件的超级工具
-    """
-    # 1 如果是文件、url，则直接打开
-    if is_file(arg_) or is_url(arg_):
-        viewfiles('chrome.exe', arg_)
-        return
-
-    # 2 如果是其他类型，则先转成文件，再打开
-    arg = try2df(arg_)
-    if isinstance(arg, pd.DataFrame):  # DataFrame在网页上有更合适的显示效果
-        t = f'==== 类继承关系：{inspect.getmro(type(arg_))}，' \
-            + f'内存消耗：{sys.getsizeof(arg_)}（递归子类总大小：{getasizeof(arg_)}）Byte ===='
-        t = '<p>' + html.escape(t) + '</p>'
-        content = arg.to_html(**kwargs)
-        filename = Path('', '.html', Path.TEMP).write(t + content, etag=True, if_exists='ignore')
-        viewfiles('chrome.exe', str(filename))
-    elif getattr(arg, 'render', None):  # pyecharts 等表格对象，可以用render生成html表格显示
-        try:
-            name = arg.options['title'][0]['text']
-        except (LookupError, TypeError):
-            name = Datetime().strftime('%H%M%S_%f')
-        filename = Path(name, '.html', Path.TEMP).fullpath
-        arg.render(path=filename)
-        viewfiles('chrome.exe', filename)
-    else:
-        name = Datetime().strftime('%H%M%S_%f')
-        filename = Path(name, '.txt', Path.TEMP).write(arg).fullpath
-        viewfiles('chrome.exe', filename)
-
-
-def view_jsons_kv(fd, files='**/*.json', encoding=None, max_items=10, max_value_length=100):
-    """ demo_keyvaluescounter，查看目录下json数据的键值对信息
-    :param fd: 目录
-    :param files: 匹配的文件格式
-    :param encoding: 文件编码
-    :param max_items: 项目显示上限，有些数据项目太多了，要精简下
-            设为假值则不设上限
-    :param max_value_length: 添加的值，进行截断，防止有些值太长
-    :return:
-    """
-    kvc = KeyValuesCounter()
-    d = Dir(fd)
-    for p in d.select(files).filepaths:
-        # print(p)
-        data = p.read(encoding=encoding, mode='.json')
-        kvc.add(data, max_value_length=max_value_length)
-    p = Path(r'demo_keyvaluescounter.html', root=Path.TEMP)
-    p.write(kvc.to_html_table(max_items=max_items), if_exists='replace')
-    chrome(p.fullpath)
-
-
-def check_repeat_filenames(dir, key='stem', link=True):
-    """ 检查目录下文件结构情况的功能函数
-
-    https://www.yuque.com/xlpr/pyxllib/check_repeat_filenames
-
-    :param dir: 目录Dir类型，也可以输入路径，如果没有files成员，则默认会获取所有子文件
-    :param key: 以什么作为行分组的key名称，基本上都是用'stem'，偶尔可能用'name'
-        遇到要忽略 -eps-to-pdf.pdf 这种后缀的，也可以自定义处理规则
-        例如 key=lambda p: re.sub(r'-eps-to-pdf', '', p.stem).lower()
-    :param link: 默认True会生成文件超链接
-    :return: 一个df表格，行按照key的规则分组，列默认按suffix扩展名分组
-    """
-    # 1 智能解析dir参数
-    if not isinstance(dir, Dir):
-        dir = Dir(dir)
-    if not dir.files:
-        dir = dir.select('**/*', type_='file')
-
-    # 2 辅助函数，智能解析key参数
-    if isinstance(key, str):
-        def extract_key(p):
-            return getattr(p, key).lower()
-    elif callable(key):
-        extract_key = key
-    else:
-        raise TypeError
-
-    # 3 制作df表格数据
-    columns = ['key', 'suffix', 'filename']
-    li = []
-    for f in dir.files:
-        p = Path(f)
-        li.append([extract_key(p), p.suffix.lower(), f])
-    df = pd.DataFrame.from_records(li, columns=columns)
-
-    # 4 分组
-    def joinfile(files):
-        if len(files):
-            if link:
-                return ', '.join([f'<a href="{dir / f}" target="_blank">{f}</a>' for f in files])
-            else:
-                return ', '.join(files)
-        else:
-            return ''
-
-    groups = df.groupby(['key', 'suffix']).agg({'filename': joinfile})
-    groups.reset_index(inplace=True)
-    view_table = groups.pivot(index='key', columns='suffix', values='filename')
-    view_table.fillna('', inplace=True)
-
-    # 5 判断每个key的文件总数
-    count_df = df.groupby('key').agg({'filename': 'count'})
-    view_table = pd.concat([view_table, count_df], axis=1)
-    view_table.rename({'filename': 'count'}, axis=1, inplace=True)
-
-    chrome(view_table, escape=not link)
-    return df

pyxllib/debug/installer.py

@@ -1,38 +0,0 @@
-#!/usr/bin/env python3
-# -*- coding: utf-8 -*-
-# @Author : 陈坤泽
-# @Email  : 877362867@qq.com
-# @Data   : 2020/08/14 22:20
-
-
-import subprocess
-
-try:
-    from pympler import asizeof
-except ModuleNotFoundError:
-    subprocess.run(['pip', 'install', 'pympler'])
-    from pympler import asizeof
-
-try:
-    import lxml
-except ModuleNotFoundError:
-    # 好像很多人这个库都装不上，好奇怪~~在命令行装就可以
-    subprocess.run(['pip', 'install', 'lxml'])
-    import lxml
-
-try:
-    import bs4
-except:
-    subprocess.run(['pip', 'install', 'beautifulsoup4'])
-
-try:
-    import numpy as np
-except:
-    subprocess.run(['pip', 'install', 'numpy'])
-
-try:
-    import pandas as pd
-except:
-    subprocess.run(['pip', 'install', 'Jinja2'])
-    subprocess.run(['pip', 'install', 'pandas>=0.23.4'])
-    import pandas as pd