pyxllib 0.3.115__tar.gz → 0.3.116__tar.gz

{pyxllib-0.3.115/pyxllib.egg-info → pyxllib-0.3.116}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: pyxllib
-Version: 0.3.115
+Version: 0.3.116
 Summary: 厦门理工模式识别团队通用python代码工具库
 Home-page: https://github.com/XLPRUtils/pyxllib
 Author: code4101
@@ -15,6 +15,7 @@ Requires-Python: >=3.6
 Description-Content-Type: text/markdown
 Provides-Extra: xlcv
 Provides-Extra: xlai
+Provides-Extra: xlall
 License-File: LICENSE
 
 # 1 install

{pyxllib-0.3.115 → pyxllib-0.3.116}/pyxllib/algo/pupil.py

@@ -455,9 +455,10 @@ def matchpairs(xs, ys, cmp_func, least_score=sys.float_info.epsilon, *,
 def get_number_width(n):
     """ 判断数值n的长度
 
+    参考资料：https://jstrieb.github.io/posts/digit-length/
+
     >>> get_number_width(0)
-    Traceback (most recent call last):
-    AssertionError
+    1
     >>> get_number_width(9)
     1
     >>> get_number_width(10)
@@ -465,8 +466,10 @@ def get_number_width(n):
     >>> get_number_width(97)
     2
     """
-    assert n > 0
-    return math.ceil(math.log10(n + 1))
+    # assert n > 0
+    # return math.ceil(math.log10(n + 1))
+
+    return 1 if n == 0 else (math.floor(math.log10(n)) + 1)
 
 
 class SearchBase:

{pyxllib-0.3.115 → pyxllib-0.3.116}/pyxllib/algo/stat.py

@@ -449,7 +449,7 @@ def print_full_dataframe(df):
                            'display.max_colwidth', None):
         print(df)
 
-    pd.options('display.max_rows', 60)
+    pd.options.display.max_rows = 60
 
 
 def custom_fillna(df, default_fill_value='', numeric_fill_value=None, specific_fill=None):

{pyxllib-0.3.115 → pyxllib-0.3.116}/pyxllib/file/specialist/filelib.py

@@ -887,6 +887,7 @@ class XlPath(type(pathlib.Path())):
             return 0
 
     def mtime(self):
+        """ 文件的修改时间 """
         # windows会带小数，linux使用%Ts只有整数部分。
         # 这里不用四舍五入，取整数部分就是对应的。
         return int(os.stat(self).st_mtime)
@@ -1287,6 +1288,7 @@ class XlPath(type(pathlib.Path())):
 
     def write_auto(self, data, *args, if_exists=None, **kwargs):
         """ 根据文件后缀自动识别写入函数 """
+        self.parent.mkdir(exist_ok=True, parents=True)
         mode = self.suffix.lower()[1:]
         write_func = getattr(self, 'write_' + mode, None)
         if self.exist_preprcs(if_exists):
@@ -2283,8 +2285,11 @@ class PathGroups(Groups):
         return ls
 
 
-def cache_file(file, make_data_func: Callable[[], Any] = None, *, reset=False, **kwargs):
-    """ 局部函数功能结果缓存
+def cache_file(file, make_data_func: Callable[[], Any] = None, *,
+               mode='read_first',
+               cache_time=None,
+               **kwargs):
+    """ 能将局部函数功能结果缓存进文件的功能
 
     输入的文件file如果存在则直接读取内容；
     否则用make_data_func生成，并且备份一个file文件
@@ -2292,20 +2297,51 @@ def cache_file(file, make_data_func: Callable[[], Any] = None, *, reset=False, *
     :param file: 需要缓存的文件路径
     :param make_data_func: 如果文件不存在，则需要生成一份，要提供数据生成函数
         cache_file可以当装饰器用，此时不用显式指定该参数
-    :param reset: 如果file是否已存在，都用make_data_func强制重置一遍
+    :param mode:
+        read_first（默认）: 优先尝试从已有文件读取
+        generate_first: 函数生成优先
+    :param cache_time: 文件缓存时间，单位为秒，默认为None，表示始终使用缓存文件
+        如果设置60，表示超过60秒后，需要重新优先从函数获得更新内容
     :param kwargs: 可以传递read、write支持的扩展参数
-    :return: 从缓存文件直接读取到的数据
+    :return: 读取到的数据
     """
+    from datetime import datetime, timedelta
+    from pyxllib.prog.pupil import format_exception
 
     def decorator(func):
         def wrapper(*args2, **kwargs2):
+
             f = XlPath.init(file, XlPath.tempdir())
-            if f.exists() and not reset:  # 文件存在，直接读取返回
-                data = f.read_auto(**kwargs)
-            else:  # 文件不存在则要生成一份数据
+
+            # 1 优先看是不是需要先从文件读取数据
+            if mode == 'read_first' and f.is_file():
+                if cache_time is None:
+                    return f.read_auto(**kwargs)
+
+                current_time = datetime.now()
+                last_modified = datetime.fromtimestamp(f.mtime())  # 获取文件的修改时间
+                if not isinstance(cache_time, timedelta):
+                    cache_time2 = timedelta(seconds=cache_time)
+                else:
+                    cache_time2 = cache_time
+
+                if cache_time is None or (current_time - last_modified <= cache_time2):
+                    return f.read_auto(**kwargs)
+
+            # 2 如果需要重新生成数据，且没有已存在的保底文件
+            if not f.is_file():
                 data = func(*args2, **kwargs2)
                 f.write_auto(data, **kwargs)
-            return data
+                return data
+
+            # 3 需要重新生成，但是有保底文件
+            try:
+                data = func(*args2, **kwargs2)
+                f.write_auto(data, **kwargs)
+                return data
+            except Exception as e:
+                print(format_exception(e))
+                return f.read_auto(**kwargs)
 
         return wrapper
 

{pyxllib-0.3.115 → pyxllib-0.3.116}/pyxllib/file/xlsxlib.py

@@ -36,6 +36,7 @@ from openpyxl import Workbook
 from openpyxl.cell.cell import MergedCell
 from openpyxl.styles import Font, Alignment
 from openpyxl.utils.cell import get_column_letter, column_index_from_string
+import openpyxl.worksheet.formula
 import pandas as pd
 
 try:
@@ -518,7 +519,7 @@ def is_string_type(value):
     try:
         pd.to_datetime(value, errors='raise')
         return False
-    except (ValueError, TypeError, OverflowError):
+    except (ValueError, TypeError, OverflowError, AttributeError):
         pass
 
     # 检查是否为浮点数类型
@@ -573,10 +574,18 @@ class XlCell(openpyxl.cell.cell.Cell):  # 适用于 openpyxl.cell.cell.MergedCel
 
         TODO 这个函数还是可以看看能不能有更好的实现、提速
         """
+
+        def try_offset(x, y):
+            try:
+                return isinstance(self.offset(x, y), MergedCell)
+            except ValueError:
+                # 有可能会越界：ValueError: Row numbers must be between 1 and 1048576
+                return False
+
         _type, status = 0, {}
         if isinstance(self, MergedCell):
             _type = 1
-        elif isinstance(self.offset(1, 0), MergedCell) or isinstance(self.offset(0, 1), MergedCell):
+        elif try_offset(1, 0) or try_offset(0, 1):
             # 这里只能判断可能是合并单元格，具体是不是合并单元格，还要
             rng = self.in_range()
             status['rng'] = rng
@@ -761,7 +770,10 @@ class XlCell(openpyxl.cell.cell.Cell):  # 适用于 openpyxl.cell.cell.MergedCel
         注意，遇到公式是很难计算处理的，大概率只能保持原公式显示
         因为日期用的比较多，需要时常获得真实的渲染效果，所以这里封装一个接口
         """
+
         x = self.value
+        if isinstance(x, openpyxl.worksheet.formula.ArrayFormula):  # 数组公式要特别渲染
+            return x.text
         xl_fmt = self.get_number_format()
         return xl_render_value(x, xl_fmt)
 

{pyxllib-0.3.115 → pyxllib-0.3.116}/pyxllib/prog/cachetools.py

@@ -24,6 +24,8 @@ from cached_property import cached_property_with_ttl  # 限时缓存，单位秒
 from cached_property import threaded_cached_property_with_ttl  # 线程 + 限时
 
 
+# todo 240609周日21:19 https://github.com/awolverp/cachebox，据说这个缓存库速度更快的多
+
 # 进一步封装的更通用、自己常用的装饰器
 
 def xlcache(maxsize=128, *, ttl=None, lock=None, property=False):

{pyxllib-0.3.115 → pyxllib-0.3.116}/pyxllib/prog/pupil.py

@@ -555,6 +555,9 @@ class Timeout:
         return wrapper
 
     def __enter__(self):
+        if self.seconds == 0:  # 可以设置0来关闭超时功能
+            return
+
         def overtime(signum, frame):
             raise TimeoutError(f'with 上下文代码块运行超时 > [{self.seconds} 秒]')
 
@@ -568,6 +571,9 @@ class Timeout:
         self.alarm.start()
 
     def __exit__(self, exc_type, exc_val, exc_tb):
+        if self.seconds == 0:
+            return
+
         # with已经运行完了，马上关闭警告器
         self.alarm.cancel()
 
@@ -973,30 +979,78 @@ class OutputLogger(logging.Logger):
         self.print(msg)
 
 
+class ProcessWorker:
+    """ 代表一个单独的工作进程 """
+
+    def __init__(self, name, process, port=None, locations=None,
+                 raw_cmd=None):
+        """
+
+        :param name: 进程昵称
+        :param process: 进程对象
+        :param port: 是否有执行所在端口
+        :param locations: 是否有url地址映射，一般用于nginx等配置
+        """
+        self.name = name
+        self.process = process
+        self.port = port
+        self.locations = locations
+        self.raw_cmd = raw_cmd
+
+    def terminate(self):
+        """ 比较优雅结束进程的方法 """
+        if self.process is not None:
+            self.process.terminate()
+
+    def kill(self):
+        """ 有时候需要强硬的kill方法来结束进程 """
+        if self.process is not None:
+            self.process.kill()
+
+
 class MultiProcessLauncher:
     """ 注意这个类暂时只有linux能使用 """
 
     def __init__(self):
         self.workers = []
 
-    def add_process_cmd(self, cmd, name=None, **kwargs):
+    def add_process_cmd(self,
+                        cmd,
+                        name=None,
+                        shell=False,
+                        **kwargs):
+        """
+
+        :param shell: 默认直接跟系统交互，此时cmd应该输入数组格式
+            如果shell=True，则启用shell进行交互操作，这种情况会更适合管道等模式的处理，此时cmd应该输入字符串格式
+
+        """
         if name is None:
-            name = cmd.split()[0]
+            cmd2 = cmd.split() if isinstance(cmd, str) else cmd
+            name = cmd2[0]
 
-        p = subprocess.Popen(cmd.split(), preexec_fn=self._set_pdeathsig(signal.SIGTERM))
-        worker = {'name': name, 'process': p, 'command': cmd}
-        worker.update(kwargs)
+        proc = subprocess.Popen(cmd,
+                                shell=shell,
+                                preexec_fn=self._set_pdeathsig())
+
+        worker = ProcessWorker(name, proc, raw_cmd=cmd, **kwargs)
         self.workers.append(worker)
+        return worker
 
-    def add_process_python_module(self, module, args='', name=None):
+    def add_process_python_module(self, module, args='', name=None, shell=False):
         """ 添加并启动一个Python模块作为后台进程。
 
         :param module: 要执行的Python模块名（python -m 后面的部分）
-        :param args: 模块的参数
+        :param str|list args: 模块的参数
         :param name: 进程的名称，默认为模块名
         """
-        cmd = f'{sys.executable} -m {module} {args}'
-        self.add_process_cmd(cmd, name=name)
+        cmd = [f'{sys.executable}', '-m', f'{module}']
+        if isinstance(args, str):
+            cmd.append(args)
+        else:
+            cmd += list(args)
+
+        return self.add_process_cmd(cmd, name, shell=shell)
 
     def stop_all(self):
         """ 停止所有后台进程 """
@@ -1004,14 +1058,48 @@ class MultiProcessLauncher:
             worker.process.terminate()
         self.workers = []
 
-    def _set_pdeathsig(self, sig=signal.SIGTERM):
+    def _set_pdeathsig(self, sig=None):
         """ 在主服务退出时，这些进程也会全部自动关闭 """
 
         def callable():
+            import signal
+            sig2 = signal.SIGTERM if sig is None else sig
             libc = ctypes.CDLL("libc.so.6")
-            return libc.prctl(1, sig)
+            return libc.prctl(1, sig2)
+
+        if sys.platform == 'win32':
+            # windows系统暂设为空
+            return None
+        else:
+            return callable
 
-        return callable
+    def run_endless(self):
+        """ 一直运行，直到用户输入kill命令
+
+        poll：
+            如果进程仍在运行，poll()方法返回None。
+            如果进程已经结束，poll()方法返回进程的退出码（exit code）。
+                如果进程正常结束，退出码通常为0。
+                如果进程异常结束，退出码通常是一个非零值，表示异常的类型或错误码。
+        """
+        import pandas as pd
+        from pyxllib.algo.stat import print_full_dataframe
+
+        while True:
+            cmd = input('>>>')
+            if cmd == 'kill':
+                self.stop_all()
+                break
+            elif cmd == 'count':
+                # 需要实际检查现有进程
+                m = sum([1 for worker in self.workers if worker.process.poll() is None])
+                print(f'有{m}个进程正在运行')
+            elif cmd == 'list':  # 列出所有进程（转df查看）
+                ls = []
+                for worker in self.workers:
+                    ls.append([worker.name, worker.process.pid, worker.process.poll(), worker.raw_cmd])
+                df = pd.DataFrame(ls, columns=['name', 'pid', 'poll', 'args'])
+                print_full_dataframe(df)
 
 
 def xlmd5(content):
@@ -1096,6 +1184,8 @@ def safe_div(a, b):
 
 def inplace_decorate(parent, func_name, wrapper):
     """ 将指定的函数替换为装饰器版本
+    允许在运行时动态地将一个函数或方法替换为其装饰版本。通常用于添加日志、性能测试、事务处理等。
+    （既然可以写成装饰版本，相当于其实要完全替换成另外的函数也是可以的）
 
     当然，因为py一切皆对象，这里处理的不是函数，而是其他变量等对象也是可以的
 

{pyxllib-0.3.115 → pyxllib-0.3.116/pyxllib.egg-info}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: pyxllib
-Version: 0.3.115
+Version: 0.3.116
 Summary: 厦门理工模式识别团队通用python代码工具库
 Home-page: https://github.com/XLPRUtils/pyxllib
 Author: code4101
@@ -15,6 +15,7 @@ Requires-Python: >=3.6
 Description-Content-Type: text/markdown
 Provides-Extra: xlcv
 Provides-Extra: xlai
+Provides-Extra: xlall
 License-File: LICENSE
 
 # 1 install

{pyxllib-0.3.115 → pyxllib-0.3.116}/pyxllib.egg-info/requires.txt

@@ -21,12 +21,20 @@ Jinja2
 pandas>=0.23.4
 
 [xlai]
-visdom
+opsdroid-get-image-size
 pillow
+pynvml
+xlcocotools
+visdom
 opencv-python
+
+[xlall]
 opsdroid-get-image-size
-xlcocotools
+pillow
 pynvml
+xlcocotools
+visdom
+opencv-python
 
 [xlcv]
 opsdroid-get-image-size

{pyxllib-0.3.115 → pyxllib-0.3.116}/setup.py

@@ -28,18 +28,23 @@ xlcocotools
 
 # 全量的依赖，自用
 xlall = """
+flask
+flask-cors
 xlrd
-flask_wtf
-flask_restful
+flask-wtf
+flask-restful
 zhconv
 sentencepiece
+ujson
+html2text
+flask-jwt-extended
 """
 
 _dir = Path(__file__).parent
 
 setup(
     name='pyxllib',  # pip 安装时用的名字
-    version='0.3.115',  # 当前版本，每次更新上传到pypi都需要修改; 第4位版本号一般是修紧急bug
+    version='0.3.116',  # 当前版本，每次更新上传到pypi都需要修改; 第4位版本号一般是修紧急bug
     author='code4101',
     author_email='877362867@qq.com',
     url='https://github.com/XLPRUtils/pyxllib',
@@ -67,5 +72,7 @@ setup(
     # ①静态版：pip install pyxllib[xlcv]
     # ②开发版：python setup.py develop easy_install pyxllib[xlcv]
     extras_require={'xlcv': '\n'.join(set((xlcv).splitlines())),
-                    'xlai': '\n'.join(set((xlcv + xlai).splitlines()))},
+                    'xlai': '\n'.join(set((xlcv + xlai).splitlines())),
+                    'xlall': '\n'.join(set((xlcv + xlai).splitlines())),
+                    },
 )