pyxllib 0.3.116__tar.gz → 0.3.117__tar.gz

{pyxllib-0.3.116/pyxllib.egg-info → pyxllib-0.3.117}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: pyxllib
-Version: 0.3.116
+Version: 0.3.117
 Summary: 厦门理工模式识别团队通用python代码工具库
 Home-page: https://github.com/XLPRUtils/pyxllib
 Author: code4101

{pyxllib-0.3.116 → pyxllib-0.3.117}/pyxllib/data/sqlite.py

@@ -90,6 +90,8 @@ class SqlBuilder:
 
         :param desc: 例如 'id%2=1'
         """
+        if not desc:
+            return
         column, divisor_remainder = desc.split('%')
         divisor, remainder = map(int, divisor_remainder.split('='))
         return self.where_mod(column, divisor, remainder)
@@ -364,6 +366,19 @@ class SqlBase:
                          f'UPDATE {table_name} SET {kvs} WHERE {ops}',
                          self.cvt_types(vals))
 
+    def delete_row(self, table_name, where, *, commit=False):
+        """ 【删】删除数据
+
+        :param dict where: 怎么匹配到对应记录
+        :param commit: 建议减小commit频率，会极大降低性能
+        :return:
+        """
+        ops = ' AND '.join([f'{k}=%s' for k in where.keys()])
+        vals = list(where.values())
+        self.commit_base(commit,
+                         f'DELETE FROM {table_name} WHERE {ops}',
+                         self.cvt_types(vals))
+
     def select_col(self, table_name, col):
         """ 获得一列数据，常使用的功能，所以做了一个封装
 

{pyxllib-0.3.116 → pyxllib-0.3.117}/pyxllib/file/specialist/filelib.py

@@ -2312,6 +2312,7 @@ def cache_file(file, make_data_func: Callable[[], Any] = None, *,
         def wrapper(*args2, **kwargs2):
 
             f = XlPath.init(file, XlPath.tempdir())
+            f.parent.mkdir(exist_ok=True, parents=True)
 
             # 1 优先看是不是需要先从文件读取数据
             if mode == 'read_first' and f.is_file():

{pyxllib-0.3.116 → pyxllib-0.3.117}/pyxllib/prog/pupil.py

@@ -1037,6 +1037,21 @@ class MultiProcessLauncher:
         self.workers.append(worker)
         return worker
 
+    def add_process_python(self, file, args='', name=None, shell=False):
+        """ 添加并启动一个Python模块作为后台进程。
+
+        :param file: 要执行的Python文件路径
+        :param str|list args: 模块的参数
+        :param name: 进程的名称，默认为模块名
+        """
+        cmd = [f'{sys.executable}', f'{file}']
+        if isinstance(args, str):
+            cmd.append(args)
+        else:
+            cmd += list(args)
+
+        return self.add_process_cmd(cmd, name, shell=shell)
+
     def add_process_python_module(self, module, args='', name=None, shell=False):
         """ 添加并启动一个Python模块作为后台进程。
 
@@ -1102,6 +1117,42 @@ class MultiProcessLauncher:
                 print_full_dataframe(df)
 
 
+def support_multi_processes(default_processes=1):
+    """ 对函数进行扩展，支持并发多进程运行
+
+    注意被装饰的函数，需要支持 process_count、process_id 两个参数，来获得总进程数，当前进程id的信息
+    """
+
+    def decorator(func):
+
+        def wrapper(*args, **kwargs):
+            process_count = int(kwargs.pop('process_count', default_processes))
+            process_id = kwargs.pop('process_id', None)
+
+            if process_count == 1 or process_id is not None:
+                if process_id is None:
+                    return func(*args, **kwargs)
+                else:
+                    return func(*args, **kwargs, process_count=process_count, process_id=process_id)
+            else:
+                mpl = MultiProcessLauncher()
+                for i in range(int(process_count)):
+                    cmds = [func.__name__,
+                            '--process_count', str(process_count),
+                            '--process_id', str(i)
+                            ]
+                    cmds.extend(map(str, args))  # 添加位置参数
+                    for k, v in kwargs.items():
+                        cmds.append(f'--{k}')  # 添加关键字参数的键
+                        cmds.append(str(v))  # 添加关键字参数的值
+                    mpl.add_process_python(sys.argv[0], cmds)
+                mpl.run_endless()
+
+        return wrapper
+
+    return decorator
+
+
 def xlmd5(content):
     if isinstance(content, str):
         content = content.encode('utf-8')

pyxllib-0.3.117/pyxllib/prog/scheduler.py

@@ -0,0 +1,129 @@
+#!/usr/bin/env python3
+# -*- coding: utf-8 -*-
+# @Author : 陈坤泽
+# @Email  : 877362867@qq.com
+# @Date   : 2024/06/18
+
+
+from pyxllib.prog.pupil import check_install_package
+
+check_install_package('croniter')
+
+import datetime
+import time
+import sys
+
+from croniter import croniter
+
+
+class SchedulerUtils:
+    @classmethod
+    def calculate_future_time(cls, start_time, wait_seconds):
+        """ 计算延迟时间
+
+        :param datetime start_time: 开始时间
+        :param int wait_seconds: 等待秒数
+            todo 先只支持秒数这种标准秒数，后续可以考虑支持更多智能的"1小时"等这种解析
+        """
+        return start_time + datetime.timedelta(seconds=wait_seconds)
+
+    @classmethod
+    def calculate_next_cron_time(cls, cron_tag, base_time=None):
+        """ 使用crontab标记的运行周期，然后计算相对当前时间，下一次要启动运行的时间
+
+        :param str cron_tag:
+            30 2 * * 1: 这部分是时间和日期的设定，具体含义如下：
+                30: 表示分钟，即每小时的第 30 分钟。
+                2: 表示小时，即凌晨 2 点。
+                第三个星号 *: 表示日，这里的星号意味着每天。
+                第四个星号 *: 表示月份，星号同样表示每个月。
+                1: 表示星期中的日子，这里的 1 代表星期一。
+        """
+
+        # 如果没有提供基准时间，则使用当前时间
+        if base_time is None:
+            base_time = datetime.datetime.now()
+        # 初始化 croniter 对象
+        cron = croniter(cron_tag, base_time)
+        # 计算下一次运行时间
+        next_time = cron.get_next(datetime.datetime)
+        return next_time
+
+    @classmethod
+    def wait_until_time(cls, dst_time):
+        """
+        :param datetime dst_time: 一直等待到目标时间
+            期间可以用time.sleep进行等待
+        """
+        # 一般来说，只要计算一轮待等待秒数就行。但是time.sleep机制好像不一定准确的，所以使用无限循环重试会更好。
+        while True:
+            # 先计算当前时间和目标时间的相差秒数
+            wait_seconds = (dst_time - datetime.datetime.now()).total_seconds()
+            if wait_seconds <= 0:
+                break
+            time.sleep(max(1, wait_seconds))  # 最少等待1秒
+
+    @classmethod
+    def smart_wait(cls, start_time, end_time, wait_tag, print_mode=0):
+        """ 智能等待，一般用在对进程的管理重启上
+
+        :param datetime start_time: 程序启动的时间
+        :param datetime end_time: 程序结束的时间
+        :param str|float|int wait_tag: 等待标记
+            如果是str，则按照crontab解析
+            如果是int，则表示等待的秒数
+            如果是float，则表示等待的秒数
+        """
+        # 1 尝试把wait_tag转成数值
+        try:
+            wait_tag = float(wait_tag)
+        except ValueError:  # 转不成也没关系
+            pass
+
+        if start_time is None:
+            start_time = datetime.datetime.now()
+        if end_time is None:
+            end_time = datetime.datetime.now()
+
+        # 2 计算下一次启动时间
+        if isinstance(wait_tag, str):
+            # 按照crontab解析
+            next_time = cls.calculate_next_cron_time(wait_tag, end_time)
+        elif wait_tag >= 0:
+            # 正值则是从end_time开始往后等待
+            next_time = cls.calculate_future_time(end_time, wait_tag)
+        elif wait_tag < 0:
+            # 负值则是从start_time开始往前等待
+            next_time = cls.calculate_future_time(start_time, wait_tag)
+        else:
+            raise ValueError
+
+        if print_mode:
+            print(f'等待到时间{next_time}...')
+
+        cls.wait_until_time(next_time)
+
+
+def trial():
+    # 设置基准时间
+    base_time = datetime.datetime.now()
+    # 定义crontab表达式
+    cron_expression = '30 2 * * 1'  # 每周一凌晨2点30分执行
+    # 测试延迟功能
+    delayed_time = SchedulerUtils.calculate_future_time(base_time, 10)  # 延迟10秒
+    # 测试crontab计算下一次运行时间
+    next_run_time = SchedulerUtils.calculate_next_cron_time(cron_expression, base_time)
+
+    print(base_time, delayed_time, next_run_time, sep='\n')
+
+
+if __name__ == '__main__':
+    import fire
+
+    # 1 如果输入命令行参数，使用fire机制运行
+    if len(sys.argv) > 1:
+        fire.Fire()
+        exit()
+
+    # 2 否则执行这里的测试代码
+    trial()

{pyxllib-0.3.116 → pyxllib-0.3.117/pyxllib.egg-info}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: pyxllib
-Version: 0.3.116
+Version: 0.3.117
 Summary: 厦门理工模式识别团队通用python代码工具库
 Home-page: https://github.com/XLPRUtils/pyxllib
 Author: code4101

{pyxllib-0.3.116 → pyxllib-0.3.117}/pyxllib.egg-info/SOURCES.txt

@@ -80,6 +80,7 @@ pyxllib/prog/ipyexec.py
 pyxllib/prog/multiprocs.py
 pyxllib/prog/newbie.py
 pyxllib/prog/pupil.py
+pyxllib/prog/scheduler.py
 pyxllib/prog/sitepackages.py
 pyxllib/prog/xlosenv.py
 pyxllib/prog/specialist/__init__.py

{pyxllib-0.3.116 → pyxllib-0.3.117}/pyxllib.egg-info/requires.txt

@@ -21,22 +21,29 @@ Jinja2
 pandas>=0.23.4
 
 [xlai]
+pynvml
 opsdroid-get-image-size
+opencv-python
 pillow
-pynvml
 xlcocotools
 visdom
-opencv-python
 
 [xlall]
+flask-cors
+html2text
+ujson
+flask-wtf
+sentencepiece
+flask-jwt-extended
+flask
 opsdroid-get-image-size
-pillow
-pynvml
-xlcocotools
-visdom
 opencv-python
+flask-restful
+pillow
+zhconv
+xlrd
 
 [xlcv]
-opsdroid-get-image-size
 pillow
+opsdroid-get-image-size
 opencv-python

{pyxllib-0.3.116 → pyxllib-0.3.117}/setup.py

@@ -44,7 +44,7 @@ _dir = Path(__file__).parent
 
 setup(
     name='pyxllib',  # pip 安装时用的名字
-    version='0.3.116',  # 当前版本，每次更新上传到pypi都需要修改; 第4位版本号一般是修紧急bug
+    version='0.3.117',  # 当前版本，每次更新上传到pypi都需要修改; 第4位版本号一般是修紧急bug
     author='code4101',
     author_email='877362867@qq.com',
     url='https://github.com/XLPRUtils/pyxllib',
@@ -73,6 +73,6 @@ setup(
     # ②开发版：python setup.py develop easy_install pyxllib[xlcv]
     extras_require={'xlcv': '\n'.join(set((xlcv).splitlines())),
                     'xlai': '\n'.join(set((xlcv + xlai).splitlines())),
-                    'xlall': '\n'.join(set((xlcv + xlai).splitlines())),
+                    'xlall': '\n'.join(set((xlcv + xlall).splitlines())),
                     },
 )