pyxllib 0.3.112__tar.gz → 0.3.114__tar.gz

{pyxllib-0.3.112/pyxllib.egg-info → pyxllib-0.3.114}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: pyxllib
-Version: 0.3.112
+Version: 0.3.114
 Summary: 厦门理工模式识别团队通用python代码工具库
 Home-page: https://github.com/XLPRUtils/pyxllib
 Author: code4101

{pyxllib-0.3.112 → pyxllib-0.3.114}/pyxllib/algo/pupil.py

@@ -271,17 +271,17 @@ class ValuesStat2:
     def summary(self, unit=None, precision=4, percentile_count=5):
         """ 文本汇总性的报告
 
+        :param unit: 展示数值时使用的单位
+        :param precision: 展示数值时的精度
         :param percentile_count: 包括两个极值端点的切分点数，
             设置2，就是不设置分位数，就是只展示最小、最大值
             如果设置了3，就表示"中位数、二分位数"，在展示的时候，会显示50%位置的分位数值
             如果设置了5，就相当于"四分位数"，会显示25%、50%、75%位置的分位数值
-        :param unit: 展示数值时使用的单位
-        :param precision: 展示数值时的精度
         """
         desc = self._summary(unit, precision, percentile_count)
         return '\t'.join([f"{key}: {value}" for key, value in desc.items()])
 
-    def calculate_ratios(self, x_values, fmt=False):
+    def calculate_ratios(self, x_values, fmt=False, unit=False):
         """ 计算并返回一个字典，其中包含每个 x_values 中的值与其小于等于该值的元素的比例
 
         :param x_values: 一个数值列表，用来计算每个数值小于等于它的元素的比例
@@ -297,8 +297,13 @@ class ValuesStat2:
                 ratio = 0
             ratio_dict[x] = ratio
 
+        def unit_func(x):
+            if unit:
+                return human_readable_number(x, unit, 4)
+            return x
+
         if fmt:
-            ratio_dict = {x: f'{ratio:.2%}' for x, ratio in ratio_dict.items()}
+            ratio_dict = {unit_func(x): f'{ratio:.2%}' for x, ratio in ratio_dict.items()}
 
         return ratio_dict
 

{pyxllib-0.3.112 → pyxllib-0.3.114}/pyxllib/algo/stat.py

@@ -297,6 +297,8 @@ def xlpivot(df, index=None, columns=None, values=None):
         raise TypeError
 
     # 3 分组
+    assert len(df), 'df是空的'
+
     keys = index_ + columns_
     dfgp = df.groupby(keys)
     data = defaultdict(list)

{pyxllib-0.3.112 → pyxllib-0.3.114}/pyxllib/data/pglib.py

@@ -379,13 +379,14 @@ WHERE {table_name}.{item_id_name} = cte.{item_id_name}"""
             if file_path.is_file():
                 # 读取现有数据，找出主键最大值
                 data = file_path.read_jsonl(batch_size=1000)
-                max_val = max([x[key_col] for x in data]) if data else None
-                if max_val is not None:
-                    sql.where(f'{key_col} > {max_val}')
+                if data:
+                    max_val = max([x[key_col] for x in data]) if data else None
+                    if max_val is not None:
+                        sql.where(f'{key_col} > {max_val}')
 
         # 2 获取数据
         file = StreamJsonlWriter(file_path, batch_size=batch_size)  # 流式存储
-        rows, total = self.exec2dict_batch(sql, batch_size=batch_size)
+        rows, total = self.exec2dict_batch(sql, batch_size=batch_size, use_offset=True)
         for row in tqdm(rows, total=total, desc=f'从{table_name}表导出数据', disable=not print_mode):
             file.append_line(row)
         file.flush()

{pyxllib-0.3.112 → pyxllib-0.3.114}/pyxllib/file/specialist/filelib.py

@@ -1089,7 +1089,7 @@ class XlPath(type(pathlib.Path())):
         src_dir = XlPath(src_dir)
         stem = src_dir.name
 
-        pattern = filename_template.format(stem=stem, index="(\d+)", suffix=".*")
+        pattern = filename_template.format(stem=stem, index=r"(\d+)", suffix=".*")
         files = [file for file in src_dir.iterdir() if re.match(pattern, file.name)]  # 获取目录中符合模式的文件
 
         self.merge_from_files(files, ignore_empty_lines_between_files=True, encoding=encoding)
@@ -1217,11 +1217,12 @@ class XlPath(type(pathlib.Path())):
                     break
         else:
             def get_data():
-                for line in self.yield_line(batch_size, encoding=encoding):
-                    try:  # 注意，这里可能会有数据读取失败
-                        yield json.loads(line)
-                    except json.decoder.JSONDecodeError:
-                        pass
+                for batch in self.yield_line(batch_size=batch_size, encoding=encoding):
+                    for line in batch:
+                        try:  # 注意，这里可能会有数据读取失败
+                            yield json.loads(line)
+                        except json.decoder.JSONDecodeError:
+                            pass
 
             data = get_data()
 
@@ -2541,7 +2542,7 @@ def myoswalk(root, filter_rule=None, recur=True):
 
 
 def mygetfiles(root, filter_rule=None, recur=True):
-    """对myoswalk进一步封装，返回所有匹配的文件
+    r""" 对myoswalk进一步封装，返回所有匹配的文件
     会递归查找所有子文件
 
     可以这样遍历一个目录下的所有文件：

pyxllib-0.3.114/pyxllib/prog/cachetools.py

@@ -0,0 +1,62 @@
+#!/usr/bin/env python3
+# -*- coding: utf-8 -*-
+# @Author : 陈坤泽
+# @Email  : 877362867@qq.com
+# @Date   : 2024/05/29
+
+from pyxllib.prog.pupil import check_install_package
+
+# cachetools，通用缓存工具，适用范围更广
+check_install_package('cachetools')
+# cached-property，类属性特用工具，相对比较简洁些
+check_install_package('cached_property', 'cached-property')
+
+# 对于普通函数，一般用lru_cache即可
+from functools import lru_cache
+import threading
+
+from cachetools import cached, LRUCache, TTLCache
+
+# 官方文档：https://pypi.org/project/cached-property/
+from cached_property import cached_property
+from cached_property import threaded_cached_property  # 线程安全
+from cached_property import cached_property_with_ttl  # 限时缓存，单位秒
+from cached_property import threaded_cached_property_with_ttl  # 线程 + 限时
+
+
+# 进一步封装的更通用、自己常用的装饰器
+
+def xlcache(maxsize=128, *, ttl=None, lock=None, property=False):
+    """ 那些工具接口太复杂难记，自己封装一个统一的工具
+
+    就是一个装饰器，最大缓存多少项，然后是否要开多线程安全，是否要设置限时重置，是否是作为类成员属性修饰
+
+    :param property: 是否作为类成员属性修饰，不过一般不建议通过这里设置，
+        而是外部再加一层@property，不然IDE会识别不了这是一个property，影响开发
+
+    """
+    def decorator(func):
+        if property:
+            if ttl is not None:
+                if lock:
+                    # 使用带有时间限制和线程安全的缓存属性
+                    return threaded_cached_property_with_ttl(ttl)(func)
+                else:
+                    # 使用带有时间限制但非线程安全的缓存属性
+                    return cached_property_with_ttl(ttl)(func)
+            else:
+                if lock:
+                    # 使用线程安全的缓存属性
+                    return threaded_cached_property(func)
+                else:
+                    # 使用普通的缓存属性
+                    return cached_property(func)
+        else:
+            lock2 = threading.RLock() if lock is True else lock
+            if ttl is None:
+                return cached(LRUCache(maxsize), lock=lock2)(func)
+            else:
+                cache = TTLCache(maxsize=maxsize, ttl=ttl)
+                return cached(cache, lock=lock2)(func)
+
+    return decorator

{pyxllib-0.3.112 → pyxllib-0.3.114/pyxllib.egg-info}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: pyxllib
-Version: 0.3.112
+Version: 0.3.114
 Summary: 厦门理工模式识别团队通用python代码工具库
 Home-page: https://github.com/XLPRUtils/pyxllib
 Author: code4101

{pyxllib-0.3.112 → pyxllib-0.3.114}/pyxllib.egg-info/SOURCES.txt

@@ -74,6 +74,7 @@ pyxllib/file/specialist/dirlib.py
 pyxllib/file/specialist/download.py
 pyxllib/file/specialist/filelib.py
 pyxllib/prog/__init__.py
+pyxllib/prog/cachetools.py
 pyxllib/prog/deprecatedlib.py
 pyxllib/prog/ipyexec.py
 pyxllib/prog/multiprocs.py

{pyxllib-0.3.112 → pyxllib-0.3.114}/setup.py

@@ -26,11 +26,19 @@ xlcocotools
 """
 # fvcore
 
+# 全量的依赖，自用
+xlall = """
+flask_wtf
+flask_restful
+zhconv
+sentencepiece
+"""
+
 _dir = Path(__file__).parent
 
 setup(
     name='pyxllib',  # pip 安装时用的名字
-    version='0.3.112',  # 当前版本，每次更新上传到pypi都需要修改; 第4位版本号一般是修紧急bug
+    version='0.3.114',  # 当前版本，每次更新上传到pypi都需要修改; 第4位版本号一般是修紧急bug
     author='code4101',
     author_email='877362867@qq.com',
     url='https://github.com/XLPRUtils/pyxllib',

{pyxllib-0.3.112 → pyxllib-0.3.114}/pyxllib.egg-info/requires.txt

@@ -21,14 +21,14 @@ Jinja2
 pandas>=0.23.4
 
 [xlai]
-pynvml
-opsdroid-get-image-size
+visdom
+xlcocotools
 opencv-python
+pynvml
 pillow
-xlcocotools
-visdom
+opsdroid-get-image-size
 
 [xlcv]
-opsdroid-get-image-size
 opencv-python
+opsdroid-get-image-size
 pillow