pyxllib 0.3.113__tar.gz → 0.3.114__tar.gz

{pyxllib-0.3.113/pyxllib.egg-info → pyxllib-0.3.114}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: pyxllib
-Version: 0.3.113
+Version: 0.3.114
 Summary: 厦门理工模式识别团队通用python代码工具库
 Home-page: https://github.com/XLPRUtils/pyxllib
 Author: code4101

{pyxllib-0.3.113 → pyxllib-0.3.114}/pyxllib/algo/pupil.py

@@ -271,12 +271,12 @@ class ValuesStat2:
     def summary(self, unit=None, precision=4, percentile_count=5):
         """ 文本汇总性的报告
 
+        :param unit: 展示数值时使用的单位
+        :param precision: 展示数值时的精度
         :param percentile_count: 包括两个极值端点的切分点数，
             设置2，就是不设置分位数，就是只展示最小、最大值
             如果设置了3，就表示"中位数、二分位数"，在展示的时候，会显示50%位置的分位数值
             如果设置了5，就相当于"四分位数"，会显示25%、50%、75%位置的分位数值
-        :param unit: 展示数值时使用的单位
-        :param precision: 展示数值时的精度
         """
         desc = self._summary(unit, precision, percentile_count)
         return '\t'.join([f"{key}: {value}" for key, value in desc.items()])

{pyxllib-0.3.113 → pyxllib-0.3.114}/pyxllib/data/pglib.py

@@ -379,13 +379,14 @@ WHERE {table_name}.{item_id_name} = cte.{item_id_name}"""
             if file_path.is_file():
                 # 读取现有数据，找出主键最大值
                 data = file_path.read_jsonl(batch_size=1000)
-                max_val = max([x[key_col] for x in data]) if data else None
-                if max_val is not None:
-                    sql.where(f'{key_col} > {max_val}')
+                if data:
+                    max_val = max([x[key_col] for x in data]) if data else None
+                    if max_val is not None:
+                        sql.where(f'{key_col} > {max_val}')
 
         # 2 获取数据
         file = StreamJsonlWriter(file_path, batch_size=batch_size)  # 流式存储
-        rows, total = self.exec2dict_batch(sql, batch_size=batch_size)
+        rows, total = self.exec2dict_batch(sql, batch_size=batch_size, use_offset=True)
         for row in tqdm(rows, total=total, desc=f'从{table_name}表导出数据', disable=not print_mode):
             file.append_line(row)
         file.flush()

{pyxllib-0.3.113 → pyxllib-0.3.114}/pyxllib/file/specialist/filelib.py

@@ -1089,7 +1089,7 @@ class XlPath(type(pathlib.Path())):
         src_dir = XlPath(src_dir)
         stem = src_dir.name
 
-        pattern = filename_template.format(stem=stem, index="(\d+)", suffix=".*")
+        pattern = filename_template.format(stem=stem, index=r"(\d+)", suffix=".*")
         files = [file for file in src_dir.iterdir() if re.match(pattern, file.name)]  # 获取目录中符合模式的文件
 
         self.merge_from_files(files, ignore_empty_lines_between_files=True, encoding=encoding)
@@ -1217,11 +1217,12 @@ class XlPath(type(pathlib.Path())):
                     break
         else:
             def get_data():
-                for line in self.yield_line(batch_size, encoding=encoding):
-                    try:  # 注意，这里可能会有数据读取失败
-                        yield json.loads(line)
-                    except json.decoder.JSONDecodeError:
-                        pass
+                for batch in self.yield_line(batch_size=batch_size, encoding=encoding):
+                    for line in batch:
+                        try:  # 注意，这里可能会有数据读取失败
+                            yield json.loads(line)
+                        except json.decoder.JSONDecodeError:
+                            pass
 
             data = get_data()
 
@@ -2541,7 +2542,7 @@ def myoswalk(root, filter_rule=None, recur=True):
 
 
 def mygetfiles(root, filter_rule=None, recur=True):
-    """对myoswalk进一步封装，返回所有匹配的文件
+    r""" 对myoswalk进一步封装，返回所有匹配的文件
     会递归查找所有子文件
 
     可以这样遍历一个目录下的所有文件：

{pyxllib-0.3.113 → pyxllib-0.3.114}/pyxllib/prog/cachetools.py

@@ -9,7 +9,7 @@ from pyxllib.prog.pupil import check_install_package
 # cachetools，通用缓存工具，适用范围更广
 check_install_package('cachetools')
 # cached-property，类属性特用工具，相对比较简洁些
-check_install_package('cached-property')
+check_install_package('cached_property', 'cached-property')
 
 # 对于普通函数，一般用lru_cache即可
 from functools import lru_cache
@@ -27,6 +27,14 @@ from cached_property import threaded_cached_property_with_ttl  # 线程 + 限时
 # 进一步封装的更通用、自己常用的装饰器
 
 def xlcache(maxsize=128, *, ttl=None, lock=None, property=False):
+    """ 那些工具接口太复杂难记，自己封装一个统一的工具
+
+    就是一个装饰器，最大缓存多少项，然后是否要开多线程安全，是否要设置限时重置，是否是作为类成员属性修饰
+
+    :param property: 是否作为类成员属性修饰，不过一般不建议通过这里设置，
+        而是外部再加一层@property，不然IDE会识别不了这是一个property，影响开发
+
+    """
     def decorator(func):
         if property:
             if ttl is not None:

{pyxllib-0.3.113 → pyxllib-0.3.114/pyxllib.egg-info}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: pyxllib
-Version: 0.3.113
+Version: 0.3.114
 Summary: 厦门理工模式识别团队通用python代码工具库
 Home-page: https://github.com/XLPRUtils/pyxllib
 Author: code4101

{pyxllib-0.3.113 → pyxllib-0.3.114}/setup.py

@@ -26,11 +26,19 @@ xlcocotools
 """
 # fvcore
 
+# 全量的依赖，自用
+xlall = """
+flask_wtf
+flask_restful
+zhconv
+sentencepiece
+"""
+
 _dir = Path(__file__).parent
 
 setup(
     name='pyxllib',  # pip 安装时用的名字
-    version='0.3.113',  # 当前版本，每次更新上传到pypi都需要修改; 第4位版本号一般是修紧急bug
+    version='0.3.114',  # 当前版本，每次更新上传到pypi都需要修改; 第4位版本号一般是修紧急bug
     author='code4101',
     author_email='877362867@qq.com',
     url='https://github.com/XLPRUtils/pyxllib',

{pyxllib-0.3.113 → pyxllib-0.3.114}/pyxllib.egg-info/requires.txt

@@ -21,14 +21,14 @@ Jinja2
 pandas>=0.23.4
 
 [xlai]
+visdom
+xlcocotools
 opencv-python
+pynvml
 pillow
 opsdroid-get-image-size
-xlcocotools
-visdom
-pynvml
 
 [xlcv]
-opsdroid-get-image-size
 opencv-python
+opsdroid-get-image-size
 pillow