pyxllib 0.3.111__tar.gz → 0.3.112__tar.gz

{pyxllib-0.3.111/pyxllib.egg-info → pyxllib-0.3.112}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: pyxllib
-Version: 0.3.111
+Version: 0.3.112
 Summary: 厦门理工模式识别团队通用python代码工具库
 Home-page: https://github.com/XLPRUtils/pyxllib
 Author: code4101

{pyxllib-0.3.111 → pyxllib-0.3.112}/pyxllib/algo/stat.py

@@ -254,6 +254,7 @@ def xlpivot(df, index=None, columns=None, values=None):
     :param columns: 列划分方式
     :param values: 显示的值
         Callable[items, value]：输出一个函数
+        list[str]: 支持输入属性列表，表示显示原始值的意思。如果原始值不唯一，则逗号分开拼接后显示。但这种用法就不太算是传统意义的数据透视表了
     :return: 数据透视表的表格
 
     使用示例：
@@ -261,6 +262,8 @@ def xlpivot(df, index=None, columns=None, values=None):
         x = items.iloc[0]
         return f'{x["precision"]:.0f}，{x["recall"]:.0f}，{x["hmean"]:.2f}，{x["fps"]}'  # 返回显示的值
     >> df2 = xlpivot(df, ['model_type'], ['dataset', 'total_frame'], {'precision，recall，hmean，fps': func})
+
+    注意技巧：如果要在分组后约束特定顺序，可以使用特殊前缀进行编号对齐
     """
 
     # 1 将分组的格式标准化
@@ -275,6 +278,17 @@ def xlpivot(df, index=None, columns=None, values=None):
     index_, columns_ = reset_groups(index), reset_groups(columns)
 
     # 2 目标值的格式标准化
+    def make_col_func(col):
+        def func(rows):
+            if len(rows):
+                return ', '.join(map(str, rows[col].values))
+            return ''
+
+        return func
+
+    if isinstance(values, (list, tuple)):
+        values = {v: make_col_func(v) for v in values}
+
     if callable(values):
         values_ = {'values': values}
     elif isinstance(values, dict):

{pyxllib-0.3.111 → pyxllib-0.3.112}/pyxllib/data/pglib.py

@@ -41,7 +41,7 @@ from tqdm import tqdm
 import psycopg
 import psycopg.rows
 
-from pyxllib.prog.newbie import round_int
+from pyxllib.prog.newbie import round_int, human_readable_number
 from pyxllib.prog.pupil import utc_now, utc_timestamp
 from pyxllib.prog.specialist import XlOsEnv
 from pyxllib.algo.pupil import ValuesStat2
@@ -62,12 +62,10 @@ class Connection(psycopg.Connection, SqlBase):
         """
         检索当前数据库的活动信息。
         """
-        sql = """
-        SELECT pid, datname, usename, state, query, age(now(), query_start) AS "query_age"
-        FROM pg_stat_activity
-        WHERE state = 'active'
-        """
-        return self.exec2dict(sql).fetchall()
+        sql = SqlBuilder('pg_stat_activity')
+        sql.select('pid', 'datname', 'usename', 'state', 'query', 'age(now(), query_start) AS "query_age"')
+        sql.where("state = 'active'")
+        return self.exec2dict(sql.build_select()).fetchall()
 
     def __2_表格(self):
         pass
@@ -147,9 +145,14 @@ WHERE {table_name}.{item_id_name} = cte.{item_id_name}"""
         # cur.close()
         return data
 
-    def exec2dict_batch(self, sql, batch_size=1000, **kwargs):
+    def exec2dict_batch(self, sql, batch_size=1000, use_offset=None, **kwargs):
         """ 分批返回数据的版本
 
+        :param use_offset: 是否使用offset分页，会根据sql中是否含有where自动判断，但有时候最好明确指定以防错误
+            如果外部sql每次操作，会改变数据库的情况，导致sql的where规则虽然没变，但是数据本身发生变化，则offset应该要关闭
+                每次取对应的满足条件的数据即可
+                这种情况，也需要本函数内部主动执行commit_all的
+            否则，只是一种遍历查询，没有where或者where获取的数据情况是不会变化的，则要使用offset
         :return:
             第1个值，是一个迭代器，看起来仍然能一条一条返回，实际后台是按照batch_size打包获取的
             第2个值，是数据总数
@@ -157,6 +160,9 @@ WHERE {table_name}.{item_id_name} = cte.{item_id_name}"""
         if not isinstance(sql, SqlBuilder):
             raise ValueError('暂时只能搭配SQLBuilder使用')
 
+        if use_offset is None:
+            use_offset = not sql._where
+
         num = self.exec2one(sql.build_count())
         offset = 0
 
@@ -164,9 +170,12 @@ WHERE {table_name}.{item_id_name} = cte.{item_id_name}"""
             nonlocal offset
             while True:
                 sql2 = sql.copy()
+                if not use_offset:  # 如果不使用offset，那么缓存的sql操作需要全部提交，确保数据都更新后，再提取数据
+                    self.commit_all()
                 sql2.limit(batch_size, offset)
                 rows = self.exec2dict(sql2.build_select(), **kwargs).fetchall()
-                offset += batch_size
+                if use_offset:
+                    offset += len(rows)
                 if not rows:
                     break
                 yield from rows
@@ -340,10 +349,10 @@ WHERE {table_name}.{item_id_name} = cte.{item_id_name}"""
 
         return vs
 
-    def export_jsonl(self, file_path, table_name, key_col=None, batch_size=1000):
+    def export_jsonl(self, file_path, table_name, key_col=None, batch_size=1000, print_mode=0):
         """ 将某个表导出为本地jsonl文件
 
-        :param table_name: 表名
+        :param str|SqlBuilder table_name: 表名
             支持传入SqlBuilder对象，这样可以更灵活的控制导出的数据规则
         :param file_path: 导出的文件路径
         :param batch_size: 每次读取的行数和保存的行数
@@ -377,10 +386,64 @@ WHERE {table_name}.{item_id_name} = cte.{item_id_name}"""
         # 2 获取数据
         file = StreamJsonlWriter(file_path, batch_size=batch_size)  # 流式存储
         rows, total = self.exec2dict_batch(sql, batch_size=batch_size)
-        for row in tqdm(rows, total=total, desc=table_name):
+        for row in tqdm(rows, total=total, desc=f'从{table_name}表导出数据', disable=not print_mode):
             file.append_line(row)
         file.flush()
 
+    def check_db_tables_size(self, db_name=None):
+        """ 查看指定数据下所有表格的大小 """
+        from datetime import datetime
+        import pandas as pd
+
+        if db_name is None:
+            # 使用sql获取当前self所在数据库
+            db_name = self.exec2one("SELECT current_database()")
+
+        data = []
+        tables = self.exec2col("SELECT table_name FROM information_schema.tables WHERE table_schema='public'")
+        for table_name in tables:
+            row = {
+                'database': db_name,
+                'table_name': table_name,
+            }
+            sz = self.exec2one(f"SELECT pg_total_relation_size('public.{table_name}')")
+            if not sz:
+                continue
+            lines = self.exec2one(f"SELECT COUNT(*) FROM {table_name}")
+            row['size'], row['lines'] = sz, lines
+            row['readable_size'] = human_readable_number(sz, 'KB')
+            row['perline_size'] = human_readable_number(sz / lines, 'KB') if lines else -1
+            row['update_time'] = datetime.now().strftime('%Y-%m-%d %H:%M:%S')
+            data.append(row)
+
+        df = pd.DataFrame.from_dict(data)
+        if len(df):
+            df.sort_values(['size'], ascending=False, inplace=True)
+        df.reset_index(drop=True, inplace=True)
+        return df
+
+    def check_multi_db_size(self, db_list):
+        """ 这个功能一般要用postgres账号，才有权限处理所有数据库 """
+        from datetime import datetime
+        import pandas as pd
+
+        data = []
+        for db in db_list:
+            row = {
+                'name': db,
+            }
+            sz = self.exec2one(f"SELECT pg_database_size('{db}')")
+            row['size'] = sz
+            row['readable_size'] = human_readable_number(sz, 'KB')
+            row['update_time'] = datetime.now().strftime('%Y-%m-%d %H:%M:%S')
+
+            data.append(row)
+
+        df = pd.DataFrame.from_dict(data)
+        df.sort_values(['size'], ascending=False, inplace=True)
+        df.reset_index(drop=True, inplace=True)
+        return df
+
 
 """
 【关于为什么XlprDb要和pglib合一个文件】

{pyxllib-0.3.111 → pyxllib-0.3.112}/pyxllib/data/sqlite.py

@@ -50,7 +50,13 @@ class SqlBuilder:
         return self
 
     def where(self, condition):
-        self._where.append(condition)
+        if isinstance(condition, (list, tuple)):
+            self._where.extend(condition)
+        elif isinstance(condition, str):
+            self._where.append(condition)
+        else:
+            raise ValueError(f'不支持的where条件类型{type(condition)}')
+
         return self
 
     def where_in(self, column, values):
@@ -85,7 +91,7 @@ class SqlBuilder:
         self._offset = offset
         return self
 
-    def __2_build_命令(self):
+    def __2_build_初级命令(self):
         pass
 
     def build_select(self, *columns):
@@ -124,7 +130,11 @@ class SqlBuilder:
             sql.append(f"WHERE {' AND '.join(self._where)}")
         return '\n'.join(sql)
 
+    def __3_build_中级命令(self):
+        pass
+
     def build_check_data_type(self, column):
+        """ 检查column的数据类型 """
         sql = SqlBuilder('information_schema.columns')
         sql.select(f"data_type")
         sql.where(f"table_name='{self.table}' AND column_name='{column}'")

{pyxllib-0.3.111 → pyxllib-0.3.112}/pyxllib/text/charclasslib.py

@@ -2,6 +2,7 @@
 # -*- coding: utf-8 -*-
 # @Author : 陈坤泽
 # @Email  : 877362867@qq.com
+# @Date   : 2023/12/29
 
 """
 字符分类
@@ -67,7 +68,7 @@ def get_charclass_num(content):
     return ct2
 
 
-def get_charclass_rate(content):
+def get_charclass_rate(content, round_digits=4):
     """ 检查字符类型分布数量 """
     ct = get_charclass_num(content)
 
@@ -80,12 +81,18 @@ def get_charclass_rate(content):
     ct2 = Counter()
     for k, v in ct.most_common():
         ct2[k] = v / total
+        if round_digits is not None:
+            ct2[k] = round(ct2[k], round_digits)
     return ct2
 
 
 def check_language_from_counter(ct):
-    """ 检查语言类型 """
-    # todo 这里的规则应该还可以再优化，以及不同的业务场景，这些规则应该也要再调整
+    """ 检查语言类型
+
+    todo 这里的规则应该还可以再优化，以及不同的业务场景，这些规则应该也要再调整
+        这个比例最早是给表格设计的，表格很可能表头是中文，中间都是英文、数字数据，此时仍然归为中文
+        但如果是一般性的文档，可能要提高中文的比例，才能视为中文文档
+    """
 
     if '繁体汉字' in ct:
         if safe_div(ct['繁体汉字'], ct['常用汉字']) > 0.1:
@@ -95,7 +102,7 @@ def check_language_from_counter(ct):
         return '中文'
 
     if '其他字符' in ct:
-        if ct['其他字符'] / ct['字母'] > 0.1:
+        if safe_div(ct['其他字符'], ct['字母']) > 0.1:
             return '其他'
 
     if '字母' in ct:

pyxllib-0.3.112/pyxllib/text/jinjalib.py

@@ -0,0 +1,32 @@
+#!/usr/bin/env python3
+# -*- coding: utf-8 -*-
+# @Author : 陈坤泽
+# @Email  : 877362867@qq.com
+# @Date   : 2024/05/26
+
+from pyxllib.prog.pupil import check_install_package
+
+# 一个xpath解析库
+check_install_package('jinja2')
+
+import jinja2
+from jinja2 import Template, Environment
+
+from pyxllib.file.specialist import XlPath
+
+
+def set_template(s, *args, **kwargs):
+    """ todo 这个名字会不会太容易冲突了？ """
+    return Template(s.strip(), *args, **kwargs)
+
+
+def set_meta_template(s, meta_start='[[', meta_end=']]', **kwargs):
+    """ 支持预先用某些格式渲染后，再返回标准渲染模板 """
+    t = Template(s.strip(), variable_start_string=meta_start,
+                 variable_end_string=meta_end).render(**kwargs)
+    return Template(t)
+
+
+def get_jinja_template(name, **kwargs):
+    template = Environment(**kwargs).from_string((XlPath(__file__).parent / f'templates/{name}').read_text())
+    return template

{pyxllib-0.3.111 → pyxllib-0.3.112}/pyxllib/text/newbie.py

@@ -286,3 +286,15 @@ def fold_dict(d, m=5):
     vals = [f"'{k}': {v}" for k, v in d.items()]
     line = [', '.join(vals[i:i + 5]) for i in range(0, len(vals), m)]
     return '{' + ',\n'.join(line) + '}'
+
+
+def remove_prefix(original_string, prefix):
+    if original_string.startswith(prefix):
+        return original_string[len(prefix):]
+    return original_string
+
+
+def remove_suffix(original_string, suffix):
+    if original_string.endswith(suffix):
+        return original_string[:-len(suffix)]
+    return original_string

{pyxllib-0.3.111 → pyxllib-0.3.112}/pyxllib/text/xmllib.py

@@ -32,6 +32,7 @@ from pyxllib.algo.pupil import SearchBase
 from pyxllib.text.newbie import xldictstr
 from pyxllib.text.pupil import shorten, ensure_gbk, BookContents, strwidth, grp_chinese_char
 from pyxllib.file.specialist import File, Dir, get_etag
+from pyxllib.text.jinjalib import get_jinja_template
 
 
 class XlBs4Tag(bs4.element.Tag):
@@ -670,14 +671,6 @@ class HtmlParser:
             getattr(self, method)(x)
 
 
-def get_jinja_template(name, **kwargs):
-    from jinja2 import Environment
-    from pyxllib.file.specialist import XlPath
-
-    template = Environment(**kwargs).from_string((XlPath(__file__).parent / f'templates/{name}').read_text())
-    return template
-
-
 def concat_htmlbody(ls):
     """ 对多份网页内容中的body进行拼接
     """

{pyxllib-0.3.111 → pyxllib-0.3.112/pyxllib.egg-info}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: pyxllib
-Version: 0.3.111
+Version: 0.3.112
 Summary: 厦门理工模式识别团队通用python代码工具库
 Home-page: https://github.com/XLPRUtils/pyxllib
 Author: code4101

{pyxllib-0.3.111 → pyxllib-0.3.112}/pyxllib.egg-info/SOURCES.txt

@@ -96,6 +96,7 @@ pyxllib/text/__init__.py
 pyxllib/text/ahocorasick.py
 pyxllib/text/charclasslib.py
 pyxllib/text/jiebalib.py
+pyxllib/text/jinjalib.py
 pyxllib/text/jscode.py
 pyxllib/text/levenshtein.py
 pyxllib/text/nestenv.py

{pyxllib-0.3.111 → pyxllib-0.3.112}/pyxlpr/data/gptlib.py

@@ -25,7 +25,6 @@ import io
 import logging
 import warnings
 
-from jinja2 import Template
 from openpyxl import Workbook
 import pandas as pd
 import requests
@@ -41,6 +40,7 @@ from pyxllib.prog.specialist import browser, TicToc
 from pyxllib.algo.pupil import ValuesStat
 from pyxllib.file.specialist import XlPath, JsonlDataFile, JsonlDataDir, TwinDirs, ensure_localdir
 from pyxllib.file.xlsxlib import extract_workbook_summary
+from pyxllib.text.jinjalib import set_template, set_meta_template
 
 
 def __1_生成提问数据():
@@ -181,18 +181,6 @@ def check_conversation_lengths(all_texts, n_values=(4, 4),
         # 比率越大，代表越接近中文场景，汉字越多，要注意len的控制不要让token某些场合超出长度
 
 
-def set_template(s, *args, **kwargs):
-    """ todo 这个名字会不会太容易冲突了？ """
-    return Template(s.strip(), *args, **kwargs)
-
-
-def set_meta_template(s, meta_start='[[', meta_end=']]', **kwargs):
-    """ 支持预先用某些格式渲染后，再返回标准渲染模板 """
-    t = Template(s.strip(), variable_start_string=meta_start,
-                 variable_end_string=meta_end).render(**kwargs)
-    return Template(t)
-
-
 class StyleParser:
     def __init__(self, text):
         # 使用正则表达式拆分文本，并获取权重和风格

{pyxllib-0.3.111 → pyxllib-0.3.112}/setup.py

@@ -30,7 +30,7 @@ _dir = Path(__file__).parent
 
 setup(
     name='pyxllib',  # pip 安装时用的名字
-    version='0.3.111',  # 当前版本，每次更新上传到pypi都需要修改; 第4位版本号一般是修紧急bug
+    version='0.3.112',  # 当前版本，每次更新上传到pypi都需要修改; 第4位版本号一般是修紧急bug
     author='code4101',
     author_email='877362867@qq.com',
     url='https://github.com/XLPRUtils/pyxllib',