re-common 10.0.15__tar.gz → 10.0.16__tar.gz

{re_common-10.0.15 → re_common-10.0.16}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: re_common
-Version: 10.0.15
+Version: 10.0.16
 Summary: a library about all python projects
 Home-page: https://gitee.com/xujiangios/re-common
 Author: vic

{re_common-10.0.15 → re_common-10.0.16}/re_common/v2/baselibrary/tools/hdfs_data_processer.py

@@ -93,7 +93,7 @@ class HDFSDataProcessor:
             with gzip.GzipFile(fileobj=BytesIO(compressed_data)) as gz_file:  # 解压缩
                 content = gz_file.read().decode(encoding)  # 解码为字符串
                 print(f"文件读取成功: {gz_file_path}")
-                lines = [i for i in content.splitlines() if i.strip()]
+                lines = [i for i in content.split("\n") if i.strip()]
                 result = [lines[i:i + self.batch_size] for i in range(0, len(lines), self.batch_size)]
                 return result
 

re_common-10.0.16/re_common/v2/baselibrary/tools/list_tools.py

@@ -0,0 +1,52 @@
+import itertools
+from typing import List, Any, Tuple
+
+
+def check_no_duplicates_2d(lst_2d):
+    """
+        检查二维列表的每一行是否无重复
+        如果有重复值 返回 False
+        如果没有重复 返回True
+    """
+    for row in lst_2d:
+        # 将行转为集合，比较长度
+        if len(row) != len(set(row)):
+            return False
+    return True
+
+
+def generate_cross_list_combinations(lists: List[List[Any]]) -> List[Tuple[Any, Any]]:
+    """
+    生成不同列表间的所有两两组合（元组长度为2）
+
+    参数:
+        lists: 包含多个列表的列表，例如 [[1,2], ['a','b'], ['x','y']]
+
+    返回:
+        包含所有跨列表两两组合的列表，每个组合是一个元组
+        例如 [(1,'a'), (1,'b'), (2,'a'), ..., ('a','x'), ('a','y'), ...]
+    """
+    combinations = []
+    for i in range(len(lists)):
+        for j in range(i + 1, len(lists)):
+            combinations.extend(itertools.product(lists[i], lists[j]))
+    return combinations
+
+
+def filter_and_sort_by_smi(all_list, top_n=1000):
+
+    """
+    要求 list 里面第一个是比较大小的数据 第二个是实际数据
+    """
+
+    # 1. 去重：按 doc_id 去重，保留 smi 最大的记录
+    unique_dict = {}
+    for smi, doc_id in all_list:
+        if doc_id not in unique_dict or smi > unique_dict[doc_id][0]:
+            unique_dict[doc_id] = (smi, doc_id)
+
+    # 2. 转换为列表并排序
+    unique_list = sorted(unique_dict.values(), key=lambda x: x[0], reverse=True)
+
+    # 3. 取前 top_n 个
+    return unique_list[:top_n]

{re_common-10.0.15 → re_common-10.0.16}/re_common/v2/baselibrary/utils/db.py

@@ -2,7 +2,7 @@ from contextlib import asynccontextmanager
 from typing import AsyncGenerator, Tuple
 
 import aiomysql
-from aiomysql import Pool, Connection, Cursor
+from aiomysql import Pool, Connection, Cursor, DictCursor
 
 DB_CONFIG = {
     'host': '192.168.98.55',

{re_common-10.0.15 → re_common-10.0.16}/re_common/v2/baselibrary/utils/string_bool.py

@@ -99,4 +99,51 @@ def is_all_symbols(text):
         return False
 
     # 检查每个字符是否属于符号类别
-    return all(unicodedata.category(char).startswith(('P', 'S')) for char in text)
+    return all(unicodedata.category(char).startswith(('P', 'S')) for char in text)
+
+
+def is_whole_word_en(sub_str: str, long_str: str) -> bool:
+    """
+        判断 sub_str 在 long_str 中是否是一个完整的单词（而不是其他单词的一部分）。
+
+        参数:
+            sub_str: 要搜索的单词
+            long_str: 被搜索的文本
+
+        返回:
+            bool: 如果 sub_str 是 long_str 中的一个完整单词则返回 True，否则返回 False
+        """
+    regex_pattern = re.compile(r"[^a-z0-9]")
+
+    if not sub_str or not long_str:
+        return False
+
+    # 使用 startsWith 和 endsWith 检查边界
+    if long_str.startswith(sub_str) and long_str.endswith(sub_str):
+        return True
+
+    # 检查是否在中间位置，且前后有非字母数字字符
+    index = long_str.find(sub_str)
+    if index >= 0:
+        if index == 0:
+            is_start = True
+        else:
+            is_start = bool(regex_pattern.match(long_str[index - 1]))
+
+        if len(long_str) == len(sub_str) + index:
+            is_end = True
+        else:
+            is_end = bool(regex_pattern.match(long_str[index + len(sub_str)]))
+
+        return is_start and is_end
+    else:
+        return False
+
+
+def is_whole_word(sub_str: str, long_str: str) -> bool:
+    if contains_chinese_chars(sub_str):
+        return True
+    elif is_whole_word_en(sub_str, long_str):
+        return True
+    else:
+        return False

{re_common-10.0.15 → re_common-10.0.16}/re_common.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: re_common
-Version: 10.0.15
+Version: 10.0.16
 Summary: a library about all python projects
 Home-page: https://gitee.com/xujiangios/re-common
 Author: vic

{re_common-10.0.15 → re_common-10.0.16}/setup.py

@@ -34,7 +34,7 @@ long_description = """
 """
 setuptools.setup(
     name="re_common",
-    version="10.0.15",
+    version="10.0.16",
     author="vic",
     author_email="xujiang5@163.com",
     description="a library about all python projects",

re_common-10.0.15/re_common/v2/baselibrary/tools/list_tools.py

@@ -1,9 +0,0 @@
-
-def check_no_duplicates_2d(lst_2d):
-    """检查二维列表的每一行是否无重复"""
-    for row in lst_2d:
-        # 将行转为集合，比较长度
-        if len(row) != len(set(row)):
-            return False
-    return True
-