re-common 10.0.21__py3-none-any.whl → 10.0.22__py3-none-any.whl

re_common/v2/baselibrary/tools/list_tools.py

@@ -1,66 +1,66 @@
-import itertools
-from typing import List, Any, Tuple
-
-
-def check_no_duplicates_2d(lst_2d):
-    """
-        检查二维列表的每一行是否无重复
-        如果有重复值 返回 False
-        如果没有重复 返回True
-    """
-    for row in lst_2d:
-        # 将行转为集合，比较长度
-        if len(row) != len(set(row)):
-            return False
-    return True
-
-
-def generate_cross_list_combinations(lists: List[List[Any]]) -> List[Tuple[Any, Any]]:
-    """
-    生成不同列表间的所有两两组合（元组长度为2）
-
-    参数:
-        lists: 包含多个列表的列表，例如 [[1,2], ['a','b'], ['x','y']]
-
-    返回:
-        包含所有跨列表两两组合的列表，每个组合是一个元组
-        例如 [(1,'a'), (1,'b'), (2,'a'), ..., ('a','x'), ('a','y'), ...]
-    """
-    combinations = []
-    for i in range(len(lists)):
-        for j in range(i + 1, len(lists)):
-            combinations.extend(itertools.product(lists[i], lists[j]))
-    return combinations
-
-
-def filter_and_sort_by_smi(all_list, top_n=1000):
-
-    """
-    要求 list 里面第一个是比较大小的数据 第二个是实际数据
-    """
-
-    # 1. 去重：按 doc_id 去重，保留 smi 最大的记录
-    unique_dict = {}
-    for smi, doc_id in all_list:
-        if doc_id not in unique_dict or smi > unique_dict[doc_id][0]:
-            unique_dict[doc_id] = (smi, doc_id)
-
-    # 2. 转换为列表并排序
-    unique_list = sorted(unique_dict.values(), key=lambda x: x[0], reverse=True)
-
-    # 3. 取前 top_n 个
-    return unique_list[:top_n]
-
-
-def list_to_dict(list_data,key_name):
-    # 使用 defaultdict 来处理重复 id
-    from collections import defaultdict
-
-    dict_data = defaultdict(list)
-
-    for item in list_data:
-        dict_data[item[key_name]].append(item)
-
-    # 将 defaultdict 转换成普通字典
-    dict_data = dict(dict_data)
+import itertools
+from typing import List, Any, Tuple
+
+
+def check_no_duplicates_2d(lst_2d):
+    """
+        检查二维列表的每一行是否无重复
+        如果有重复值 返回 False
+        如果没有重复 返回True
+    """
+    for row in lst_2d:
+        # 将行转为集合，比较长度
+        if len(row) != len(set(row)):
+            return False
+    return True
+
+
+def generate_cross_list_combinations(lists: List[List[Any]]) -> List[Tuple[Any, Any]]:
+    """
+    生成不同列表间的所有两两组合（元组长度为2）
+
+    参数:
+        lists: 包含多个列表的列表，例如 [[1,2], ['a','b'], ['x','y']]
+
+    返回:
+        包含所有跨列表两两组合的列表，每个组合是一个元组
+        例如 [(1,'a'), (1,'b'), (2,'a'), ..., ('a','x'), ('a','y'), ...]
+    """
+    combinations = []
+    for i in range(len(lists)):
+        for j in range(i + 1, len(lists)):
+            combinations.extend(itertools.product(lists[i], lists[j]))
+    return combinations
+
+
+def filter_and_sort_by_smi(all_list, top_n=1000):
+
+    """
+    要求 list 里面第一个是比较大小的数据 第二个是实际数据
+    """
+
+    # 1. 去重：按 doc_id 去重，保留 smi 最大的记录
+    unique_dict = {}
+    for smi, doc_id in all_list:
+        if doc_id not in unique_dict or smi > unique_dict[doc_id][0]:
+            unique_dict[doc_id] = (smi, doc_id)
+
+    # 2. 转换为列表并排序
+    unique_list = sorted(unique_dict.values(), key=lambda x: x[0], reverse=True)
+
+    # 3. 取前 top_n 个
+    return unique_list[:top_n]
+
+
+def list_to_dict(list_data,key_name):
+    # 使用 defaultdict 来处理重复 id
+    from collections import defaultdict
+
+    dict_data = defaultdict(list)
+
+    for item in list_data:
+        dict_data[item[key_name]].append(item)
+
+    # 将 defaultdict 转换成普通字典
+    dict_data = dict(dict_data)
     return dict_data

re_common/v2/baselibrary/tools/search_hash_tools.py

@@ -1,54 +1,54 @@
-from typing import List
-
-import jieba
-from datasketch import MinHash, minhash
-
-from re_common.v2.baselibrary.decorators.utils import deprecated
-from re_common.v2.baselibrary.utils.string_bool import is_single_cjk_char
-
-@deprecated("请使用 TextMatcherV2 中的方法代替。")
-def tokenize(text: str, stopwords=None) -> List[str]:
-    """
-    分词并移除停用词
-    """
-    if stopwords is None:
-        stopwords = []
-    words = jieba.lcut(text)
-
-    # 统计单字符数据 长度，防止结巴分词分不了的单词 将数据分为单个字符
-
-    # 这里为什么使用函数 而不是在推导式中兼容，主要是在一些 spark中 推导式的if 条件不遵循最短路径原则会将表达式当做一个整体算子
-    def is_singel_en(i):
-        if len(i) == 1 and not is_single_cjk_char(i):
-            return True
-        return False
-
-    one_char_size = len([i for i in words if is_singel_en(i)])
-    all_size = len(words)
-    # 如果单字符个数超过一定比例 就直接用空格分词
-    if all_size != 0 and one_char_size / all_size > 0.6:
-        words = [i for i in text.split() if i.strip()]
-
-    # 过滤停用词和空字符
-    words = [w for w in words if w not in stopwords and w.strip()]
-    return words
-
-@deprecated("请使用 TextMatcherV2 中的方法代替。")
-def create_minhash(words: List[str], num_perm=128) -> MinHash:
-    """
-    为分词结果创建 MinHash
-    """
-    minhash = MinHash(num_perm=num_perm)
-    for word in words:
-        minhash.update(word.encode("utf-8"))
-    return minhash
-
-@deprecated("请使用 TextMatcherV2 中的方法代替。")
-def get_str_minhash(title):
-    from re_common.v2.baselibrary.utils.string_clear import rel_clear
-    rel_title = rel_clear(title)
-    if not rel_title:
-        return ""
-    words = tokenize(rel_title)
-    minhash = create_minhash(words)
-    return minhash
+from typing import List
+
+import jieba
+from datasketch import MinHash, minhash
+
+from re_common.v2.baselibrary.decorators.utils import deprecated
+from re_common.v2.baselibrary.utils.string_bool import is_single_cjk_char
+
+@deprecated("请使用 TextMatcherV2 中的方法代替。")
+def tokenize(text: str, stopwords=None) -> List[str]:
+    """
+    分词并移除停用词
+    """
+    if stopwords is None:
+        stopwords = []
+    words = jieba.lcut(text)
+
+    # 统计单字符数据 长度，防止结巴分词分不了的单词 将数据分为单个字符
+
+    # 这里为什么使用函数 而不是在推导式中兼容，主要是在一些 spark中 推导式的if 条件不遵循最短路径原则会将表达式当做一个整体算子
+    def is_singel_en(i):
+        if len(i) == 1 and not is_single_cjk_char(i):
+            return True
+        return False
+
+    one_char_size = len([i for i in words if is_singel_en(i)])
+    all_size = len(words)
+    # 如果单字符个数超过一定比例 就直接用空格分词
+    if all_size != 0 and one_char_size / all_size > 0.6:
+        words = [i for i in text.split() if i.strip()]
+
+    # 过滤停用词和空字符
+    words = [w for w in words if w not in stopwords and w.strip()]
+    return words
+
+@deprecated("请使用 TextMatcherV2 中的方法代替。")
+def create_minhash(words: List[str], num_perm=128) -> MinHash:
+    """
+    为分词结果创建 MinHash
+    """
+    minhash = MinHash(num_perm=num_perm)
+    for word in words:
+        minhash.update(word.encode("utf-8"))
+    return minhash
+
+@deprecated("请使用 TextMatcherV2 中的方法代替。")
+def get_str_minhash(title):
+    from re_common.v2.baselibrary.utils.string_clear import rel_clear
+    rel_title = rel_clear(title)
+    if not rel_title:
+        return ""
+    words = tokenize(rel_title)
+    minhash = create_minhash(words)
+    return minhash