re-common 10.0.9__tar.gz → 10.0.11__tar.gz

{re_common-10.0.9 → re_common-10.0.11}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: re_common
-Version: 10.0.9
+Version: 10.0.11
 Summary: a library about all python projects
 Home-page: https://gitee.com/xujiangios/re-common
 Author: vic

{re_common-10.0.9 → re_common-10.0.11}/re_common/v2/baselibrary/tools/search_hash_tools.py

@@ -3,6 +3,8 @@ from typing import List
 import jieba
 from datasketch import MinHash, minhash
 
+from re_common.v2.baselibrary.utils.string_bool import is_single_cjk_char
+
 
 def tokenize(text: str, stopwords=None) -> List[str]:
     """
@@ -11,8 +13,16 @@ def tokenize(text: str, stopwords=None) -> List[str]:
     if stopwords is None:
         stopwords = []
     words = jieba.lcut(text)
+
     # 统计单字符数据 长度，防止结巴分词分不了的单词 将数据分为单个字符
-    one_char_size = len([i for i in words if len(i) == 1])
+
+    # 这里为什么使用函数 而不是在推导式中兼容，主要是在一些 spark中 推导式的if 条件不遵循最短路径原则会将表达式当做一个整体算子
+    def is_singel_en(i):
+        if len(i) == 1 and not is_single_cjk_char(i):
+            return True
+        return False
+
+    one_char_size = len([i for i in words if is_singel_en(i)])
     all_size = len(words)
     # 如果单字符个数超过一定比例 就直接用空格分词
     if all_size != 0 and one_char_size / all_size > 0.6:

re_common-10.0.11/re_common/v2/baselibrary/utils/string_bool.py

@@ -0,0 +1,90 @@
+import re
+
+
+def is_all_english_chars(s):
+    return bool(re.match(r'^[A-Za-z]+$', s))
+
+
+def contains_chinese_chars(s):
+    return bool(re.search(r'[\u3400-\u9fff]', s))
+
+
+def is_empty(value):
+    """
+    判断一个值是否为空。
+
+    支持的类型：
+    - None
+    - 空字符串（去除空白后）
+    - pandas 的 NaN
+    - 其他可迭代类型（如列表、字典等）的长度为 0
+    - 其他情况返回 False
+    """
+    # 如果是 None，直接返回 True
+    if value is None:
+        return True
+
+    # 尝试处理 pandas 的 NaN
+    try:
+        import pandas as pd
+        if pd.isna(value):
+            return True
+    except ImportError:
+        pass  # 如果没有安装 pandas，跳过
+
+    # 如果是字符串，检查去除空白后是否为空
+    if isinstance(value, str):
+        return value.strip() == ""
+
+    # 处理其他可迭代类型（如列表、字典等）
+    if hasattr(value, "__len__"):
+        return len(value) == 0
+
+    # 默认情况下，非 None、非空类型返回 False
+    return False
+
+
+class InvalidCharLengthError(Exception):
+    """自定义异常类，用于处理输入字符长度不为 1 的情况"""
+    pass
+
+
+def is_single_cjk_char(char):
+    """
+    判断单个字符是否为中日韩字符
+    :param char: 要判断的单个字符
+    :return: 如果是中日韩字符返回 True，否则返回 False
+    """
+    # 检查输入字符的长度
+    if len(char) != 1:
+        raise InvalidCharLengthError("输入的字符串长度必须为 1，请提供单个字符进行判断。")
+    code_point = ord(char)
+    # 中日韩统一表意文字
+    ranges = [
+        (0x4E00, 0x9FFF),  # CJK 统一表意符号
+        (0x3400, 0x4DBF),  # CJK 统一表意符号扩展 A
+        (0x20000, 0x2A6DF),  # CJK 统一表意符号扩展 B
+        (0x2A700, 0x2B73F),  # CJK 统一表意符号扩展 C
+        (0x2B740, 0x2B81F),  # CJK 统一表意符号扩展 D
+        (0x2B820, 0x2CEAF),  # CJK 统一表意符号扩展 E
+        (0x2CEB0, 0x2EBEF),  # CJK 统一表意符号扩展 F
+        (0x30000, 0x3134F),  # CJK 统一表意符号扩展 G
+        (0x31350, 0x323AF),  # CJK 统一表意符号扩展 H
+        (0x3300, 0x33FF),  # CJK 兼容符号
+        (0xFE30, 0xFE4F),  # CJK 兼容形式
+        (0xF900, 0xFAFF),  # CJK 兼容表意符号
+        (0x2F800, 0x2FA1F),  # CJK 兼容表意符号补充
+        (0x3105, 0x3129),  # 注音字母
+        (0x31A0, 0x31BF),  # 注音字母扩展
+        (0x3040, 0x309F),  # 平假名
+        (0x30A0, 0x30FF),  # 片假名
+        (0x31F0, 0x31FF),  # 片假名扩展
+        (0xAC00, 0xD7AF),  # 韩文音节
+        (0x1100, 0x11FF),  # 韩文字母
+        (0xA960, 0xA97F),  # 韩文字母扩展 A
+        (0xD7B0, 0xD7FF),  # 韩文字母扩展 B
+    ]
+    for start, end in ranges:
+        if start <= code_point <= end:
+            return True
+    return False

{re_common-10.0.9 → re_common-10.0.11}/re_common/v2/baselibrary/utils/string_clear.py

@@ -1,7 +1,8 @@
 import re
 import regex
 
-from re_common.v2.baselibrary.utils.stringutils import qj2bj, bj2qj, get_diacritic_variant, clean_html
+from re_common.v2.baselibrary.utils.stringutils import qj2bj, bj2qj, get_diacritic_variant, clean_html, \
+    remove_spaces_between_chinese_characters
 
 
 class StringClear(object):
@@ -101,6 +102,7 @@ class StringClear(object):
         return self
 
     def remove_html_tag(self):
+        # 去除 html 标签
         import html
 
         self.obj_str = html.unescape(self.obj_str)
@@ -109,6 +111,11 @@ class StringClear(object):
 
         return self
 
+    def remove_spaces_in_chinese_characters(self):
+        # 匹配中文间的空格并替换为空字符串
+        self.obj_str = remove_spaces_between_chinese_characters(self.obj_str)
+        return self
+
     def get_str(self):
         return self.obj_str
 
@@ -122,6 +129,7 @@ def rel_clear(str_obj):
             .remove_html_tag()  # html标签清理
             .remove_special_chars()  # 移除特殊字符，仅保留字母、数字、空格和汉字 \w 已经包括所有 Unicode 字母 下划线 _ 会被保留
             .collapse_spaces()  # 移除多余空格,连续多个空格变一个
+            .remove_spaces_in_chinese_characters()  # 匹配中文间的空格并替换为空字符串
             .lower()  # 小写
             .get_str()  # 获取str
             .strip())  # 去掉空格

{re_common-10.0.9 → re_common-10.0.11}/re_common/v2/baselibrary/utils/stringutils.py

@@ -143,4 +143,12 @@ def clean_html(html):
     return parser.get_text()
 
 
+def remove_spaces_between_chinese_characters(text):
+    """
+    匹配中文间的空格并替换为空字符串
 
+    这里没有选取 后面的一些扩展分区 是那些分区比较分散 都写进来消耗性能,
+    认为只包含这些也够用了
+    """
+    pattern = r'(?<=[\u3400-\u9fff])\s+(?=[\u3400-\u9fff])'
+    return re.sub(pattern, '', text)

{re_common-10.0.9 → re_common-10.0.11}/re_common.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: re_common
-Version: 10.0.9
+Version: 10.0.11
 Summary: a library about all python projects
 Home-page: https://gitee.com/xujiangios/re-common
 Author: vic

{re_common-10.0.9 → re_common-10.0.11}/setup.py

@@ -34,7 +34,7 @@ long_description = """
 """
 setuptools.setup(
     name="re_common",
-    version="10.0.9",
+    version="10.0.11",
     author="vic",
     author_email="xujiang5@163.com",
     description="a library about all python projects",

re_common-10.0.9/re_common/v2/baselibrary/utils/string_bool.py

@@ -1,46 +0,0 @@
-import re
-
-
-def is_all_english_chars(s):
-    return bool(re.match(r'^[A-Za-z]+$', s))
-
-
-def contains_chinese_chars(s):
-    return bool(re.search(r'[\u3400-\u9fff]', s))
-
-
-def is_empty(value):
-    """
-    判断一个值是否为空。
-
-    支持的类型：
-    - None
-    - 空字符串（去除空白后）
-    - pandas 的 NaN
-    - 其他可迭代类型（如列表、字典等）的长度为 0
-    - 其他情况返回 False
-    """
-    # 如果是 None，直接返回 True
-    if value is None:
-        return True
-
-    # 尝试处理 pandas 的 NaN
-    try:
-        import pandas as pd
-        if pd.isna(value):
-            return True
-    except ImportError:
-        pass  # 如果没有安装 pandas，跳过
-
-    # 如果是字符串，检查去除空白后是否为空
-    if isinstance(value, str):
-        return value.strip() == ""
-
-
-
-    # 处理其他可迭代类型（如列表、字典等）
-    if hasattr(value, "__len__"):
-        return len(value) == 0
-
-    # 默认情况下，非 None、非空类型返回 False
-    return False