re-common 10.0.27__tar.gz → 10.0.28__tar.gz

{re_common-10.0.27/re_common.egg-info → re_common-10.0.28}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: re_common
-Version: 10.0.27
+Version: 10.0.28
 Summary: a library about all python projects
 Home-page: https://gitee.com/xujiangios/re-common
 Author: vic

{re_common-10.0.27 → re_common-10.0.28}/re_common/v2/baselibrary/business_utils/baseencodeid.py

@@ -76,11 +76,12 @@ class BaseLngid(object):
 
         return lngid
 
-    def getDoiid(self, doi):
-        doi_upper = doi.upper()
-        limited_id = self.BaseEncodeID(doi_upper)
+    def getDoiid(self, doi, case_insensitive=False):
+        if case_insensitive is False:
+            doi = doi.upper()
+        limited_id = self.BaseEncodeID(doi)
         if len(limited_id) > 240:
-            limited_id = hashlib.md5(doi_upper.encode('utf8')).hexdigest().upper()
+            limited_id = hashlib.md5(doi.encode('utf8')).hexdigest().upper()
         return limited_id
 
     def GetRawid(self, limited_id, case_insensitive=False):
@@ -97,4 +98,3 @@ class BaseLngid(object):
             raise Exception("长度超过20，不可逆")
 
         return uppercase_rawid
-

{re_common-10.0.27 → re_common-10.0.28}/re_common/v2/baselibrary/utils/author_smi.py

@@ -185,6 +185,7 @@ def AuthorRatio(
         # 处理后是否为空字符串，如果有 返回0
         if not s1 or not s2:
             return 0
+    # get_diacritic_variant(unidecode(strs)) 更激进，会丢失非拉丁字符和原文信息，适合需要把多语言文本转换成 ASCII 拼音的场景。
     # 处理音标问题
     s1 = get_diacritic_variant(unidecode(s1))
     s2 = get_diacritic_variant(unidecode(s2))

{re_common-10.0.27 → re_common-10.0.28}/re_common/v2/baselibrary/utils/string_clear.py

@@ -9,7 +9,7 @@ from re_common.v2.baselibrary.utils.stringutils import (
     bj2qj,
     get_diacritic_variant,
     clean_html,
-    remove_spaces_between_chinese_characters, clean_unicode_alnum,
+    remove_spaces_between_chinese_characters, clean_unicode_alnum, normalize_nfkc,
 )
 
 
@@ -112,10 +112,18 @@ class StringClear(object):
         return self
 
     def remove_diacritics(self):
+        """
+        和 clear_nkfc的关键区别 不去除连字
+        """
         # 去除音标 转换成字母
         self.obj_str = get_diacritic_variant(self.obj_str)
         return self
 
+    def clear_nkfc(self):
+        self.obj_str = normalize_nfkc(self.obj_str)
+        return self
+
+
     def remove_brackets(self):
         # 移除 方括号里面的内容
         self.obj_str = re.sub("\\[.*?]", "", self.obj_str)
@@ -148,6 +156,12 @@ class StringClear(object):
         self.obj_str = unquote(self.obj_str)
         return self
 
+    def ascii_text(self):
+        # 只保留 ASCII 范围内的可见字符：空格(32) 到 ~ (126)
+        self.obj_str = ''.join(c for c in self.obj_str if 32 <= ord(c) <= 126)
+        return self
+
+
     def get_str(self):
         return self.obj_str
 

{re_common-10.0.27 → re_common-10.0.28}/re_common/v2/baselibrary/utils/stringutils.py

@@ -6,6 +6,7 @@ import regex
 import unicodedata
 from html.parser import HTMLParser
 
+from unidecode import unidecode
 
 from re_common.v2.baselibrary.utils.string_smi import JaroDamerauLevenshteinMaxSim
 
@@ -59,7 +60,27 @@ def qj2bj(src):
     return ''.join(buf)
 
 
+"""
+总结对比表
+规范名	处理步骤	组合方式	兼容性归一化	主要用途
+NFC	规范分解 → 规范组合	组合	否	保留预组合字符，文本呈现和存储
+NFD	规范分解	不组合	否	拆解字符，便于逐字符处理
+NFKC	兼容性分解 → 规范组合	组合	是	消除兼容差异，文本比较和索引
+NFKD	兼容性分解 → 规范分解	不组合	是	最大程度拆解，文本分析和预处理
+"""
+
+
 def get_diacritic_variant(char1):
+    """
+    NFD: 规范分解（Normalization Form D）
+    把字符拆分为基本字符 + 变音符号
+
+    但不处理兼容字符（如连字）
+
+    print(unicodedata.normalize('NFD', 'é'))  # 输出: 'é'（e + 组合符号） # 这里看起来是1个字符 len 其实是2
+    print(unicodedata.normalize('NFD', 'fl'))  # 输出: 'fl'（不变化）
+
+    """
     # 将字符转换为标准的 Unicode 形式
     normalized_char1 = unicodedata.normalize('NFD', char1)
 
@@ -70,6 +91,19 @@ def get_diacritic_variant(char1):
     return base_char1
 
 
+def normalize_nfkc(strs: str) -> str:
+    """
+    NFKC: 兼容字符归一化 + 组合（Normalization Form Compatibility Composition）
+    把 连字、圈数字、全角字符 等兼容字符转换为标准形式
+
+    同时做字符合并（例如 é 不再是 e+´，而是一个字符）
+    print(unicodedata.normalize('NFKC', 'fl'))   # 输出: 'fl'
+    print(unicodedata.normalize('NFKC', '①'))   # 输出: '1'
+    print(unicodedata.normalize('NFKC', 'Ａ'))  # 输出: 'A'
+    """
+    return unicodedata.normalize('NFKC', strs.strip())
+
+
 def get_alphabetic_ratio(text: str) -> float:
     # 返回字母型字符所占比例
     if not text:
@@ -158,9 +192,9 @@ def remove_spaces_between_chinese_characters(text):
     return re.sub(pattern, '', text)
 
 
-
 sim_utils = JaroDamerauLevenshteinMaxSim()
 
+
 def group_similar_texts(texts, threshold=0.9):
     """根据相似度对文本进行分组"""
     from re_common.v2.baselibrary.utils.string_clear import rel_clear

{re_common-10.0.27 → re_common-10.0.28/re_common.egg-info}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: re_common
-Version: 10.0.27
+Version: 10.0.28
 Summary: a library about all python projects
 Home-page: https://gitee.com/xujiangios/re-common
 Author: vic

{re_common-10.0.27 → re_common-10.0.28}/setup.py

@@ -34,7 +34,7 @@ long_description = """
 """
 setuptools.setup(
     name="re_common",
-    version="10.0.27",
+    version="10.0.28",
     author="vic",
     author_email="xujiang5@163.com",
     description="a library about all python projects",