re-common 10.0.1__tar.gz → 10.0.2__tar.gz

{re_common-10.0.1 → re_common-10.0.2}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: re_common
-Version: 10.0.1
+Version: 10.0.2
 Summary: a library about all python projects
 Home-page: https://gitee.com/xujiangios/re-common
 Author: vic

{re_common-10.0.1 → re_common-10.0.2}/re_common/v2/baselibrary/utils/BusinessStringUtil.py

@@ -1,4 +1,4 @@
-# 某些业务中的字符串处理 算是特定场景的工具
+# 某些业务中的字符串处理 算是特定场景的工具 不算通用工具
 import re
 
 
@@ -56,7 +56,7 @@ def get_first_organ(organ):
     for organ_one in organ_list:
         # 清理邮政编码
         organ_one = clean_organ_postcode(organ_one)
-        if organ_one:
+        if organ_one.strip():
             return organ_one
 
     return ""
@@ -69,6 +69,48 @@ def get_first_author(author: str) -> str:
     for au in au_list:
         au = re.sub("\\[.*?]", "", au)
         au = re.sub("\\(.*?\\)", "", au)
-        if au:
+        if au.strip():
             return au
     return ""
+
+
+def get_author_list(author: str):
+    lists = []
+    if not author:
+        return []
+    au_list = author.strip().split(";")
+    for au in au_list:
+        au = re.sub("\\[.*?]", "", au)
+        au = re.sub("\\(.*?\\)", "", au)
+        if au.strip():
+            lists.append(au.strip())
+    return lists
+
+
+def get_scopus_author_abbr(author_row: str):
+    if not author_row:
+        return ""
+    author_list = author_row.split("&&")
+    if len(author_list) != 3:
+        raise Exception("错误的数据个数 可能来自其他数据源")
+
+    abbr_list = author_list[0].strip().split(";")
+    abbr_list = [author.strip() for author in abbr_list if
+                 author.strip() and author.strip().lower() not in ("*", "and")]
+    return ";".join(abbr_list)
+
+
+def get_wos_author_abbr(author_row: str):
+    if not author_row:
+        return ""
+    author_list = author_row.split("&&")
+    if len(author_list) != 4:
+        raise Exception("错误的数据个数 可能来自其他数据源")
+    abbr_list = []
+    abbr_list_au = author_list[0].strip().split(";")
+    abbr_list_ba = author_list[2].strip().split(";")
+    abbr_list.extend(abbr_list_au)
+    abbr_list.extend(abbr_list_ba)
+    abbr_list = [author.strip() for author in abbr_list if
+                 author.strip() and author.strip().lower() not in ("*", "and")]
+    return ";".join(abbr_list)

{re_common-10.0.1 → re_common-10.0.2}/re_common/v2/baselibrary/utils/author_smi.py

@@ -127,11 +127,6 @@ def custom_rstrip(s):
     return s
 
 
-def deal_str_first(s1):
-    # 先对数据处理一波
-    s1 = s1.replace("’", "")
-    return s1
-
 
 def AuthorRatio(
         s1,
@@ -147,7 +142,7 @@ def AuthorRatio(
     if is_none(s1) or is_none(s2):
         return 0
 
-    # 处理字符串的程序
+    # 处理字符串的程序 外围传入方法
     if processor is not None:
         s1 = processor(s1)
         s2 = processor(s2)
@@ -155,12 +150,14 @@ def AuthorRatio(
         # 处理后是否为空字符串，如果有 返回0
         if not s1 or not s2:
             return 0
-
+    # 处理音标问题
     s1 = get_diacritic_variant(s1)
     s2 = get_diacritic_variant(s2)
     # 这里提出来是为了少计算 但后期需要平衡内存和算力
+    # 移除指定符号 这里做了小写化处理
     s1_punc = remove_punctuation(s1)
     s2_punc = remove_punctuation(s2)
+    # 分成列表
     s1_punc_split = s1_punc.split()
     s2_punc_split = s2_punc.split()
 
@@ -236,6 +233,11 @@ def AuthorRatio(
         # 如果循环结束都没有提前返回 False，则表示两个字符串完全匹配，返回 True
         return True
 
+    # 防止清理后 一方变为空字符串
+    if len(l1) == 0 or len(l2) == 0:
+        return 0
+
+    #  这里的逻辑是最后的位置全大写就将他拆分散 比如 joi CJ -> joi C J
     if len(l1[-1]) != 1 and l1[-1].isupper():
         t_str = l1[-1]
         l1 = l1[:-1]

re_common-10.0.2/re_common/v2/baselibrary/utils/string_bool.py

@@ -0,0 +1,26 @@
+import re
+
+
+def is_all_english_chars(s):
+    return bool(re.match(r'^[A-Za-z]+$', s))
+
+
+def contains_chinese_chars(s):
+    return bool(re.search(r'[\u3400-\u9fff]', s))
+
+
+def is_empty(value):
+    # 如果是 None，直接返回 True
+    if value is None:
+        return True
+
+    # 如果是字符串，检查去除空白后是否为空
+    if isinstance(value, str):
+        return value.strip() == ""
+
+    # 可选：处理其他可迭代类型（如列表、字典等）
+    if hasattr(value, "__len__"):
+        return len(value) == 0
+
+    # 默认情况下，非 None、非空类型返回 False
+    return False

{re_common-10.0.1 → re_common-10.0.2}/re_common/v2/baselibrary/utils/string_clear.py

@@ -66,6 +66,11 @@ class StringClear(object):
         self.obj_str = re.sub("[_]", "", self.obj_str)
         return self
 
+    def replace_dash_with_space(self):
+        # 横线换成空格 比 去除符号有时更有用
+        self.obj_str = self.obj_str.replace("-", " ")
+        return self
+
     def remove_diacritics(self):
         # 去除音标 转换成字母
         self.obj_str = get_diacritic_variant(self.obj_str)
@@ -81,6 +86,26 @@ class StringClear(object):
         self.obj_str = re.sub("\\(.*?\\)", "", self.obj_str)
         return self
 
+    def remove_html_tag(self):
+        import html
+        from parsel import Selector
+
+        self.obj_str = html.unescape(self.obj_str)
+
+        def clean_html(html):
+            sel = Selector(text=html)
+            # 移除脚本和样式
+            sel.xpath('//script').remove()
+            sel.xpath('//style').remove()
+
+            # 提取文本
+            text_nodes = sel.xpath('//text()').getall()
+            return ''.join(t.strip() for t in text_nodes if t.strip())
+
+        self.obj_str = clean_html(self.obj_str)
+
+        return self
+
     def get_str(self):
         return self.obj_str
 
@@ -89,8 +114,10 @@ def rel_clear(str_obj):
     # 为融合数据定制的 清理规则
     return (StringClear(str_obj)
             .None_to_str()  # 空对象转str 防止空对象
-            .to_str()  # 防止其他类型传入
+            .to_str()  # 防止其他类型传入 比如 int double
             .qj_to_bj()  # 全角转半角
+            .remove_html_tag() # html标签清理
+            .replace_dash_with_space()  # 横线转空格 在 英文 title 中更有用
             .remove_special_chars()  # 移除特殊字符，仅保留字母、数字、空格和汉字 \w 已经包括所有 Unicode 字母 下划线 _ 会被保留
             .collapse_spaces()  # 移除多余空格,连续多个空格变一个
             .lower()  # 小写

{re_common-10.0.1 → re_common-10.0.2}/re_common.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: re_common
-Version: 10.0.1
+Version: 10.0.2
 Summary: a library about all python projects
 Home-page: https://gitee.com/xujiangios/re-common
 Author: vic

{re_common-10.0.1 → re_common-10.0.2}/setup.py

@@ -24,7 +24,7 @@ re_common
   # new 20250224
   password_new = pypi-AgEIcHlwaS5vcmcCJDJkMzJhNWZkLTBkOTktNGE4Yi1iN2Q5LWU0ZjNjMGNiNzhjYwACEVsxLFsicmUtY29tbW9uIl1dAAIsWzIsWyIwYWIzYjIzMy0zZTlmLTQ1ZjAtYWQ5OC03NjJhNDM5NjNiZmUiXV0AAAYg0Pu6BqqupvhX7ad69d8e6XS8BmnLav6x6D9HJ-U3gko
   
-  pypi-AgEIcHlwaS5vcmcCJGYwYzgxMDgzLTk4N2QtNDJhNC05M2M2LTg5M2U1OTZiMGJiOQACEVsxLFsicmUtY29tbW9uIl1dAAIsWzIsWyIwYWIzYjIzMy0zZTlmLTQ1ZjAtYWQ5OC03NjJhNDM5NjNiZmUiXV0AAAYg1LW213YQeFnEJKMyTxEzfLNp2dQbB9UJ_2gjZp6eJrU
+  pypi-AgEIcHlwaS5vcmcCJDUzNWEzYmFkLTcyMTUtNDE5OS05MGY4LWZlNTZkMDMzM2U2MQACKlszLCJhMjk4YTg3ZS02YjU2LTQzOTMtYjA5YS1kMzEzMzhjZmNiMDYiXQAABiD00KOVAf9T8AyK7F9K1G9LECXl0MdYa3yyODA7ox5qDg
   
 python setup.py sdist bdist_wheel
 python -m twine upload dist/*
@@ -35,7 +35,7 @@ long_description = """
 """
 setuptools.setup(
     name="re_common",
-    version="10.0.1",
+    version="10.0.2",
     author="vic",
     author_email="xujiang5@163.com",
     description="a library about all python projects",

re_common-10.0.1/re_common/v2/baselibrary/utils/string_bool.py

@@ -1,9 +0,0 @@
-import re
-
-
-def is_all_english_chars(s):
-    return bool(re.match(r'^[A-Za-z]+$', s))
-
-
-def contains_chinese_chars(s):
-    return bool(re.search(r'[\u3400-\u9fff]', s))