re-common 10.0.23__py3-none-any.whl → 10.0.24__py3-none-any.whl

re_common/v2/baselibrary/business_utils/BusinessStringUtil.py

@@ -0,0 +1,195 @@
+# 某些业务中的字符串处理 算是特定场景的工具 不算通用工具
+import re
+
+from re_common.v2.baselibrary.utils.string_bool import is_all_symbols
+
+
+def clean_organ_postcode(organ):
+    """
+    格式化组织名称字符串，移除括号内容并删除独立的6位数字（邮政编码），然后清理标点。
+
+    备注: 该方法替换java 里面的 formatOrgan
+
+    参数:
+        organ (str): 输入的组织名称字符串，可能包含括号、分号和邮政编码。
+
+    返回:
+        str: 格式化并清理后的组织名称字符串（无独立6位数字）。
+    """
+    # 如果输入为空，设为空字符串以避免后续操作报错
+    if not organ:
+        organ = ""
+
+    # 删除方括号和圆括号中的内容（包括括号本身）
+    organ = re.sub(r"\[.*?\]", "", organ)  # 非贪婪匹配方括号内容
+    organ = re.sub(r"\(.*?\)", "", organ)  # 非贪婪匹配圆括号内容
+
+    # 定义正则表达式，匹配独立的6位数字
+    # \b 表示单词边界，确保6位数字是独立的（前后不是字母、数字或下划线）
+    organ = re.sub(r"\b[0-9]{6}\b", "", organ)
+
+    # 初始化结果列表，用于存储处理后的组织名称部分
+    format_organ = []
+    # 按分号分割字符串，生成组织名称的各个部分
+    organ_parts = organ.split(";")
+
+    # 遍历每个部分，追加到结果列表
+    for temp_organ in organ_parts:
+        # 去除首尾多余空格后追加（避免因移除邮编导致的空字符串）
+        cleaned_part = temp_organ.strip()
+        # 如果首尾是标点符号，则移除
+        # 定义标点符号的正则表达式（这里包括常见标点）
+        punctuation = r"^[!,.?;:#$%^&*+-]+|[!,.?;:#$%^&*+-]+$"
+        cleaned_part = re.sub(punctuation, "", cleaned_part)
+        if cleaned_part:  # 只追加非空部分
+            format_organ.append(cleaned_part)
+
+    # 用分号连接结果，转换为大写并清理标点
+    format_organ = ";".join(format_organ)
+
+    # 返回最终结果并去除首尾空格
+    return format_organ.strip()
+
+
+def get_first_organ(organ):
+    if not organ:
+        return ""
+    organ_list = organ.strip().split(";")
+    for organ_one in organ_list:
+        # 清理邮政编码
+        organ_one = clean_organ_postcode(organ_one)
+        if organ_one.strip():
+            return organ_one
+
+    return ""
+
+
+def get_first_author(author: str) -> str:
+    if not author:
+        return ""
+    au_list = author.strip().split(";")
+    for au in au_list:
+        au = re.sub("\\[.*?]", "", au)
+        au = re.sub("\\(.*?\\)", "", au)
+        if au.strip():
+            return au
+    return ""
+
+def get_author_list(author: str):
+    lists = []
+    if not author:
+        return []
+    au_list = author.strip().split(";")
+    for au in au_list:
+        au = re.sub("\\[.*?]", "", au)
+        au = re.sub("\\(.*?\\)", "", au)
+        if au.strip():
+            lists.append(au.strip())
+    return lists
+
+
+def get_scopus_author_abbr(author_row: str):
+    if not author_row:
+        return ""
+    author_list = author_row.split("&&")
+    if len(author_list) != 3:
+        raise Exception("错误的数据个数 可能来自其他数据源")
+
+    abbr_list = author_list[0].strip().split(";")
+    abbr_list = [author.strip() for author in abbr_list if
+                 author.strip() and author.strip().lower() not in ("*", "and")]
+    return ";".join(abbr_list)
+
+
+def get_wos_author_abbr(author_row: str):
+    if not author_row:
+        return ""
+    author_list = author_row.split("&&")
+    if len(author_list) != 4:
+        raise Exception("错误的数据个数 可能来自其他数据源")
+    abbr_list = []
+    abbr_list_au = author_list[0].strip().split(";")
+    abbr_list_ba = author_list[2].strip().split(";")
+    abbr_list.extend(abbr_list_au)
+    abbr_list.extend(abbr_list_ba)
+    abbr_list = [author.strip() for author in abbr_list if
+                 author.strip() and author.strip().lower() not in ("*", "and")]
+    return ";".join(abbr_list)
+
+
+def deal_rel_vol(vol_str: str):
+    """
+    处理 期刊融合时的卷处理逻辑
+    """
+
+    # 如果卷是全符号 清理掉
+    if is_all_symbols(vol_str):
+        vol_str = ""
+
+    if vol_str.replace(".", "").isdigit():
+        try:
+            float_num = float(vol_str)
+            if int(float_num) == float_num:
+                return str(int(float_num))
+        except:
+            pass
+
+    if vol_str.lower().startswith("v "):
+        vol_str = vol_str.lower().replace("v ", "").strip()
+        return vol_str
+    if vol_str.lower().startswith("volume "):
+        vol_str = vol_str.lower().replace("volume ", "").strip()
+        return vol_str
+    if vol_str.lower().startswith("vol. "):
+        vol_str = vol_str.lower().replace("vol. ", "").strip()
+        return vol_str
+    if vol_str.lower().startswith("vol "):
+        vol_str = vol_str.lower().replace("vol ", "").strip()
+        return vol_str
+    return vol_str
+
+
+def deal_num_strs(input_str):
+    """
+    int后在str 防止有浮点型的表达方式
+    """
+    number_list = re.findall(r'\d+', input_str)
+    transformed_numbers = [str(int(num)) for num in number_list]
+
+    # 替换原字符串中的数字为转换后的数字
+    for num, transformed_num in zip(number_list, transformed_numbers):
+        input_str = input_str.replace(num, transformed_num)
+    return input_str
+
+
+def deal_num(num_str):
+    """
+    将 期格式化 方便 group尤其是有横杆的数据
+    该方法 为融合二次分割时使用，如果场景合适也可以用于其他地方
+    :param strs:
+    :return:
+    """
+    # 如果期是全符号清理掉
+    if is_all_symbols(num_str):
+        num_str = ""
+
+    if num_str.lower().startswith("n "):
+        num_str = num_str.lower().replace("n ", "").strip()
+
+    num_str = num_str.lower().replace("special_issue_", '').replace("_special_issue", '').replace("issue", "")
+    num_str = num_str.replace("spec.", "").replace("iss.", "").replace("spl.", "").replace("special.", "").replace(
+        "specialissue.", "")
+    num_str = num_str.replace("spec", "").replace("iss", "").replace("spl", "").replace("special", "").replace(
+        "specialissue", '')
+
+    num_str = num_str.replace("-", "_").replace(".", "_").upper()
+    num_str = num_str.lstrip("_").rstrip("_")
+    if num_str.find("_") > -1:
+        start, end = num_str.split("_")
+        start = deal_num_strs(start)
+        end = deal_num_strs(end)
+        num_str = start + "_" + end
+    else:
+        num_str = deal_num_strs(num_str)
+
+    return num_str.lower().strip()

re_common/v2/baselibrary/business_utils/rel_tools.py

@@ -0,0 +1,6 @@
+def assign_group_id(rows: list, sub_db_order: list):
+    subdb_keyid_map = {row.sub_db_id: row.keyid for row in rows}
+    for sub_db_id in sub_db_order:
+        if keyid := subdb_keyid_map.get(sub_db_id):
+            return keyid, len(rows), rows
+    return rows[0].keyid, len(rows), rows

re_common/v2/baselibrary/tools/WeChatRobot.py

@@ -6,10 +6,13 @@ import json
 import traceback
 
 
+# c1d3a814-1a02-4bbd-b5c2-f756fef92cb8: b层机器人消息群-非聊天 的 pythonspark
+# 013547da-3d78-4a7f-b4a7-e668b192c293: b层机器人消息群-非聊天 的 数仓B层服务端部署通知
+
 # 发送消息到企业微信机器人
 # vx_key: string类型，自己的企业微信机器人的key
 # s:string类型，要发送的消息
-def send_vx(vx_key, s):
+def send_vx(vx_key, s, i=0):
     vx_url = 'https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=' + vx_key
     headers = {"Content-Type": "text/plain"}
     data = {
@@ -18,10 +21,13 @@ def send_vx(vx_key, s):
             "content": s,
         }
     }
+    if i > 3:
+        raise Exception(str(traceback.format_exc()))
     try:
         requests.post(url=vx_url, headers=headers, json=data, timeout=30)
     except:
-        send_vx(vx_key, str(traceback.format_exc()))
+        i = i + 1
+        send_vx(vx_key, str(traceback.format_exc()), i)
 
 
 # 发送文件到企业微信机器人
@@ -71,9 +77,19 @@ def file_to_vx(vx_key, data, file_name):
         else:
             if isinstance(data, dict):
                 data_str = json.dumps(data, ensure_ascii=False)
+            elif isinstance(data, list):
+                data_str = ""
+                for i in data:
+                    if isinstance(i, dict):
+                        data_str = data_str + json.dumps(i, ensure_ascii=False) + "\n"
+                    else:
+                        data_str = data_str + str(i) + "\n"
             else:
                 data_str = str(data)
+            print(data_str[:100])
             with open(file_path, 'w', encoding='utf-8') as f:
                 f.write(data_str)
+            post_file(vx_key, file_path)
     except:
         send_vx(vx_key, str(traceback.format_exc()))
+    os.system('rm -r' + temp_dir + '')

re_common/v2/baselibrary/utils/string_bool.py

@@ -3,6 +3,12 @@ import re
 import unicodedata
 
 
+def is_ascii_alnum(char: str) -> bool:
+    #  精准判断是否为英文或数字字符（ASCII 范围）
+    # char.isalnum() 字母或数字（Unicode）包含中文等非英文字符
+    return char.isascii() and char.isalnum()
+
+
 def is_all_english_chars(s):
     return bool(re.match(r'^[A-Za-z]+$', s))
 
@@ -104,46 +110,77 @@ def is_all_symbols(text):
 
 def is_whole_word_en(sub_str: str, long_str: str) -> bool:
     """
-        判断 sub_str 在 long_str 中是否是一个完整的单词（而不是其他单词的一部分）。
+    判断 sub_str 是否作为 long_str 中的一个完整英文单词（不被其他单词嵌套）。
 
-        参数:
-            sub_str: 要搜索的单词
-            long_str: 被搜索的文本
+    参数:
+        sub_str: 要搜索的英文子串
+        long_str: 被搜索的字符串
 
-        返回:
-            bool: 如果 sub_str 是 long_str 中的一个完整单词则返回 True，否则返回 False
-        """
-    regex_pattern = re.compile(r"[^a-z0-9]")
+    返回:
+        True 表示 sub_str 是一个完整单词；False 表示是部分单词或不匹配。
+    """
+    # 用于 忽略大小写 进行匹配
+    regex_pattern = re.compile(r"[^a-z0-9]", re.IGNORECASE)  # 用于判断非字母数字字符
 
     if not sub_str or not long_str:
         return False
 
-    # 使用 startsWith 和 endsWith 检查边界
-    if long_str.startswith(sub_str) and long_str.endswith(sub_str):
+    # 检查整段是否完全等于 sub_str
+    if long_str == sub_str:
         return True
 
-    # 检查是否在中间位置，且前后有非字母数字字符
-    index = long_str.find(sub_str)
-    if index >= 0:
+    # 遍历所有 sub_str 的出现位置
+    index = 0
+    while index < len(long_str):
+        # 从字符串 long_str 的第 index 个位置开始，查找子串 sub_str 第一次出现的位置，并把它赋值给 index。
+        index = long_str.find(sub_str, index)
+        if index == -1:
+            break
+
+        # 检查 sub_str 前一个字符（如果有）是否为非字母数字
         if index == 0:
             is_start = True
         else:
             is_start = bool(regex_pattern.match(long_str[index - 1]))
 
-        if len(long_str) == len(sub_str) + index:
+        # 检查 sub_str 后一个字符（如果有）是否为非字母数字
+        end_index = index + len(sub_str)
+        if end_index == len(long_str):
             is_end = True
         else:
-            is_end = bool(regex_pattern.match(long_str[index + len(sub_str)]))
+            is_end = bool(regex_pattern.match(long_str[end_index]))
 
-        return is_start and is_end
-    else:
-        return False
+        if is_start and is_end:
+            return True
+
+        # 移动索引继续查找
+        index += 1
+
+    return False
 
 
 def is_whole_word(sub_str: str, long_str: str) -> bool:
+    """
+    判断 sub_str 是否为 long_str 中的一个完整词（适配中英文）。
+    中文采用“包含”判断，英文采用完整词匹配。
+
+    参数:
+        sub_str: 要搜索的子串（中英文均可）
+        long_str: 被搜索的字符串
+
+    返回:
+        True 表示 sub_str 是一个完整词；False 否则。
+    """
     if contains_chinese_chars(sub_str):
-        return True
-    elif is_whole_word_en(sub_str, long_str):
-        return True
+        # 子字符串完全包含在长字符串
+        is_contain = sub_str in long_str
+        # 是否是字母数字
+        if is_ascii_alnum(sub_str[0]) or is_ascii_alnum(sub_str[-1]):
+            # 表示中英文混合 看是否是截断单词即可
+            return is_whole_word_en(sub_str, long_str)
+        else:
+            # 中文子串只要被包含即可视为“完整词”
+            return is_contain
     else:
-        return False
+        # 英文使用完整单词判断逻辑
+        return is_whole_word_en(sub_str, long_str)

{re_common-10.0.23.dist-info → re_common-10.0.24.dist-info}/METADATA

@@ -1,6 +1,6 @@
-Metadata-Version: 2.2
+Metadata-Version: 2.1
 Name: re_common
-Version: 10.0.23
+Version: 10.0.24
 Summary: a library about all python projects
 Home-page: https://gitee.com/xujiangios/re-common
 Author: vic
@@ -11,14 +11,6 @@ Classifier: Operating System :: OS Independent
 Requires-Python: >=3.6
 Description-Content-Type: text/markdown
 License-File: LICENSE
-Dynamic: author
-Dynamic: author-email
-Dynamic: classifier
-Dynamic: description
-Dynamic: description-content-type
-Dynamic: home-page
-Dynamic: requires-python
-Dynamic: summary
 
 
     这是一个基础类，依赖很多的第三方包，是一个用得到的第三方库的封装，可以在此基础上迅速构建项目

{re_common-10.0.23.dist-info → re_common-10.0.24.dist-info}/RECORD

@@ -163,12 +163,15 @@ re_common/studio/streamlitstudio/first_app.py,sha256=t7Fw8YDlub7G9q99GgVo_3sPZXU
 re_common/studio/streamlitstudio/uber_pickups.py,sha256=cvrV5e8vRBM2_CpVDBE-f3V4mGFK9SqpRPZK8TEqr6U,785
 re_common/v2/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 re_common/v2/baselibrary/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
+re_common/v2/baselibrary/business_utils/BusinessStringUtil.py,sha256=M3Pb9TB9QRePa9phjqx6JZV_igM-xRRa554iZ-WgyOo,6786
+re_common/v2/baselibrary/business_utils/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
+re_common/v2/baselibrary/business_utils/rel_tools.py,sha256=LfnGFCkUSxg1SHvOMOQdP1PiHxIKqk7Syuk5YYpjJag,295
 re_common/v2/baselibrary/decorators/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 re_common/v2/baselibrary/decorators/utils.py,sha256=Q4D6KKCQxvNBXZkPQQn14keKKJpGtg8TUSakjJU40s0,2056
 re_common/v2/baselibrary/helpers/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 re_common/v2/baselibrary/s3object/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 re_common/v2/baselibrary/s3object/baseboto3.py,sha256=mXuIFx99pnrPGQ4LJCZwlN1HLbaU-OWLwck0cVzW6hc,11203
-re_common/v2/baselibrary/tools/WeChatRobot.py,sha256=EaQgNncROAhU5-psYRGWAshIV5aEw-p2u1kYLpvr7RA,2796
+re_common/v2/baselibrary/tools/WeChatRobot.py,sha256=sKBt2gPsfj0gzV6KaLSAhIhL-j3qNfHfqE-lII1LVwM,3537
 re_common/v2/baselibrary/tools/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 re_common/v2/baselibrary/tools/ac_ahocorasick.py,sha256=c63y5RtKVLD37nyPCnBqfNygwRj4gTQqyIdDOrC65G0,2847
 re_common/v2/baselibrary/tools/dict_tools.py,sha256=BTh7oJuJ619IZgxiYlim0ltrXBclDtb7WzyFGr7wVf0,1246
@@ -190,7 +193,7 @@ re_common/v2/baselibrary/utils/db.py,sha256=lr6SI1Bk7tA0nw_4vHbmz-OaisPlb_p9ziC1
 re_common/v2/baselibrary/utils/json_cls.py,sha256=M93piYtmgm_wP8E57culTrd_AhHLoGg6PqeAJYdW2SM,438
 re_common/v2/baselibrary/utils/mq.py,sha256=UHpO8iNIHs91Tgp-BgnSUpZwjWquxrGLdpr3FMMv2zw,2858
 re_common/v2/baselibrary/utils/n_ary_expression_tree.py,sha256=-05kO6G2Rth7CEK-5lfFrthFZ1Q0-0a7cni7mWZ-2gg,9172
-re_common/v2/baselibrary/utils/string_bool.py,sha256=S5HMemxl2S248p4sEakD1NFJccH1NMQcbOFGmSFfcbg,4695
+re_common/v2/baselibrary/utils/string_bool.py,sha256=vxnjSFOfuHWGxkqaIbUNn21opx5tfV1uCXSahFfp1mU,6197
 re_common/v2/baselibrary/utils/string_clear.py,sha256=_bK8oi7t34JfFh8IVbe0fFexBzafFWow0r3QJ45HsyE,7212
 re_common/v2/baselibrary/utils/string_smi.py,sha256=cU0WAWHRGnGoVQx3eCEKeM_q_olFNzRTJe7rSe586SY,741
 re_common/v2/baselibrary/utils/stringutils.py,sha256=WuxhXJVU6xuGfgHiSjxrn7Go1eobpa8DMR3Icoey4vo,6039
@@ -220,8 +223,8 @@ re_common/vip/title/transform/TransformRegulationTitleToZt.py,sha256=LKRdIsWKues
 re_common/vip/title/transform/TransformStandardTitleToZt.py,sha256=-fCKAbSBzXVyQDCE61CalvR9E_QzQMA08QOO_NePFNI,5563
 re_common/vip/title/transform/TransformThesisTitleToZt.py,sha256=QS-uV0cQrpUFAcKucuJQ9Ue2VRQH-inmfn_X3IplfRo,5488
 re_common/vip/title/transform/__init__.py,sha256=m83-CWyRq_VHPYHaALEQlmXrkTdrZ3e4B_kCfBYE-uc,239
-re_common-10.0.23.dist-info/LICENSE,sha256=HrhfyXIkWY2tGFK11kg7vPCqhgh5DcxleloqdhrpyMY,11558
-re_common-10.0.23.dist-info/METADATA,sha256=N4eRHjYZVktVW-rEm3J4y8LJmJs_4U42a-MgJlzoWck,764
-re_common-10.0.23.dist-info/WHEEL,sha256=In9FTNxeP60KnTkGw7wk6mJPYd_dQSjEZmXdBdMCI-8,91
-re_common-10.0.23.dist-info/top_level.txt,sha256=_H9H23zoLIalm1AIY_KYTVh_H0ZnmjxQIxsvXtLv45o,10
-re_common-10.0.23.dist-info/RECORD,,
+re_common-10.0.24.dist-info/LICENSE,sha256=HrhfyXIkWY2tGFK11kg7vPCqhgh5DcxleloqdhrpyMY,11558
+re_common-10.0.24.dist-info/METADATA,sha256=R1kT5A-yNJHQ3lvpchpqc3dX8ONJK1kuTfoGUQ08018,582
+re_common-10.0.24.dist-info/WHEEL,sha256=GJ7t_kWBFywbagK5eo9IoUwLW6oyOeTKmQ-9iHFVNxQ,92
+re_common-10.0.24.dist-info/top_level.txt,sha256=_H9H23zoLIalm1AIY_KYTVh_H0ZnmjxQIxsvXtLv45o,10
+re_common-10.0.24.dist-info/RECORD,,

{re_common-10.0.23.dist-info → re_common-10.0.24.dist-info}/WHEEL

@@ -1,5 +1,5 @@
 Wheel-Version: 1.0
-Generator: setuptools (75.8.0)
+Generator: bdist_wheel (0.43.0)
 Root-Is-Purelib: true
 Tag: py3-none-any