re-common 10.0.6__tar.gz → 10.0.8__tar.gz

{re_common-10.0.6 → re_common-10.0.8}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: re_common
-Version: 10.0.6
+Version: 10.0.8
 Summary: a library about all python projects
 Home-page: https://gitee.com/xujiangios/re-common
 Author: vic

re_common-10.0.8/re_common/v2/baselibrary/tools/WeChatRobot.py

@@ -0,0 +1,79 @@
+import sqlite3
+import requests
+import pandas as pd
+import os
+import json
+import traceback
+
+
+# 发送消息到企业微信机器人
+# vx_key: string类型，自己的企业微信机器人的key
+# s:string类型，要发送的消息
+def send_vx(vx_key, s):
+    vx_url = 'https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=' + vx_key
+    headers = {"Content-Type": "text/plain"}
+    data = {
+        "msgtype": "text",
+        "text": {
+            "content": s,
+        }
+    }
+    try:
+        requests.post(url=vx_url, headers=headers, json=data, timeout=30)
+    except:
+        send_vx(vx_key, str(traceback.format_exc()))
+
+
+# 发送文件到企业微信机器人
+# vx_key: string类型，自己的企业微信机器人的key
+# file_path: string类型，文件地址
+def post_file(vx_key, file_path):
+    id_url = 'https://qyapi.weixin.qq.com/cgi-bin/webhook/upload_media?key=' + vx_key + '&type=file'
+    wx_url = 'https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=' + vx_key
+    data = {'file': open(file_path, 'rb')}
+    response = requests.post(url=id_url, files=data)
+    json_res = response.json()
+    media_id = json_res['media_id']
+    data = {"msgtype": "file",
+            "file": {"media_id": media_id}
+            }
+    try:
+        requests.post(url=wx_url, json=data)
+    except:
+        send_vx(send_vx, str(traceback.format_exc()))
+
+
+# data: dataframe|string|dict|list|tuple|array
+# file_name: 带后缀的完整文件名
+# file_type: 文件类型，包括csv、excel、txt、json、sql
+def file_to_vx(vx_key, data, file_name):
+    file_type = file_name.split('.')[-1]
+    if file_type == "xls" or file_type == "xlsx":
+        file_type = "excel"
+    current_dir = os.getcwd()
+    temp_dir = os.path.join(os.getcwd(), "tmp")
+    if os.path.exists(temp_dir):
+        pass
+    else:
+        os.makedirs(temp_dir)
+    file_path = current_dir + "/" + file_name
+    try:
+        if isinstance(data, pd.DataFrame) and file_type != "txt":
+            if file_type == "db3":
+                conn = sqlite3.connect(file_path)
+                data.to_sql('base_table', conn, if_exists='replace', index=False)
+                post_file(vx_key, file_path)
+            else:
+                code_str = "data.to_" + file_type + "(file_path,index=False)"
+                eval(code_str)
+                post_file(vx_key, file_path)
+            os.system('rm ' + file_path + '')
+        else:
+            if isinstance(data, dict):
+                data_str = json.dumps(data, ensure_ascii=False)
+            else:
+                data_str = str(data)
+            with open(file_path, 'w', encoding='utf-8') as f:
+                f.write(data_str)
+    except:
+        send_vx(vx_key, str(traceback.format_exc()))

re_common-10.0.8/re_common/v2/baselibrary/tools/dolphinscheduler.py

@@ -0,0 +1,187 @@
+import requests
+
+
+# 注意；basic_json是一个字典，存储一些平台基本信息，样例如下：
+# {"user_name":"fuyu",     # 用户名
+#  "token":"cce8747e20881dfasdf66b0511cdc9fb2", # 个人令牌
+#  "project_name":"project_name",  # 项目名称
+#  "task_name":"project_name" # 任务名称
+#}
+
+# 用于获取项目代码和任务代码
+def get_dolphin_scheduler_code(basic_json):
+    # 设置请求头，包含认证token
+    headers = {
+        "token": basic_json['token']
+    }
+
+    # 发送GET请求，获取项目列表
+    response = requests.get(url='http://192.168.98.21:12345/cqvip/projects/list',
+                            headers=headers)
+
+    # 解析响应中的JSON数据，获取项目列表
+    project_list = response.json()['data']
+
+    # 遍历项目列表，查找与指定项目名称匹配的项目
+    projectCode=-1
+    for i in project_list:
+        if i['name'] == basic_json['project_name']:
+            projectCode = i['code']  # 获取匹配项目的代码
+            break
+
+    # 检查是否找到了匹配的项目代码
+    if projectCode!=-1:
+        # 发送GET请求，获取指定项目下的任务定义列表
+        response = requests.get(
+            url='http://192.168.98.21:12345/cqvip/projects/' + str(projectCode) + '/process-definition/list',
+            headers=headers)
+
+        # 解析响应中的JSON数据，获取任务定义列表
+        task_list = response.json()['data']
+
+        # 遍历任务定义列表，查找与指定任务名称匹配的任务
+        task_code=-1
+        for task in task_list:
+            if task['processDefinition']['name'] == basic_json['task_name']:
+                task_code = task['processDefinition']['code']  # 获取匹配任务的代码
+                break
+        if task_code==-1:
+            raise Exception('未找到', basic_json['task_name'], '任务')
+    else:
+        raise Exception('未找到',basic_json['project_name'],'项目')
+    return (str(projectCode),str(task_code))
+
+# 定义一个函数dolphinscheduler_run，用于在DolphinScheduler中运行指定的任务
+def dolphinscheduler_run(basic_json):
+    # 设置请求头，包含认证token
+    headers = {
+        "token": basic_json['token']
+    }
+    code=get_dolphin_scheduler_code(basic_json)
+    # 准备请求数据，用于启动任务实例
+    data = {
+        "projectCode": code[0],  # 项目代码
+        "processDefinitionCode": code[1],  # 任务定义代码
+        "tenantCode": basic_json['user_name'],  # 用户名称
+        "scheduleTime": "",  # 调度时间（留空表示立即执行）
+        "failureStrategy": "END",  # 失败策略（END表示失败后结束）
+        "warningType": "NONE",  # 警告类型（NONE表示不发送警告）
+        "processInstancePriority": "MEDIUM",  # 任务实例优先级（MEDIUM表示中等）
+    }
+    # 发送POST请求，启动任务实例
+    r = requests.post(url='http://192.168.98.21:12345/cqvip/projects/' + str(
+        code[0]) + '/executors/start-process-instance',
+                      headers=headers, params=data)
+
+    # 打印响应内容，通常包含任务启动的结果信息
+    print(r.text)
+
+## 修改 DolphinScheduler 平台上任务的上下线状态
+def alter_dolphinscheduler_state(basic_json, releaseState):
+    """
+    参数:
+    - basic_json (dict): 包含用户认证信息的字典，必须包含 'token'、'user_name'，'project_name'和'spark_test' 字段。
+    - releaseState (str): 任务的目标状态，'ONLINE' 表示上线，'OFFLINE' 表示下线。
+    """
+
+    # 设置请求头，包含认证 token
+    headers = {
+        "token": basic_json['token']
+    }
+
+    # 获取任务代码，假设 get_dolphin_scheduler_code 是一个函数，返回项目代码和任务代码
+    code = get_dolphin_scheduler_code(basic_json)  # code[0] 是项目代码，code[1] 是任务代码
+
+    # 构建 API URL，用于修改任务的上下线状态
+    API_URL = "http://192.168.98.21:12345/cqvip/projects/" + code[0] + "/process-definition/" + code[1] + "/release"
+
+    # 准备请求数据，包含任务的目标状态
+    data = {
+        "releaseState": releaseState  # 'OFFLINE' 表示下线状态，'ONLINE' 表示上线状态
+    }
+
+    # 发送 POST 请求，修改任务的上下线状态
+    # - url: API 地址
+    # - headers: 请求头，包含认证信息
+    # - params: 请求参数，包含任务的目标状态
+    r = requests.post(url=API_URL, headers=headers, params=data)
+
+    # 打印 API 响应内容，通常包含修改状态的结果信息
+    print(r.text)
+
+
+# 修改 DolphinScheduler 平台上的文件内容
+def alter_dolphinscheduler_file(basic_json, local_file_path, dolphin_scheduler_file_path):
+    """
+    参数:
+    - basic_json (dict): 包含用户认证信息的字典，必须包含 'token' 和 'user_name' 字段。
+    - local_file_path (str): 本地文件的路径，用于读取更新后的内容。
+    - dolphin_scheduler_file_path (str): 需要修改的文件在 DolphinScheduler 中的路径（相对路径）。
+    """
+
+    # DolphinScheduler 的 API 地址，用于更新文件内容
+    URL = "http://192.168.98.21:12345/cqvip/resources/update-content"
+
+    # 打开本地文件，读取文件内容
+    with open(local_file_path, 'r', encoding='utf-8') as f:
+        content_text = f.read()  # 读取文件的全部内容
+
+    # 设置请求头，包含认证 token
+    headers = {
+        "token": basic_json['token']
+    }
+
+    # 准备请求数据，包含文件内容、用户信息和文件路径
+    data = {
+        "content": content_text,  # 更新后的文件内容
+        "tenantCode": basic_json['user_name'],  # 用户名称
+        "fullName": "dolphinscheduler/" + basic_json['user_name'] + "/resources" + dolphin_scheduler_file_path
+        # 文件在 DolphinScheduler 中的完整路径
+    }
+
+    # 发送 PUT 请求，更新 DolphinScheduler 中的文件内容
+    # - url: API 地址
+    # - headers: 请求头，包含认证信息
+    # - data: 请求数据，包含文件内容和路径信息
+    r = requests.put(url=URL, headers=headers, data=data)
+
+    # 打印 API 响应内容，通常包含更新结果信息
+    print(r.text)
+
+
+# 将本地文件上传到 DolphinScheduler 的资源目录中
+def upload_dolphinscheduler_file(basic_json, local_file_path, file_name, dolphin_scheduler_file_path):
+    """
+    参数:
+    - basic_json (dict): 包含用户认证信息的字典，必须包含 'token' 和 'user_name' 字段。
+    - local_file_path (str): 本地文件的路径。
+    - file_name (str): 上传到 DolphinScheduler 后的文件名。
+    - dolphin_scheduler_file_path (str): 文件在 DolphinScheduler 中的目标路径（相对路径）。
+    """
+
+    # DolphinScheduler 的 API 地址
+    API_URL = "http://192.168.98.21:12345/cqvip/resources"
+
+    # 设置请求头，包含认证 token
+    headers = {
+        "token": basic_json['token'],
+    }
+
+    # 准备请求数据，包含文件类型、文件名、描述和目标路径
+    data = {
+        "type": "FILE",  # 文件类型
+        "name": file_name,  # 上传后的文件名
+        "description": "undefined",  # 文件描述（此处为默认值）
+        "currentDir": "dolphinscheduler/" + basic_json['user_name'] + "/resources" + dolphin_scheduler_file_path  # 目标路径
+    }
+
+    # 发送 POST 请求，上传文件
+    # - url: API 地址
+    # - headers: 请求头，包含认证信息
+    # - files: 上传的文件内容，以二进制形式读取本地文件
+    # - params: 其他请求参数，包含文件信息和目标路径
+    r = requests.post(url=API_URL, headers=headers, files={'file': open(local_file_path, 'rb')}, params=data)
+
+    # 打印 API 响应内容，通常包含上传结果信息
+    print(r.text)
+

{re_common-10.0.6 → re_common-10.0.8}/re_common/v2/baselibrary/utils/string_clear.py

@@ -49,9 +49,18 @@ class StringClear(object):
     def clean_symbols(self):
         """
         清理已知的符号
+        旧版: "[\\p{P}～`=￥×\\\\*#$^|+%&~!,:.;'/{}()\\[\\]?<> 《》”“\\-（）。≤《〈〉》—、·―–‐‘’“”″…¨〔〕°■『』℃ⅠⅡⅢⅣⅤⅥⅦⅩⅪⅫ]"
         """
+        pattern = (
+            r"[\p{P}"  # 所有 Unicode 标点符号
+            r"～`=￥×\\*#$^|+%&~<> "  # 未被 \p{P} 覆盖的特殊符号
+            r"”“\-≤—―–‐‘’“”″…¨°■℃"  # 其他未覆盖的标点和符号
+            r"ⅠⅡⅢⅣⅤⅥⅦⅩⅪⅫ"  # 罗马数字
+            r"]"
+        )
+
         self.obj_str = regex.sub(
-            "[\\p{P}+~$`^=|<>～`$^+=|<>￥×\\\\*#$^|+%&~!,:.;'/{}()\\[\\]?<> 《》”“-（）。≤《〈〉》—、·―–‐‘’“”″…¨〔〕°■『』℃ⅠⅡⅢⅣⅤⅥⅦⅩⅪⅫ]",
+            pattern,
             "",
             self.obj_str)  # \\p{P} 标点符号 后面的是一些其他符号， 也可以用 \p{S} 代替 但是这个很广 可能有误伤
         return self
@@ -67,9 +76,15 @@ class StringClear(object):
         return self
 
     def replace_dash_with_space(self):
+        # 横杆转空格
         self.obj_str = self.obj_str.replace("-", " ")
         return self
 
+    def strip_quotes(self):
+        # 清理 双引号
+        self.obj_str = self.obj_str.replace("\"", "")
+        return self
+
     def remove_diacritics(self):
         # 去除音标 转换成字母
         self.obj_str = get_diacritic_variant(self.obj_str)
@@ -110,3 +125,50 @@ def rel_clear(str_obj):
             .lower()  # 小写
             .get_str()  # 获取str
             .strip())  # 去掉空格
+
+
+def clear_au_organ(str_obj):
+    """
+    为作者机构定制的清理 与上面比除了不转小写外 还多了些特殊的清理
+    """
+    strs = (StringClear(str_obj)
+            .None_to_str()  # None 转 空字符串
+            .to_str()  # 防止其他类型传入 比如 int double
+            .qj_to_bj()  # 全角转半角
+            .strip_quotes()  # 清理 双引号
+            .clean_symbols()  # 清理已知的符号
+            .collapse_spaces()  # 移除多余空格,连续多个空格变一个
+            .get_str()  # 获取str
+            .strip()  # 去掉空格
+            )
+
+    strs = strs.replace("lt正gt", "").strip()  # 特殊需求
+    return strs
+
+
+def ref_clear(str_obj):
+    # 为 引文 数据定制的清理
+    strs = (StringClear(str_obj)
+            .None_to_str()  # None 转 空字符串
+            .to_str()  # 防止其他类型传入 比如 int double
+            .qj_to_bj()  # 全角转半角
+            .strip_quotes()  # 清理 双引号
+            .clean_symbols()  # 清理已知的符号
+            .collapse_spaces()  # 移除多余空格,连续多个空格变一个
+            .lower()  # 小写
+            .get_str()  # 获取str
+            .strip()  # 去掉空格
+            )
+    return strs
+
+
+def clear_obj(str_obj):
+    # 为对象化定制的清理
+    str_obj = clear_au_organ(str_obj)
+    str_obj = str_obj.replace("ß", "SS")
+    return (StringClear(str_obj)
+            .remove_diacritics()  # 清理音标
+            .upper()
+            .get_str()  # 获取str
+            .strip()  # 去掉空格
+            )

{re_common-10.0.6 → re_common-10.0.8}/re_common.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: re_common
-Version: 10.0.6
+Version: 10.0.8
 Summary: a library about all python projects
 Home-page: https://gitee.com/xujiangios/re-common
 Author: vic

{re_common-10.0.6 → re_common-10.0.8}/re_common.egg-info/SOURCES.txt

@@ -170,10 +170,13 @@ re_common/studio/streamlitstudio/first_app.py
 re_common/studio/streamlitstudio/uber_pickups.py
 re_common/v2/__init__.py
 re_common/v2/baselibrary/__init__.py
+re_common/v2/baselibrary/helpers/__init__.py
 re_common/v2/baselibrary/s3object/__init__.py
 re_common/v2/baselibrary/s3object/baseboto3.py
+re_common/v2/baselibrary/tools/WeChatRobot.py
 re_common/v2/baselibrary/tools/__init__.py
 re_common/v2/baselibrary/tools/dict_tools.py
+re_common/v2/baselibrary/tools/dolphinscheduler.py
 re_common/v2/baselibrary/tools/list_tools.py
 re_common/v2/baselibrary/tools/search_hash_tools.py
 re_common/v2/baselibrary/tools/text_matcher.py

{re_common-10.0.6 → re_common-10.0.8}/setup.py

@@ -34,7 +34,7 @@ long_description = """
 """
 setuptools.setup(
     name="re_common",
-    version="10.0.6",
+    version="10.0.8",
     author="vic",
     author_email="xujiang5@163.com",
     description="a library about all python projects",