tfduck-bsd 0.6.9__tar.gz → 0.19.8__tar.gz

{tfduck-bsd-0.6.9 → tfduck_bsd-0.19.8}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
-Name: tfduck-bsd
-Version: 0.6.9
+Name: tfduck_bsd
+Version: 0.19.8
 Summary: A small example package
 Home-page: UNKNOWN
 Author: yuanxiao

{tfduck-bsd-0.6.9 → tfduck_bsd-0.19.8}/setup.py

@@ -1,11 +1,14 @@
+"""
+未加密的tfduck/setup.py的代码
+"""
 import setuptools
 
 with open("README.md", "r") as fh:
     long_description = fh.read()
 
 setuptools.setup(
-    name="tfduck-bsd",
-    version="0.6.9",
+    name="tfduck_bsd",
+    version="0.19.8",
     author="yuanxiao",
     author_email="yuan6785@163.com",
     description="A small example package",
@@ -15,12 +18,18 @@ setuptools.setup(
     packages=setuptools.find_packages(),
     # 需要安装的依赖
     install_requires=[
+         'arrow>=0.15.5',   
          'requests>=2.20.0',
          'django==2.2.12',
-         'oss2==2.5.0',
-         'ThinkingDataSdk==1.6.2', #1.1.14, 1.6.2
+         'oss2==2.15.0', # 原来是2.5.0
+         'ThinkingDataSdk==1.8.0', #1.1.14, 1.6.2 1.8.0支持字典和数组
          'kubernetes==12.0.1',
-         'boto3==1.18.36'
+         'sagemaker==2.183.0', # 2.24.1# modify by yx 2023-02-27, 2023-09-18 到 2.183.0 [最后支持3.7的版本], 上一个版本2.135.0
+         'boto3==1.28.49', # 1.24.27 1.18.36 # modify by yx 2023-02-27, 2023-09-18 到 1.28.49, 上一个版本1.26.79
+         'trino==0.327.0'
+         # 下面的包不能放到这里安装,依赖太多，需要尽量简单
+         # 'importlib_metadata==1.6.1',
+         # 'duckdb==0.3.4'
     ],
     python_requires=">=3.5",
     classifiers=[

tfduck_bsd-0.19.8/tfduck/__init__.py

@@ -0,0 +1 @@
+__version__="0.19.8"

{tfduck-bsd-0.6.9 → tfduck_bsd-0.19.8}/tfduck/common/defines.py

@@ -13,10 +13,11 @@ import sys
 import shutil
 import time
 import traceback
+import random
 import requests
 import os
 import uuid
-requests.post
+import arrow
 
 
 class Et(Exception):
@@ -57,6 +58,14 @@ class BaseMethod(object):
         self.logger_django = logging.getLogger('django')
         self.logger_dadian = logging.getLogger('dadian')
         self.http_api = Dj44HttpApi()
+    
+    def get_unique_id(self):
+        unique_id = (uuid.uuid5(uuid.NAMESPACE_DNS, str(uuid.uuid1()) + str(random.random()))).hex
+        return unique_id
+    
+    def get_unique_id2(self):
+        unique_id = (uuid.uuid5(uuid.NAMESPACE_DNS, str(uuid.uuid1()) + str(random.random()))).hex
+        return unique_id
 
     def get_current_env(self):
         current_env = 'server'
@@ -194,7 +203,7 @@ class BaseMethod(object):
                     self.log_error("clog error ----- :")
                     self.logerr(e)
         # 防止过度写入日志
-        time.sleep(0.5)
+        time.sleep(0.2)
 
     def get_record_now(self, ctx={}, tz="UTC"):
         """
@@ -331,7 +340,7 @@ class Dj44HttpApi(object):
     """
     @des: 外部api
     """
-    # start----tfduck的外部接口调用
+
     def get_current_env(self):
         current_env = 'server'
         try:
@@ -340,18 +349,7 @@ class Dj44HttpApi(object):
             current_env = "local"
         return current_env
 
-    def run_sptasks(self, user_token, task_names, task_param):
-        """
-        @des: http外部接口运行非定时的任务
-        一般用于多个工程的上游依赖，A->B
-        当A工程执行完毕后, 执行B工程的所有任务
-        @param user_token[必填]: tfduck的用户token
-               task_names[必填]: 运行的任务的全名的列表, 比如 ["同步任务_3",...]
-               task_param[选填]: 任务的参数
-        @return: 
-               成功---{"s":1,  'task_names':[]}
-               失败---{"s: 非1, 'msg':'失败原因'}
-        """
+    def get_host_name(self):
         if self.get_current_env() == "local":
             return {'s': 13, 'msg': 'local'}
         else:
@@ -361,14 +359,138 @@ class Dj44HttpApi(object):
                 host_name = obj.contents['value']
             except:
                 return {'s': 13, 'msg': 'host_name error'}
+        return {'s': 1, 'v': host_name}
+
+    # start----tfduck的外部接口调用
+    def run_sptasks_by_taskname(self, user_token, task_names):
+        """
+        @des: http外部接口运行非定时的任务
+        一般用于多个工程的上游依赖，A->B
+        当A工程执行完毕后, 执行B工程的所有任务
+        @param user_token[必填]: tfduck的用户token
+               task_names[必填]: 运行的sptask任务(不是任务工程，也不是任务记录)的全名的列表, 比如 ["同步任务_3",...]
+        @return: 
+               成功---{"s":1,  'value':[任务名称]}
+               失败---{"s: 非1, 'msg':'失败原因'}
+        @example:
+        ######
+        from tfduck.common.defines import BMOBJ
+        BMOBJ.http_api.run_sptasks_by_taskname('xxxxx', ['helloworld_end_tf_2_0'])
+        ######
+        """
+        hresult = self.get_host_name()
+        if hresult['s'] == 1:
+            host_name = hresult['v']
+        else:
+            return hresult
+        #
+        url = os.path.join(host_name, 'run_sptasks_by_taskname')
+        data = {
+            'user_token': user_token,
+            'task_names': json.dumps(task_names),
+        }
+        res = requests.post(url, data=data, timeout=(5, 30))
+        result = res.json()
+        return result
+
+    def run_sptasks_by_projectname(self, user_token, project_names):
+        """
+        @des: http外部接口运行非定时的任务
+        一般用于多个工程的上游依赖，A->B
+        当A工程执行完毕后, 执行B工程的所有任务
+        @param user_token   [必填]: tfduck的用户token
+               project_names[必填]: 运行的sptask任务工程的名称(不是任务，也不是任务记录)的全名的列表, 比如 ["同步任务工程名",...]
+        @return: 
+               成功---{"s":1,  'value':[任务名称]}
+               失败---{"s: 非1, 'msg':'失败原因'}
+        @example:
+        ######
+        from tfduck.common.defines import BMOBJ
+        BMOBJ.http_api.run_sptasks_by_projectname('xxxxx', ['helloworld_end_tf_2_0'])
+        ######
+        """
+        hresult = self.get_host_name()
+        if hresult['s'] == 1:
+            host_name = hresult['v']
+        else:
+            return hresult
+        #
+        url = os.path.join(host_name, 'run_sptasks_by_projectname')
+        data = {
+            'user_token': user_token,
+            'project_names': json.dumps(project_names)
+        }
+        res = requests.post(url, data=data, timeout=(5, 30))
+        result = res.json()
+        return result
+
+    def get_sptasks_info_by_taskname(self, user_token, task_names, start_time, end_time):
+        """
+        @des: http外部接口查询任务的信息，根据任务名称查询
+        一般用于多个工程的上游依赖，A->B
+        当A工程执行完毕后, 执行B工程的所有任务
+        @param user_token[必填]: tfduck的用户token
+               task_names[必填]: 运行的sptask任务(不是任务工程，也不是任务记录)的全名的列表, 比如 ["同步任务_3",...]
+               start_time[选填]: 任务的create_time的查询时间范围的开始时间，格式YYYY-MM-DD HH:mm:ss 例如 2022-02-15 14:23:44
+               end_time  [选填]: 任务的create_time的查询时间范围的结束时间，格式YYYY-MM-DD HH:mm:ss 例如 2022-02-15 18:23:44
+        @return: 
+               成功---{"s":1,  'value':[{'task__name': '任务名称', 'task__id': 109, 'id': 78, 'state': 3, 'revoke_state': 1},...]}
+               失败---{"s: 非1, 'msg':'失败原因'}
+        @example:
+        ######
+        from tfduck.common.defines import BMOBJ
+        BMOBJ.http_api.get_sptasks_info_by_taskname('xxxxx', ['helloworld_end_tf_2_0'], '2022-02-15 14:23:44', '2022-02-15 18:23:44')
+        ######
+        """
+        hresult = self.get_host_name()
+        if hresult['s'] == 1:
+            host_name = hresult['v']
+        else:
+            return hresult
+        #
+        url = os.path.join(host_name, 'get_sptasks_info_by_taskname')
+        data = {
+            'user_token': user_token,
+            'task_names': json.dumps(task_names),
+            'start_time': start_time,
+            'end_time': end_time,
+        }
+        res = requests.post(url, data=data, timeout=(5, 30))
+        result = res.json()
+        return result
+
+    def get_sptasks_info_by_projectname(self, user_token, project_names, start_time, end_time):
+        """
+        @des: http外部接口查询任务的信息，根据任务工程名称查询
+        一般用于多个工程的上游依赖，A->B
+        当A工程执行完毕后, 执行B工程的所有任务
+        @param user_token[必填]: tfduck的用户token
+               project_names[必填]: 运行的sptask任务(不是任务工程，也不是任务记录)的全名的列表, 比如 ["同步任务_3",...]
+               start_time[选填]: 任务的create_time的查询时间范围的开始时间，格式YYYY-MM-DD HH:mm:ss 例如 2022-02-15 14:23:44
+               end_time  [选填]: 任务的create_time的查询时间范围的结束时间，格式YYYY-MM-DD HH:mm:ss 例如 2022-02-15 18:23:44
+        @return: 
+               成功---{"s":1,  'value':[{'task__name': '任务名称', 'task__id': 109, 'id': 78, 'state': 3, 'revoke_state': 1},...]}
+               失败---{"s: 非1, 'msg':'失败原因'}
+        @example:
+        ######
+        from tfduck.common.defines import BMOBJ
+        BMOBJ.http_api.get_sptasks_info_by_projectname('xxxxx', ['helloworld_end_tf_2_0'], '2022-02-15 14:23:44', '2022-02-15 18:23:44')
+        ######
+        """
+        hresult = self.get_host_name()
+        if hresult['s'] == 1:
+            host_name = hresult['v']
+        else:
+            return hresult
         #
-        url = f"{host_name}/run_sptasks"
+        url = os.path.join(host_name, 'get_sptasks_info_by_projectname')
         data = {
             'user_token': user_token,
-            'task_names': task_names,
-            'task_param': task_param
+            'project_names': json.dumps(project_names),
+            'start_time': start_time,
+            'end_time': end_time,
         }
-        res = requests.post(url, data=data, timeout=(5, 10))
+        res = requests.post(url, data=data, timeout=(5, 30))
         result = res.json()
         return result