funboost 43.9__tar.gz → 44.1__tar.gz

{funboost-43.9/funboost.egg-info → funboost-44.1}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: funboost
-Version: 43.9
+Version: 44.1
 Summary: pip install funboost，python全功能分布式函数调度框架,。支持python所有类型的并发模式和一切知名消息队列中间件，支持如 celery dramatiq等框架整体作为funboost中间件，python函数加速器，框架包罗万象，用户能想到的控制功能全都有。一统编程思维，兼容50% python业务场景，适用范围广。只需要一行代码即可分布式执行python一切函数，99%用过funboost的pythoner 感受是　简易 方便 强劲 强大，相见恨晚 
 Home-page: https://github.com/ydf0509/funboost
 Author: bfzs
@@ -46,7 +46,7 @@ License-File: LICENSE
 
 
 <pre style="color: greenyellow;background-color: #0c1119; font-size: medium;">
-pip install funboost ,python全功能分布式函数调度框架,。 
+pip install funboost ,python全功能分布式函数调度框架,。  用法例子见文档1.3
 支持python所有类型的并发模式和全球一切知名消息队列中间件，
 同时funboost支持celery整个框架作为核心来发布和消费消息，使用funboost的极简api方式来自动化配置和利用celery调度,
 也支持huey dramatiq rq等任务队列框架作为funboost的broker。 
@@ -148,8 +148,7 @@ pip install funboost --upgrade
 [//]: # ([img-46.png]&#40;https://postimg.cc/hfW0VhCX&#41;)
 
 funboost示图：
-![](https://i.niupic.com/images/2024/02/03/g3tr.png)
-
+<a href="https://imgse.com/i/pkFFghj"><img src="https://s21.ax1x.com/2024/04/29/pkFFghj.png" alt="pkFFghj.png" border="0" /></a>
 
 [//]: # ([![img-46.png]&#40;https://i.postimg.cc/tC7mQxWN/img-46.png&#41;]&#40;https://postimg.cc/hfW0VhCX&#41;)
 
@@ -159,7 +158,7 @@ funboost示图：
 
 也就是这种非常普通的流程图,一样的意思
 
-![](https://i.niupic.com/images/2023/12/18/dVaP.png)
+<a href="https://imgse.com/i/pkFFcNQ"><img src="https://s21.ax1x.com/2024/04/29/pkFFcNQ.png" alt="pkFFcNQ.png" border="0" /></a>
 
 ### 1.2.1 框架支持5种并发模式
 
@@ -238,7 +237,7 @@ if __name__ == '__main__':
 [3.1 各种中间件选择的场景和优势](https://funboost.readthedocs.io/zh/latest/articles/c3.html#id2) 
 
 
-### 1.2.3 框架对任务支持20种控制功能。
+### 1.2.3 框架对任务支持30种控制功能。
 
 <pre>
 
@@ -421,12 +420,10 @@ if __name__ == "__main__":
 
 运行截图:
 
-![](https://i.niupic.com/images/2023/12/18/dVbn.png)
-
-![](https://i.niupic.com/images/2023/12/18/dVbz.png)
+<a href="https://imgse.com/i/pkFkP4H"><img src="https://s21.ax1x.com/2024/04/29/pkFkP4H.png" alt="pkFkP4H.png" border="0" /></a>
 
-![](https://i.niupic.com/images/2019/09/20/_331.png)
 
+<a href="https://imgse.com/i/pkFkCUe"><img src="https://s21.ax1x.com/2024/04/29/pkFkCUe.png" alt="pkFkCUe.png" border="0" /></a>
 
 
 ## 1.4  python分布式函数执行为什么重要？
@@ -493,3 +490,4 @@ funboost通过支持celery作为broker_kind,使celer框架变成了funboost的
 ![](https://visitor-badge.glitch.me/badge?page_id=distributed_framework)
 
 <div> </div>
+

{funboost-43.9 → funboost-44.1}/README.md

@@ -15,7 +15,7 @@
 
 
 <pre style="color: greenyellow;background-color: #0c1119; font-size: medium;">
-pip install funboost ,python全功能分布式函数调度框架,。 
+pip install funboost ,python全功能分布式函数调度框架,。  用法例子见文档1.3
 支持python所有类型的并发模式和全球一切知名消息队列中间件，
 同时funboost支持celery整个框架作为核心来发布和消费消息，使用funboost的极简api方式来自动化配置和利用celery调度,
 也支持huey dramatiq rq等任务队列框架作为funboost的broker。 
@@ -117,8 +117,7 @@ pip install funboost --upgrade
 [//]: # ([img-46.png]&#40;https://postimg.cc/hfW0VhCX&#41;)
 
 funboost示图：
-![](https://i.niupic.com/images/2024/02/03/g3tr.png)
-
+<a href="https://imgse.com/i/pkFFghj"><img src="https://s21.ax1x.com/2024/04/29/pkFFghj.png" alt="pkFFghj.png" border="0" /></a>
 
 [//]: # ([![img-46.png]&#40;https://i.postimg.cc/tC7mQxWN/img-46.png&#41;]&#40;https://postimg.cc/hfW0VhCX&#41;)
 
@@ -128,7 +127,7 @@ funboost示图：
 
 也就是这种非常普通的流程图,一样的意思
 
-![](https://i.niupic.com/images/2023/12/18/dVaP.png)
+<a href="https://imgse.com/i/pkFFcNQ"><img src="https://s21.ax1x.com/2024/04/29/pkFFcNQ.png" alt="pkFFcNQ.png" border="0" /></a>
 
 ### 1.2.1 框架支持5种并发模式
 
@@ -207,7 +206,7 @@ if __name__ == '__main__':
 [3.1 各种中间件选择的场景和优势](https://funboost.readthedocs.io/zh/latest/articles/c3.html#id2) 
 
 
-### 1.2.3 框架对任务支持20种控制功能。
+### 1.2.3 框架对任务支持30种控制功能。
 
 <pre>
 
@@ -390,12 +389,10 @@ if __name__ == "__main__":
 
 运行截图:
 
-![](https://i.niupic.com/images/2023/12/18/dVbn.png)
-
-![](https://i.niupic.com/images/2023/12/18/dVbz.png)
+<a href="https://imgse.com/i/pkFkP4H"><img src="https://s21.ax1x.com/2024/04/29/pkFkP4H.png" alt="pkFkP4H.png" border="0" /></a>
 
-![](https://i.niupic.com/images/2019/09/20/_331.png)
 
+<a href="https://imgse.com/i/pkFkCUe"><img src="https://s21.ax1x.com/2024/04/29/pkFkCUe.png" alt="pkFkCUe.png" border="0" /></a>
 
 
 ## 1.4  python分布式函数执行为什么重要？

{funboost-43.9 → funboost-44.1}/funboost/__init__.py

@@ -13,7 +13,7 @@ set_frame_config这个模块的 use_config_form_funboost_config_module() 是核
 这段注释说明和使用的用户无关,只和框架开发人员有关.
 '''
 
-__version__ = "43.9"
+__version__ = "44.1"
 
 from funboost.set_frame_config import show_frame_config
 
@@ -65,3 +65,4 @@ from funboost.core.current_task import funboost_current_task
 
 # 有的包默认没加handlers，原始的日志不漂亮且不可跳转不知道哪里发生的。这里把warnning级别以上的日志默认加上handlers。
 # nb_log.get_logger(name='', log_level_int=30, _log_filename='pywarning.log')
+

{funboost-43.9 → funboost-44.1}/funboost/consumers/base_consumer.py

@@ -383,25 +383,26 @@ class AbstractConsumer(LoggerLevelSetterMixin, metaclass=abc.ABCMeta, ):
         """
         raise NotImplementedError
 
-    def __auto_fill_msg(self, msg: dict):
+    def _auto_fill_msg(self, msg: dict):
         """填充消息,消息没有使用funboost来发送,并且没有extra相关字段时候"""
         """ 一般消息至少包含这样
-       {
-  "a": 42,
-  "b": 84,
-  "extra": {
-    "task_id": "queue_2_result:9b79a372-f765-4a33-8639-9d15d7a95f61",
-    "publish_time": 1701687443.3596,
-    "publish_time_format": "2023-12-04 18:57:23"
-  }
-}
+        {
+          "a": 42,
+          "b": 84,
+          "extra": {
+            "task_id": "queue_2_result:9b79a372-f765-4a33-8639-9d15d7a95f61",
+            "publish_time": 1701687443.3596,
+            "publish_time_format": "2023-12-04 18:57:23"
+          }
+        }
         """
+
         """
         extra_params = {'task_id': task_id, 'publish_time': round(time.time(), 4),
                         'publish_time_format': time.strftime('%Y-%m-%d %H:%M:%S')}
         """
         if 'extra' not in msg:
-            msg['extra'] = {}
+            msg['extra'] = {'is_auto_fill_extra': True}
         extra = msg['extra']
         if 'task_id' not in extra:
             extra['task_id'] = generate_task_id(self._queue_name)
@@ -425,7 +426,7 @@ class AbstractConsumer(LoggerLevelSetterMixin, metaclass=abc.ABCMeta, ):
             self._requeue(kw)
             time.sleep(self.time_interval_for_check_do_not_run_time)
             return
-        self.__auto_fill_msg(kw['body'])
+        self._auto_fill_msg(kw['body'])
         function_only_params = delete_keys_and_return_new_dict(kw['body'], )
         if self._get_priority_conf(kw, 'do_task_filtering') and self._redis_filter.check_value_exists(
                 function_only_params):  # 对函数的参数进行检查，过滤已经执行过并且成功的任务。
@@ -819,7 +820,7 @@ class AbstractConsumer(LoggerLevelSetterMixin, metaclass=abc.ABCMeta, ):
                 self.logger.critical(msg=log_msg)
                 # noinspection PyProtectedMember,PyUnresolvedReferences
                 os._exit(444)
-            if self.consumer_params.function_timeout == 0:
+            if not self.consumer_params.function_timeout :
                 rs = await corotinue_obj
                 # rs = await asyncio.wait_for(corotinue_obj, timeout=4)
             else:

{funboost-43.9 → funboost-44.1}/funboost/core/fabric_deploy_helper.py

@@ -103,7 +103,7 @@ def fabric_deploy(booster: Booster, host, port, user, password,
         process_mark = f'funboost_fabric_mark__{queue_name}__{func_name}'
         conn = Connection(host, port=port, user=user, connect_kwargs={"password": password}, )
         kill_shell = f'''ps -aux|grep {process_mark}|grep -v grep|awk '{{print $2}}' |xargs kill -9'''
-        logger.warning(f'{kill_shell} 命令杀死 {process_mark} 标识的进程')
+        logger.warning(f'使用linux命令 {kill_shell} 命令杀死 {process_mark} 标识的进程')
         # uploader.ssh.exec_command(kill_shell)
         conn.run(kill_shell, encoding='utf-8', warn=True)  # 不想提示，免得烦扰用户以为有什么异常了。所以用上面的paramiko包的ssh.exec_command
 
@@ -113,7 +113,7 @@ def fabric_deploy(booster: Booster, host, port, user, password,
         if not extra_shell_str2.endswith(';') and extra_shell_str != '':
             extra_shell_str2 += ';'
         shell_str = extra_shell_str2 + shell_str
-        logger.warning(f'使用语句 {shell_str} 在远程机器 {host} 上启动任务消费')
+        logger.warning(f'使用linux命令 {shell_str} 在远程机器 {host} 上启动任务消费')
         conn.run(shell_str, encoding='utf-8', **invoke_runner_kwargs)
         # uploader.ssh.exec_command(shell_str)
 
@@ -125,6 +125,6 @@ def kill_all_remote_tasks(host, port, user, password):
     uploader = ParamikoFolderUploader(host, port, user, password, '', '')
     funboost_fabric_mark_all = 'funboost_fabric_mark__'
     kill_shell = f'''ps -aux|grep {funboost_fabric_mark_all}|grep -v grep|awk '{{print $2}}' |xargs kill -9'''
-    logger.warning(f'{kill_shell} 命令杀死 {funboost_fabric_mark_all} 标识的进程')
+    logger.warning(f'使用linux命令 {kill_shell} 命令杀死 {funboost_fabric_mark_all} 标识的进程')
     uploader.ssh.exec_command(kill_shell)
     logger.warning(f'杀死 {host}  机器所有的 {funboost_fabric_mark_all} 标识的进程')

{funboost-43.9 → funboost-44.1}/funboost/core/func_params_model.py

@@ -123,7 +123,7 @@ class BoosterParams(BaseJsonAbleModel):
     由于有很好用的qps控制运行频率和智能扩大缩小的线程池，此框架建议不需要理会和设置并发数量只需要关心qps就行了，框架的并发是自适应并发数量，这一点很强很好用。"""
     concurrent_mode: str = ConcurrentModeEnum.THREADING  # 并发模式,支持THREADING,GEVENT,EVENTLET,ASYNC,SINGLE_THREAD并发,multi_process_consume 支持协程/线程 叠加多进程并发,性能炸裂.
     concurrent_num: int = 50  # 并发数量，并发种类由concurrent_mode决定
-    specify_concurrent_pool: FunboostBaseConcurrentPool = None  # 使用指定的线程池/携程池，可以多个消费者共使用一个线程池,节约线程.不为None时候。threads_num失效
+    specify_concurrent_pool: typing.Optional[FunboostBaseConcurrentPool] = None  # 使用指定的线程池/携程池，可以多个消费者共使用一个线程池,节约线程.不为None时候。threads_num失效
     specify_async_loop: asyncio.AbstractEventLoop = None  # 指定的async的loop循环，设置并发模式为async才能起作用。 有些包例如aiohttp,请求和httpclient的实例化不能处在两个不同的loop中,可以传过来.
 
     """qps:
@@ -159,7 +159,7 @@ class BoosterParams(BaseJsonAbleModel):
     msg_expire_senconds: typing.Union[float, int] = None  # 消息过期时间,可以设置消息是多久之前发布的就丢弃这条消息,不运行. 为None则永不丢弃
 
     do_task_filtering: bool = False  # 是否对函数入参进行过滤去重.
-    task_filtering_expire_seconds: int = 0  # 任务过滤的失效期，为0则永久性过滤任务。例如设置过滤过期时间是1800秒 ， 30分钟前发布过1 + 2 的任务，现在仍然执行，如果是30分钟以内发布过这个任务，则不执行1 + 2
+    task_filtering_expire_seconds: int = 0  # 任务过滤的失效期，为0则永久性过滤任务。例如设置过滤过期时间是1800秒 ， 30分钟前发布过1 + 2 的任务，现在仍然执行，如果是30分钟以内执行过这个任务，则不执行1 + 2
 
     function_result_status_persistance_conf: FunctionResultStatusPersistanceConfig = FunctionResultStatusPersistanceConfig(
         is_save_result=False, is_save_status=False, expire_seconds=7 * 24 * 3600, is_use_bulk_insert=False)  # 是否保存函数的入参，运行结果和运行状态到mongodb。这一步用于后续的参数追溯，任务统计和web展示，需要安装mongo。
@@ -183,7 +183,7 @@ class BoosterParams(BaseJsonAbleModel):
     broker_exclusive_config: dict = {}  # 加上一个不同种类中间件非通用的配置,不同中间件自身独有的配置，不是所有中间件都兼容的配置，因为框架支持30种消息队列，消息队列不仅仅是一般的先进先出queue这么简单的概念，
     # 例如kafka支持消费者组，rabbitmq也支持各种独特概念例如各种ack机制 复杂路由机制，有的中间件原生能支持消息优先级有的中间件不支持,每一种消息队列都有独特的配置参数意义，可以通过这里传递。每种中间件能传递的键值对可以看consumer类的 BROKER_EXCLUSIVE_CONFIG_DEFAULT
 
-    should_check_publish_func_params: bool = True # 消息发布时候是否校验消息发布内容,比如有的人发布消息,函数只接受a,b两个入参,他去传2个入参,或者传参不存在的参数名字,  如果消费函数你非要写*args,**kwargs,那就需要关掉发布消息时候的函数入参检查
+    should_check_publish_func_params: bool = True  # 消息发布时候是否校验消息发布内容,比如有的人发布消息,函数只接受a,b两个入参,他去传2个入参,或者传参不存在的参数名字,  如果消费函数你非要写*args,**kwargs,那就需要关掉发布消息时候的函数入参检查
 
     auto_generate_info: dict = {}  # 自动生成的信息,不需要用户主动传参.
 
@@ -277,3 +277,4 @@ if __name__ == '__main__':
     # print(PriorityConsumingControlConfig().get_str_dict())
 
     print(BoosterParams(queue_name='3213', specify_concurrent_pool=FlexibleThreadPool(100)).json_pre())
+    print(PublisherParams.schema_json())

{funboost-43.9 → funboost-44.1/funboost.egg-info}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: funboost
-Version: 43.9
+Version: 44.1
 Summary: pip install funboost，python全功能分布式函数调度框架,。支持python所有类型的并发模式和一切知名消息队列中间件，支持如 celery dramatiq等框架整体作为funboost中间件，python函数加速器，框架包罗万象，用户能想到的控制功能全都有。一统编程思维，兼容50% python业务场景，适用范围广。只需要一行代码即可分布式执行python一切函数，99%用过funboost的pythoner 感受是　简易 方便 强劲 强大，相见恨晚 
 Home-page: https://github.com/ydf0509/funboost
 Author: bfzs
@@ -46,7 +46,7 @@ License-File: LICENSE
 
 
 <pre style="color: greenyellow;background-color: #0c1119; font-size: medium;">
-pip install funboost ,python全功能分布式函数调度框架,。 
+pip install funboost ,python全功能分布式函数调度框架,。  用法例子见文档1.3
 支持python所有类型的并发模式和全球一切知名消息队列中间件，
 同时funboost支持celery整个框架作为核心来发布和消费消息，使用funboost的极简api方式来自动化配置和利用celery调度,
 也支持huey dramatiq rq等任务队列框架作为funboost的broker。 
@@ -148,8 +148,7 @@ pip install funboost --upgrade
 [//]: # ([img-46.png]&#40;https://postimg.cc/hfW0VhCX&#41;)
 
 funboost示图：
-![](https://i.niupic.com/images/2024/02/03/g3tr.png)
-
+<a href="https://imgse.com/i/pkFFghj"><img src="https://s21.ax1x.com/2024/04/29/pkFFghj.png" alt="pkFFghj.png" border="0" /></a>
 
 [//]: # ([![img-46.png]&#40;https://i.postimg.cc/tC7mQxWN/img-46.png&#41;]&#40;https://postimg.cc/hfW0VhCX&#41;)
 
@@ -159,7 +158,7 @@ funboost示图：
 
 也就是这种非常普通的流程图,一样的意思
 
-![](https://i.niupic.com/images/2023/12/18/dVaP.png)
+<a href="https://imgse.com/i/pkFFcNQ"><img src="https://s21.ax1x.com/2024/04/29/pkFFcNQ.png" alt="pkFFcNQ.png" border="0" /></a>
 
 ### 1.2.1 框架支持5种并发模式
 
@@ -238,7 +237,7 @@ if __name__ == '__main__':
 [3.1 各种中间件选择的场景和优势](https://funboost.readthedocs.io/zh/latest/articles/c3.html#id2) 
 
 
-### 1.2.3 框架对任务支持20种控制功能。
+### 1.2.3 框架对任务支持30种控制功能。
 
 <pre>
 
@@ -421,12 +420,10 @@ if __name__ == "__main__":
 
 运行截图:
 
-![](https://i.niupic.com/images/2023/12/18/dVbn.png)
-
-![](https://i.niupic.com/images/2023/12/18/dVbz.png)
+<a href="https://imgse.com/i/pkFkP4H"><img src="https://s21.ax1x.com/2024/04/29/pkFkP4H.png" alt="pkFkP4H.png" border="0" /></a>
 
-![](https://i.niupic.com/images/2019/09/20/_331.png)
 
+<a href="https://imgse.com/i/pkFkCUe"><img src="https://s21.ax1x.com/2024/04/29/pkFkCUe.png" alt="pkFkCUe.png" border="0" /></a>
 
 
 ## 1.4  python分布式函数执行为什么重要？
@@ -493,3 +490,4 @@ funboost通过支持celery作为broker_kind,使celer框架变成了funboost的
 ![](https://visitor-badge.glitch.me/badge?page_id=distributed_framework)
 
 <div> </div>
+

{funboost-43.9 → funboost-44.1}/funboost.egg-info/entry_points.txt

@@ -1,3 +1,4 @@
 [console_scripts]
 funboost = funboost.__main__:main
 funboost_cli_super = funboost.__main__:main
+