funboost 46.2__tar.gz → 46.4__tar.gz

{funboost-46.2/funboost.egg-info → funboost-46.4}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: funboost
-Version: 46.2
+Version: 46.4
 Summary: pip install funboost，python全功能分布式函数调度框架,funboost的功能是全面性重量级，用户能想得到的功能99%全都有;funboost的使用方式是轻量级，只有@boost一行代码需要写。支持python所有类型的并发模式和一切知名消息队列中间件，支持如 celery dramatiq等框架整体作为funboost中间件，python函数加速器，框架包罗万象，用户能想到的控制功能全都有。一统编程思维，兼容50% python业务场景，适用范围广。只需要一行代码即可分布式执行python一切函数，99%用过funboost的pythoner 感受是　简易 方便 强劲 强大，相见恨晚 
 Home-page: https://github.com/ydf0509/funboost
 Author: bfzs
@@ -58,7 +58,7 @@ funboost的功能是全面性重量级，用户能想得到的功能99%全都有
 
 python函数加速器，框架包罗万象，一统编程思维，兼容50% python编程业务场景，适用范围广。
 python万能分布式函数调度框架，支持5种并发模式，30+种消息队列中间件(或任务队列框架)，
-30种任务控制功能。给任意python函数赋能。
+30种任务控制功能。给任意python函数赋能。 
 用途概念就是常规经典的 生产者 + 消息队列中间件 + 消费者 编程思想。
 
 框架只需要学习@boost这一个装饰器的入参就可以，所有用法几乎和1.3例子一摸一样，非常简化简单。
@@ -507,3 +507,4 @@ funboost通过支持celery作为broker_kind,使celer框架变成了funboost的
 
 <div> </div>
 
+

{funboost-46.2 → funboost-46.4}/README.md

@@ -26,7 +26,7 @@ funboost的功能是全面性重量级，用户能想得到的功能99%全都有
 
 python函数加速器，框架包罗万象，一统编程思维，兼容50% python编程业务场景，适用范围广。
 python万能分布式函数调度框架，支持5种并发模式，30+种消息队列中间件(或任务队列框架)，
-30种任务控制功能。给任意python函数赋能。
+30种任务控制功能。给任意python函数赋能。 
 用途概念就是常规经典的 生产者 + 消息队列中间件 + 消费者 编程思想。
 
 框架只需要学习@boost这一个装饰器的入参就可以，所有用法几乎和1.3例子一摸一样，非常简化简单。
@@ -473,4 +473,4 @@ funboost通过支持celery作为broker_kind,使celer框架变成了funboost的
 
 ![](https://visitor-badge.glitch.me/badge?page_id=distributed_framework)
 
-<div> </div>
+<div> </div>

{funboost-46.2 → funboost-46.4}/funboost/__init__.py

@@ -13,7 +13,7 @@ set_frame_config这个模块的 use_config_form_funboost_config_module() 是核
 这段注释说明和使用的用户无关,只和框架开发人员有关.
 '''
 
-__version__ = "46.2"
+__version__ = "46.4"
 
 from funboost.set_frame_config import show_frame_config
 

{funboost-46.2 → funboost-46.4}/funboost/consumers/base_consumer.py

@@ -12,6 +12,7 @@ import sys
 import typing
 import abc
 import copy
+from apscheduler.jobstores.memory import MemoryJobStore
 from pathlib import Path
 # from multiprocessing import Process
 import datetime
@@ -367,15 +368,25 @@ class AbstractConsumer(LoggerLevelSetterMixin, metaclass=abc.ABCMeta, ):
 
     def _start_delay_task_scheduler(self):
         from funboost.timing_job import FsdfBackgroundScheduler
-        jobstores = {
-            "default": RedisJobStore(**redis_manager.get_redis_conn_kwargs())
-        }
+        # print(self.consumer_params.delay_task_apsscheduler_jobstores_kind )
+        if self.consumer_params.delay_task_apsscheduler_jobstores_kind == 'redis':
+            jobstores = {
+                "default": RedisJobStore(**redis_manager.get_redis_conn_kwargs(),
+                                         jobs_key=f'funboost.apscheduler.{self.queue_name}.jobs',
+                                         run_times_key=f'funboost.apscheduler.{self.queue_name}.run_times',
+                                         )
+            }
+        elif self.consumer_params.delay_task_apsscheduler_jobstores_kind == 'memory':
+            jobstores = {"default": MemoryJobStore()}
+        else:
+            raise Exception(f'delay_task_apsscheduler_jobstores_kind is error: {self.consumer_params.delay_task_apsscheduler_jobstores_kind}')
         self._delay_task_scheduler = FsdfBackgroundScheduler(timezone=FunboostCommonConfig.TIMEZONE, daemon=False,
                                                              jobstores=jobstores  # push 方法的序列化带thredignn.lock
                                                              )
         self._delay_task_scheduler.add_executor(ApschedulerThreadPoolExecutor(2))  # 只是运行submit任务到并发池，不需要很多线程。
         # self._delay_task_scheduler.add_listener(self._apscheduler_job_miss, EVENT_JOB_MISSED)
         self._delay_task_scheduler.start()
+
         self.logger.warning('启动延时任务sheduler')
 
     logger_apscheduler = get_logger('push_for_apscheduler_use_database_store', log_filename='push_for_apscheduler_use_database_store.log')
@@ -1149,7 +1160,6 @@ class DistributedConsumerStatistics(RedisMixin, FunboostFileLoggerMixin):
     if HEARBEAT_EXPIRE_SECOND < SEND_HEARTBEAT_INTERVAL * 2:
         raise ValueError(f'HEARBEAT_EXPIRE_SECOND:{HEARBEAT_EXPIRE_SECOND} , SEND_HEARTBEAT_INTERVAL:{SEND_HEARTBEAT_INTERVAL} ')
 
-
     def __init__(self, consumer: AbstractConsumer):
         # self._consumer_identification = consumer_identification
         # self._consumer_identification_map = consumer_identification_map
@@ -1203,7 +1213,6 @@ class DistributedConsumerStatistics(RedisMixin, FunboostFileLoggerMixin):
         self._show_active_consumer_num()
         self._get_stop_and_pause_flag_from_redis()
 
-
     def _show_active_consumer_num(self):
         self.active_consumer_num = self.redis_db_frame.scard(self._redis_key_name) or 1
         if time.time() - self._last_show_consumer_num_timestamp > self.SHOW_CONSUMER_NUM_INTERVAL:

{funboost-46.2 → funboost-46.4}/funboost/core/booster.py

@@ -59,6 +59,14 @@ class Booster:
         f.consume()
         # f.multi_process_conusme(8)             # # 这个是新加的方法，细粒度 线程 协程并发 同时叠加8个进程，速度炸裂。
         '''
+        
+        
+        @boost('queue_test_f01', qps=0.2, ) 
+        @boost(BoosterParams(queue_name='queue_test_f01', qps=0.2, ))
+        @Booster(BoosterParams(queue_name='queue_test_f01', qps=0.2, ))
+        @BoosterParams(queue_name='queue_test_f01', qps=0.2, )
+        以上4种写法等效。 
+        @boost(BoosterParams(queue_name='queue_test_f01', qps=0.2, )) 的写法升级到 pycharm 2024.2 版本后，导致被装饰的函数不能自动补全提示了，pycharm升级后自动补全功能反而抽风bug了。
         """
 
         # 以下代码很复杂，主要是兼容老的在@boost直接传参的方式,强烈建议使用新的入参方式,所有入参放在一个 BoosterParams 中，那就不需要理会下面这段逻辑.

{funboost-46.2 → funboost-46.4}/funboost/core/func_params_model.py

@@ -112,6 +112,9 @@ class FunctionResultStatusPersistanceConfig(BaseJsonAbleModel):
         return values
 
 
+
+
+
 class BoosterParams(BaseJsonAbleModel):
     """
     pydatinc pycharm编程代码补全,请安装 pydantic插件, 在pycharm的  file -> settings -> Plugins -> 输入 pydantic 搜索,点击安装 pydantic 插件.
@@ -171,6 +174,8 @@ class BoosterParams(BaseJsonAbleModel):
     is_using_rpc_mode: bool = False  # 是否使用rpc模式，可以在发布端获取消费端的结果回调，但消耗一定性能，使用async_result.result时候会等待阻塞住当前线程。
     rpc_result_expire_seconds: int = 600  # 保存rpc结果的过期时间.
 
+    delay_task_apsscheduler_jobstores_kind :typing.Literal[ 'redis', 'memory'] = 'redis'  # 延时任务的aspcheduler对象使用哪种jobstores ，可以为 redis memory 两种作为jobstore
+
     is_support_remote_kill_task: bool = False  # 是否支持远程任务杀死功能，如果任务数量少，单个任务耗时长，确实需要远程发送命令来杀死正在运行的函数，才设置为true，否则不建议开启此功能。(是把函数放在单独的线程中实现的,随时准备线程被远程命令杀死,所以性能会降低)
 
     is_do_not_run_by_specify_time_effect: bool = False  # 是否使不运行的时间段生效
@@ -195,9 +200,11 @@ class BoosterParams(BaseJsonAbleModel):
 
     # func_params_is_pydantic_model: bool = False  # funboost 兼容支持 函数娼还是 pydantic model类型，funboost在发布之前和取出来时候自己转化。
 
+    consuming_function_kind: typing.Optional[str] = None  # 自动生成的信息,不需要用户主动传参,如果自动判断失误就传递。是判断消费函数是函数还是实例方法还是类方法
+
     auto_generate_info: dict = {}  # 自动生成的信息,不需要用户主动传参.
 
-    consuming_function_kind: typing.Optional[str] = None  # 自动生成的信息,不需要用户主动传参,如果自动判断失误就传递。
+
 
     @root_validator(skip_on_failure=True)
     def check_values(cls, values: dict):
@@ -214,7 +221,7 @@ class BoosterParams(BaseJsonAbleModel):
         if values['concurrent_mode'] not in ConcurrentModeEnum.__dict__.values():
             raise ValueError('设置的并发模式不正确')
         if values['broker_kind'] in [BrokerEnum.REDIS_ACK_ABLE, BrokerEnum.REDIS_STREAM, BrokerEnum.REDIS_PRIORITY, BrokerEnum.RedisBrpopLpush]:
-            values['is_send_consumer_hearbeat_to_redis'] = True # 需要心跳进程来辅助判断消息是否属于掉线或关闭的进程，需要重回队列
+            values['is_send_consumer_hearbeat_to_redis'] = True  # 需要心跳进程来辅助判断消息是否属于掉线或关闭的进程，需要重回队列
         # if not set(values.keys()).issubset(set(BoosterParams.__fields__.keys())):
         #     raise ValueError(f'{cls.__name__} 的字段包含了父类 BoosterParams 不存在的字段')
         for k in values.keys():
@@ -224,8 +231,10 @@ class BoosterParams(BaseJsonAbleModel):
 
     def __call__(self, func):
         """
-        新增加一种语法
-        @BoosterParams(queue_name='q1',qps=2) 这个和 @boost(BoosterParams(queue_name='q1',qps=2)) 写法等效
+        新增加一种语法,
+        一般是使用@boost(BoosterParams(queue_name='q1',qps=2))，你如果图方便可以使用 @BoosterParams(queue_name='q1',qps=2)这样的写法。
+
+        @BoosterParams(queue_name='q1',qps=2) 这个和 @boost(BoosterParams(queue_name='q1',qps=2)) 写法等效,
 
         @BoosterParams(queue_name='q1',qps=2)
         def f(a,b):
@@ -263,13 +272,19 @@ class PriorityConsumingControlConfig(BaseJsonAbleModel):
     """
 
     function_timeout: typing.Union[float, int] = 0
+
     max_retry_times: int = None
+
     is_print_detail_exception: bool = None
+
     msg_expire_senconds: int = None
+
     is_using_rpc_mode: bool = None
+
     countdown: typing.Union[float, int] = None
     eta: datetime.datetime = None
     misfire_grace_time: typing.Union[int, None] = None
+
     other_extra_params: dict = None  # 其他参数, 例如消息优先级 , priority_control_config=PriorityConsumingControlConfig(other_extra_params={'priroty': priorityxx})，
 
     @root_validator(skip_on_failure=True)

{funboost-46.2 → funboost-46.4}/funboost/core/lazy_impoter.py

@@ -25,6 +25,12 @@ class FunboostLazyImpoter(SingletonBaseNew):
         from funboost.core import  booster
         return booster.boost
 
+    @property
+    @cached_method_result
+    def Booster(self):
+        from funboost.core import booster
+        return booster.Booster
+
     # @property
     # @cached_method_result
     # def get_current_taskid(self):

{funboost-46.2 → funboost-46.4}/funboost/timing_job/apscheduler_use_redis_store.py

@@ -11,7 +11,7 @@ from funboost.timing_job import FunboostBackgroundScheduler
 jobstores = {
     "default": RedisJobStore(db=BrokerConnConfig.REDIS_DB, host=BrokerConnConfig.REDIS_HOST,
                              port=BrokerConnConfig.REDIS_PORT, password=BrokerConnConfig.REDIS_PASSWORD,
-                             username=BrokerConnConfig.REDIS_USERNAME)
+                             username=BrokerConnConfig.REDIS_USERNAME,jobs_key='funboost.apscheduler.jobs')
 }
 
 funboost_background_scheduler_redis_store = FunboostBackgroundScheduler(timezone=FunboostCommonConfig.TIMEZONE, daemon=False, jobstores=jobstores)

{funboost-46.2 → funboost-46.4/funboost.egg-info}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: funboost
-Version: 46.2
+Version: 46.4
 Summary: pip install funboost，python全功能分布式函数调度框架,funboost的功能是全面性重量级，用户能想得到的功能99%全都有;funboost的使用方式是轻量级，只有@boost一行代码需要写。支持python所有类型的并发模式和一切知名消息队列中间件，支持如 celery dramatiq等框架整体作为funboost中间件，python函数加速器，框架包罗万象，用户能想到的控制功能全都有。一统编程思维，兼容50% python业务场景，适用范围广。只需要一行代码即可分布式执行python一切函数，99%用过funboost的pythoner 感受是　简易 方便 强劲 强大，相见恨晚 
 Home-page: https://github.com/ydf0509/funboost
 Author: bfzs
@@ -58,7 +58,7 @@ funboost的功能是全面性重量级，用户能想得到的功能99%全都有
 
 python函数加速器，框架包罗万象，一统编程思维，兼容50% python编程业务场景，适用范围广。
 python万能分布式函数调度框架，支持5种并发模式，30+种消息队列中间件(或任务队列框架)，
-30种任务控制功能。给任意python函数赋能。
+30种任务控制功能。给任意python函数赋能。 
 用途概念就是常规经典的 生产者 + 消息队列中间件 + 消费者 编程思想。
 
 框架只需要学习@boost这一个装饰器的入参就可以，所有用法几乎和1.3例子一摸一样，非常简化简单。
@@ -507,3 +507,4 @@ funboost通过支持celery作为broker_kind,使celer框架变成了funboost的
 
 <div> </div>
 
+