funboost 46.3__tar.gz → 46.5__tar.gz

{funboost-46.3/funboost.egg-info → funboost-46.5}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: funboost
-Version: 46.3
+Version: 46.5
 Summary: pip install funboost，python全功能分布式函数调度框架,funboost的功能是全面性重量级，用户能想得到的功能99%全都有;funboost的使用方式是轻量级，只有@boost一行代码需要写。支持python所有类型的并发模式和一切知名消息队列中间件，支持如 celery dramatiq等框架整体作为funboost中间件，python函数加速器，框架包罗万象，用户能想到的控制功能全都有。一统编程思维，兼容50% python业务场景，适用范围广。只需要一行代码即可分布式执行python一切函数，99%用过funboost的pythoner 感受是　简易 方便 强劲 强大，相见恨晚 
 Home-page: https://github.com/ydf0509/funboost
 Author: bfzs

{funboost-46.3 → funboost-46.5}/funboost/__init__.py

@@ -13,7 +13,7 @@ set_frame_config这个模块的 use_config_form_funboost_config_module() 是核
 这段注释说明和使用的用户无关,只和框架开发人员有关.
 '''
 
-__version__ = "46.3"
+__version__ = "46.5"
 
 from funboost.set_frame_config import show_frame_config
 

{funboost-46.3 → funboost-46.5}/funboost/consumers/base_consumer.py

@@ -12,6 +12,7 @@ import sys
 import typing
 import abc
 import copy
+from apscheduler.jobstores.memory import MemoryJobStore
 from pathlib import Path
 # from multiprocessing import Process
 import datetime
@@ -367,16 +368,25 @@ class AbstractConsumer(LoggerLevelSetterMixin, metaclass=abc.ABCMeta, ):
 
     def _start_delay_task_scheduler(self):
         from funboost.timing_job import FsdfBackgroundScheduler
-        jobstores = {
-            "default": RedisJobStore(**redis_manager.get_redis_conn_kwargs(),
-            jobs_key=f'funboost.apscheduler.{self.queue_name}.jobs')
-        }
+        # print(self.consumer_params.delay_task_apsscheduler_jobstores_kind )
+        if self.consumer_params.delay_task_apscheduler_jobstores_kind == 'redis':
+            jobstores = {
+                "default": RedisJobStore(**redis_manager.get_redis_conn_kwargs(),
+                                         jobs_key=f'funboost.apscheduler.{self.queue_name}.jobs',
+                                         run_times_key=f'funboost.apscheduler.{self.queue_name}.run_times',
+                                         )
+            }
+        elif self.consumer_params.delay_task_apscheduler_jobstores_kind == 'memory':
+            jobstores = {"default": MemoryJobStore()}
+        else:
+            raise Exception(f'delay_task_apsscheduler_jobstores_kind is error: {self.consumer_params.delay_task_apscheduler_jobstores_kind}')
         self._delay_task_scheduler = FsdfBackgroundScheduler(timezone=FunboostCommonConfig.TIMEZONE, daemon=False,
                                                              jobstores=jobstores  # push 方法的序列化带thredignn.lock
                                                              )
         self._delay_task_scheduler.add_executor(ApschedulerThreadPoolExecutor(2))  # 只是运行submit任务到并发池，不需要很多线程。
         # self._delay_task_scheduler.add_listener(self._apscheduler_job_miss, EVENT_JOB_MISSED)
         self._delay_task_scheduler.start()
+
         self.logger.warning('启动延时任务sheduler')
 
     logger_apscheduler = get_logger('push_for_apscheduler_use_database_store', log_filename='push_for_apscheduler_use_database_store.log')
@@ -1150,7 +1160,6 @@ class DistributedConsumerStatistics(RedisMixin, FunboostFileLoggerMixin):
     if HEARBEAT_EXPIRE_SECOND < SEND_HEARTBEAT_INTERVAL * 2:
         raise ValueError(f'HEARBEAT_EXPIRE_SECOND:{HEARBEAT_EXPIRE_SECOND} , SEND_HEARTBEAT_INTERVAL:{SEND_HEARTBEAT_INTERVAL} ')
 
-
     def __init__(self, consumer: AbstractConsumer):
         # self._consumer_identification = consumer_identification
         # self._consumer_identification_map = consumer_identification_map
@@ -1204,7 +1213,6 @@ class DistributedConsumerStatistics(RedisMixin, FunboostFileLoggerMixin):
         self._show_active_consumer_num()
         self._get_stop_and_pause_flag_from_redis()
 
-
     def _show_active_consumer_num(self):
         self.active_consumer_num = self.redis_db_frame.scard(self._redis_key_name) or 1
         if time.time() - self._last_show_consumer_num_timestamp > self.SHOW_CONSUMER_NUM_INTERVAL:

{funboost-46.3 → funboost-46.5}/funboost/core/func_params_model.py

@@ -112,6 +112,9 @@ class FunctionResultStatusPersistanceConfig(BaseJsonAbleModel):
         return values
 
 
+
+
+
 class BoosterParams(BaseJsonAbleModel):
     """
     pydatinc pycharm编程代码补全,请安装 pydantic插件, 在pycharm的  file -> settings -> Plugins -> 输入 pydantic 搜索,点击安装 pydantic 插件.
@@ -171,6 +174,8 @@ class BoosterParams(BaseJsonAbleModel):
     is_using_rpc_mode: bool = False  # 是否使用rpc模式，可以在发布端获取消费端的结果回调，但消耗一定性能，使用async_result.result时候会等待阻塞住当前线程。
     rpc_result_expire_seconds: int = 600  # 保存rpc结果的过期时间.
 
+    delay_task_apscheduler_jobstores_kind :typing.Literal[ 'redis', 'memory'] = 'redis'  # 延时任务的aspcheduler对象使用哪种jobstores ，可以为 redis memory 两种作为jobstore
+
     is_support_remote_kill_task: bool = False  # 是否支持远程任务杀死功能，如果任务数量少，单个任务耗时长，确实需要远程发送命令来杀死正在运行的函数，才设置为true，否则不建议开启此功能。(是把函数放在单独的线程中实现的,随时准备线程被远程命令杀死,所以性能会降低)
 
     is_do_not_run_by_specify_time_effect: bool = False  # 是否使不运行的时间段生效

{funboost-46.3 → funboost-46.5/funboost.egg-info}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: funboost
-Version: 46.3
+Version: 46.5
 Summary: pip install funboost，python全功能分布式函数调度框架,funboost的功能是全面性重量级，用户能想得到的功能99%全都有;funboost的使用方式是轻量级，只有@boost一行代码需要写。支持python所有类型的并发模式和一切知名消息队列中间件，支持如 celery dramatiq等框架整体作为funboost中间件，python函数加速器，框架包罗万象，用户能想到的控制功能全都有。一统编程思维，兼容50% python业务场景，适用范围广。只需要一行代码即可分布式执行python一切函数，99%用过funboost的pythoner 感受是　简易 方便 强劲 强大，相见恨晚 
 Home-page: https://github.com/ydf0509/funboost
 Author: bfzs