funboost 46.6__tar.gz → 46.7__tar.gz

{funboost-46.6/funboost.egg-info → funboost-46.7}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: funboost
-Version: 46.6
+Version: 46.7
 Summary: pip install funboost，python全功能分布式函数调度框架,funboost的功能是全面性重量级，用户能想得到的功能99%全都有;funboost的使用方式是轻量级，只有@boost一行代码需要写。支持python所有类型的并发模式和一切知名消息队列中间件，支持如 celery dramatiq等框架整体作为funboost中间件，python函数加速器，框架包罗万象，用户能想到的控制功能全都有。一统编程思维，兼容50% python业务场景，适用范围广。只需要一行代码即可分布式执行python一切函数，99%用过funboost的pythoner 感受是　简易 方便 强劲 强大，相见恨晚 
 Home-page: https://github.com/ydf0509/funboost
 Author: bfzs

{funboost-46.6 → funboost-46.7}/funboost/__init__.py

@@ -13,7 +13,7 @@ set_frame_config这个模块的 use_config_form_funboost_config_module() 是核
 这段注释说明和使用的用户无关,只和框架开发人员有关.
 '''
 
-__version__ = "46.6"
+__version__ = "46.7"
 
 from funboost.set_frame_config import show_frame_config
 

{funboost-46.6 → funboost-46.7}/funboost/consumers/base_consumer.py

@@ -40,6 +40,7 @@ from funboost.core.serialization import Serialization
 from funboost.core.task_id_logger import TaskIdLogger
 from funboost.constant import FunctionKind
 
+
 from nb_libs.path_helper import PathHelper
 from nb_log import (get_logger, LoggerLevelSetterMixin, LogManager, is_main_process,
                     nb_log_config_default)
@@ -368,6 +369,7 @@ class AbstractConsumer(LoggerLevelSetterMixin, metaclass=abc.ABCMeta, ):
 
     def _start_delay_task_scheduler(self):
         from funboost.timing_job import FsdfBackgroundScheduler
+        from funboost.timing_job import FunboostBackgroundSchedulerProcessJobsWithinRedisLock
         # print(self.consumer_params.delay_task_apsscheduler_jobstores_kind )
         if self.consumer_params.delay_task_apscheduler_jobstores_kind == 'redis':
             jobstores = {
@@ -376,13 +378,20 @@ class AbstractConsumer(LoggerLevelSetterMixin, metaclass=abc.ABCMeta, ):
                                          run_times_key=f'funboost.apscheduler.{self.queue_name}.run_times',
                                          )
             }
+            self._delay_task_scheduler = FunboostBackgroundSchedulerProcessJobsWithinRedisLock(timezone=FunboostCommonConfig.TIMEZONE, daemon=False,
+                                                       jobstores=jobstores  # push 方法的序列化带thredignn.lock
+                                                       )
+            self._delay_task_scheduler.set_process_jobs_redis_lock_key(f'funboost.BackgroundSchedulerProcessJobsWithinRedisLock.{self.queue_name}')
         elif self.consumer_params.delay_task_apscheduler_jobstores_kind == 'memory':
             jobstores = {"default": MemoryJobStore()}
+            self._delay_task_scheduler = FsdfBackgroundScheduler(timezone=FunboostCommonConfig.TIMEZONE, daemon=False,
+                                                       jobstores=jobstores  # push 方法的序列化带thredignn.lock
+                                                       )
+
         else:
             raise Exception(f'delay_task_apsscheduler_jobstores_kind is error: {self.consumer_params.delay_task_apscheduler_jobstores_kind}')
-        self._delay_task_scheduler = FsdfBackgroundScheduler(timezone=FunboostCommonConfig.TIMEZONE, daemon=False,
-                                                             jobstores=jobstores  # push 方法的序列化带thredignn.lock
-                                                             )
+
+
         self._delay_task_scheduler.add_executor(ApschedulerThreadPoolExecutor(2))  # 只是运行submit任务到并发池，不需要很多线程。
         # self._delay_task_scheduler.add_listener(self._apscheduler_job_miss, EVENT_JOB_MISSED)
         self._delay_task_scheduler.start()
@@ -500,7 +509,8 @@ class AbstractConsumer(LoggerLevelSetterMixin, metaclass=abc.ABCMeta, ):
             # 数据库作为apscheduler的jobstores时候， 不能用 self.pbulisher_of_same_queue.publish，self不能序列化
             self._delay_task_scheduler.add_job(self._push_for_apscheduler_use_database_store, 'date', run_date=run_date,
                                                kwargs={'queue_name': self.queue_name, 'msg': msg_no_delay, 'runonce_uuid': str(uuid.uuid4())},
-                                               misfire_grace_time=misfire_grace_time)
+                                               misfire_grace_time=misfire_grace_time,
+                                              )
             self._confirm_consume(kw)
 
         else:  # 普通任务

{funboost-46.6 → funboost-46.7}/funboost/consumers/rabbitmq_amqpstorm_consumer.py

@@ -14,7 +14,7 @@ class RabbitmqConsumerAmqpStorm(AbstractConsumer):
     使用AmqpStorm实现的，多线程安全的，不用加锁。
     funboost 强烈推荐使用这个做消息队列中间件。
     """
-    BROKER_EXCLUSIVE_CONFIG_DEFAULT = {'x-max-priority': None}  # x-max-priority 是 rabbitmq的优先级队列配置，必须为整数，强烈建议要小于5。为None就代表队列不支持优先级。
+    BROKER_EXCLUSIVE_CONFIG_DEFAULT = {'x-max-priority': None,'no_ack':False}  # x-max-priority 是 rabbitmq的优先级队列配置，必须为整数，强烈建议要小于5。为None就代表队列不支持优先级。
 
     def _shedual_task(self):
         # noinspection PyTypeChecker
@@ -28,16 +28,17 @@ class RabbitmqConsumerAmqpStorm(AbstractConsumer):
                                                                               broker_exclusive_config=self.consumer_params.broker_exclusive_config))
         rp.init_broker()
         rp.channel_wrapper_by_ampqstormbaic.qos(self.consumer_params.concurrent_num)
-        rp.channel_wrapper_by_ampqstormbaic.consume(callback=callback, queue=self.queue_name, no_ack=False,
+        rp.channel_wrapper_by_ampqstormbaic.consume(callback=callback, queue=self.queue_name, no_ack=self.consumer_params.broker_exclusive_config['no_ack'],
                                                     )
         rp.channel.start_consuming(auto_decode=True)
 
     def _confirm_consume(self, kw):
         # noinspection PyBroadException
-        try:
-            kw['amqpstorm_message'].ack()  # 确认消费
-        except BaseException as e:
-            self.logger.error(f'AmqpStorm确认消费失败  {type(e)} {e}')
+        if self.consumer_params.broker_exclusive_config['no_ack'] is False:
+            try:
+                kw['amqpstorm_message'].ack()  # 确认消费
+            except BaseException as e:
+                self.logger.error(f'AmqpStorm确认消费失败  {type(e)} {e}')
 
     def _requeue(self, kw):
         # amqpstorm.Message.delivery_tag

{funboost-46.6 → funboost-46.7}/funboost/core/booster.py

@@ -206,7 +206,7 @@ class Booster:
         fabric_deploy(self, **params)
 
 
-boost = Booster
+boost = Booster   # @boost 后消费函数.  不能自动补全方法就用 Booster就可以。 2024版本的 pycharm抽风了，@boost的消费函数不能自动补全提示 .consume  .push 这些方法。
 task_deco = boost  # 两个装饰器名字都可以。task_deco是原来名字，兼容一下。
 
 

{funboost-46.6 → funboost-46.7}/funboost/timing_job/__init__.py

@@ -8,6 +8,7 @@ import importlib
 import pickle
 
 import time
+from funboost.utils.decorators import RedisDistributedLockContextManager
 from typing import Union
 import threading
 
@@ -15,7 +16,7 @@ from apscheduler.schedulers.background import BackgroundScheduler
 from apscheduler.jobstores.redis import RedisJobStore
 # noinspection PyProtectedMember
 from apscheduler.schedulers.base import STATE_STOPPED, STATE_RUNNING
-from apscheduler.util import undefined
+from apscheduler.util import undefined,TIMEOUT_MAX
 import deprecated
 from funboost.utils.redis_manager import RedisMixin
 
@@ -60,6 +61,9 @@ class FunboostBackgroundScheduler(BackgroundScheduler):
     通过重写 _main_loop ，使得动态修改增加删除定时任务配置更好。
     """
 
+    _last_wait_seconds = None
+    _last_has_task = False
+
     @deprecated.deprecated(reason='以后不要再使用这种方式，对于job_store为数据库时候需要序列化不好。使用内存和数据库都兼容的添加任务方式: add_push_job')
     def add_timing_publish_job(self, func, trigger=None, args=None, kwargs=None, id=None, name=None,
                                misfire_grace_time=undefined, coalesce=undefined, max_instances=undefined,
@@ -146,15 +150,39 @@ class FunboostBackgroundScheduler(BackgroundScheduler):
         或者下一个需要运行的任务的wait_seconds是3600秒后，此时新加了一个动态任务需要3600秒后，
         现在最多只需要1秒就能扫描到动态新增的定时任务了。
         """
-        MAX_WAIT_SECONDS_FOR_NEX_PROCESS_JOBS = 1
+        MAX_WAIT_SECONDS_FOR_NEX_PROCESS_JOBS = 1.5
         wait_seconds = None
         while self.state == STATE_RUNNING:
             if wait_seconds is None:
                 wait_seconds = MAX_WAIT_SECONDS_FOR_NEX_PROCESS_JOBS
-            time.sleep(min(wait_seconds, MAX_WAIT_SECONDS_FOR_NEX_PROCESS_JOBS))  # 这个要取最小值，不然例如定时间隔0.1秒运行，不取最小值，不会每隔0.1秒运行。
+            self._last_wait_seconds = min(wait_seconds, MAX_WAIT_SECONDS_FOR_NEX_PROCESS_JOBS)
+            if wait_seconds in (None,TIMEOUT_MAX):
+                self._last_has_task = False
+            else:
+                self._last_has_task = True
+            time.sleep(self._last_wait_seconds)  # 这个要取最小值，不然例如定时间隔0.1秒运行，不取最小值，不会每隔0.1秒运行。
             wait_seconds = self._process_jobs()
 
 
+class FunboostBackgroundSchedulerProcessJobsWithinRedisLock(FunboostBackgroundScheduler):
+    process_jobs_redis_lock_key = f'funboost.BackgroundSchedulerProcessJobsWithinRedisLock'
+
+    def set_process_jobs_redis_lock_key(self,lock_key):
+        self.process_jobs_redis_lock_key = lock_key
+
+    def _process_jobs(self):
+        for i in range(10) :
+            with RedisDistributedLockContextManager(RedisMixin().redis_db_frame, self.process_jobs_redis_lock_key, ) as lock:
+                if lock.has_aquire_lock:
+                    wait_seconds = super()._process_jobs()
+                    return wait_seconds
+                else:
+                    time.sleep(0.1)
+        return 0.1
+
+
+
+
 FsdfBackgroundScheduler = FunboostBackgroundScheduler  # 兼容一下名字，fsdf是 function-scheduling-distributed-framework 老框架名字的缩写
 # funboost_aps_scheduler定时配置基于内存的，不可以跨机器远程动态添加/修改/删除定时任务配置。如果需要动态增删改查定时任务，可以使用funboost_background_scheduler_redis_store
 

{funboost-46.6 → funboost-46.7}/funboost/timing_job/apscheduler_use_mysql_store.py

@@ -6,4 +6,5 @@ from funboost.timing_job import FsdfBackgroundScheduler
 
 """
 这个是使用mysql作为定时任务持久化，支持动态修改 添加定时任务,用户完全可以自己按照 funboost/timing_job/apscheduler_use_redis_store.py 中的代码实现，因为apscheduler支持SQLAlchemyJobStore
+只是scheduler改个jobstores类型，和funboost知识毫无关系，是apscheduler的知识。
 """

{funboost-46.6 → funboost-46.7}/funboost/timing_job/apscheduler_use_redis_store.py

@@ -2,7 +2,7 @@ from apscheduler.jobstores.redis import RedisJobStore
 
 from funboost.funboost_config_deafult import BrokerConnConfig,FunboostCommonConfig
 
-from funboost.timing_job import FunboostBackgroundScheduler
+from funboost.timing_job import FunboostBackgroundSchedulerProcessJobsWithinRedisLock
 
 """
 这个是使用redis作为定时任务持久化，支持动态修改/添加/删除定时任务
@@ -14,7 +14,7 @@ jobstores = {
                              username=BrokerConnConfig.REDIS_USERNAME,jobs_key='funboost.apscheduler.jobs')
 }
 
-funboost_background_scheduler_redis_store = FunboostBackgroundScheduler(timezone=FunboostCommonConfig.TIMEZONE, daemon=False, jobstores=jobstores)
+funboost_background_scheduler_redis_store = FunboostBackgroundSchedulerProcessJobsWithinRedisLock(timezone=FunboostCommonConfig.TIMEZONE, daemon=False, jobstores=jobstores)
 
 
 

{funboost-46.6 → funboost-46.7/funboost.egg-info}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: funboost
-Version: 46.6
+Version: 46.7
 Summary: pip install funboost，python全功能分布式函数调度框架,funboost的功能是全面性重量级，用户能想得到的功能99%全都有;funboost的使用方式是轻量级，只有@boost一行代码需要写。支持python所有类型的并发模式和一切知名消息队列中间件，支持如 celery dramatiq等框架整体作为funboost中间件，python函数加速器，框架包罗万象，用户能想到的控制功能全都有。一统编程思维，兼容50% python业务场景，适用范围广。只需要一行代码即可分布式执行python一切函数，99%用过funboost的pythoner 感受是　简易 方便 强劲 强大，相见恨晚 
 Home-page: https://github.com/ydf0509/funboost
 Author: bfzs