funboost 49.0__tar.gz → 49.1__tar.gz

{funboost-49.0/funboost.egg-info → funboost-49.1}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: funboost
-Version: 49.0
+Version: 49.1
 Summary: pip install funboost，python全功能分布式函数调度框架,funboost的功能是全面性重量级，用户能想得到的功能99%全都有;funboost的使用方式是轻量级，只有@boost一行代码需要写。支持python所有类型的并发模式和一切知名消息队列中间件，支持如 celery dramatiq等框架整体作为funboost中间件，python函数加速器，框架包罗万象，用户能想到的控制功能全都有。一统编程思维，兼容50% python业务场景，适用范围广。只需要一行代码即可分布式执行python一切函数，funboost web manager 方便查看和管理消费函数；99%用过funboost的pythoner 感受是　简易 方便 强劲 强大，相见恨晚 
 Home-page: https://github.com/ydf0509/funboost
 Author: bfzs

{funboost-49.0 → funboost-49.1}/README.md

@@ -1,5 +1,5 @@
 ---
-noteId: "64b6a0c0411e11f0a66f39b062f95544"
+noteId: "67d3a8f045e411f0ab0bf59d9f569ed4"
 tags: []
 
 ---

{funboost-49.0 → funboost-49.1}/funboost/__init__.py

@@ -13,7 +13,7 @@ set_frame_config这个模块的 use_config_form_funboost_config_module() 是核
 这段注释说明和使用的用户无关,只和框架开发人员有关.
 '''
 
-__version__ = "49.0"
+__version__ = "49.1"
 
 from funboost.set_frame_config import show_frame_config
 

{funboost-49.0 → funboost-49.1}/funboost/function_result_web/app.py

@@ -221,10 +221,7 @@ def hearbeat_info_partion_by_ip():
 def get_queue_params_and_active_consumers():
     return jsonify(QueueConusmerParamsGetter().get_queue_params_and_active_consumers())
 
-@app.route('/queue/message_count/<broker_kind>/<queue_name>')
-def get_message_count(broker_kind,queue_name):
-    publisher = BoostersManager.get_cross_project_publisher(PublisherParams(queue_name=queue_name, broker_kind=broker_kind, publish_msg_log_use_full_msg=True))
-    return jsonify({'count':publisher.get_message_count(),'success':True})
+
 
 
 @app.route('/queue/clear/<broker_kind>/<queue_name>',methods=['POST'])
@@ -243,9 +240,27 @@ def resume_consume(queue_name):
     RedisMixin().redis_db_frame.hset(RedisKeys.REDIS_KEY_PAUSE_FLAG, queue_name,'0')
     return jsonify({'success':True})
 
-@app.route('/queue/get_msg_num',methods=['GET'])
-def get_msg_num():
+@app.route('/queue/get_msg_num_all_queues',methods=['GET'])
+def get_msg_num_all_queues():
+    """这个是通过消费者周期每隔10秒上报到redis的，性能好。不需要实时获取每个消息队列，直接从redis读取所有队列的消息数量"""
     return jsonify(QueueConusmerParamsGetter().get_msg_num(ignore_report_ts=True))
+
+@app.route('/queue/message_count/<broker_kind>/<queue_name>')
+def get_message_count(broker_kind,queue_name):
+    """这个是实时获取每个消息队列的消息数量，性能差，但是可以实时获取每个消息队列的消息数量"""
+    queue_params = QueueConusmerParamsGetter().get_queue_params()
+    for queue_namex,params in queue_params.items():
+        if params['broker_kind'] == broker_kind and queue_namex == queue_name:
+            publisher = BoostersManager.get_cross_project_publisher(
+                PublisherParams(queue_name=queue_name, 
+                                 broker_kind=broker_kind,
+                                 broker_exclusive_config=params['broker_exclusive_config'],
+                                 publish_msg_log_use_full_msg=True))
+            return jsonify({'count':publisher.get_message_count(),'success':True})
+    return jsonify({'success':False,'msg':f'队列{queue_name}不存在'})
+
+    publisher = BoostersManager.get_cross_project_publisher(PublisherParams(queue_name=queue_name, broker_kind=broker_kind, publish_msg_log_use_full_msg=True))
+    return jsonify({'count':publisher.get_message_count(),'success':True})
         
 @app.route('/rpc/rpc_call',methods=['POST'])
 def rpc_call():

{funboost-49.0 → funboost-49.1}/funboost/function_result_web/templates/rpc_call.html

@@ -135,7 +135,7 @@
         // 页面加载完成后立即获取所有队列
         $(document).ready(function () {
             $.ajax({
-                url: "{{ url_for('get_msg_num')}}",
+                url: "{{ url_for('get_msg_num_all_queues')}}",
                 data: {},
                 async: true,
                 success: function (result) {

{funboost-49.0 → funboost-49.1}/funboost/timing_job/timing_job_base.py

@@ -59,7 +59,7 @@ class ThreadPoolExecutorForAps(BasePoolExecutor):
         ThreadPoolExecutor constructor
     """
 
-    def __init__(self, max_workers=10, pool_kwargs=None):
+    def __init__(self, max_workers=100, pool_kwargs=None):
         pool = ThreadPoolExecutorShrinkAble(int(max_workers), )
         super().__init__(pool)
 

{funboost-49.0 → funboost-49.1}/funboost/timing_job/timing_push.py

@@ -76,9 +76,23 @@ class ApsJobAdder:
                      next_run_time=undefined, jobstore='default', executor='default',
                      replace_existing=False, **trigger_args, ):
         """
-        这里的入参都是和apscheduler的add_job的入参一样的，funboost作者没有创造新的入参。
+        1. 这里的入参都是和apscheduler的add_job的入参一样的，funboost作者没有创造新的入参。
         但是官方apscheduler的入参第一个入参是函数，
         funboost的ApsJobAdder对象.add_push_job入参去掉了函数，因为类的实例化时候会把函数传进来，不需要再麻烦用户一次了。
+        
+
+        2. add_push_job目的是 定时运行 消费函数.push方法发布消息到消费队列， 而不是 定时直接运行 消费函数自身。
+
+        相当于 aps_obj.add_job(消费函数.push, trigger, args, kwargs, id, name, .....)
+        那为什么 不直接使用 aps_obj.add_job(消费函数.push, trigger, args, kwargs, id, name, .....) 呢？因为 消费函数.push是实例方法，
+        如果redis作为 jobstore， 消费函数.push 会报错，因为 消费函数.push 是实例方法，不能被序列化。只有普通函数和静态方法才能被序列化。
+        所以开发了一个 add_push_job方法， 里面再去用 add_job， 使用 push_fun_params_to_broker 这个普通函数作为 add_job 的第一个入参，
+        这个普通函数里面再去调用 消费函数.push 方法， 相当于是曲线救国避免 aps_obj.add_job(消费函数.push 不可序列化问题。
+
+
+        3. 用户也可以自己定义一个普通函数my_push，你这个普通函数my_push 里面去调用消费函数.push方法；然后使用 aps_obj.add_job 使用你自己定义的这个my_push作为第一个入参。
+        这种方式更容易你去理解，和apscheduler 官方库的原生写法一模一样。 但是不如 add_push_job 方便，因为 需要你亲自给每个消费函数分别定义一个普通函数my_push。
+
         """
 
         # if not getattr(self.aps_obj, 'has_started_flag', False):
@@ -118,14 +132,16 @@ if __name__ == '__main__':
     ApsJobAdder(sum_two_numbers, job_store_kind='redis').add_push_job(
         trigger='date',
         run_date='2025-01-17 23:25:40',
-        args=(7, 8)
+        args=(7, 8),
+        id='date_job1'
     )
 
     # 方式2：固定间隔执行
     ApsJobAdder(sum_two_numbers, job_store_kind='memory').add_push_job(
         trigger='interval',
         seconds=5,
-        args=(4, 6)
+        args=(4, 6),
+        id='interval_job1'
     )
 
     # 方式3：使用cron表达式定时执行

{funboost-49.0 → funboost-49.1}/funboost/utils/dependency_packages_in_pythonpath/aioredis/readme.md

@@ -1,5 +1,5 @@
 ---
-noteId: "66cf95b0411e11f0a66f39b062f95544"
+noteId: "69a1b23045e411f0ab0bf59d9f569ed4"
 tags: []
 
 ---

{funboost-49.0 → funboost-49.1}/funboost/utils/dependency_packages_in_pythonpath/readme.md

@@ -1,5 +1,5 @@
 ---
-noteId: "66834a70411e11f0a66f39b062f95544"
+noteId: "6957b0e045e411f0ab0bf59d9f569ed4"
 tags: []
 
 ---

{funboost-49.0 → funboost-49.1/funboost.egg-info}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: funboost
-Version: 49.0
+Version: 49.1
 Summary: pip install funboost，python全功能分布式函数调度框架,funboost的功能是全面性重量级，用户能想得到的功能99%全都有;funboost的使用方式是轻量级，只有@boost一行代码需要写。支持python所有类型的并发模式和一切知名消息队列中间件，支持如 celery dramatiq等框架整体作为funboost中间件，python函数加速器，框架包罗万象，用户能想到的控制功能全都有。一统编程思维，兼容50% python业务场景，适用范围广。只需要一行代码即可分布式执行python一切函数，funboost web manager 方便查看和管理消费函数；99%用过funboost的pythoner 感受是　简易 方便 强劲 强大，相见恨晚 
 Home-page: https://github.com/ydf0509/funboost
 Author: bfzs

{funboost-49.0 → funboost-49.1}/funboost.egg-info/requires.txt

@@ -1,5 +1,5 @@
 nb_log>=13.2
-nb_libs>=1.8
+nb_libs>=1.9
 nb_time>=2.4
 pymongo>=4.6.3
 AMQPStorm==2.10.6

{funboost-49.0 → funboost-49.1}/setup.py

@@ -79,7 +79,7 @@ setup(
     ],
     install_requires=[
         'nb_log>=13.2',
-        'nb_libs>=1.8',
+        'nb_libs>=1.9',
         'nb_time>=2.4',
         "pymongo>=4.6.3",  # 3.5.1  -> 4.0.2
         'AMQPStorm==2.10.6',