funboost 45.4__tar.gz → 45.7__tar.gz

{funboost-45.4/funboost.egg-info → funboost-45.7}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: funboost
-Version: 45.4
+Version: 45.7
 Summary: pip install funboost，python全功能分布式函数调度框架,。支持python所有类型的并发模式和一切知名消息队列中间件，支持如 celery dramatiq等框架整体作为funboost中间件，python函数加速器，框架包罗万象，用户能想到的控制功能全都有。一统编程思维，兼容50% python业务场景，适用范围广。只需要一行代码即可分布式执行python一切函数，99%用过funboost的pythoner 感受是　简易 方便 强劲 强大，相见恨晚 
 Home-page: https://github.com/ydf0509/funboost
 Author: bfzs
@@ -47,16 +47,25 @@ License-File: LICENSE
 
 
 <pre style="color: greenyellow;background-color: #0c1119; font-size: medium;">
-pip install funboost ,python全功能分布式函数调度框架,。  用法例子见文档1.3
-支持python所有类型的并发模式和全球一切知名消息队列中间件，
+pip install funboost ,python全功能分布式函数调度框架。  demo用法例子见文档1.3
+
+只需要一行@boost代码即可分布式执行python一切任意函数，99%用过funboost的pythoner 感受是 方便 快速 强大。
+支持python所有类型的并发模式,消息队列方面支持全球一切知名消息队列中间件和模拟的实现消息队列，
 同时funboost支持celery整个框架作为核心来发布和消费消息，使用funboost的极简api方式来自动化配置和利用celery调度,
 也支持huey dramatiq rq等任务队列框架作为funboost的broker。 
+
 python函数加速器，框架包罗万象，一统编程思维，兼容50% python编程业务场景，适用范围广。
-只需要一行代码即可分布式执行python一切函数，99%用过funboost的pythoner 感受是 方便 快速 强大。
 python万能分布式函数调度框架，支持5种并发模式，30+种消息队列中间件(或任务队列框架)，
 30种任务控制功能。给任意python函数赋能。
 用途概念就是常规经典的 生产者 + 消息队列中间件 + 消费者 编程思想。
+
 框架只需要学习@boost这一个装饰器的入参就可以，所有用法几乎和1.3例子一摸一样，非常简化简单。
+框架对代码没有入侵,可以加到任意已有项目而对项目python文件目录结构0要求,
+不像 celery django scrapy 这样的框架,要从一开始就开始规划好项目目录结构,如果不想用框架了,
+或者想改变使用其他框架框架,那么已经所写的代码组织形式就几乎成了废物,需要大改特改. 
+但是funboost完全不会这样,加上或去掉@boost装饰器,对你的项目影响为0,用户照常使用,
+所以用户可以对任意项目,任意时候,引入使用funboost或者去掉使用funboost,代码组织形式不需要发生变化.
+
 </pre>
 
 ### 框架评价
@@ -73,6 +82,7 @@ python万能分布式函数调度框架，支持5种并发模式，30+种消息
 ，连celery命令行运行起来都要反复猜测尝试。
 正因为如此用户从心理已近十分惧怕学习一种叫python框架的东西了，用户顶多愿意学习一个python包或者模块，
 学习一个框架会非常害怕觉得难度高且耗时，所以非常反感尝试新的框架。
+用过的99%都说funboost比celery简单方便太多,看都不看的人第一秒就是开始质疑重复造轮子.
 
 funboost只有一个@boost装饰器，@boost入参能自动补全，更重要的是被@boost装饰的函数，
 有哪些方法，每个方法入参是什么都能自动补全。funboost的中间件配置文件自当生成在用户当前项目根目录，
@@ -211,10 +221,10 @@ if __name__ == '__main__':
 2)funboost 使用内存队列,设置10线程并发
 ```python
 import time
-from funboost import boost, BrokerEnum
+from funboost import BoosterParams, BrokerEnum
 
 
-@boost("test_insteda_thread_queue", broker_kind=BrokerEnum.MEMORY_QUEUE, concurrent_num=10)
+@BoosterParams(queue_name="test_insteda_thread_queue", broker_kind=BrokerEnum.MEMORY_QUEUE, concurrent_num=10, is_auto_start_consuming_message=True)
 def f(x):
     time.sleep(3)
     print(x)
@@ -223,7 +233,8 @@ def f(x):
 if __name__ == '__main__':
     for i in range(100):
         f.push(i)
-    f.consume()
+
+
 ```
 
 
@@ -478,7 +489,7 @@ python比其他语言更需要分布式函数调度框架来执行函数，有
 funboost通过支持celery作为broker_kind,使celer框架变成了funboost的一个子集
 ```
 
-[查看分布式函数调度框架完整文档](https://funboost.readthedocs.io/zh-cn/latest/index.html)
+[查看分布式函数调度框架完整文档](https://funboost.readthedocs.io/)
 
 
 
@@ -492,4 +503,3 @@ funboost通过支持celery作为broker_kind,使celer框架变成了funboost的
 ![](https://visitor-badge.glitch.me/badge?page_id=distributed_framework)
 
 <div> </div>
-

{funboost-45.4 → funboost-45.7}/README.md

@@ -15,16 +15,25 @@
 
 
 <pre style="color: greenyellow;background-color: #0c1119; font-size: medium;">
-pip install funboost ,python全功能分布式函数调度框架,。  用法例子见文档1.3
-支持python所有类型的并发模式和全球一切知名消息队列中间件，
+pip install funboost ,python全功能分布式函数调度框架。  demo用法例子见文档1.3
+
+只需要一行@boost代码即可分布式执行python一切任意函数，99%用过funboost的pythoner 感受是 方便 快速 强大。
+支持python所有类型的并发模式,消息队列方面支持全球一切知名消息队列中间件和模拟的实现消息队列，
 同时funboost支持celery整个框架作为核心来发布和消费消息，使用funboost的极简api方式来自动化配置和利用celery调度,
 也支持huey dramatiq rq等任务队列框架作为funboost的broker。 
+
 python函数加速器，框架包罗万象，一统编程思维，兼容50% python编程业务场景，适用范围广。
-只需要一行代码即可分布式执行python一切函数，99%用过funboost的pythoner 感受是 方便 快速 强大。
 python万能分布式函数调度框架，支持5种并发模式，30+种消息队列中间件(或任务队列框架)，
 30种任务控制功能。给任意python函数赋能。
 用途概念就是常规经典的 生产者 + 消息队列中间件 + 消费者 编程思想。
+
 框架只需要学习@boost这一个装饰器的入参就可以，所有用法几乎和1.3例子一摸一样，非常简化简单。
+框架对代码没有入侵,可以加到任意已有项目而对项目python文件目录结构0要求,
+不像 celery django scrapy 这样的框架,要从一开始就开始规划好项目目录结构,如果不想用框架了,
+或者想改变使用其他框架框架,那么已经所写的代码组织形式就几乎成了废物,需要大改特改. 
+但是funboost完全不会这样,加上或去掉@boost装饰器,对你的项目影响为0,用户照常使用,
+所以用户可以对任意项目,任意时候,引入使用funboost或者去掉使用funboost,代码组织形式不需要发生变化.
+
 </pre>
 
 ### 框架评价
@@ -41,6 +50,7 @@ python万能分布式函数调度框架，支持5种并发模式，30+种消息
 ，连celery命令行运行起来都要反复猜测尝试。
 正因为如此用户从心理已近十分惧怕学习一种叫python框架的东西了，用户顶多愿意学习一个python包或者模块，
 学习一个框架会非常害怕觉得难度高且耗时，所以非常反感尝试新的框架。
+用过的99%都说funboost比celery简单方便太多,看都不看的人第一秒就是开始质疑重复造轮子.
 
 funboost只有一个@boost装饰器，@boost入参能自动补全，更重要的是被@boost装饰的函数，
 有哪些方法，每个方法入参是什么都能自动补全。funboost的中间件配置文件自当生成在用户当前项目根目录，
@@ -179,10 +189,10 @@ if __name__ == '__main__':
 2)funboost 使用内存队列,设置10线程并发
 ```python
 import time
-from funboost import boost, BrokerEnum
+from funboost import BoosterParams, BrokerEnum
 
 
-@boost("test_insteda_thread_queue", broker_kind=BrokerEnum.MEMORY_QUEUE, concurrent_num=10)
+@BoosterParams(queue_name="test_insteda_thread_queue", broker_kind=BrokerEnum.MEMORY_QUEUE, concurrent_num=10, is_auto_start_consuming_message=True)
 def f(x):
     time.sleep(3)
     print(x)
@@ -191,7 +201,8 @@ def f(x):
 if __name__ == '__main__':
     for i in range(100):
         f.push(i)
-    f.consume()
+
+
 ```
 
 
@@ -446,7 +457,7 @@ python比其他语言更需要分布式函数调度框架来执行函数，有
 funboost通过支持celery作为broker_kind,使celer框架变成了funboost的一个子集
 ```
 
-[查看分布式函数调度框架完整文档](https://funboost.readthedocs.io/zh-cn/latest/index.html)
+[查看分布式函数调度框架完整文档](https://funboost.readthedocs.io/)
 
 
 

{funboost-45.4 → funboost-45.7}/funboost/__init__.py

@@ -13,7 +13,7 @@ set_frame_config这个模块的 use_config_form_funboost_config_module() 是核
 这段注释说明和使用的用户无关,只和框架开发人员有关.
 '''
 
-__version__ = "45.4"
+__version__ = "45.7"
 
 from funboost.set_frame_config import show_frame_config
 

{funboost-45.4 → funboost-45.7}/funboost/consumers/base_consumer.py

@@ -140,7 +140,7 @@ class AbstractConsumer(LoggerLevelSetterMixin, metaclass=abc.ABCMeta, ):
         if consumer_params.consuming_function is None:
             raise ValueError('必须传 consuming_function 参数')
 
-        self._msg_schedule_time_intercal = 0 if consumer_params.qps in (None,0) else 1.0 / consumer_params.qps
+        self._msg_schedule_time_intercal = 0 if consumer_params.qps in (None, 0) else 1.0 / consumer_params.qps
 
         self._concurrent_mode_dispatcher = ConcurrentModeDispatcher(self)
         if consumer_params.concurrent_mode == ConcurrentModeEnum.ASYNC:
@@ -233,6 +233,10 @@ class AbstractConsumer(LoggerLevelSetterMixin, metaclass=abc.ABCMeta, ):
             self.logger.info(f'{self.queue_name} consumer 的消费者配置:\n {self.consumer_params.json_str_value()}')
         atexit.register(self.join_shedual_task_thread)
 
+        if self.consumer_params.is_auto_start_consuming_message:
+            _ = self.publisher_of_same_queue
+            self.start_consuming_message()
+
     def _build_logger(self):
         logger_prefix = self.consumer_params.logger_prefix
         if logger_prefix != '':
@@ -585,10 +589,12 @@ class AbstractConsumer(LoggerLevelSetterMixin, metaclass=abc.ABCMeta, ):
             # method_cls = getattr(sys.modules[self.consumer_params.consuming_function_class_module],
             #                      self.consumer_params.consuming_function_class_name)
             if self.publisher_params.consuming_function_kind == FunctionKind.CLASS_METHOD:
-                method_cls = getattr(PathHelper(method_first_param_value[ConstStrForClassMethod.CLS_FILE]).import_as_module(), method_first_param_value[ConstStrForClassMethod.CLS_NAME])
+                method_cls = getattr(PathHelper.import_module(method_first_param_value[ConstStrForClassMethod.CLS_MODULE]),
+                                     method_first_param_value[ConstStrForClassMethod.CLS_NAME])
                 real_function_only_params[method_first_param_name] = method_cls
             elif self.publisher_params.consuming_function_kind == FunctionKind.INSTANCE_METHOD:
-                method_cls = getattr(PathHelper(method_first_param_value[ConstStrForClassMethod.CLS_FILE]).import_as_module(), method_first_param_value[ConstStrForClassMethod.CLS_NAME])
+                method_cls = getattr(PathHelper.import_module(method_first_param_value[ConstStrForClassMethod.CLS_MODULE]),
+                                     method_first_param_value[ConstStrForClassMethod.CLS_NAME])
                 obj = method_cls(**method_first_param_value[ConstStrForClassMethod.OBJ_INIT_PARAMS])
                 real_function_only_params[method_first_param_name] = obj
             # print(real_function_only_params)

{funboost-45.4 → funboost-45.7}/funboost/consumers/local_python_queue_consumer.py

@@ -5,7 +5,7 @@ import json
 from queue import Queue,SimpleQueue
 from funboost.constant import BrokerEnum
 from funboost.consumers.base_consumer import AbstractConsumer
-from funboost.publishers import local_python_queue_publisher
+from funboost.queues.memory_queues_map import PythonQueues
 
 
 class LocalPythonQueueConsumer(AbstractConsumer):
@@ -15,7 +15,7 @@ class LocalPythonQueueConsumer(AbstractConsumer):
 
     @property
     def local_python_queue(self) -> Queue:
-        return local_python_queue_publisher.local_pyhton_queue_name__local_pyhton_queue_obj_map[self._queue_name]
+        return PythonQueues.get_queue(self._queue_name)
 
     def _shedual_task(self):
         while True:

{funboost-45.4 → funboost-45.7}/funboost/core/current_task.py

@@ -163,7 +163,7 @@ def get_current_taskid():
     # return fct.function_result_status.task_id
     try:
         fct = funboost_current_task()
-        return fct.task_id  # 不在funboost的消费函数里面就获取不到上下文了
+        return fct.task_id  # 不在funboost的消费函数里面或者同个线程、协程就获取不到上下文了
     except (AttributeError, LookupError) as e:
         # print(e,type(e))
         return 'no_task_id'

{funboost-45.4 → funboost-45.7}/funboost/core/func_params_model.py

@@ -177,6 +177,7 @@ class BoosterParams(BaseJsonAbleModel):
     do_not_run_by_specify_time: tuple = ('10:00:00', '22:00:00')  # 不运行的时间段,在这个时间段自动不运行函数.
 
     schedule_tasks_on_main_thread: bool = False  # 直接在主线程调度任务，意味着不能直接在当前主线程同时开启两个消费者。
+    is_auto_start_consuming_message: bool = False  # 是否在定义后就自动启动消费，无需用户手动写 .consume() 来启动消息消费。
 
     consuming_function: typing.Callable = None  # 消费函数,在@boost时候不用指定,因为装饰器知道下面的函数.
     consuming_function_raw: typing.Callable = None
@@ -195,8 +196,7 @@ class BoosterParams(BaseJsonAbleModel):
 
     auto_generate_info: dict = {}  # 自动生成的信息,不需要用户主动传参.
 
-    consuming_function_kind :typing.Optional[str]= None  #自动生成的信息,不需要用户主动传参.
-
+    consuming_function_kind: typing.Optional[str] = None  # 自动生成的信息,不需要用户主动传参,如果自动判断失误就传递。
 
     @root_validator(skip_on_failure=True)
     def check_values(cls, values: dict):
@@ -269,7 +269,6 @@ class PriorityConsumingControlConfig(BaseJsonAbleModel):
     misfire_grace_time: typing.Union[int, None] = None
     other_extra_params: dict = None  # 其他参数, 例如消息优先级 , priority_control_config=PriorityConsumingControlConfig(other_extra_params={'priroty': priorityxx})，
 
-
     @root_validator(skip_on_failure=True)
     def cehck_values(cls, values: dict):
         if values['countdown'] and values['eta']:
@@ -297,7 +296,6 @@ class PublisherParams(BaseJsonAbleModel):
     consuming_function_kind: typing.Optional[str] = None  # 自动生成的信息,不需要用户主动传参.
 
 
-
 if __name__ == '__main__':
     from funboost.concurrent_pool import FlexibleThreadPool
 

{funboost-45.4 → funboost-45.7}/funboost/publishers/base_publisher.py

@@ -33,6 +33,7 @@ from funboost.core.serialization import Serialization
 from funboost.core.task_id_logger import TaskIdLogger
 from funboost.utils import decorators
 from funboost.funboost_config_deafult import BrokerConnConfig, FunboostCommonConfig
+from nb_libs.path_helper import PathHelper
 
 RedisAsyncResult = AsyncResult  # 别名
 RedisAioAsyncResult = AioAsyncResult  # 别名
@@ -271,6 +272,7 @@ class AbstractPublisher(LoggerLevelSetterMixin, metaclass=abc.ABCMeta, ):
             func_args_list[0] = {ConstStrForClassMethod.FIRST_PARAM_NAME: self.publish_params_checker.all_arg_name[0],
                                  ConstStrForClassMethod.CLS_NAME: cls.__name__,
                                  ConstStrForClassMethod.CLS_FILE: self.__get_cls_file(cls),
+                                 ConstStrForClassMethod.CLS_MODULE: PathHelper(self.__get_cls_file(cls)).get_module_name(),
                                  }
         elif self.publisher_params.consuming_function_kind == FunctionKind.INSTANCE_METHOD:
             obj = func_args[0]
@@ -280,6 +282,7 @@ class AbstractPublisher(LoggerLevelSetterMixin, metaclass=abc.ABCMeta, ):
             func_args_list[0] = {ConstStrForClassMethod.FIRST_PARAM_NAME: self.publish_params_checker.all_arg_name[0],
                                  ConstStrForClassMethod.CLS_NAME: cls.__name__,
                                  ConstStrForClassMethod.CLS_FILE: self.__get_cls_file(cls),
+                                 ConstStrForClassMethod.CLS_MODULE: PathHelper(self.__get_cls_file(cls)).get_module_name(),
                                  ConstStrForClassMethod.OBJ_INIT_PARAMS: getattr(obj, ConstStrForClassMethod.OBJ_INIT_PARAMS),
 
                                  }

{funboost-45.4 → funboost-45.7}/funboost/publishers/local_python_queue_publisher.py

@@ -5,6 +5,7 @@ from collections import deque
 from queue import Queue, SimpleQueue
 
 from funboost.publishers.base_publisher import AbstractPublisher
+from funboost.queues.memory_queues_map import PythonQueues
 
 local_pyhton_queue_name__local_pyhton_queue_obj_map = dict()  # 使local queue和其他中间件完全一样的使用方式，使用映射保存队列的名字，使消费和发布通过队列名字能找到队列对象。
 
@@ -15,23 +16,23 @@ class LocalPythonQueuePublisher(AbstractPublisher):
     """
 
     # noinspection PyAttributeOutsideInit
-    def custom_init(self):
-        if self._queue_name not in local_pyhton_queue_name__local_pyhton_queue_obj_map:
-            local_pyhton_queue_name__local_pyhton_queue_obj_map[self._queue_name] = Queue(1000000)
-        self.queue = local_pyhton_queue_name__local_pyhton_queue_obj_map[self._queue_name]
+
+    @property
+    def local_python_queue(self) -> Queue:
+        return PythonQueues.get_queue(self._queue_name)
 
     def concrete_realization_of_publish(self, msg):
         # noinspection PyTypeChecker
         pass
-        self.queue.put(msg)
+        self.local_python_queue.put(msg)
 
     def clear(self):
         # noinspection PyUnresolvedReferences
-        self.queue.queue.clear()
+        self.local_python_queue.queue.clear()
         self.logger.warning(f'清除 本地队列中的消息成功')
 
     def get_message_count(self):
-        return self.queue.qsize()
+        return self.local_python_queue.qsize()
 
     def close(self):
         pass

funboost-45.7/funboost/queues/memory_queues_map.py

@@ -0,0 +1,11 @@
+import queue
+
+
+class PythonQueues:
+    local_pyhton_queue_name__local_pyhton_queue_obj_map  = {}
+
+    @classmethod
+    def get_queue(cls,queue_name):
+        if queue_name not in cls.local_pyhton_queue_name__local_pyhton_queue_obj_map:
+            cls.local_pyhton_queue_name__local_pyhton_queue_obj_map[queue_name] = queue.Queue()
+        return cls.local_pyhton_queue_name__local_pyhton_queue_obj_map[queue_name]

{funboost-45.4 → funboost-45.7}/funboost/utils/dependency_packages_in_pythonpath/aioredis/__init__.py

@@ -1,59 +1,59 @@
-from aioredis.client import Redis, StrictRedis
-from aioredis.connection import (
-    BlockingConnectionPool,
-    Connection,
-    ConnectionPool,
-    SSLConnection,
-    UnixDomainSocketConnection,
-)
-from aioredis.exceptions import (
-    AuthenticationError,
-    AuthenticationWrongNumberOfArgsError,
-    BusyLoadingError,
-    ChildDeadlockedError,
-    ConnectionError,
-    DataError,
-    InvalidResponse,
-    PubSubError,
-    ReadOnlyError,
-    RedisError,
-    ResponseError,
-    TimeoutError,
-    WatchError,
-)
-from aioredis.utils import from_url
-
-
-def int_or_str(value):
-    try:
-        return int(value)
-    except ValueError:
-        return value
-
-
-__version__ = "2.0.1"
-VERSION = tuple(map(int_or_str, __version__.split(".")))
-
-__all__ = [
-    "AuthenticationError",
-    "AuthenticationWrongNumberOfArgsError",
-    "BlockingConnectionPool",
-    "BusyLoadingError",
-    "ChildDeadlockedError",
-    "Connection",
-    "ConnectionError",
-    "ConnectionPool",
-    "DataError",
-    "from_url",
-    "InvalidResponse",
-    "PubSubError",
-    "ReadOnlyError",
-    "Redis",
-    "RedisError",
-    "ResponseError",
-    "SSLConnection",
-    "StrictRedis",
-    "TimeoutError",
-    "UnixDomainSocketConnection",
-    "WatchError",
-]
+from aioredis.client import Redis, StrictRedis
+from aioredis.connection import (
+    BlockingConnectionPool,
+    Connection,
+    ConnectionPool,
+    SSLConnection,
+    UnixDomainSocketConnection,
+)
+from aioredis.exceptions import (
+    AuthenticationError,
+    AuthenticationWrongNumberOfArgsError,
+    BusyLoadingError,
+    ChildDeadlockedError,
+    ConnectionError,
+    DataError,
+    InvalidResponse,
+    PubSubError,
+    ReadOnlyError,
+    RedisError,
+    ResponseError,
+    TimeoutError,
+    WatchError,
+)
+from aioredis.utils import from_url
+
+
+def int_or_str(value):
+    try:
+        return int(value)
+    except ValueError:
+        return value
+
+
+__version__ = "2.0.1"
+VERSION = tuple(map(int_or_str, __version__.split(".")))
+
+__all__ = [
+    "AuthenticationError",
+    "AuthenticationWrongNumberOfArgsError",
+    "BlockingConnectionPool",
+    "BusyLoadingError",
+    "ChildDeadlockedError",
+    "Connection",
+    "ConnectionError",
+    "ConnectionPool",
+    "DataError",
+    "from_url",
+    "InvalidResponse",
+    "PubSubError",
+    "ReadOnlyError",
+    "Redis",
+    "RedisError",
+    "ResponseError",
+    "SSLConnection",
+    "StrictRedis",
+    "TimeoutError",
+    "UnixDomainSocketConnection",
+    "WatchError",
+]