funboost 49.7__tar.gz → 49.9__tar.gz

{funboost-49.7/funboost.egg-info → funboost-49.9}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: funboost
-Version: 49.7
+Version: 49.9
 Summary: pip install funboost，python全功能分布式函数调度框架,funboost的功能是全面性重量级，用户能想得到的功能99%全都有;funboost的使用方式是轻量级，只有@boost一行代码需要写。支持python所有类型的并发模式和一切知名消息队列中间件，支持如 celery dramatiq等框架整体作为funboost中间件，python函数加速器，框架包罗万象，用户能想到的控制功能全都有。一统编程思维，兼容50% python业务场景，适用范围广。只需要一行代码即可分布式执行python一切函数，funboost web manager 方便查看和管理消费函数；99%用过funboost的pythoner 感受是　简易 方便 强劲 强大，相见恨晚 
 Home-page: https://github.com/ydf0509/funboost
 Author: bfzs
@@ -83,6 +83,10 @@ Requires-Dist: pyzmq; extra == "all"
 Requires-Dist: kafka-python==2.0.2; extra == "all"
 Requires-Dist: eventlet==0.33.3; extra == "all"
 Requires-Dist: gevent==22.10.2; extra == "all"
+Requires-Dist: mysql-replication==1.0.9; extra == "all"
+Requires-Dist: grpcio==1.60.0; extra == "all"
+Requires-Dist: grpcio-tools==1.60.0; extra == "all"
+Requires-Dist: protobuf==4.25.1; extra == "all"
 Requires-Dist: flask; extra == "all"
 Requires-Dist: flask_bootstrap; extra == "all"
 Requires-Dist: flask_wtf; extra == "all"
@@ -113,6 +117,10 @@ Requires-Dist: pyzmq; extra == "extra-brokers"
 Requires-Dist: kafka-python==2.0.2; extra == "extra-brokers"
 Requires-Dist: eventlet==0.33.3; extra == "extra-brokers"
 Requires-Dist: gevent==22.10.2; extra == "extra-brokers"
+Requires-Dist: mysql-replication==1.0.9; extra == "extra-brokers"
+Requires-Dist: grpcio==1.60.0; extra == "extra-brokers"
+Requires-Dist: grpcio-tools==1.60.0; extra == "extra-brokers"
+Requires-Dist: protobuf==4.25.1; extra == "extra-brokers"
 Provides-Extra: flask
 Requires-Dist: flask; extra == "flask"
 Requires-Dist: flask_bootstrap; extra == "flask"
@@ -182,45 +190,65 @@ funboost的旧框架名字是function_scheduling_distributed_framework , 关系
 
 ## 1.0 github地址和文档地址
 
-### 1.0.1 [分布式函数调度框架文档地址 ](https://funboost.readthedocs.io/zh-cn/latest/index.html)
+### 1.0.1 分布式函数调度框架文档地址 
 
 [查看分布式函数调度框架文档 https://funboost.readthedocs.io/zh-cn/latest/index.html](https://funboost.readthedocs.io/zh-cn/latest/index.html)
 
-文档很长，大部分都是讲原理和对比各种框架。但是用户只需要学习1.3这1个例子就能掌握了。因为其他例子只是 @boost的 BoosterParams 里面的控制入参换了一下。
+文档很长，大部分都是讲原理和对比各种框架,不仅仅 `how` to use,更多的是 `What` & `Why`。
+但是用户只需要学习1.3这1个例子就能掌握了。因为其他例子只是 @boost的 BoosterParams 里面的控制入参换了一下。
+
 
 用户只需要专门看 BoosterParams 里面的每个入参的注释就能掌握框架了，因为funboost只有@boost一行代码需要你写。
 
 funboost 框架和一般的框架不一样，因为只有一行代码需要掌握，绝对不是要求用户先精通框架本身才能自由发挥。
 
-#### [1.python万能分布式函数调度框架简funboost简介](https://funboost.readthedocs.io/zh-cn/latest/articles/c1.html)
-
-#### [2. funboost对比celery框架](https://funboost.readthedocs.io/zh-cn/latest/articles/c2.html)
-
-#### [3.funboost框架详细介绍](https://funboost.readthedocs.io/zh-cn/latest/articles/c3.html)
-
-#### [4.funboost使用框架的各种代码示例](https://funboost.readthedocs.io/zh-cn/latest/articles/c4.html)
-
-#### [4b.funboost使用框架的各种代码示例(高级进阶)](https://funboost.readthedocs.io/zh-cn/latest/articles/c4b.html)
-
-#### [5.funboost框架运行时截图](https://funboost.readthedocs.io/zh-cn/latest/articles/c5.html)
-
-#### [6.funboost常见问题回答](https://funboost.readthedocs.io/zh-cn/latest/articles/c6.html)
-
-#### [7.funboost更新记录](https://funboost.readthedocs.io/zh-cn/latest/articles/c7.html)
-
-#### [8.funboost是万能函数调度框架，当然可以爬虫,自由编程 降维打击 框架奴役](https://funboost.readthedocs.io/zh-cn/latest/articles/c8.html)
 
-#### [9.轻松远程服务器部署运行函数](https://funboost.readthedocs.io/zh-cn/latest/articles/c9.html#)
-
-#### [10.python3.6-3.12 安装/使用funboost出错问题反馈](https://funboost.readthedocs.io/zh-cn/latest/articles/c10.html)
-
-#### [11.funboost 使用某些中间件或三方任务队列框架作为broker的例子(包括celery框架)。](https://funboost.readthedocs.io/zh-cn/latest/articles/c11.html)
-
-#### [12.funboost 控制台支持命令行](https://funboost.readthedocs.io/zh-cn/latest/articles/c12.html)
-
-#### [13.启动 funboost web manager,查看消费结果和队列管理](https://funboost.readthedocs.io/zh-cn/latest/articles/c13.html)
-
-#### [funboost依赖的nb_log日志文档 https://nb-log-doc.readthedocs.io/zh_CN/latest/articles/c9.html#id2](https://nb-log-doc.readthedocs.io/zh_CN/latest/articles/c9.html#id2)
+[**1.python万能分布式函数调度框架简funboost简介**](https://funboost.readthedocs.io/zh-cn/latest/articles/c1.html)
+
+##### 2. funboost对比celery框架
+[**2.funboost对比celery框架**](https://funboost.readthedocs.io/zh-cn/latest/articles/c2.html)
+[2.funboost对比celery框架](https://funboost.readthedocs.io/zh-cn/latest/articles/c2.html)
+[**3.funboost框架详细介绍**](https://funboost.readthedocs.io/zh-cn/latest/articles/c3.html)
+##### 3.funboost框架详细介绍
+[**4.funboost使用框架的各种代码示例**](https://funboost.readthedocs.io/zh-cn/latest/articles/c4.html)
+[3.funboost框架详细介绍](https://funboost.readthedocs.io/zh-cn/latest/articles/c3.html)
+[**4b.funboost使用框架的各种代码示例(高级进阶)**](https://funboost.readthedocs.io/zh-cn/latest/articles/c4b.html)
+##### 4.funboost使用框架的各种代码示例
+[4.funboost使用框架的各种代码示例](https://funboost.readthedocs.io/zh-cn/latest/articles/c4.html)
+[**5.funboost框架运行时截图**](https://funboost.readthedocs.io/zh-cn/latest/articles/c5.html)
+##### 4b.funboost使用框架的各种代码示例(高级进阶)
+[4b.funboost使用框架的各种代码示例(高级进阶)](https://funboost.readthedocs.io/zh-cn/latest/articles/c4b.html)
+[**6.funboost常见问题回答**](https://funboost.readthedocs.io/zh-cn/latest/articles/c6.html)
+##### 5.funboost框架运行时截图
+[5.funboost框架运行时截图](https://funboost.readthedocs.io/zh-cn/latest/articles/c5.html)
+[**7.funboost更新记录**](https://funboost.readthedocs.io/zh-cn/latest/articles/c7.html)
+##### 6.funboost常见问题回答
+[6.funboost常见问题回答](https://funboost.readthedocs.io/zh-cn/latest/articles/c6.html)
+[**8.funboost是万能函数调度框架，当然可以爬虫,自由编程 降维打击 框架奴役**](https://funboost.readthedocs.io/zh-cn/latest/articles/c8.html)
+##### 7.funboost更新记录
+[7.funboost更新记录](https://funboost.readthedocs.io/zh-cn/latest/articles/c7.html)
+[**9.轻松远程服务器部署运行函数**](https://funboost.readthedocs.io/zh-cn/latest/articles/c9.html#)
+##### 8.funboost是万能函数调度框架，当然可以爬虫,自由编程 降维打击 框架奴役
+[8.funboost是万能函数调度框架，当然可以爬虫,自由编程 降维打击 框架奴役](https://funboost.readthedocs.io/zh-cn/latest/articles/c8.html)
+[**10.python3.6-3.12 安装/使用funboost出错问题反馈**](https://funboost.readthedocs.io/zh-cn/latest/articles/c10.html)
+##### 9.轻松远程服务器部署运行函数
+[9.轻松远程服务器部署运行函数](https://funboost.readthedocs.io/zh-cn/latest/articles/c9.html#)
+[**11.funboost 使用某些中间件或三方任务队列框架作为broker的例子(包括celery框架)。**](https://funboost.readthedocs.io/zh-cn/latest/articles/c11.html)
+##### 10.python3.6-3.12 安装/使用funboost出错问题反馈
+[10.python3.6-3.12 安装/使用funboost出错问题反馈](https://funboost.readthedocs.io/zh-cn/latest/articles/c10.html)
+[**12.funboost 控制台支持命令行**](https://funboost.readthedocs.io/zh-cn/latest/articles/c12.html)
+##### 11.funboost 使用某些中间件或三方任务队列框架作为broker的例子(包括celery框架)。
+[11.funboost 使用某些中间件或三方任务队列框架作为broker的例子(包括celery框架)。](https://funboost.readthedocs.io/zh-cn/latest/articles/c11.html)
+[**13.启动 funboost web manager,查看消费结果和队列管理**](https://funboost.readthedocs.io/zh-cn/latest/articles/c13.html)
+##### 12.funboost 控制台支持命令行
+[12.funboost 控制台支持命令行](https://funboost.readthedocs.io/zh-cn/latest/articles/c12.html)
+
+##### 13.启动 funboost web manager,查看消费结果和队列管理
+[13.启动 funboost web manager,查看消费结果和队列管理](https://funboost.readthedocs.io/zh-cn/latest/articles/c13.html)
+
+
+#### funboost依赖的nb_log日志文档 
+[funboost依赖的nb_log日志文档 https://nb-log-doc.readthedocs.io/zh_CN/latest/articles/c9.html#id2](https://nb-log-doc.readthedocs.io/zh_CN/latest/articles/c9.html#id2)
 
 ```
 文档很长，但归根结底只需要学习 1.3 里面的这1个例子就行，主要是修改下@boost的各种参数，
@@ -234,7 +262,7 @@ funboost 框架和一般的框架不一样，因为只有一行代码需要掌
 很多新手需要小心翼翼模仿网上说的项目目录结构，以为不按照那么规划目录和命名就玩不起来，本身说明celery很坑。
 ```
 
-### 1.0.2 [分布式函数调度框架github地址](https://github.com/ydf0509/funboost)
+### 1.0.2 分布式函数调度框架github地址
 
 [查看分布式函数调度框架github项目](https://github.com/ydf0509/funboost)
 
@@ -489,8 +517,14 @@ win cmd和linux 运行时候，设置 PYTHONPATH 为项目根目录，是为了
 而是根据实际情况函数的参数个数、函数的内部逻辑功能，全部都由用户自定义，函数里面想写什么就写什么，想干什么就干什么，极端自由。
 也就是框架很容易学和使用，把下面的task_fun函数的入参和内部逻辑换成你自己想写的函数功能就可以了，框架只需要学习boost这一个函数的参数就行。
 测试使用的时候函数里面加上sleep模拟阻塞，从而更好的了解框架的并发和各种控制功能。
+```
+
+```
+有一点要说明的是框架的消息中间件的ip 端口 密码 等配置是在你第一次运行代码时候，在你当前项目的根目录下生成的 funboost_config.py 按需设置 (默认放在项目根目录是为了方便利用项目的 PYTHONPATH。当然，只要 PYTHONPATH 设置正确，
+该配置文件可以放在磁盘的任意文件夹里面。用户可以看教程 6.18.3 问答章节)。
 
-有一点要说明的是框架的消息中间件的ip 端口 密码 等配置是在你第一次运行代码时候，在你当前项目的根目录下生成的 funboost_config.py 按需设置。
+funboost_config.py 里面仅仅是配置 中间件连接,例如ip 端口这些简单的配置, 只需要第一次配置正确即可,
+后续的开发中基本无需再次修改此文件。 因为所有消费函数任务控制功能都是在 BoosterParams 中传参。
 ```
 
 ### 1.3.1 funboost最简单例子
@@ -686,7 +720,9 @@ def task_fun(a: int, b: int):
 队列操作，查看消费者详情：查看队列的所有消费者详情
 [![pEJCgT1.png](https://s21.ax1x.com/2025/03/04/pEJCgT1.png)](https://imgse.com/i/pEJCgT1)
 
+
 队列操作:查看消费曲线图，查看各种消费指标。
+包括 历史运行次数  历史运行失败次数  近10秒完成  近10秒失败  近10秒函数运行平均耗时  累计函数运行平均耗时  剩余消息数量
 [![pVpr7sP.png](https://s21.ax1x.com/2025/05/29/pVpr7sP.png)](https://imgse.com/i/pVpr7sP)
 
 rpc调用：在网页上对30种消息队列发布消息并获取消息的函数执行结；根据taskid获取结果。

{funboost-49.7 → funboost-49.9}/README.md

@@ -60,45 +60,65 @@ funboost的旧框架名字是function_scheduling_distributed_framework , 关系
 
 ## 1.0 github地址和文档地址
 
-### 1.0.1 [分布式函数调度框架文档地址 ](https://funboost.readthedocs.io/zh-cn/latest/index.html)
+### 1.0.1 分布式函数调度框架文档地址 
 
 [查看分布式函数调度框架文档 https://funboost.readthedocs.io/zh-cn/latest/index.html](https://funboost.readthedocs.io/zh-cn/latest/index.html)
 
-文档很长，大部分都是讲原理和对比各种框架。但是用户只需要学习1.3这1个例子就能掌握了。因为其他例子只是 @boost的 BoosterParams 里面的控制入参换了一下。
+文档很长，大部分都是讲原理和对比各种框架,不仅仅 `how` to use,更多的是 `What` & `Why`。
+但是用户只需要学习1.3这1个例子就能掌握了。因为其他例子只是 @boost的 BoosterParams 里面的控制入参换了一下。
+
 
 用户只需要专门看 BoosterParams 里面的每个入参的注释就能掌握框架了，因为funboost只有@boost一行代码需要你写。
 
 funboost 框架和一般的框架不一样，因为只有一行代码需要掌握，绝对不是要求用户先精通框架本身才能自由发挥。
 
-#### [1.python万能分布式函数调度框架简funboost简介](https://funboost.readthedocs.io/zh-cn/latest/articles/c1.html)
-
-#### [2. funboost对比celery框架](https://funboost.readthedocs.io/zh-cn/latest/articles/c2.html)
-
-#### [3.funboost框架详细介绍](https://funboost.readthedocs.io/zh-cn/latest/articles/c3.html)
-
-#### [4.funboost使用框架的各种代码示例](https://funboost.readthedocs.io/zh-cn/latest/articles/c4.html)
-
-#### [4b.funboost使用框架的各种代码示例(高级进阶)](https://funboost.readthedocs.io/zh-cn/latest/articles/c4b.html)
-
-#### [5.funboost框架运行时截图](https://funboost.readthedocs.io/zh-cn/latest/articles/c5.html)
-
-#### [6.funboost常见问题回答](https://funboost.readthedocs.io/zh-cn/latest/articles/c6.html)
-
-#### [7.funboost更新记录](https://funboost.readthedocs.io/zh-cn/latest/articles/c7.html)
-
-#### [8.funboost是万能函数调度框架，当然可以爬虫,自由编程 降维打击 框架奴役](https://funboost.readthedocs.io/zh-cn/latest/articles/c8.html)
 
-#### [9.轻松远程服务器部署运行函数](https://funboost.readthedocs.io/zh-cn/latest/articles/c9.html#)
-
-#### [10.python3.6-3.12 安装/使用funboost出错问题反馈](https://funboost.readthedocs.io/zh-cn/latest/articles/c10.html)
-
-#### [11.funboost 使用某些中间件或三方任务队列框架作为broker的例子(包括celery框架)。](https://funboost.readthedocs.io/zh-cn/latest/articles/c11.html)
-
-#### [12.funboost 控制台支持命令行](https://funboost.readthedocs.io/zh-cn/latest/articles/c12.html)
-
-#### [13.启动 funboost web manager,查看消费结果和队列管理](https://funboost.readthedocs.io/zh-cn/latest/articles/c13.html)
-
-#### [funboost依赖的nb_log日志文档 https://nb-log-doc.readthedocs.io/zh_CN/latest/articles/c9.html#id2](https://nb-log-doc.readthedocs.io/zh_CN/latest/articles/c9.html#id2)
+[**1.python万能分布式函数调度框架简funboost简介**](https://funboost.readthedocs.io/zh-cn/latest/articles/c1.html)
+
+##### 2. funboost对比celery框架
+[**2.funboost对比celery框架**](https://funboost.readthedocs.io/zh-cn/latest/articles/c2.html)
+[2.funboost对比celery框架](https://funboost.readthedocs.io/zh-cn/latest/articles/c2.html)
+[**3.funboost框架详细介绍**](https://funboost.readthedocs.io/zh-cn/latest/articles/c3.html)
+##### 3.funboost框架详细介绍
+[**4.funboost使用框架的各种代码示例**](https://funboost.readthedocs.io/zh-cn/latest/articles/c4.html)
+[3.funboost框架详细介绍](https://funboost.readthedocs.io/zh-cn/latest/articles/c3.html)
+[**4b.funboost使用框架的各种代码示例(高级进阶)**](https://funboost.readthedocs.io/zh-cn/latest/articles/c4b.html)
+##### 4.funboost使用框架的各种代码示例
+[4.funboost使用框架的各种代码示例](https://funboost.readthedocs.io/zh-cn/latest/articles/c4.html)
+[**5.funboost框架运行时截图**](https://funboost.readthedocs.io/zh-cn/latest/articles/c5.html)
+##### 4b.funboost使用框架的各种代码示例(高级进阶)
+[4b.funboost使用框架的各种代码示例(高级进阶)](https://funboost.readthedocs.io/zh-cn/latest/articles/c4b.html)
+[**6.funboost常见问题回答**](https://funboost.readthedocs.io/zh-cn/latest/articles/c6.html)
+##### 5.funboost框架运行时截图
+[5.funboost框架运行时截图](https://funboost.readthedocs.io/zh-cn/latest/articles/c5.html)
+[**7.funboost更新记录**](https://funboost.readthedocs.io/zh-cn/latest/articles/c7.html)
+##### 6.funboost常见问题回答
+[6.funboost常见问题回答](https://funboost.readthedocs.io/zh-cn/latest/articles/c6.html)
+[**8.funboost是万能函数调度框架，当然可以爬虫,自由编程 降维打击 框架奴役**](https://funboost.readthedocs.io/zh-cn/latest/articles/c8.html)
+##### 7.funboost更新记录
+[7.funboost更新记录](https://funboost.readthedocs.io/zh-cn/latest/articles/c7.html)
+[**9.轻松远程服务器部署运行函数**](https://funboost.readthedocs.io/zh-cn/latest/articles/c9.html#)
+##### 8.funboost是万能函数调度框架，当然可以爬虫,自由编程 降维打击 框架奴役
+[8.funboost是万能函数调度框架，当然可以爬虫,自由编程 降维打击 框架奴役](https://funboost.readthedocs.io/zh-cn/latest/articles/c8.html)
+[**10.python3.6-3.12 安装/使用funboost出错问题反馈**](https://funboost.readthedocs.io/zh-cn/latest/articles/c10.html)
+##### 9.轻松远程服务器部署运行函数
+[9.轻松远程服务器部署运行函数](https://funboost.readthedocs.io/zh-cn/latest/articles/c9.html#)
+[**11.funboost 使用某些中间件或三方任务队列框架作为broker的例子(包括celery框架)。**](https://funboost.readthedocs.io/zh-cn/latest/articles/c11.html)
+##### 10.python3.6-3.12 安装/使用funboost出错问题反馈
+[10.python3.6-3.12 安装/使用funboost出错问题反馈](https://funboost.readthedocs.io/zh-cn/latest/articles/c10.html)
+[**12.funboost 控制台支持命令行**](https://funboost.readthedocs.io/zh-cn/latest/articles/c12.html)
+##### 11.funboost 使用某些中间件或三方任务队列框架作为broker的例子(包括celery框架)。
+[11.funboost 使用某些中间件或三方任务队列框架作为broker的例子(包括celery框架)。](https://funboost.readthedocs.io/zh-cn/latest/articles/c11.html)
+[**13.启动 funboost web manager,查看消费结果和队列管理**](https://funboost.readthedocs.io/zh-cn/latest/articles/c13.html)
+##### 12.funboost 控制台支持命令行
+[12.funboost 控制台支持命令行](https://funboost.readthedocs.io/zh-cn/latest/articles/c12.html)
+
+##### 13.启动 funboost web manager,查看消费结果和队列管理
+[13.启动 funboost web manager,查看消费结果和队列管理](https://funboost.readthedocs.io/zh-cn/latest/articles/c13.html)
+
+
+#### funboost依赖的nb_log日志文档 
+[funboost依赖的nb_log日志文档 https://nb-log-doc.readthedocs.io/zh_CN/latest/articles/c9.html#id2](https://nb-log-doc.readthedocs.io/zh_CN/latest/articles/c9.html#id2)
 
 ```
 文档很长，但归根结底只需要学习 1.3 里面的这1个例子就行，主要是修改下@boost的各种参数，
@@ -112,7 +132,7 @@ funboost 框架和一般的框架不一样，因为只有一行代码需要掌
 很多新手需要小心翼翼模仿网上说的项目目录结构，以为不按照那么规划目录和命名就玩不起来，本身说明celery很坑。
 ```
 
-### 1.0.2 [分布式函数调度框架github地址](https://github.com/ydf0509/funboost)
+### 1.0.2 分布式函数调度框架github地址
 
 [查看分布式函数调度框架github项目](https://github.com/ydf0509/funboost)
 
@@ -367,8 +387,14 @@ win cmd和linux 运行时候，设置 PYTHONPATH 为项目根目录，是为了
 而是根据实际情况函数的参数个数、函数的内部逻辑功能，全部都由用户自定义，函数里面想写什么就写什么，想干什么就干什么，极端自由。
 也就是框架很容易学和使用，把下面的task_fun函数的入参和内部逻辑换成你自己想写的函数功能就可以了，框架只需要学习boost这一个函数的参数就行。
 测试使用的时候函数里面加上sleep模拟阻塞，从而更好的了解框架的并发和各种控制功能。
+```
+
+```
+有一点要说明的是框架的消息中间件的ip 端口 密码 等配置是在你第一次运行代码时候，在你当前项目的根目录下生成的 funboost_config.py 按需设置 (默认放在项目根目录是为了方便利用项目的 PYTHONPATH。当然，只要 PYTHONPATH 设置正确，
+该配置文件可以放在磁盘的任意文件夹里面。用户可以看教程 6.18.3 问答章节)。
 
-有一点要说明的是框架的消息中间件的ip 端口 密码 等配置是在你第一次运行代码时候，在你当前项目的根目录下生成的 funboost_config.py 按需设置。
+funboost_config.py 里面仅仅是配置 中间件连接,例如ip 端口这些简单的配置, 只需要第一次配置正确即可,
+后续的开发中基本无需再次修改此文件。 因为所有消费函数任务控制功能都是在 BoosterParams 中传参。
 ```
 
 ### 1.3.1 funboost最简单例子
@@ -564,7 +590,9 @@ def task_fun(a: int, b: int):
 队列操作，查看消费者详情：查看队列的所有消费者详情
 [![pEJCgT1.png](https://s21.ax1x.com/2025/03/04/pEJCgT1.png)](https://imgse.com/i/pEJCgT1)
 
+
 队列操作:查看消费曲线图，查看各种消费指标。
+包括 历史运行次数  历史运行失败次数  近10秒完成  近10秒失败  近10秒函数运行平均耗时  累计函数运行平均耗时  剩余消息数量
 [![pVpr7sP.png](https://s21.ax1x.com/2025/05/29/pVpr7sP.png)](https://imgse.com/i/pVpr7sP)
 
 rpc调用：在网页上对30种消息队列发布消息并获取消息的函数执行结；根据taskid获取结果。

{funboost-49.7 → funboost-49.9}/funboost/__init__.py

@@ -13,7 +13,7 @@ set_frame_config这个模块的 use_config_form_funboost_config_module() 是核
 这段注释说明和使用的用户无关,只和框架开发人员有关.
 '''
 
-__version__ = "49.7"
+__version__ = "49.9"
 
 from funboost.set_frame_config import show_frame_config
 

{funboost-49.7 → funboost-49.9}/funboost/assist/celery_helper.py

@@ -8,7 +8,7 @@ import threading
 from functools import partial
 
 import celery
-
+from celery.app.task import Task
 import nb_log
 from funboost.funboost_config_deafult import BrokerConnConfig,FunboostCommonConfig
 from funboost import  ConcurrentModeEnum

{funboost-49.7 → funboost-49.9}/funboost/concurrent_pool/async_pool_executor.py

@@ -6,6 +6,7 @@ import threading
 import time
 import traceback
 from threading import Thread
+import traceback
 
 from funboost.concurrent_pool.base_pool_type import FunboostBaseConcurrentPool
 from funboost.core.loggers import FunboostFileLoggerMixin
@@ -53,14 +54,17 @@ class AsyncPoolExecutor(FunboostFileLoggerMixin,FunboostBaseConcurrentPool):
     使api和线程池一样，最好的性能做法是submit也弄成 async def，生产和消费在同一个线程同一个loop一起运行，但会对调用链路的兼容性产生破坏，从而调用方式不兼容线程池。
     """
 
-    def __init__(self, size, loop=None):
+    def __init__(self, size, specify_async_loop=None,
+                 is_auto_start_specify_async_loop_in_child_thread=True):
         """
 
         :param size: 同时并发运行的协程任务数量。
-        :param loop:
+        :param specify_loop: 可以指定loop,异步三方包的连接池发请求不能使用不同的loop去使用连接池.
         """
         self._size = size
-        self.loop = loop or asyncio.new_event_loop()
+        self._specify_async_loop = specify_async_loop
+        self._is_auto_start_specify_async_loop_in_child_thread = is_auto_start_specify_async_loop_in_child_thread
+        self.loop = specify_async_loop or asyncio.new_event_loop()
         asyncio.set_event_loop(self.loop)
         self._diff_init()
         # self._lock = threading.Lock()
@@ -90,7 +94,7 @@ class AsyncPoolExecutor(FunboostFileLoggerMixin,FunboostBaseConcurrentPool):
 
     def submit(self, func, *args, **kwargs):
         future = asyncio.run_coroutine_threadsafe(self._produce(func, *args, **kwargs), self.loop)  # 这个 run_coroutine_threadsafe 方法也有缺点，消耗的性能巨大。
-        future.result()  # 阻止过快放入，放入超过队列大小后，使submit阻塞。
+        future.result()  # 阻止过快放入，放入超过队列大小后，使submit阻塞。 背压是为了防止 迅速掏空消息队列几千万消息到内存.
 
     async def _produce(self, func, *args, **kwargs):
         await self._queue.put((func, args, kwargs))
@@ -119,12 +123,22 @@ class AsyncPoolExecutor(FunboostFileLoggerMixin,FunboostBaseConcurrentPool):
         # asyncio.set_event_loop(self.loop)
         # self.loop.run_until_complete(asyncio.wait([self._consume() for _ in range(self._size)], loop=self.loop))
         # self._can_be_closed_flag = True
-        [self.loop.create_task(self._consume()) for _ in range(self._size)]
-        try:
+        if self._specify_async_loop is None:
+            for _ in range(self._size):
+                self.loop.create_task(self._consume())
+        else:
+            for _ in range(self._size):
+                asyncio.run_coroutine_threadsafe(self._consume(),self.loop) # 这是 asyncio 专门提供的用于从其他线程向事件循环安全提交任务的函数。
+        if self._specify_async_loop is None:
             self.loop.run_forever()
-        except Exception as e:
-            self.logger.warning(f'{e}')   # 如果多个线程使用一个loop，不能重复启动loop，否则会报错。
-
+        else:
+            if self._is_auto_start_specify_async_loop_in_child_thread:
+                try:
+                    self.loop.run_forever() #如果是指定的loop不能多次启动一个loop.
+                except Exception as e:
+                    self.logger.warning(f'{e} {traceback.format_exc()}')   # 如果多个线程使用一个loop，不能重复启动loop，否则会报错。
+            else:
+                pass # 用户需要自己在自己的业务代码中去手动启动loop.run_forever() 
 
 
     # def shutdown(self):
@@ -139,14 +153,6 @@ class AsyncPoolExecutor(FunboostFileLoggerMixin,FunboostBaseConcurrentPool):
 
 
 
-
-
-
-
-
-
-
-
 if __name__ == '__main__':
     def test_async_pool_executor():
         from funboost.concurrent_pool import CustomThreadPoolExecutor as ThreadPoolExecutor

{funboost-49.7 → funboost-49.9}/funboost/constant.py

@@ -101,6 +101,8 @@ class BrokerEnum:
 
     HTTP = 'HTTP'  # 基于http实现的，发布使用的urllib3，消费服务端使用的aiohttp.server实现的，支持分布式但不支持持久化，好处是不需要安装消息队列中间件软件。
 
+    GRPC = 'GRPC' # 使用知名grpc作为broker,可以使用 sync_call 方法同步获取grpc的结果, 简单程度暴击用户手写原生的 grpc客户端 服务端
+
     NATS = 'NATS'  # 高性能中间件nats,中间件服务端性能很好,。
 
     TXT_FILE = 'TXT_FILE'  # 磁盘txt文件作为消息队列，支持单机持久化，不支持多机分布式。不建议这个，用sqlite。
@@ -119,6 +121,27 @@ class BrokerEnum:
 
     NAMEKO = 'NAMEKO'  # funboost支持python微服务框架nameko，用户无需掌握nameko api语法，就玩转python nameko微服务
 
+    
+    """
+    MYSQL_CDC 是 funboost 中 神奇 的 与众不同的 broker 中间件
+    mysql binlog cdc 自动作为消息,用户无需手动发布消息,只需要写处理binlog内容的逻辑, 
+    一行代码就能轻量级实现 mysql2mysql mysql2kafka mysql2rabbitmq 等等.
+    这个是与其他中间件不同,不需要手工发布消息, 任何对数据库的 insert update delete 会自动作为 funboost 的消息.
+    几乎是轻量级平替 canal  flinkcdc 的作用.
+    
+    以此类推, 日志文件也能扩展作为broker,只要另外一个程序写入了文件日志,就能触发funboost消费,
+    然后自己在函数逻辑把消息发到kafka,(虽然是已经有大名鼎鼎elk,这只是举个场景例子,说明funboost broker的灵活性)
+
+    日志文件、文件系统变更（inotify）、甚至是硬件传感器的信号，按照4.21章节文档，都可以被封装成一个 funboost 的 Broker。
+
+    充分说明 funboost 有能力化身为 通用的、事件驱动的函数调度平台,而非仅仅是celery这种传统的消息驱动.
+    """
+    """
+    funboost 有能力消费canal发到kafka的binlog消息,也能不依赖canal,自己捕获cdc数据
+    """
+    MYSQL_CDC = 'MYSQL_CDC'
+
+
 
 class ConcurrentModeEnum:
     THREADING = 'threading'  # 线程方式运行，兼容支持 async def 的异步函数。

{funboost-49.7 → funboost-49.9}/funboost/consumers/base_consumer.py

@@ -637,10 +637,13 @@ class AbstractConsumer(LoggerLevelSetterMixin, metaclass=abc.ABCMeta, ):
         """
         self._do_not_delete_extra_from_msg = True
 
-    def user_custom_record_process_info_func(self, current_function_result_status: FunctionResultStatus):  # 这个可以继承
+    def _frame_custom_record_process_info_func(self,current_function_result_status: FunctionResultStatus,kw:dict):
         pass
 
-    async def aio_user_custom_record_process_info_func(self, current_function_result_status: FunctionResultStatus):  # 这个可以继承
+    def user_custom_record_process_info_func(self, current_function_result_status: FunctionResultStatus,):  # 这个可以继承
+        pass
+
+    async def aio_user_custom_record_process_info_func(self, current_function_result_status: FunctionResultStatus,):  # 这个可以继承
         pass
 
     def _convert_real_function_only_params_by_conusuming_function_kind(self, function_only_params: dict,extra_params:dict):
@@ -729,9 +732,10 @@ class AbstractConsumer(LoggerLevelSetterMixin, metaclass=abc.ABCMeta, ):
 
             with self._lock_for_count_execute_task_times_every_unit_time:
                 self.metric_calculation.cal(t_start_run_fun,current_function_result_status)
-            self.user_custom_record_process_info_func(current_function_result_status)  # 两种方式都可以自定义,记录结果,建议继承方式,不使用boost中指定 user_custom_record_process_info_func
+            self._frame_custom_record_process_info_func(current_function_result_status,kw)
+            self.user_custom_record_process_info_func(current_function_result_status,)  # 两种方式都可以自定义,记录结果,建议继承方式,不使用boost中指定 user_custom_record_process_info_func
             if self.consumer_params.user_custom_record_process_info_func:
-                self.consumer_params.user_custom_record_process_info_func(current_function_result_status)
+                self.consumer_params.user_custom_record_process_info_func(current_function_result_status,)
         except BaseException as e:
             log_msg = f' error 严重错误 {type(e)} {e} '
             # self.logger.critical(msg=f'{log_msg} \n', exc_info=True)
@@ -888,10 +892,11 @@ class AbstractConsumer(LoggerLevelSetterMixin, metaclass=abc.ABCMeta, ):
             async with self._async_lock_for_count_execute_task_times_every_unit_time:
                 self.metric_calculation.cal(t_start_run_fun, current_function_result_status)
 
-            self.user_custom_record_process_info_func(current_function_result_status)  # 两种方式都可以自定义,记录结果.建议使用文档4.21.b的方式继承来重写
-            await self.aio_user_custom_record_process_info_func(current_function_result_status)
+            self._frame_custom_record_process_info_func(current_function_result_status)
+            self.user_custom_record_process_info_func(current_function_result_status,)  # 两种方式都可以自定义,记录结果.建议使用文档4.21.b的方式继承来重写
+            await self.aio_user_custom_record_process_info_func(current_function_result_status,)
             if self.consumer_params.user_custom_record_process_info_func:
-                self.consumer_params.user_custom_record_process_info_func(current_function_result_status)
+                self.consumer_params.user_custom_record_process_info_func(current_function_result_status,)
 
         except BaseException as e:
             log_msg = f' error 严重错误 {type(e)} {e} '
@@ -1126,7 +1131,9 @@ class ConcurrentModeDispatcher(FunboostFileLoggerMixin):
         # pool_type = ProcessPoolExecutor
         if self._concurrent_mode == ConcurrentModeEnum.ASYNC:
             self.consumer._concurrent_pool = self.consumer.consumer_params.specify_concurrent_pool or pool_type(
-                self.consumer.consumer_params.concurrent_num, loop=self.consumer.consumer_params.specify_async_loop)
+                self.consumer.consumer_params.concurrent_num,
+                  specify_async_loop=self.consumer.consumer_params.specify_async_loop,
+                  is_auto_start_specify_async_loop_in_child_thread=self.consumer.consumer_params.is_auto_start_specify_async_loop_in_child_thread)
         else:
             # print(pool_type)
             self.consumer._concurrent_pool = self.consumer.consumer_params.specify_concurrent_pool or pool_type(self.consumer.consumer_params.concurrent_num)

funboost-49.9/funboost/consumers/grpc_consumer.py

@@ -0,0 +1,102 @@
+# -*- coding: utf-8 -*-
+# @Author  : ydf
+# @Time    : 2023/8/8 0008 13:32
+
+import abc
+import threading
+import grpc
+import time
+
+from funboost import FunctionResultStatus
+from funboost.assist.grpc_helper import funboost_grpc_pb2_grpc, funboost_grpc_pb2
+from funboost.consumers.base_consumer import AbstractConsumer
+from funboost.core.serialization import Serialization
+from funboost.core.exceptions import FunboostWaitRpcResultTimeout
+from funboost.concurrent_pool.flexible_thread_pool import FlexibleThreadPool
+
+
+class FutureStatusResult:
+    def __init__(self,call_type:str):
+        self.execute_finish_event = threading.Event()
+        self.staus_result_obj: FunctionResultStatus = None
+        self.call_type  = call_type  # sync_call   or  publish
+
+    def set_finish(self):
+        self.execute_finish_event.set()
+
+    def wait_finish(self,rpc_timeout):
+        return self.execute_finish_event.wait(rpc_timeout)
+
+    def set_staus_result_obj(self, staus_result_obj:FunctionResultStatus):
+        self.staus_result_obj = staus_result_obj
+
+    def get_staus_result_obj(self):
+        return self.staus_result_obj
+
+
+
+
+class GrpcConsumer(AbstractConsumer, ):
+    """
+     grpc as  broker
+    """
+    BROKER_EXCLUSIVE_CONFIG_DEFAULT = {'host': '127.0.0.1', 'port': None}
+
+    def custom_init(self):
+        class FunboostGrpcServicer(funboost_grpc_pb2_grpc.FunboostBrokerServiceServicer):
+            """
+            HelloService 的实现类
+            """
+
+            def Call(this, request, context):
+                """
+                实现 SayHello 方法
+                """
+                future_status_result = FutureStatusResult(call_type=request.call_type)
+                kw = {'body': request.json_req, 'future_status_result': future_status_result,}
+                self._submit_task(kw)
+                if request.call_type =="sync_call":
+                    if future_status_result.wait_finish(self.consumer_params.rpc_timeout):  # 等待并发出的消费结果
+                        return funboost_grpc_pb2.FunboostGrpcResponse(json_resp=Serialization.to_json_str(
+                            future_status_result.get_staus_result_obj().get_status_dict(without_datetime_obj=True)))
+                    else:
+                        self.logger.error(f'wait rpc data timeout')
+                        context.set_code(grpc.StatusCode.DEADLINE_EXCEEDED)
+                        context.set_details(f'wait rpc data timeout')
+                        # raise FunboostWaitRpcResultTimeout(f'wait rpc data timeout')
+                else:
+                    return funboost_grpc_pb2.FunboostGrpcResponse(json_resp='{"publish_status":"ok"}')
+
+        self.GRPC_SERVICER_CLS = FunboostGrpcServicer
+
+    def _shedual_task(self):
+        server = grpc.server(self.concurrent_pool)
+
+        # 添加服务
+        funboost_grpc_pb2_grpc.add_FunboostBrokerServiceServicer_to_server(self.GRPC_SERVICER_CLS(), server)
+
+        # 绑定端口
+        port = self.consumer_params.broker_exclusive_config['port']
+        if port is None:
+            raise ValueError('please specify port')
+        listen_addr = f'[::]:{port}'
+        server.add_insecure_port(listen_addr)
+
+        # 启动服务器
+        server.start()
+        print(f"GRPC Has started. listening on: {listen_addr}")
+
+        while True:
+            time.sleep(100)  # 保持服务器运行
+
+    def _confirm_consume(self, kw):
+        pass
+
+    def _requeue(self, kw):
+        pass
+
+    def _frame_custom_record_process_info_func(self, current_function_result_status: FunctionResultStatus, kw):
+        future_status_result: FutureStatusResult = kw['future_status_result']
+        if future_status_result.call_type == "sync_call":
+            future_status_result.set_staus_result_obj(current_function_result_status)
+            future_status_result.set_finish()  # 这是最重要最核心的, 并发池里面处理函数完成,马上告诉grpc服务端，已经处理完成.

{funboost-49.7 → funboost-49.9}/funboost/consumers/kafka_consumer.py

@@ -22,7 +22,7 @@ class KafkaConsumer(AbstractConsumer):
     可以让消费函数内部 sleep60秒，突然停止消费代码，使用 kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --describe --group funboost 来证实自动确认消费和手动确认消费的区别。
     """
 
-    BROKER_EXCLUSIVE_CONFIG_DEFAULT = {'group_id': 'funboost_kafka', 'auto_offset_reset': 'earliest'}
+    BROKER_EXCLUSIVE_CONFIG_DEFAULT = {'group_id': 'funboost_kafka', 'auto_offset_reset': 'earliest','num_partitions':10,'replication_factor':1,}
     # not_all_brokers_general_settings配置 ，支持独立的中间件配置参数是 group_id 和 auto_offset_reset
     """
     auto_offset_reset 介绍
@@ -35,7 +35,9 @@ class KafkaConsumer(AbstractConsumer):
     def _shedual_task(self):
         try:
             admin_client = KafkaPythonImporter().KafkaAdminClient(bootstrap_servers=BrokerConnConfig.KAFKA_BOOTSTRAP_SERVERS)
-            admin_client.create_topics([KafkaPythonImporter().NewTopic(self._queue_name, 10, 1)])
+            admin_client.create_topics([KafkaPythonImporter().NewTopic(self._queue_name,
+                                                                       self.consumer_params.broker_exclusive_config['num_partitions'],
+                                                                       self.consumer_params.broker_exclusive_config['replication_factor'])])
             # admin_client.create_partitions({self._queue_name: NewPartitions(total_count=16)})
         except KafkaPythonImporter().TopicAlreadyExistsError:
             pass