celestialflow 3.1.3__tar.gz → 3.1.5__tar.gz

{celestialflow-3.1.3 → celestialflow-3.1.5}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: celestialflow
-Version: 3.1.3
+Version: 3.1.5
 Summary: A flexible GRAPH-based task orchestration framework.
 Author-email: Mr-xiaotian <mingxiaomingtian@gmail.com>
 License: MIT
@@ -254,84 +254,28 @@ flowchart TD
 <p align="center">
   <img src="https://raw.githubusercontent.com/Mr-xiaotian/CelestialFlow/main/img/file_structure.svg" alt="FileStructure" />
   <br/>
-  <em>celestial-flow 3.1.3</em>
+  <em>celestial-flow 3.1.5</em>
 </p>
 
 (该视图由我的另一个项目[CelestialVault](https://github.com/Mr-xiaotian/CelestialVault)中inst_file.FileTree.print_tree()生成。转换为图片则借助[Carbon](https://carbon.now.sh)。)
 
-## 更新日志（Change Log）
-
-- 2021: 建立一个支持多线程与单线程处理函数的类
-- 2023: 在GPT4帮助下添加多进程与携程运行模式 
-- 5/9/2024: 将原有的处理类抽象为节点, 添加TaskChain类, 可以线性连接多个节点, 并设定节点在Chain中的运行模式, 支持serial和process两种, 后者Chain所有节点同时运行
-- 12/12/2024-12/16/2024: 在原有链式结构基础上允许节点有复数下级节点, 实现Tree结构; 将原有TaskChain改名为TaskTree
-- 3/16/2025: 支持Web端任务完成情况可视化
-- 6/9/2025: 支持节点拥有复数上级节点, 脱离纯Tree结构, 为之后循环图做准备
-- 6/11/2025: 自[CelestialVault](https://github.com/Mr-xiaotian/CelestialVault)项目instances.inst_task迁出
-- 6/12/2025: 支持循环图, 下级节点可指向上级节点
-- 6/13/2025: 支持loop结构, 即节点可指向自己
-- 6/14/2025: 支持forest结构, 即可有多个根节点
-- 6/16/2025: 多轮评测后, 当前框架已支持完整有向图结构, 将TaskTree改名为TaskGraph
-- 3.0.1: 上线Pypi, 可喜可贺
-- 3.0.4: 新增一个抽象结构TaskQueue, 用于表示节点的所有"入边"与"出边"; 恢复未消费任务的保存功能
-- 3.0.5: 删除原有的TaskRedisTransfer节点, 并增添三种新的redis交互节点TaskRedisTransport TaskRedisSource TaskRedisAck, 用于跨语言 跨进程 跨设备处理任务; 并在Web页面添加展示拓扑信息的卡片
-- 3.0.6: 添加对[CelestialTree](https://github.com/Mr-xiaotian/CelestialTree)系统的支持, 现在可以追踪单个任务的流向
-- 3.0.7: 将TaskStage从TaskExecutor中单独抽出来作为一个子类; 增加新节点TaskRouter, 可以将传入的任务选择的传给不同的下游节点, 而不是进行广播
-- 3.0.8: 在ctree逻辑上将"任务重试"事件后的"任务成功/失败/重试"事件视为因果关系, 而非之前的并行关系; 重构错误搜集部分逻辑; 修复大量3.0.6与3.07版本引入的bug; 优化部分log表现
-- 3.0.9: 
-  - 更新前端mermaid显示中部分节点图标; 
-  - 对ctree_client进行匹配CelestialTree的大量修改; 
-  - 将ctree_client移出为单独的project; 
-  - 在前端中添加error_id的显示, 为之后显示provenance_tree做准备; 
-  - 增加大量warning与error, 用于提醒不规范设置; 
-  - 优化前后端中错误数据的传输方式, 在大量错误数据时减少内存消耗; 
-  - 优化LogSinker中log队列的准入机制; 
-  - 修改部分Bug;
-- 3.1.0:
-  - 新增:
-    - 优化web端仪表盘页面的"总体状态摘要"卡片, 新增"总重复任务"与"总剩余市场", 后者由节点间拓扑关系计算而成, 后续还需要优化;
-  - 修复:
-    - 3.0.9版本下当web端与celestialflow运行端不同时, error数据无法传递的问题;
-    - 修复NullTaskReporter使用问题;
-- 3.1.1:
-  - 新增:
-    - [Important] CelestialTree中引入grpc, 这大大减少了emit操作的耗时;
-    - [Important] 为TerminationSignal添加id, 并可以像task一样通过CelestialTree进行跟踪;
-    - 优化task_graph与task_executor的log分级, 现在默认为"SUCCESS"级;
-    - 将go_worker部分分离为单独project: [celestialflow-goworker]https://github.com/Mr-xiaotian/celestialflow-goworker
-    - 在readme中使用svg图片来展示文件夹结构;
-    - 优化全局剩余时间的计算;
-    - 优化部分代码结构;
-  - 修复:
-    - 修复节点剩余时间在小于1s时显示0的问题(这很影响判断);
-    - 在task_graph中使用"staged"模式时会报错的问题;
-- 3.1.2:
-  - feat:
-    - [Important] 模仿已有Logger逻辑, 建立新的组合结构FailListener和FailSinker, 将原有绑定于TaskReporter的fail持久化在线程中实现; 
-    - 借此让TaskExecutor也可以进行fail持久化, 文件为fallback/{date_str}/{executor_errors}({time_str}).jsonl";
-    - 重构整体项目结构, 现在更加清晰;
-    - 补全docs/reference中全部文档, 并令其符合项目重构后结构
-    - 引入uv进行环境管理;
-    - 将executor中技术逻辑分离为runtime/metrics.py;
-    - 整合TaskQueue中重复逻辑;
+## 版本日志（Version Log）
+- 3.1.5
+  - feat
+    - 大幅修改节点状态卡片的色彩视觉设计. 包括: 取消原本的悬浮设计, 改为平面化设计; 让进度条更直接的显示不同任务完成状态的比例; 使用左边框来显示节点是否在运行中. 而非原本的badge;
+    - 前端的error数据拉取不再每次都全量拉取, 而是只拉取自己当前没有的数据;
+  - refactor
+    - 大幅重构前端代码中的色彩管理, 现在色彩的一致性更好;
+    - 修改前端代码中的数据更新判断, 现在相关判断交给serve.py;
   - fix
-    - 修复前端renderNodeList中参数设置错误;
-    - 修复其他微小bug;
-- 3.1.3
-  - feat:
-    - 抽象出BaseListener与BaseSinker;
-    - 移除loguru, 完全由LogListener和LogSinker实现log记录; 
-    - 将bench相关代码从TaskExecutor和TaskGraph中抽离, 不再作为方法, 而是单独bench函数; 
-    - 重构TaskExecutor部分代码, 以尽量瘦身; 
-    - 优化log处理代码中对时间戳的处理, 现在更加准确;
-  - fix:
-    - 修复一些影响性能的小问题;
+    - 修复节点已运行时间在节点完成后显示为0的问题
+    - 修复在最新fastapi版本下TemplateResponse参数改变导致的问题
 
 ## Star 历史趋势（Star History）
 
 如果对项目感兴趣的话，欢迎star。如果有问题或者建议的话, 欢迎提交[Issues](https://github.com/Mr-xiaotian/CelestialFlow/issues)或者在[Discussion](https://github.com/Mr-xiaotian/CelestialFlow/discussions)中告诉我。
 
-[![Star History Chart](https://api.star-history.com/svg?repos=Mr-xiaotian/CelestialFlow&type=Date)](https://star-history.com/#Mr-xiaotian/CelestialFlow&Date)
+![Star History Chart](https://api.star-history.com/svg?repos=Mr-xiaotian/CelestialFlow&type=Date)
 
 ## 许可（License）
 This project is licensed under the MIT License - see the [LICENSE](LICENSE) file for details.

{celestialflow-3.1.3 → celestialflow-3.1.5}/README.md

@@ -229,84 +229,28 @@ flowchart TD
 <p align="center">
   <img src="https://raw.githubusercontent.com/Mr-xiaotian/CelestialFlow/main/img/file_structure.svg" alt="FileStructure" />
   <br/>
-  <em>celestial-flow 3.1.3</em>
+  <em>celestial-flow 3.1.5</em>
 </p>
 
 (该视图由我的另一个项目[CelestialVault](https://github.com/Mr-xiaotian/CelestialVault)中inst_file.FileTree.print_tree()生成。转换为图片则借助[Carbon](https://carbon.now.sh)。)
 
-## 更新日志（Change Log）
-
-- 2021: 建立一个支持多线程与单线程处理函数的类
-- 2023: 在GPT4帮助下添加多进程与携程运行模式 
-- 5/9/2024: 将原有的处理类抽象为节点, 添加TaskChain类, 可以线性连接多个节点, 并设定节点在Chain中的运行模式, 支持serial和process两种, 后者Chain所有节点同时运行
-- 12/12/2024-12/16/2024: 在原有链式结构基础上允许节点有复数下级节点, 实现Tree结构; 将原有TaskChain改名为TaskTree
-- 3/16/2025: 支持Web端任务完成情况可视化
-- 6/9/2025: 支持节点拥有复数上级节点, 脱离纯Tree结构, 为之后循环图做准备
-- 6/11/2025: 自[CelestialVault](https://github.com/Mr-xiaotian/CelestialVault)项目instances.inst_task迁出
-- 6/12/2025: 支持循环图, 下级节点可指向上级节点
-- 6/13/2025: 支持loop结构, 即节点可指向自己
-- 6/14/2025: 支持forest结构, 即可有多个根节点
-- 6/16/2025: 多轮评测后, 当前框架已支持完整有向图结构, 将TaskTree改名为TaskGraph
-- 3.0.1: 上线Pypi, 可喜可贺
-- 3.0.4: 新增一个抽象结构TaskQueue, 用于表示节点的所有"入边"与"出边"; 恢复未消费任务的保存功能
-- 3.0.5: 删除原有的TaskRedisTransfer节点, 并增添三种新的redis交互节点TaskRedisTransport TaskRedisSource TaskRedisAck, 用于跨语言 跨进程 跨设备处理任务; 并在Web页面添加展示拓扑信息的卡片
-- 3.0.6: 添加对[CelestialTree](https://github.com/Mr-xiaotian/CelestialTree)系统的支持, 现在可以追踪单个任务的流向
-- 3.0.7: 将TaskStage从TaskExecutor中单独抽出来作为一个子类; 增加新节点TaskRouter, 可以将传入的任务选择的传给不同的下游节点, 而不是进行广播
-- 3.0.8: 在ctree逻辑上将"任务重试"事件后的"任务成功/失败/重试"事件视为因果关系, 而非之前的并行关系; 重构错误搜集部分逻辑; 修复大量3.0.6与3.07版本引入的bug; 优化部分log表现
-- 3.0.9: 
-  - 更新前端mermaid显示中部分节点图标; 
-  - 对ctree_client进行匹配CelestialTree的大量修改; 
-  - 将ctree_client移出为单独的project; 
-  - 在前端中添加error_id的显示, 为之后显示provenance_tree做准备; 
-  - 增加大量warning与error, 用于提醒不规范设置; 
-  - 优化前后端中错误数据的传输方式, 在大量错误数据时减少内存消耗; 
-  - 优化LogSinker中log队列的准入机制; 
-  - 修改部分Bug;
-- 3.1.0:
-  - 新增:
-    - 优化web端仪表盘页面的"总体状态摘要"卡片, 新增"总重复任务"与"总剩余市场", 后者由节点间拓扑关系计算而成, 后续还需要优化;
-  - 修复:
-    - 3.0.9版本下当web端与celestialflow运行端不同时, error数据无法传递的问题;
-    - 修复NullTaskReporter使用问题;
-- 3.1.1:
-  - 新增:
-    - [Important] CelestialTree中引入grpc, 这大大减少了emit操作的耗时;
-    - [Important] 为TerminationSignal添加id, 并可以像task一样通过CelestialTree进行跟踪;
-    - 优化task_graph与task_executor的log分级, 现在默认为"SUCCESS"级;
-    - 将go_worker部分分离为单独project: [celestialflow-goworker]https://github.com/Mr-xiaotian/celestialflow-goworker
-    - 在readme中使用svg图片来展示文件夹结构;
-    - 优化全局剩余时间的计算;
-    - 优化部分代码结构;
-  - 修复:
-    - 修复节点剩余时间在小于1s时显示0的问题(这很影响判断);
-    - 在task_graph中使用"staged"模式时会报错的问题;
-- 3.1.2:
-  - feat:
-    - [Important] 模仿已有Logger逻辑, 建立新的组合结构FailListener和FailSinker, 将原有绑定于TaskReporter的fail持久化在线程中实现; 
-    - 借此让TaskExecutor也可以进行fail持久化, 文件为fallback/{date_str}/{executor_errors}({time_str}).jsonl";
-    - 重构整体项目结构, 现在更加清晰;
-    - 补全docs/reference中全部文档, 并令其符合项目重构后结构
-    - 引入uv进行环境管理;
-    - 将executor中技术逻辑分离为runtime/metrics.py;
-    - 整合TaskQueue中重复逻辑;
+## 版本日志（Version Log）
+- 3.1.5
+  - feat
+    - 大幅修改节点状态卡片的色彩视觉设计. 包括: 取消原本的悬浮设计, 改为平面化设计; 让进度条更直接的显示不同任务完成状态的比例; 使用左边框来显示节点是否在运行中. 而非原本的badge;
+    - 前端的error数据拉取不再每次都全量拉取, 而是只拉取自己当前没有的数据;
+  - refactor
+    - 大幅重构前端代码中的色彩管理, 现在色彩的一致性更好;
+    - 修改前端代码中的数据更新判断, 现在相关判断交给serve.py;
   - fix
-    - 修复前端renderNodeList中参数设置错误;
-    - 修复其他微小bug;
-- 3.1.3
-  - feat:
-    - 抽象出BaseListener与BaseSinker;
-    - 移除loguru, 完全由LogListener和LogSinker实现log记录; 
-    - 将bench相关代码从TaskExecutor和TaskGraph中抽离, 不再作为方法, 而是单独bench函数; 
-    - 重构TaskExecutor部分代码, 以尽量瘦身; 
-    - 优化log处理代码中对时间戳的处理, 现在更加准确;
-  - fix:
-    - 修复一些影响性能的小问题;
+    - 修复节点已运行时间在节点完成后显示为0的问题
+    - 修复在最新fastapi版本下TemplateResponse参数改变导致的问题
 
 ## Star 历史趋势（Star History）
 
 如果对项目感兴趣的话，欢迎star。如果有问题或者建议的话, 欢迎提交[Issues](https://github.com/Mr-xiaotian/CelestialFlow/issues)或者在[Discussion](https://github.com/Mr-xiaotian/CelestialFlow/discussions)中告诉我。
 
-[![Star History Chart](https://api.star-history.com/svg?repos=Mr-xiaotian/CelestialFlow&type=Date)](https://star-history.com/#Mr-xiaotian/CelestialFlow&Date)
+![Star History Chart](https://api.star-history.com/svg?repos=Mr-xiaotian/CelestialFlow&type=Date)
 
 ## 许可（License）
 This project is licensed under the MIT License - see the [LICENSE](LICENSE) file for details.

{celestialflow-3.1.3 → celestialflow-3.1.5}/pyproject.toml

@@ -1,70 +1,74 @@
-[build-system]
-requires = ["setuptools>=61.0", "wheel"]
-build-backend = "setuptools.build_meta"
-
-[project]
-name = "celestialflow"                   
-version = "3.1.3"
-description = "A flexible GRAPH-based task orchestration framework."
-readme = "README.md"               
-license = { text = "MIT" }    
-authors = [{ name = "Mr-xiaotian", email = "mingxiaomingtian@gmail.com" }]
-keywords = ["workflow", "task", "graph", "async", "CelestialFlow"]
-requires-python = ">=3.10"
-
-dependencies = [
-    "tqdm",
-    "fastapi",
-    "uvicorn",
-    "requests",
-    "networkx",
-    "redis",
-    "jinja2",
-    "celestialtree>=0.1.2",
-]
-
-classifiers = [
-    "Programming Language :: Python :: 3",
-    "License :: OSI Approved :: MIT License",
-    "Operating System :: OS Independent",
-    "Framework :: FastAPI",
-    "Topic :: Software Development :: Libraries",
-]
-
-[project.urls]
-"Homepage" = "https://github.com/Mr-xiaotian/CelestialFlow"
-"Bug Tracker" = "https://github.com/Mr-xiaotian/CelestialFlow/issues"
-
-[project.scripts]
-celestialflow-web = "celestialflow.web.server:main_entry"
-
-[tool.setuptools]
-license-files = []
-
-[tool.setuptools.package-data]
-"celestialflow" = ["templates/*.html", "static/**/*"]
-
-[tool.pytest.ini_options]
-addopts = "-s"
-log_cli = true
-log_cli_level = "INFO"
-log_cli_format = "%(asctime)s [%(levelname)s] %(message)s"
-log_cli_date_format = "%Y-%m-%d %H:%M:%S"
-
-filterwarnings = [
-    "ignore::DeprecationWarning",
-    "ignore::pytest.PytestDeprecationWarning",
-]
-
-asyncio_default_fixture_loop_scope = "function"
-
-[dependency-groups]
-dev = [
-    "build>=1.2.2.post1",
-    "twine>=6.1.0",
-    "pytest>=8.3.4",
-    "pytest-asyncio>=0.25.3",
-    "httpx>=0.28.1",
-    "python-dotenv>=1.2.2",
-    "black>=26.1.0",
-]
+[build-system]
+requires = ["setuptools>=61.0", "wheel"]
+build-backend = "setuptools.build_meta"
+
+[project]
+name = "celestialflow"                   
+version = "3.1.5"
+description = "A flexible GRAPH-based task orchestration framework."
+readme = "README.md"               
+license = { text = "MIT" }    
+authors = [{ name = "Mr-xiaotian", email = "mingxiaomingtian@gmail.com" }]
+keywords = ["workflow", "task", "graph", "async", "CelestialFlow"]
+requires-python = ">=3.10"
+
+dependencies = [
+    "tqdm",
+    "fastapi",
+    "uvicorn",
+    "requests",
+    "networkx",
+    "redis",
+    "jinja2",
+    "celestialtree>=0.1.2",
+]
+
+classifiers = [
+    "Programming Language :: Python :: 3",
+    "License :: OSI Approved :: MIT License",
+    "Operating System :: OS Independent",
+    "Framework :: FastAPI",
+    "Topic :: Software Development :: Libraries",
+]
+
+[project.urls]
+"Homepage" = "https://github.com/Mr-xiaotian/CelestialFlow"
+"Bug Tracker" = "https://github.com/Mr-xiaotian/CelestialFlow/issues"
+
+[project.scripts]
+celestialflow-web = "celestialflow.web.server:main_entry"
+
+[tool.setuptools]
+license-files = []
+
+[tool.setuptools.package-data]
+celestialflow = [
+    "web/templates/**/*.html",
+    "web/static/**/*",
+    "web/config.json"
+]
+
+[tool.pytest.ini_options]
+addopts = "-s"
+log_cli = true
+log_cli_level = "INFO"
+log_cli_format = "%(asctime)s [%(levelname)s] %(message)s"
+log_cli_date_format = "%Y-%m-%d %H:%M:%S"
+
+filterwarnings = [
+    "ignore::DeprecationWarning",
+    "ignore::pytest.PytestDeprecationWarning",
+]
+
+asyncio_default_fixture_loop_scope = "function"
+
+[dependency-groups]
+dev = [
+    "build>=1.2.2.post1",
+    "twine>=6.1.0",
+    "pytest>=8.3.4",
+    "pytest-asyncio>=0.25.3",
+    "httpx>=0.28.1",
+    "python-dotenv>=1.2.2",
+    "black>=26.1.0",
+]

{celestialflow-3.1.3 → celestialflow-3.1.5}/src/celestialflow/__init__.py

@@ -17,15 +17,15 @@ from .graph import (
     TaskWheel,
     TaskGrid,
 )
-from .persistence.jsonl import (
+from .persistence.util_jsonl import (
     load_jsonl_logs,
     load_task_by_stage,
     load_task_by_error,
 )
-from .runtime.types import TerminationSignal
-from .runtime.hash import make_hashable
-from .utils.format import format_table
-from .utils.benchmark import benchmark_graph, benchmark_executor
+from .runtime.util_types import TerminationSignal
+from .runtime.util_hash import make_hashable
+from .utils.util_format import format_table
+from .utils.util_benchmark import benchmark_graph, benchmark_executor
 from .web.server import TaskWebServer
 
 __all__ = [

{celestialflow-3.1.3 → celestialflow-3.1.5}/src/celestialflow/graph/__init__.py

@@ -1,6 +1,6 @@
 # graph/__init__.py
-from .graph import TaskGraph
-from .structure import (
+from .core_graph import TaskGraph
+from .core_structure import (
     TaskChain,
     TaskLoop,
     TaskCross,