celestialflow 3.2.5__tar.gz → 3.2.7__tar.gz

celestialflow-3.2.7/LICENSE

@@ -0,0 +1,21 @@
+MIT License
+
+Copyright (c) 2025 Mr-xiaotian
+
+Permission is hereby granted, free of charge, to any person obtaining a copy
+of this software and associated documentation files (the "Software"), to deal
+in the Software without restriction, including without limitation the rights
+to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
+copies of the Software, and to permit persons to whom the Software is
+furnished to do so, subject to the following conditions:
+
+The above copyright notice and this permission notice shall be included in all
+copies or substantial portions of the Software.
+
+THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
+IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
+FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
+AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
+LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
+OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
+SOFTWARE.

{celestialflow-3.2.5 → celestialflow-3.2.7}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: celestialflow
-Version: 3.2.5
+Version: 3.2.7
 Summary: A flexible GRAPH-based task orchestration framework.
 Author-email: Mr-xiaotian <mingxiaomingtian@gmail.com>
 License: MIT
@@ -10,15 +10,12 @@ Keywords: workflow,task,graph,async,CelestialFlow
 Classifier: Programming Language :: Python :: 3
 Classifier: License :: OSI Approved :: MIT License
 Classifier: Operating System :: OS Independent
-Classifier: Framework :: FastAPI
 Classifier: Topic :: Software Development :: Libraries
 Requires-Python: >=3.12
 Description-Content-Type: text/markdown
-Requires-Dist: tqdm
-Requires-Dist: fastapi
-Requires-Dist: uvicorn
+License-File: LICENSE
 Requires-Dist: requests
-Requires-Dist: jinja2
+Dynamic: license-file
 
 # CelestialFlow ——一个轻量级、可并行、基于图结构的 Python 任务调度框架
 
@@ -37,14 +34,13 @@ Requires-Dist: jinja2
   <img src="https://img.shields.io/badge/Task%20Graph-DAG-blueviolet">
   <img src="https://img.shields.io/badge/Workflow-Orchestrator-7c3aed">
   <img src="https://img.shields.io/badge/Event%20Tracing-CelestialTree-0ea5e9">
-  <img src="https://img.shields.io/badge/Web-Dashboard-FastAPI-ec4899">
 </p>
 
 <p align="center">
-  <a href="https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/README.md">中文</a> | <a href="https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/en/README.md">English</a> | <a href="https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/ja/README.md">日本語</a>
+  <a href="https://github.com/Mr-xiaotian/CelestialFlow/blob/main/README.md">中文</a> | <a href="https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/en/README.md">English</a> | <a href="https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/ja/README.md">日本語</a>
 </p>
 
-**CelestialFlow** 是一个轻量级但功能完全的任务流框架，适合需要 **复杂依赖关系**、**灵活执行模型**、**跨设备运行**与**实时可视化监控** 的中/大型 Python 任务系统。
+**CelestialFlow** 是一个轻量级但功能完全的任务流框架，适合需要 **复杂依赖关系**、**灵活执行模型**、**跨设备运行** 与 **可观测执行链路** 的中/大型 Python 任务系统。
 
 - 相比 Airflow/Dagster 更轻、更快开始
 - 相比 multiprocessing/threading 更结构化，可直接表达 loop / complete graph 等复杂依赖模式
@@ -70,7 +66,7 @@ TaskGraph 能构建完整的 **有向图结构（Directed Graph）**，不仅支
 
 在执行与调度之外，CelestialFlow 进一步引入 **CelestialTree（简称: ctree） 事件追踪系统**，为每一个任务及其衍生行为（成功、失败、重试、拆分、路由等）记录明确的因果关系。借助 ctree，可以从任意一个初始任务出发，完整还原其在 TaskGraph 中的传播路径与执行轨迹，使任务系统可以进行完整的**追溯、分析、解释**。
 
-在此基础上，CelestialFlow 支持 Web 可视化监控，并提供基于 Redis 的 demo 与 Go Worker 外部协作示例，用于展示按需构建跨进程、跨设备任务协作的方式。
+在此基础上，CelestialFlow 提供事件追踪、状态上报、持久化回放，并提供基于 Redis 的 demo 与 Go Worker 外部协作示例，用于展示按需构建跨进程、跨设备任务协作的方式。
 
 ## 项目结构（Project Structure）
 
@@ -100,24 +96,11 @@ flowchart LR
     %% 美化 TaskStages
     class S1,S2,S3,S4 blueNode;
 
-    %% ===== WebUI =====
-    subgraph W[WebUI]
-        JS
-        HTML
-    end
-
-    style W fill:#ffeaf0,stroke:#d66b8c,stroke-width:2px,rx:10px,ry:10px
-    style JS fill:#ffffff,stroke:#d66b8c,rx:5px,ry:5px
-    style HTML fill:#ffffff,stroke:#d66b8c,rx:5px,ry:5px
-
-    R[TaskWeb]
-    style R fill:#f0e9ff,stroke:#8a6bc9,stroke-width:2px,rx:8px,ry:8px
-
     %% ===== Links =====
-    TG --> R 
-    R --> TG 
-    R --> W
-    W --> R
+    TG --> CFB[CelestialFlow Web]
+    CFB --> TG 
+
+    style CFB fill:#ffeaf0,stroke:#d66b8c,stroke-width:2px,rx:10px,ry:10px
 
 ```
 
@@ -133,7 +116,7 @@ uv pip install celestialflow
 pip install celestialflow
 ```
 
-如果你只使用 CelestialFlow 的核心调度、Web、持久化与 demo/test 之外的常规功能，上面的安装已经足够。
+如果你只使用 CelestialFlow 的核心调度、可观测性与持久化能力，上面的安装已经足够。
 
 如果你还需要启用 CelestialTree 事件追踪能力，则需要**额外安装** `celestialtree`：
 
@@ -150,19 +133,30 @@ uv sync --group dev
 ```python
 from celestialflow import TaskStage, TaskGraph
 
-def add(x, y): 
+
+def add(x, y):
     return x + y
 
-def square(x): 
-    return x ** 2
+
+def square(x):
+    return x**2
+
 
 if __name__ == "__main__":
     # 定义两个任务节点
-    stage1 = TaskStage(name="Adder", func=add, stage_mode="thread", execution_mode="thread", unpack_task_args=True)
-    stage2 = TaskStage(name="Squarer", func=square, stage_mode="thread", execution_mode="thread")
+    stage1 = TaskStage(
+        name="Adder",
+        func=add,
+        stage_mode="thread",
+        execution_mode="thread",
+        unpack_task_args=True,
+    )
+    stage2 = TaskStage(
+        name="Squarer", func=square, stage_mode="thread", execution_mode="thread"
+    )
 
     # 构建任务图结构
-    graph = TaskGraph()
+    graph = TaskGraph(name="DemoGraph")
     graph.set_stages(stages=[stage1, stage2])
     graph.connect([stage1], [stage2])
 
@@ -178,17 +172,16 @@ if __name__ == "__main__":
 
 若你想了解框架的整体结构与核心组件，下面的参考文档会对你有帮助：
 
-- [stage/core_executor.md](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/src/stage/core_executor.md)
-- [stage/core_stage.md](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/src/stage/core_stage.md)
-- [graph/core_graph.md](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/src/graph/core_graph.md)
-- [observability/core_progress.md](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/src/observability/core_progress.md)
-- [runtime/core_metrics.md](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/src/runtime/core_metrics.md)
-- [runtime/core_queue.md](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/src/runtime/core_queue.md)
-- [stage/core_stages.md](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/src/stage/core_stages.md)
-- [observability/core_report.md](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/src/observability/core_report.md)
-- [graph/core_structure.md](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/src/graph/core_structure.md)
-- [web/core_server.md](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/src/web/core_server.md)
-- [other/go_worker.md](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/other/go_worker.md)
+- [TaskExecutor.md](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/src/stage/core_executor.md)
+- [TaskStage.md](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/src/stage/core_stage.md)
+- [TaskGraph.md](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/src/graph/core_graph.md)
+- [TaskMetrics.md](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/src/runtime/core_metrics.md)
+- [TaskQueue.md](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/src/runtime/core_queue.md)
+- [TaskStages.md](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/src/stage/core_stages.md)
+- [TaskReport.md](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/src/observability/core_report.md)
+- [TaskStructure.md](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/src/graph/core_structure.md)
+- [BaseObserver.md](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/src/observability/core_observer.md)
+- [Go Worker.md](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/other/go_worker.md)
 
 推荐阅读顺序:
 
@@ -198,10 +191,9 @@ flowchart TD
     classDef runtime fill:#e9f8ef,stroke:#22c55e,color:#14532d;
     classDef structure fill:#fff6e6,stroke:#f59e0b,color:#78350f;
     classDef execution fill:#f3e8ff,stroke:#a855f7,color:#581c87;
-    classDef web fill:#ffeaea,stroke:#ef4444,color:#7f1d1d;
 
     TM[TaskExecutor.md] --> TS[TaskStage.md] --> TG[TaskGraph.md]
-    TM --> TP[TaskProgress.md]
+    TM --> OB[BaseObserver.md]
     TM --> TME[TaskMetrics.md]
 
     TG --> TQ[TaskQueue.md]
@@ -209,23 +201,22 @@ flowchart TD
     TG --> TR[TaskReport.md]
     TG --> TSR[TaskStructure.md]
 
-    TR --> TW[TaskWeb.md]
     TN --> GW[Go Worker.md]
 
     class TM,TS,TG core;
     class TP,TME runtime;
     class TSR structure;
     class TQ,TN,GW execution;
-    class TR,TW web;
+    class TR execution;
 ```
 
-以下三篇可以作为补充阅读:
+以下五篇可以作为补充阅读:
 
-- [runtime/util_hash.md](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/src/runtime/util_hash.md)
-- [runtime/util_types.md](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/src/runtime/util_types.md)
-- [runtime/util_errors.md](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/src/runtime/util_errors.md)
-- [persistence/core_fallback.md](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/src/persistence/core_fallback.md)
-- [persistence/core_log.md](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/src/persistence/core_log.md)
+- [UtilHash.md](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/src/runtime/util_hash.md)
+- [UtilTypes.md](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/src/runtime/util_types.md)
+- [UtilErrors.md](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/src/runtime/util_errors.md)
+- [Fallback.md](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/src/persistence/core_fallback.md)
+- [Log.md](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/src/persistence/core_log.md)
 
 如果你更喜欢通过完整案例理解框架的运行方式，可以参考这篇利用 TaskGraph 从零开始构建项目的教程：
 
@@ -255,43 +246,110 @@ flowchart TD
 | 依赖包           | 说明 |
 | ----------------- | ---- |
 | **Python ≥ 3.12**  | 运行环境，建议使用 3.12 及以上版本 |
-| **fastapi**       | Web 服务接口框架（用于任务可视化与远程控制） |
-| **uvicorn**       | FastAPI 的高性能 ASGI 服务器 |
 | **requests**      | HTTP 客户端库，用于任务状态上报与远程调用 |
-| **jinja2**        | FastAPI 模板引擎，用于 Web 可视化界面渲染 |
 | **tqdm**          | 可选组件，进度条显示，用于任务执行可视化 |
 
-如需运行 `demo/demo_redis.py` 或 Go Worker 示例，请额外安装 `redis` 并准备 Redis 服务；这部分不属于默认运行时依赖。
+- 如需运行 `demo/demo_redis.py` 或 Go Worker 示例，请额外安装 `redis` 并准备 Redis 服务；这部分不属于默认运行时依赖。
+
+- 如需运行依赖 CelestialTree 的 demo / bench / 追踪查询，请额外安装 `celestialtree`，或直接在源码仓库中执行 `uv sync --group dev`。
 
-如需运行依赖 CelestialTree 的 demo / bench / 追踪查询，请额外安装 `celestialtree`，或直接在源码仓库中执行 `uv sync --group dev`。
+- 如需使用可视化的Web服务, 请额外安装 `celestialflow-web` 并运行 `celestialflow-web --host 0.0.0.0 --port 5000`。
 
 ## 文件结构（File Structure）
 
+```
+📁 CelestialFlow	(471MB 982KB 22B)
+    📁 .agents        	(55KB 152B)
+        📁 skills[已折叠]	(55KB 152B)
+    📁 .claude        	(99B)
+        🗄️ settings.local.json	(99B)
+    📁 .github        	(601B)
+        📁 workflows[已折叠]	(601B)
+    📁 bench          	(150KB 552B)
+        📁 [1项排除的目录]                  	(47KB 905B)
+        🐍 bench_datastructures.py          	(6KB 690B)
+        🐍 bench_execution_mode.py          	(2KB 889B)
+        🐍 bench_futures_memory.py          	(2KB 267B)
+        🐍 bench_gil_vs_nogil.py            	(10KB 159B)
+        🐍 bench_graph_mode.py              	(7KB 173B)
+        🐍 bench_hash.py                    	(7KB 39B)
+        🐍 bench_hash_container.py          	(3KB 1009B)
+        🐍 bench_hash_memory.py             	(3KB 613B)
+        🐍 bench_http_grpc.py               	(2KB 883B)
+        🐍 bench_ipc_queue.py               	(7KB 74B)
+        🐍 bench_lock_overhead.py           	(9KB 421B)
+        🐍 bench_mpqueue_vs_shared_memory.py	(13KB 106B)
+        🐍 bench_observer.py                	(7KB 899B)
+        🐍 bench_persistence_spout.py       	(4KB 193B)
+        🐍 bench_queue.py                   	(5KB 857B)
+        🐍 bench_requests.py                	(6KB 813B)
+        🐍 bench_tqdm.py                    	(1KB 235B)
+        🐍 bench_utils.py                   	(543B)
+    📁 demo           	(105KB 440B)
+        📁 [1项排除的目录]  	(61KB 883B)
+        🐍 demo_executor.py 	(1KB 504B)
+        🐍 demo_funnel.py   	(2KB 289B)
+        🐍 demo_graph.py    	(3KB 615B)
+        🐍 demo_observer.py 	(4KB 293B)
+        🐍 demo_redis.py    	(9KB 201B)
+        🐍 demo_stages.py   	(4KB 519B)
+        🐍 demo_structure.py	(12KB 8B)
+        🐍 demo_utils.py    	(6KB 200B)
+    📁 dist           	(145KB 290B)
+        ❓ .gitignore                          	(1B)
+        ❓ celestialflow-3.2.6-py3-none-any.whl	(78KB 975B)
+        📦 celestialflow-3.2.6.tar.gz          	(66KB 338B)
+    📁 docs           	(1MB 712KB 884B)
+        📁 en[已折叠]   	(569KB 485B)
+        📁 ja[已折叠]   	(642KB 959B)
+        📁 zh-CN[已折叠]	(524KB 464B)
+    📁 experiments    	(2KB 1015B)
+        🐍 experiment_networkx.py	(1KB 878B)
+        🐍 experiment_tqdm.py    	(1KB 137B)
+    📁 img            	(5MB 871KB 242B)
+        📷 file_structure.svg  	(4MB 918KB 1000B)
+        📷 logo(old).png       	(836KB 542B)
+        📷 logo.png            	(122KB 747B)
+        📷 scc_condensation.svg	(17KB 1B)
+    📁 src            	(1MB 767KB 296B)
+        📁 celestialflow[已折叠]         	(1MB 752KB 195B)
+        📁 celestialflow.egg-info[已折叠]	(15KB 101B)
+    📁 tests          	(3MB 902KB 217B)
+        📁 funnel[已折叠]       	(96KB 481B)
+        📁 graph[已折叠]        	(631KB 532B)
+        📁 observability[已折叠]	(157KB 435B)
+        📁 persistence[已折叠]  	(359KB 68B)
+        📁 runtime[已折叠]      	(1MB 286KB 487B)
+        📁 stage[已折叠]        	(281KB 752B)
+        📁 utils[已折叠]        	(648KB 931B)
+        📁 [1项排除的目录]      	(487KB 589B)
+        🐍 conftest.py          	(1KB 38B)
+        🐍 __init__.py          	(0B)
+    📁 [9项排除的目录]	(458MB 223KB 525B)
+    ❓ .env           	(468B)
+    ❓ .gitignore     	(1KB 313B)
+    📝 AGENTS.md      	(971B)
+    ❓ LICENSE        	(1KB 65B)
+    ⚙️ pyproject.toml 	(2KB 555B)
+    📝 README.md      	(12KB 272B)
+    🔒 uv.lock        	(98KB 257B)
+```
 <p align="center">
-  <img src="https://raw.githubusercontent.com/Mr-xiaotian/CelestialFlow/main/img/file_structure.svg" alt="FileStructure" />
-  <br/>
-  <em>celestial-flow 3.2.5</em>
+  <em>celestial-flow 3.2.7</em>
 </p>
 
 (该视图由我的另一个项目[CelestialVault](https://github.com/Mr-xiaotian/CelestialVault)中inst_file.FileTree.print_tree()生成。转换为图片则借助[Carbon](https://carbon.now.sh)。)
 
 ## 版本日志（Version Log）
-- 3.2.5
+- 3.2.7
   - feat:
-    - 在 `Spout` 和 `Inlet` 中 添加 `counter`, 对 `queue` 中未消费任务的数量进行记录
-      - 在上版本大幅修改 `fallback` 机制后, `FallbackSpout` 中很有可能出现任务堆积, 进而导致误判
-    - 在web端错误日志页面对当前显示的错误数量可能与node_status中的error数量不一致的情况进行说明
-    - 在web端仪表盘页面添加错误分类的饼图
+    - `TaskInQueue` 中添加 `maxsize` 参数, 用于限制队列最大长度
+    - 在 `graph.connect` 中添加对两个stage输入输出参数类型的检验, 如果不通过, 会有pyright报错
   - refactor:
-    - 移除对 `networkx` 的依赖, 添加 `util_graph`, 实现所有图论分析
-    - `TaskExecutor` 中将 `enable_duplicate_check` 默认改为 `False`
-      - 在duplicate机制中一直有一个内存持续增长点: `processed_set`, 这导致 `enable_duplicate_check` 在大规模的任务下会导致很大的内存压力
-    - 分离server端的 `push_task` 和 `push_termination`
-  - fix:
-    - 修复 `UnconsumedError` 在 `drain_task_queue` 中被计算两次的问题
-  - chore:
-    - `img/` 中添加全新的 `web_display.png` 图片
-    - 完善几个skill, 现在对主agent与子agent的prompt进行分离
+    - 移除对 `tqdm` 的依赖
+      - 根据 `bench\bench_observer.py`, tqdm对轻量级任务影响有限
+      - 这次移除主要是为了完成尽量零第三方库依赖的目标
+    - 将 `observer` 的管理从 `executor` 转到 `metric`
 
 更多过往日志可看: