celestialflow 3.2.1__tar.gz → 3.2.2__tar.gz

{celestialflow-3.2.1 → celestialflow-3.2.2}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: celestialflow
-Version: 3.2.1
+Version: 3.2.2
 Summary: A flexible GRAPH-based task orchestration framework.
 Author-email: Mr-xiaotian <mingxiaomingtian@gmail.com>
 License: MIT
@@ -212,7 +212,7 @@ flowchart TD
 
 以下三篇可以作为补充阅读:
 
-- [runtime/util_queue.md](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/src/runtime/util_queue.md)
+- [runtime/util_hash.md](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/src/runtime/util_hash.md)
 - [runtime/util_types.md](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/src/runtime/util_types.md)
 - [runtime/util_errors.md](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/src/runtime/util_errors.md)
 - [persistence/core_fail.md](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/src/persistence/core_fail.md)
@@ -228,15 +228,15 @@ flowchart TD
 
 你可以继续运行更多的演示代码，这里记录了各个演示文件与其中的演示函数说明：
 
-[🎮demo/](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/demo/)
+[🎮demo/](https://github.com/Mr-xiaotian/CelestialFlow/tree/main/docs/zh-CN/demo)
 
 ​如果你想运行测试代码, 可以先查看如下文档内容:
 
-[🧪tests/](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/tests/)
+[🧪tests/](https://github.com/Mr-xiaotian/CelestialFlow/tree/main/docs/zh-CN/tests)
 
 如果你想查看bench内容, 这里的数据成为框架中部分设计的决策依据:
 
-[⚡bench/](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/bench/)
+[⚡bench/](https://github.com/Mr-xiaotian/CelestialFlow/tree/main/docs/zh-CN/bench)
 
 ## 环境要求（Requirements）
 
@@ -260,57 +260,31 @@ flowchart TD
 <p align="center">
   <img src="https://raw.githubusercontent.com/Mr-xiaotian/CelestialFlow/main/img/file_structure.svg" alt="FileStructure" />
   <br/>
-  <em>celestial-flow 3.2.1</em>
+  <em>celestial-flow 3.2.2</em>
 </p>
 
 (该视图由我的另一个项目[CelestialVault](https://github.com/Mr-xiaotian/CelestialVault)中inst_file.FileTree.print_tree()生成。转换为图片则借助[Carbon](https://carbon.now.sh)。)
 
 ## 版本日志（Version Log）
-- 3.2.1:
+- 3.2.2
   - feat:
-    - **[Important]** 大幅强化配置按钮功能
-      - 现在可以配置界面语言，并支持中、日、英三语言切换
-      - 可以配置错误日志每页日志条数
-      - 可以配置结构图中是否显示增量，不过现在样式上有点丑
-      - 以及最重要的，可以直接编辑仪表盘页的卡片布局
-      - 另外，所有设置保存成功后会有提示
-    - 折线图中可以选择数据类型
-      - 现在包括"数据累计"、"等待队列"和"数据变化率"
-    - 对 structure 的一些调整
-      - 所有 structure 的参数中添加 `stage_mode`，用于统一控制节点模式
-      - 对 struct 中节点不再重新命名
-    - 在部分 Spout 中增加缓冲机制
+    - `core_server` 中添加数据锁, 避免并发访问导致的错误状态
+    - 优化前端设置面板的显示, 现在只显示全局设置与当前页相关设置
+    - 在设置面板中添加全局设置中的 "是否自动更新" 选项与错误日志页面中的 "排序方式" 两项
   - refactor:
-    - **[Important]** 删除 executor 中的 `tag` 属性，并全面使用 `name` 属性进行替代
-      - `tag` 的出现是为了适应早期无法区分节点而设计的，但现在 `name` 已经强制唯一性，继续使用冗长的 `tag` 会导致不便
-    - **[Important]** 将 executor 中 `task_queue` 与 `result_queue` 的定义提前到 `__init__` 中
-      - 对于 executor 来说区别不大，但对于 stage 而言这是更理想且优雅的形式，只是由于原先 `stage_mode="process"` 时不允许执行函数内带有 `MPQueue`，所以才使用 graph 中统一定义，然后通过 process 的 args 注入的形式
-    - **[Important]** 重构 `core_server`，将其分解出 `routes/` 与 `util_models`，实现结构优化
-    - 进一步地，将 `log_queue` 和 `fail_queue` 的注入也提前到 `graph.set_stages` 中，实现 `stage.start_stage` 完全无输入参数
-    - 同时在 executor 中添加 `put_task` 与 `put_signal`，并在 graph 中进行复用
-      - 之前不能这样做是因为 stage 中此时还没有定义 queue
-    - 移除 `core_graph` 中的 `StageRuntime`
-    - 将类型标注中的部分 `Any` 改为更明确的类型
-    - 删除 HTML 中的仪表盘部分的 card，现在交给 `web-config` 来定义
-    - 删除部分没必要的前后端通信，优化通信负载
-      - 移除后端传递的节点历史信息，由前端进行维护
-      - 移除总体统计中除"总剩余时间"的后端数据，由前端进行计算
-    - 优化错误存储的 JSONL 数据结构，现在保存更细致的错误信息
-    - 调整 pyright 规则，并实现 pyright 0 error / 0 warning
-    - 给 `web/` 下几乎所有 `.ts` 与 `.css` 文件重命名，并整理文件内容边界
-    - `util_error` 中添加更多错误类型，保证项目中所有主动 raise 的错误都在当前的错误体系下
-    - 删除前端代码中所有的 `onclick`，改用 `data-*` 属性
-    - 清简 `config.json` 中的部分字段
-    - 删除部分不必要的代码
+    - 删除前后端通讯中的 `summary` , 节点的总体预期结束时间由各个节点的 `status` 分别传递, 并由前端计算整体的预期结束时间
+    - 修改 `structure_graph`(原 `structure_json`) 字段的内容, 现在更为简洁, 避免信息冗余, 同时方便后续拓展
   - fix:
-    - 对部分太宽泛的错误捕捉进行收窄
+    - 修复指标折线图中指标选择失效的问题
+    - 修改 `report.stop` 中_refresh_all的执行顺序, 避免与thread中的刷新冲突
+    - 在 `graph._finalize_nodes` 中添加对thread未终止的防御性检查
+    - 修复 `stage` 中 `start_time` 在未定义前被 `report` 调用的问题
+    - 修复 `TaskRedisTransport._transport` 中使用 `id()` 来计算task_id导致的问题
+    - 修复部分任务无法被hash导致的panic问题
   - chore:
-    - 添加更多测试代码，并整理 `tests/` 结构
-    - 修复 `bench/` 中的一些问题
-      - 主要是 `bench_execution_mode` 中的两种 Fibonacci 运算量级不同，无法正常进行模型 bench
-    - 添加 `.github/workflows`，实现 CI/CD
-    - 更新支持的 Python 版本为 3.11，以与部分库要求相符
-    - 添加两个 skill，分别用于更新文档与审查项目
+    - 删除所有的 `type: ignore`
+      - 好看不少
+    - 在 `start_*` 函数的doc-string中标注该函数为一次性调用函数
 
 更多过往日志可看:
 

{celestialflow-3.2.1 → celestialflow-3.2.2}/README.md

@@ -187,7 +187,7 @@ flowchart TD
 
 以下三篇可以作为补充阅读:
 
-- [runtime/util_queue.md](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/src/runtime/util_queue.md)
+- [runtime/util_hash.md](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/src/runtime/util_hash.md)
 - [runtime/util_types.md](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/src/runtime/util_types.md)
 - [runtime/util_errors.md](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/src/runtime/util_errors.md)
 - [persistence/core_fail.md](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/src/persistence/core_fail.md)
@@ -203,15 +203,15 @@ flowchart TD
 
 你可以继续运行更多的演示代码，这里记录了各个演示文件与其中的演示函数说明：
 
-[🎮demo/](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/demo/)
+[🎮demo/](https://github.com/Mr-xiaotian/CelestialFlow/tree/main/docs/zh-CN/demo)
 
 ​如果你想运行测试代码, 可以先查看如下文档内容:
 
-[🧪tests/](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/tests/)
+[🧪tests/](https://github.com/Mr-xiaotian/CelestialFlow/tree/main/docs/zh-CN/tests)
 
 如果你想查看bench内容, 这里的数据成为框架中部分设计的决策依据:
 
-[⚡bench/](https://github.com/Mr-xiaotian/CelestialFlow/blob/main/docs/zh-CN/bench/)
+[⚡bench/](https://github.com/Mr-xiaotian/CelestialFlow/tree/main/docs/zh-CN/bench)
 
 ## 环境要求（Requirements）
 
@@ -235,57 +235,31 @@ flowchart TD
 <p align="center">
   <img src="https://raw.githubusercontent.com/Mr-xiaotian/CelestialFlow/main/img/file_structure.svg" alt="FileStructure" />
   <br/>
-  <em>celestial-flow 3.2.1</em>
+  <em>celestial-flow 3.2.2</em>
 </p>
 
 (该视图由我的另一个项目[CelestialVault](https://github.com/Mr-xiaotian/CelestialVault)中inst_file.FileTree.print_tree()生成。转换为图片则借助[Carbon](https://carbon.now.sh)。)
 
 ## 版本日志（Version Log）
-- 3.2.1:
+- 3.2.2
   - feat:
-    - **[Important]** 大幅强化配置按钮功能
-      - 现在可以配置界面语言，并支持中、日、英三语言切换
-      - 可以配置错误日志每页日志条数
-      - 可以配置结构图中是否显示增量，不过现在样式上有点丑
-      - 以及最重要的，可以直接编辑仪表盘页的卡片布局
-      - 另外，所有设置保存成功后会有提示
-    - 折线图中可以选择数据类型
-      - 现在包括"数据累计"、"等待队列"和"数据变化率"
-    - 对 structure 的一些调整
-      - 所有 structure 的参数中添加 `stage_mode`，用于统一控制节点模式
-      - 对 struct 中节点不再重新命名
-    - 在部分 Spout 中增加缓冲机制
+    - `core_server` 中添加数据锁, 避免并发访问导致的错误状态
+    - 优化前端设置面板的显示, 现在只显示全局设置与当前页相关设置
+    - 在设置面板中添加全局设置中的 "是否自动更新" 选项与错误日志页面中的 "排序方式" 两项
   - refactor:
-    - **[Important]** 删除 executor 中的 `tag` 属性，并全面使用 `name` 属性进行替代
-      - `tag` 的出现是为了适应早期无法区分节点而设计的，但现在 `name` 已经强制唯一性，继续使用冗长的 `tag` 会导致不便
-    - **[Important]** 将 executor 中 `task_queue` 与 `result_queue` 的定义提前到 `__init__` 中
-      - 对于 executor 来说区别不大，但对于 stage 而言这是更理想且优雅的形式，只是由于原先 `stage_mode="process"` 时不允许执行函数内带有 `MPQueue`，所以才使用 graph 中统一定义，然后通过 process 的 args 注入的形式
-    - **[Important]** 重构 `core_server`，将其分解出 `routes/` 与 `util_models`，实现结构优化
-    - 进一步地，将 `log_queue` 和 `fail_queue` 的注入也提前到 `graph.set_stages` 中，实现 `stage.start_stage` 完全无输入参数
-    - 同时在 executor 中添加 `put_task` 与 `put_signal`，并在 graph 中进行复用
-      - 之前不能这样做是因为 stage 中此时还没有定义 queue
-    - 移除 `core_graph` 中的 `StageRuntime`
-    - 将类型标注中的部分 `Any` 改为更明确的类型
-    - 删除 HTML 中的仪表盘部分的 card，现在交给 `web-config` 来定义
-    - 删除部分没必要的前后端通信，优化通信负载
-      - 移除后端传递的节点历史信息，由前端进行维护
-      - 移除总体统计中除"总剩余时间"的后端数据，由前端进行计算
-    - 优化错误存储的 JSONL 数据结构，现在保存更细致的错误信息
-    - 调整 pyright 规则，并实现 pyright 0 error / 0 warning
-    - 给 `web/` 下几乎所有 `.ts` 与 `.css` 文件重命名，并整理文件内容边界
-    - `util_error` 中添加更多错误类型，保证项目中所有主动 raise 的错误都在当前的错误体系下
-    - 删除前端代码中所有的 `onclick`，改用 `data-*` 属性
-    - 清简 `config.json` 中的部分字段
-    - 删除部分不必要的代码
+    - 删除前后端通讯中的 `summary` , 节点的总体预期结束时间由各个节点的 `status` 分别传递, 并由前端计算整体的预期结束时间
+    - 修改 `structure_graph`(原 `structure_json`) 字段的内容, 现在更为简洁, 避免信息冗余, 同时方便后续拓展
   - fix:
-    - 对部分太宽泛的错误捕捉进行收窄
+    - 修复指标折线图中指标选择失效的问题
+    - 修改 `report.stop` 中_refresh_all的执行顺序, 避免与thread中的刷新冲突
+    - 在 `graph._finalize_nodes` 中添加对thread未终止的防御性检查
+    - 修复 `stage` 中 `start_time` 在未定义前被 `report` 调用的问题
+    - 修复 `TaskRedisTransport._transport` 中使用 `id()` 来计算task_id导致的问题
+    - 修复部分任务无法被hash导致的panic问题
   - chore:
-    - 添加更多测试代码，并整理 `tests/` 结构
-    - 修复 `bench/` 中的一些问题
-      - 主要是 `bench_execution_mode` 中的两种 Fibonacci 运算量级不同，无法正常进行模型 bench
-    - 添加 `.github/workflows`，实现 CI/CD
-    - 更新支持的 Python 版本为 3.11，以与部分库要求相符
-    - 添加两个 skill，分别用于更新文档与审查项目
+    - 删除所有的 `type: ignore`
+      - 好看不少
+    - 在 `start_*` 函数的doc-string中标注该函数为一次性调用函数
 
 更多过往日志可看:
 

{celestialflow-3.2.1 → celestialflow-3.2.2}/pyproject.toml

@@ -4,7 +4,7 @@ build-backend = "setuptools.build_meta"
 
 [project]
 name = "celestialflow"
-version = "3.2.1"
+version = "3.2.2"
 description = "A flexible GRAPH-based task orchestration framework."
 readme = "README.md"
 license = { text = "MIT" }

{celestialflow-3.2.1 → celestialflow-3.2.2}/src/celestialflow/graph/core_graph.py

@@ -23,6 +23,7 @@ from ..runtime import TaskInQueue, TaskOutQueue
 from ..runtime.util_errors import (
     CelestialTreeConnectionError,
     DuplicateNodeError,
+    RuntimeStateError,
     ScheduleModeError,
     UnconsumedError,
 )
@@ -48,7 +49,14 @@ from .util_serialize import build_structure_graph, format_structure_list_from_gr
 
 
 class TaskGraph:
-    """任务图核心类，负责构建、连接和调度一组 TaskStage 节点。"""
+    """任务图核心类，负责构建、连接和调度一组 TaskStage 节点。
+
+    注意：
+    - TaskGraph 是一次性对象，设计上只应启动一次。
+    - start_graph() 执行后，内部会建立并持有运行期资源、队列绑定和线程状态，
+      不保证可被安全重置或重复启动。
+    - 如需再次运行相同流程，请重新创建 TaskGraph 实例及其关联的 TaskStage。
+    """
 
     # ==== 初始化 ====
 
@@ -64,6 +72,11 @@ class TaskGraph:
         分层等多种形式的任务执行流程。通过分析图结构和调度布局策略，实现灵活的
         DAG 任务调度控制。
 
+        生命周期说明：
+        - 当前 TaskGraph 实例为一次性对象。
+        - 完成一次 start_graph() 后，不应复用同一实例再次启动。
+        - 如需重复执行，请重新构建新的 TaskGraph 与节点对象。
+
         :param schedule_mode: str, optional, default = 'eager'
             控制任务图的调度布局模式，支持以下两种策略：
             - 'eager'：
@@ -111,8 +124,6 @@ class TaskGraph:
         self.status_dict: dict[str, dict[str, Any]] = defaultdict(dict)
         # 用于保存最近一次状态快照对应的统一时间戳
         self.status_timestamp: float = 0.0
-        # 用于保存任务图的摘要信息
-        self.graph_summary: dict[str, int | float] = {}
         # 用于保存每个节点的输入任务ID集合
         self.input_ids: dict[str, set[int]] = defaultdict(set)
         # 用于保存源节点列表（由 _build_analysis 自动计算）
@@ -294,8 +305,8 @@ class TaskGraph:
         source_names = find_source_nodes(self.networkx_graph)
         self.source_stages = [self.stage_dict[name] for name in source_names]
 
-        self.structure_json = build_structure_graph(
-            self.source_stages, self.out_edges, self.stage_dict
+        self.structure_graph = build_structure_graph(
+            self.stage_dict, self.out_edges, self.source_stages
         )
 
         self.is_dag = is_directed_acyclic_graph(self.networkx_graph)
@@ -343,6 +354,9 @@ class TaskGraph:
 
         :param init_tasks_dict: 任务列表
         :param put_termination_signal: 是否注入终止信号，默认 True
+        :note:
+            TaskGraph 为一次性对象；当前实例启动并运行完成后，不保证可安全再次调用
+            start_graph()。如需重复执行，请创建新的 TaskGraph 实例。
         """
         self._build_resources()
         self._build_analysis()
@@ -366,7 +380,7 @@ class TaskGraph:
             self.fail_spout.start()
             self.log_spout.start()
             self.log_inlet.start_graph(self.get_structure_list())
-            self.fail_inlet.start_graph(self.get_structure_json())
+            self.fail_inlet.start_graph(self.get_structure_graph())
             self.reporter.start()
 
             self.put_stage_queue(init_tasks_dict, put_termination_signal)
@@ -442,8 +456,18 @@ class TaskGraph:
         确保所有线程安全结束，更新节点状态，并导出每个节点队列剩余任务。
         """
         # 确保所有线程安全结束（线程不可 terminate，仅做 cooperative join）
+        alive_thread_names: list[str] = []
         for t in self.threads:
             t.join(timeout=10)
+            if t.is_alive():
+                alive_thread_names.append(t.name)
+
+        if alive_thread_names:
+            stage_names = ", ".join(sorted(alive_thread_names))
+            raise RuntimeStateError(
+                "TaskGraph shutdown incomplete; alive stage threads remain after finalize: "
+                f"{stage_names}"
+            )
 
         # 更新所有节点状态为"已停止"
         for stage in self.stage_dict.values():
@@ -534,7 +558,7 @@ class TaskGraph:
         running_pending_map: dict[str, int],
         running_elapsed_map: dict[str, float],
         running_remaining_map: dict[str, float],
-    ) -> float:
+    ) -> dict[str, float]:
         """
         根据 DAG/非 DAG 策略计算全局预计剩余时间
 
@@ -545,15 +569,15 @@ class TaskGraph:
         :return: 全局预计剩余时间（秒）
         """
         if not self.is_dag:
-            return max(running_remaining_map.values(), default=0.0)
+            return running_remaining_map
 
-        expected_pending_map = calc_global_remain_equal_pred(
+        total_remaining_map = calc_global_remain_equal_pred(
             self.networkx_graph,
             running_processed_map,
             running_pending_map,
             running_elapsed_map,
         )
-        return max(expected_pending_map.values(), default=0.0)
+        return total_remaining_map
 
     def collect_runtime_snapshot(self) -> None:
         """
@@ -563,8 +587,6 @@ class TaskGraph:
         now = time.time()
         interval = self.reporter.interval
 
-        totals = {"total_remain": 0.0}
-
         # 为全局预计 remaining 收集
         running_elapsed_map: dict[str, float] = {}
         running_processed_map: dict[str, int] = {}
@@ -589,16 +611,18 @@ class TaskGraph:
             running_elapsed_map[stage_name] = elapsed
             running_remaining_map[stage_name] = remaining
 
-        totals["total_remain"] = self._calc_graph_remain(
+        total_remaining_map = self._calc_graph_remain(
             running_processed_map,
             running_pending_map,
             running_elapsed_map,
             running_remaining_map,
         )
 
+        for stage_name, stage_status in status_dict.items():
+            stage_status["total_remaining_time"] = total_remaining_map[stage_name]
+
         self.status_dict = status_dict
         self.status_timestamp = now
-        self.graph_summary = dict(totals)
 
     # ==== 查询接口 ====
 
@@ -641,14 +665,6 @@ class TaskGraph:
             "status": self.status_dict,
         }
 
-    def get_graph_summary(self) -> dict[str, int | float]:
-        """
-        获取任务链的摘要信息字典
-
-        :return: 当前仅包含 total_remain 的字典
-        """
-        return self.graph_summary
-
     def get_graph_analysis(self) -> dict[str, Any]:
         """
         获取任务图的分析信息
@@ -662,13 +678,13 @@ class TaskGraph:
             "layersDict": self.layers_dict,
         }
 
-    def get_structure_json(self) -> list[dict[str, Any]]:
+    def get_structure_graph(self) -> dict[str, Any]:
         """
         获取任务图的 JSON 结构
 
-        :return: JSON 格式的任务图结构列表
+        :return: JSON 格式的任务图结构字典
         """
-        return self.structure_json
+        return self.structure_graph
 
     def get_structure_list(self) -> list[str]:
         """
@@ -676,7 +692,7 @@ class TaskGraph:
 
         :return: 带边框的格式化字符串列表
         """
-        return format_structure_list_from_graph(self.structure_json)
+        return format_structure_list_from_graph(self.structure_graph)
 
     def get_networkx_graph(self) -> DiGraph[Any]:
         """

celestialflow-3.2.2/src/celestialflow/graph/util_serialize.py

@@ -0,0 +1,153 @@
+# graph/util_serialize.py
+from __future__ import annotations
+
+from typing import TYPE_CHECKING, Any
+
+if TYPE_CHECKING:
+    from ..stage import TaskStage
+
+
+# ======== 处理图结构 ========
+def build_structure_graph(
+    stage_dict: dict[str, TaskStage],
+    out_edges: dict[str, list[str]],
+    source_stages: list[TaskStage],
+) -> dict[str, Any]:
+    """
+    从源节点、邻接表和节点字典构建标准化图结构。
+
+    返回的结构采用 ``nodes + edges + source_nodes`` 形式：
+    - ``nodes``: 以节点名为 key 的节点元信息字典
+    - ``edges``: 邻接表 {stage_name: [next_stage_name, ...]}
+    - ``source_nodes``: 图入口节点名称列表
+
+    :param stage_dict: {stage_name: TaskStage}
+    :param out_edges: 邻接表 {stage_name: [next_stage_name, ...]}
+    :param source_stages: 源节点列表
+    :return: 标准化图结构字典
+    """
+    nodes: dict[str, dict[str, Any]] = {}
+    edges: dict[str, list[str]] = {}
+
+    for stage_name, stage in stage_dict.items():
+        node_summary = dict(stage.get_summary())
+        node_summary.pop("name", None)
+        nodes[stage_name] = node_summary
+        edges[stage_name] = list(out_edges.get(stage_name, []))
+
+    return {
+        "nodes": nodes,
+        "edges": edges,
+        "source_nodes": [stage.get_name() for stage in source_stages],
+    }
+
+
+def format_structure_list_from_graph(
+    structure: dict[str, Any] | None = None,
+) -> list[str]:
+    """
+    从标准化图结构生成格式化任务结构文本列表（带边框）。
+
+    :param structure: ``nodes + edges + source_nodes`` 形式的图结构
+    :return: 带边框的格式化字符串列表
+    """
+
+    nodes: dict[str, dict[str, Any]] = dict((structure or {}).get("nodes", {}) or {})
+    edges: dict[str, list[str]] = dict((structure or {}).get("edges", {}) or {})
+    source_nodes: list[str] = list((structure or {}).get("source_nodes", []) or [])
+
+    if not nodes:
+        return ["+ No stages defined +"]
+
+    if not source_nodes:
+        child_names = {child for child_list in edges.values() for child in child_list}
+        source_nodes = [name for name in nodes if name not in child_names]
+    if not source_nodes:
+        source_nodes = [next(iter(nodes))]
+
+    expanded_nodes: set[str] = set()
+
+    def node_label(node_name: str, *, is_ref: bool = False) -> str:
+        """
+        生成节点的显示标签字符串。
+
+        :param node_name: 节点名称
+        :param is_ref: 是否按引用节点展示
+        :return: 格式化的标签字符串
+        """
+        node = nodes.get(node_name, {})
+        visited_note = " [Ref]" if is_ref else ""
+        F = node.get("func_name", "?")  # F
+        S = node.get("stage_mode", "?")  # S
+        E = node.get("execution_mode", "?")  # E
+        W = node.get("max_workers", "?")  # W
+
+        return f"{node_name}::{F} (S:{S}, E:{E}, W:{W}){visited_note}"
+
+    # 只渲染"子节点"（有父节点）——保证一定画连接符
+    def build_child_lines(
+        node_name: str, prefix: str, is_last: bool
+    ) -> list[str]:
+        """
+        递归构建子节点的树形显示行。
+
+        :param node_name: 子节点名称
+        :param prefix: 当前行的缩进前缀
+        :param is_last: 是否为同级最后一个节点
+        :return: 格式化的行列表
+        """
+        connector = "╘-->" if is_last else "╞-->"
+        is_ref = node_name in expanded_nodes
+        lines = [f"{prefix}{connector}{node_label(node_name, is_ref=is_ref)}"]
+        if is_ref:
+            return lines
+
+        expanded_nodes.add(node_name)
+
+        # 子节点的 prefix 取决于当前节点是不是 last：last -> 空白，否则竖线延续
+        child_prefix = prefix + ("    " if is_last else "│   ")
+        next_stages = edges.get(node_name, []) or []
+        for i, child_name in enumerate(next_stages):
+            lines.extend(
+                build_child_lines(child_name, child_prefix, i == len(next_stages) - 1)
+            )
+        return lines
+
+    # 专门处理 root：不画连接符，不产生祖先竖线
+    def build_root_lines(root_name: str) -> list[str]:
+        """
+        构建根节点及其子树的树形显示行。
+
+        :param root_name: 根节点名称
+        :return: 格式化的行列表
+        """
+        is_ref = root_name in expanded_nodes
+        lines = [node_label(root_name, is_ref=is_ref)]
+        if is_ref:
+            return lines
+
+        expanded_nodes.add(root_name)
+        next_stages = edges.get(root_name, []) or []
+        for i, child_name in enumerate(next_stages):
+            lines.extend(build_child_lines(child_name, "", i == len(next_stages) - 1))
+        return lines
+
+    all_lines: list[str] = []
+    rendered_roots: list[str] = []
+    for root_name in source_nodes:
+        if all_lines:
+            all_lines.append("")  # 根之间留空行
+        all_lines.extend(build_root_lines(root_name))
+        rendered_roots.append(root_name)
+
+    for node_name in nodes:
+        if node_name in rendered_roots or node_name in expanded_nodes:
+            continue
+        if all_lines:
+            all_lines.append("")
+        all_lines.extend(build_root_lines(node_name))
+
+    max_length = max(len(line) for line in all_lines)
+    content_lines = [f"| {line.ljust(max_length)} |" for line in all_lines]
+    border = "+" + "-" * (max_length + 2) + "+"
+    return [border, *content_lines, border]

{celestialflow-3.2.1 → celestialflow-3.2.2}/src/celestialflow/observability/core_report.py

@@ -60,11 +60,11 @@ class TaskReporter:
 
     def stop(self) -> None:
         """停止上报器线程"""
-        self._refresh_all()  # 最后一次
         self._stop_flag.set()
         if self._thread is not None:
             self._thread.join(timeout=2)
             self._thread = None
+        self._refresh_all()  # 最后一次
         self._session.close()
         self.log_inlet.stop_reporter()
 
@@ -100,7 +100,6 @@ class TaskReporter:
         self._push_status()
         self._push_structure()
         self._push_analysis()
-        self._push_summary()
 
     # ==== 拉取 ====
     def _pull_interval(self) -> None:
@@ -139,7 +138,7 @@ class TaskReporter:
                     for task in task_datas
                 ]
                 try:
-                    self.task_graph.put_stage_queue(  # type: ignore[reportUnknownMemberType]
+                    self.task_graph.put_stage_queue(
                         {target_stage: task_datas}, put_termination_signal=False
                     )
                     self.log_inlet.inject_tasks_success(target_stage, task_datas)
@@ -231,7 +230,7 @@ class TaskReporter:
     def _push_status(self) -> None:
         """推送状态信息"""
         try:
-            payload: dict[str, Any] = self.task_graph.get_status_snapshot()  # type: ignore[reportUnknownMemberType]
+            payload: dict[str, Any] = self.task_graph.get_status_snapshot()
             _ = self._session.post(
                 f"{self.base_url}/api/push_status",
                 json=payload,
@@ -243,8 +242,8 @@ class TaskReporter:
     def _push_structure(self) -> None:
         """推送结构信息"""
         try:
-            structure: list[dict[str, Any]] = self.task_graph.get_structure_json()  # type: ignore[reportUnknownMemberType]
-            payload: dict[str, Any] = {"items": structure}
+            structure: dict[str, Any] = self.task_graph.get_structure_graph()
+            payload: dict[str, Any] = {"structure": structure}
             _ = self._session.post(
                 f"{self.base_url}/api/push_structure",
                 json=payload,
@@ -256,7 +255,7 @@ class TaskReporter:
     def _push_analysis(self) -> None:
         """推送分析信息"""
         try:
-            analysis: dict[str, Any] = self.task_graph.get_graph_analysis()  # type: ignore[reportUnknownMemberType]
+            analysis: dict[str, Any] = self.task_graph.get_graph_analysis()
             payload: dict[str, Any] = {"analysis": analysis}
             _ = self._session.post(
                 f"{self.base_url}/api/push_analysis",
@@ -266,19 +265,6 @@ class TaskReporter:
         except Exception as e:
             self.log_inlet.push_analysis_failed(e)
 
-    def _push_summary(self) -> None:
-        """推送摘要信息"""
-        try:
-            summary: dict[str, Any] = self.task_graph.get_graph_summary()  # type: ignore[reportUnknownMemberType]
-            payload: dict[str, Any] = {"summary": summary}
-            _ = self._session.post(
-                f"{self.base_url}/api/push_summary",
-                json=payload,
-                timeout=self._push_timeout(),
-            )
-        except Exception as e:
-            self.log_inlet.push_summary_failed(e)
-
 
 class NullTaskReporter:
     """空实现的任务上报器，用于关闭上报功能时的占位对象。"""

{celestialflow-3.2.1 → celestialflow-3.2.2}/src/celestialflow/persistence/core_fail.py

@@ -103,15 +103,15 @@ class FailInlet(BaseInlet):
         """
         super().__init__(fail_queue)
 
-    def start_graph(self, structure_json: list[Any]) -> None:
+    def start_graph(self, structure_graph: dict[str, Any]) -> None:
         """
         在运行开始时写入任务结构元信息到 jsonl 文件
 
-        :param structure_json: 任务图结构 JSON
+        :param structure_graph: 任务图结构 JSON
         """
         meta_item = {
             "timestamp": datetime.now().isoformat(),
-            "structure": structure_json,
+            "structure": structure_graph,
         }
         self._funnel(meta_item)