@clickzetta/cz-cli-darwin-x64 0.3.1

package/bin/skills/lakehouse-doc/references/task-instance-maintenance.md

@@ -0,0 +1,207 @@
+# 任务和实例运维
+
+运维中心提供对任务和实例运维管理操作。运维中心管控的任务包含手动触发执行的任务和周期调度的任务，及其对应的实例，进行集中式管理。
+
+* 任务：在 IDE 中新建的文件，提交到运维中心后，称为任务
+* 实例：文件手动执行或者任务定时调度，产生的具体运行实体，称为实例
+
+## 任务运维
+
+### 任务列表
+
+在左侧导航点击“任务运维”，即可进入任务列表页面。在任务列表，会提供当前开通的服务下、所有工作空间中的任务的汇总展示。
+![](.topwrite/assets/image_1735641455619.png)
+
+#### 任务列表内容
+
+在列表中可以查看任务名称、任务ID、工作空间、任务状态、任务类型等关键属性。
+
+#### 任务列表的操作
+
+在任务列表，选中单个或者多个任务，可以进行快速运维操作
+
+**单个任务操作**
+
+| 操作名称 | 操作说明                                                 |
+| ---- | ---------------------------------------------------- |
+| 暂停   | 对于处于非暂停状态的任务才可操作。操作后，会把任务的调度属性设置为“暂停调度”，即不再生成、运行任务实例 |
+| 启动   | 对于处于暂停状态的任务才可操作。操作后，会把任务的调度属性恢复为“正常调度”，即生成、运行任务实例    |
+| 删除   | 操作任务从运维中心下线，让任务退回到文件“未提交”的状态                         |
+
+**多个任务批量操作**
+
+| 操作名称 | 操作说明                        |
+| ---- | --------------------------- |
+| 批量启动 | 批量操作选中的任务，恢复任务的调度属性为“正常调度”  |
+| 批量暂停 | 批量操作选中的任务，把任务的调度属性设置为“暂停调度” |
+
+#### 任务列表过滤
+
+在任务列表的上方，可以按照需要，根据任务的属性进行过滤。
+
+| 操作名称 | 操作说明                |
+| ---- | ------------------- |
+| 更多筛选 | 点击后可展开更多的筛选条件       |
+| 重置筛选 | 点击后重置、清除当前所有给定的筛选条件 |
+| 刷新   | 根据给定的过滤条件，刷新重新获取列表  |
+
+#### 任务详情
+
+从任务列表中，点击任务名称的链接，可以进入到该任务的详情页面。本页面中可以查看基本信息、上下游依赖关系图、任务实例和代码。
+
+**基本信息**
+
+在此区域，可查看任务的基本信息。可以按需操作收起或者展开。
+
+^
+
+**依赖关系图**
+
+在依赖关系图上，可以查看当前任务依赖的直接一级上游任务，以及被依赖的直接一级下游任务。
+
+![](.topwrite/assets/image_1699791026214.png =640)
+
+| 操作名称 | 操作说明                                               |
+| ---- | -------------------------------------------------- |
+| 搜索   | 通过给定任务名称或者任务 ID 的关键字，可以在图上快速检索定位到任务节点。使用的匹配方式是“包含” |
+| 刷新   | 点击后重新加载整个依赖关系图                                     |
+
+^
+
+**任务实例**
+
+在任务实例区域，会展示当前任务生成的、所有时间范围的全部任务实例。
+
+![](.topwrite/assets/image_1690173005688.png)
+
+对于单条任务实例，可以进行基本的管控操作：
+
+| 操作名称 | 操作说明                           |
+| ---- | ------------------------------ |
+| 停止   | 对于未运行的实例，可操作停止                 |
+| 重跑   | 对于运行达到终态的实例，可以操作重跑，即将该实例重新运行一次 |
+
+**代码**
+
+节点代码区域展示当前任务的最新版本的代码。
+
+![](.topwrite/assets/image_1690173043370.png)
+
+**任务操作**
+
+在任务详情页，可以对本任务进行暂停、启动、删除操作，含义和作用与在列表中提供的操作相同。
+
+| 操作名称 | 操作说明                                                 |
+| ---- | ---------------------------------------------------- |
+| 暂停   | 对于处于非暂停状态的任务才可操作。操作后，会把任务的调度属性设置为“暂停调度”，即不再生成、运行任务实例 |
+| 启动   | 对于处于暂停状态的任务才可操作。操作后，会把任务的调度属性恢复为“正常调度”，即生成、运行任务实例    |
+| 删除   | 操作任务从运维中心下线，让任务退回到文件“未提交”的状态                         |
+
+## 实例运维
+
+### 实例列表
+
+在左侧导航点击“实例运维”，即可进入实例列表页面。在实例列表，会提供当前开通的服务实例下、所有工作空间中的任务实例的汇总展示。
+
+![](.topwrite/assets/image_1690173075590.png)
+
+^
+
+#### 实例列表内容
+
+在列表中可以查看实例 ID、对应任务名称、实例类型、工作空间、实例状态、计划时间、执行时间和完成时间等关键属性。
+
+#### 实例列表过滤
+
+在实例列表的上方，可以按照需要，根据任务的属性进行过滤。
+
+| 操作名称 | 操作说明                |
+| ---- | ------------------- |
+| 更多筛选 | 点击后可展开更多的筛选条件       |
+| 重置筛选 | 点击后重置、清除当前所有给定的筛选条件 |
+| 刷新   | 根据给定的条件，刷新重新获取列表    |
+
+#### 实例列表操作
+
+在实例列表，选中单个或者多个任务实例，可以进行快速运维操作
+
+![](.topwrite/assets/image_1690173118744.png)
+
+^
+
+#### 单个任务实例操作
+
+| 操作名称 | 操作说明                                                                                         |
+| ---- | -------------------------------------------------------------------------------------------- |
+| 暂停   | 对于处于非暂停状态的任务实例才可操作。操作后，会把任务实例的调度属性设置为“暂停调度”，即不再调度运行该任务实例。                                    |
+| 恢复   | 对于处于暂停状态的任务实例才可操作。操作后，会把任务实例的调度属性恢复为“正常调度”，即按照设定的调度时间来运行任务实例。                                |
+| 终止   | 对于运行中的任务实例才可以操作。操作后，会终止任务实例的运行、把任务实例状态置为失败。                                                  |
+| 重跑   | 对于运行完成的任务实例才可以操作。操作后，会重新运行该任务实例。                                                             |
+| 置成功  | 对于运行失败的任务实例才可以操作。操作后，强制将该任务实例置为成功。可用于紧急运维场景，在判断当前任务实例即使失败，也不影响下游任务的数据正确性的前提下，解除对下游任务实例运行的阻塞。 |
+| 置失败  | 对于运行成功的任务实例才可以操作。操作后，强制将该任务实例置为失败。                                                           |
+
+#### 批量任务实例操作
+
+| 操作名称 | 操作说明                          |
+| ---- | ----------------------------- |
+| 暂停   | 同单条操作。需要注意对于处于非暂停状态的任务实例才可操作。 |
+| 恢复   | 同单条操作。需要注意对于处于暂停状态的任务实例才可操作。  |
+| 终止   | 同单条操作。需要注意对于运行中的任务实例才可以操作。    |
+| 重跑   | 同单条操作。需要注意对于运行完成的任务实例才可以操作。   |
+| 置成功  | 同单条操作。需要注意对于运行失败的任务实例才可以操作。   |
+| 置失败  | 同单条操作。需要注意对于运行成功的任务实例才可以操作。   |
+
+### 实例详情
+
+从实例列表中，点击实例 ID 的链接，可以进入到该任务实例的详情页面。本页面中可以查看基本信息、上下游依赖关系图、任务实例和代码。
+
+#### 基本信息
+
+在此区域，可查看任务实例的基本信息。
+
+![](.topwrite/assets/image_1690173192283.png)
+
+^
+
+#### 依赖关系图
+
+在依赖关系图上，可以查看当前任务实例依赖的直接一级上游任务实例，以快速判断当前任务实例是否可以被正常调度。
+
+![](.topwrite/assets/image_1699790903726.png =640)
+
+##### 依赖关系图的操作
+
+| 操作名称 | 操作说明                                               |
+| ---- | -------------------------------------------------- |
+| 搜索   | 通过给定任务名称或者实例ID的关键字，可以在图上快速检索定位到任务实例节点。使用的匹配方式是“包含” |
+| 刷新   | 点击后重新加载整个依赖关系图                                     |
+
+在DAG图上，可以通过切换，来选择对节点直接平铺或者分组聚合，比如将状态相同的实例节点聚合成为同一个分组。
+
+![](.topwrite/assets/image_1699790876400.png =640)
+
+#### 代码
+
+代码区域会展示当前任务实例，运行时使用的对应版本的代码。请注意，这里是任务实例执行时所使用的代码，不一定是任务的当前最新版本的代码。
+
+![](.topwrite/assets/image_1690173232876.png)
+
+#### 执行日志
+
+执行日志区域，会展示当前实例执行的全部日志。包含任务实例被重跑后产生的日志。点击列表左侧的+图标，可以展开查看详细内容。
+
+![](.topwrite/assets/image_1690173323989.png)
+
+^
+
+#### 操作日志
+
+执行日志区域，会展示对当前实例操作的记录。
+
+![](.topwrite/assets/image_1689570872937.png)
+
+### 实例操作
+
+在任务实例详情页，可以对本任务实例进行暂停、恢复、终止、重跑、置成功操作，含义和作用与在列表中提供的操作相同。
+
+![](.topwrite/assets/image_1690173383738.png)

package/bin/skills/lakehouse-doc/references/task_development.md

@@ -0,0 +1,56 @@
+# 任务开发概念说明
+
+任务开发模块是云器 Lakehouse 向开发者提供的一个可视化开发页面。在该模块下，用户可进行任务的组织编排、开发、调度配置、运行测试以及提交发布等操作。
+
+## 开发概念说明
+
+| **概念** | **定义**                                                                                                                                    |
+| ------ | ----------------------------------------------------------------------------------------------------------------------------------------- |
+| 任务     | 简单节点：单个具体的任务类型，例如 SQL、Python 等                                                                                                              |
+|        | 复杂流程类节点：由多个节点组成的一组节点，例如组合节点等。复杂流程类节点中的参数、调度配置项统一进行配置管理。                                                                                      |
+| 任务组    | 任务组是云器 Lakehouse 提供的一个虚拟管理概念。可以将任务添加至任务组内进行集中的管理，包括可视化拖拽编排依赖关系、配置任务组参数、批量设置调度、批量提交等操作。**说明**：若您需要对一组任务进行 DAG 方式的拖拽管理，或者对一批任务链路进行复制改造，建议使用任务组功能。 |
+
+## 依赖关系：节点依赖
+
+依赖关系是挂载在节点上的。无论是简单节点还是复杂流程类节点，均以一个独立节点作为依赖点。
+
+**注意**：无论是在任务下直接创建任务节点，还是在任务组内进行统一管理，依赖关系始终是在任务节点级别上的，即节点之间的依赖，不存在任务组之间建立依赖的能力。
+
+^
+
+## 场景说明
+
+* 支持用户直接在「任务」下创建各类任务节点，并通过调度配置中的调度依赖来创建节点之间的依赖关系进行开发。
+* 同时也支持用户在「任务组」下新建或添加已有的节点，对一批任务进行组织编排，包括配置任务组级别的参数、可视化拖拽任务之间的依赖关系等。
+
+| **开发方式** | **目标用户**               | **场景优势**                                 | **场景使用限制与差异**                                                   |
+| -------- | ---------------------- | ---------------------------------------- | --------------------------------------------------------------- |
+| 创建任务     | 业务相对比较创新或追求短平快节奏的团队。   | 无需创建复杂的业务关系，只需创建好节点间依赖后快速跑通流程。适合短平快的场景。  | * 不支持批量操作，比如批量修改任务调度时间、使用集群等。                                  |
+| 任务组内管理任务 | 业务数仓团队成熟规范，多以业务思路去组织内容 | 可以以业务场景的方式管理相关的一批任务节点，同时支持以可视化方式拖拽依赖关系 | 当前暂不支持实时任务的管理。<br>一个任务节点只能在一个任务组内管理。<br>任务组需要提交后，任务组参数才能被任务真正使用。 |
+
+^
+
+### 名词解释
+
+#### 任务组
+
+任务组是云器 Lakehouse 提供的一个虚拟管理概念。可以将任务添加至任务组内进行集中的管理，包括可视化拖拽编排依赖关系、配置任务组参数、批量设置调度、批量提交等操作。
+
+* **说明**：若您需要对一组任务进行 DAG 方式的拖拽管理，或者对一批任务链路进行复制改造，建议使用任务组功能。更多可参考 [任务组 ](task_group.md)。
+
+#### 任务
+
+在云器 Lakehouse 上封装了不同类型的任务节点，类型包括实时多表同步、离线同步、实时同步、SQL 开发、Python、Shell、虚拟节点等。您可以根据业务需要，选择合适的任务类型进行开发。
+
+#### 参数
+
+* **任务组参数**：在任务组内创建的参数，仅对任务组内的任务进行全局管理。
+* **调度参数**：在任务调度时使用的参数。
+* **临时参数**：在任务临时执行时使用的参数。
+
+#### 调度配置：
+
+* 当前仅支持周期调度。
+* **依赖方式**：区间依赖，即用下游任务实例的起止时间范围与上游实例的起止时间范围进行重叠判断。更多依赖关系可参考 [任务调度依赖关系](task_scheduling_dependency.md)。
+
+^

package/bin/skills/lakehouse-doc/references/task_group.md

@@ -0,0 +1,151 @@
+# 任务组
+
+## 概念
+
+任务组是开发板块内用以管理一组任务列表的虚拟业务管理组。您可以使用任务组对一系列任务进行组织编排，包括添加/创建任务节点、创建任务节点之间的依赖关系、配置任务组参数以及统一批量提交的操作。
+
+本文为您介绍如何创建、编辑、提交任务组，以及任务组的复制操作。
+
+## 使用限制
+
+1）任务组内仅支持添加/创建周期任务，暂不支持实时任务。
+
+2）任务组参数只有在被提交发布后，任务节点中引用的该参数才能使用任务组参数配置的变量值参与执行。
+
+例如，若任务组参数是 aaa=2023，任务里使用了该参数，但是任务组未提交。那么任务在做周期执行时，实例参数将显示为空。
+
+3）一个任务节点只能归属于一个任务组。
+
+4）下游链路复制：只能复制在该工作空间下的所有节点，若该下游链路有其他工作空间的任务节点，不会被复制出来。
+
+## 应用场景
+
+### 场景一：任务批量复制与依赖关系管理
+
+当您需要对一组有依赖关系的任务进行批量复制，并在新的任务中创建新的依赖关系时，可以使用任务组复制功能实现。
+
+![](.topwrite/assets/91c6efc6cd/3c6fcb545a6b507a072943955259ae593b4f1892.jpeg =700)
+
+将需要复制并建立新依赖关系的任务组添加至任务组1内，对任务组1进行复制操作后，复制得到的任务组2将包含以下内容：
+
+1. 对任务组1内所有任务的批量复制。
+2. 任务组1内有依赖关系的节点（如节点B、C、D、E、F）在任务组2内会维持原来的依赖关系。
+3. 任务组外但与组内节点有依赖关系的节点（如节点A、G），将维持原本的依赖关系。
+
+### 场景二：任务链路改造与自定义变量批量修改
+
+当您需要对当前任务链路中的任意一分支进行改造，同时需要批量修改任务里的自定义变量时，可以通过节点下游链路复制功能结合任务组功能实现。
+
+![](.topwrite/assets/91c6efc6cd/f8dfd42b7ace23593c3f7d3d79bff8eb46d2a1f9.jpeg =751)
+
+在任意一个节点上（该节点可以是归属于某一个任务组，也可以是独立的），点击「下游链路复制」时，会将该节点及其下游所有节点进行批量复制。
+
+## 创建任务组
+
+创建任务组前，您可以结合自身的业务情况，先规划设计好符合自身业务诉求的业务流程。以下为创建任务组的详细步骤。
+
+1）创建任务组
+
+**方式一**：单击左侧导航栏的「开发」；鼠标悬浮在+上，点击「任务组」
+
+**方式二**： 单击左侧导航栏的「工作区」；鼠标悬浮在新建按钮上，点击「任务组」
+
+2）在新建任务组对话框中，输入任务组名称
+
+3）点击确定
+
+![](.topwrite/assets/image_1722251763584.png =434)
+
+创建完成后：
+
+* 您可以在当前任务组内管理任务节点，包括新建/添加已有任务到该任务组内
+* 任务组内的所有任务开发完成后，可直接提交任务组至生产环境。
+
+## 编辑任务组
+
+支持用户在列表和 DAG 两种模式下设计任务组内管理的任务节点和依赖关系。
+
+![](.topwrite/assets/image_1722251928404.png)
+
+1）新建/添加节点：两种模式下均支持在任务组创建新的任务节点，或添加已有的任务至任务组内。
+
+* **DAG图模式**
+
+  * 添加已有任务：点击右侧「添加已有任务」后，可将列表中的任务拖至DAG画布区域；
+  * 添加新任务：在「添加新任务」下方，拖拽任意一个任务节点至画布区域后，会弹出该节点的创建弹窗。用户输入任务名称，以及所在目录后，即成功创建一个新节点至该任务组上。
+
+DAG 图模式下，点击右侧下方「已添加的任务」即可在图中高亮显示出该任务节点。
+
+* **列表模式**
+
+  * 点击列表模式右上角「添加」按钮后，可选择是添加已有任务还是新任务。
+
+新建/添加节点成功后，您需要进入该节点的操作界面进行代码的编辑工作。
+
+2）创建任务之间的依赖关系：
+
+* DAG图模式下：可以通过拖拽依赖线的方式设置节点调度依赖。当然，您也可以进入节点的调度配置界面，来手动编辑节点依赖关系。
+* 列表模式下新建的节点，其调度依赖可根据代码血缘关系自动或手动设置。
+
+3）任务组参数：任务组下的全局参数。当任务组提交至生产环境后，这些参数会自动作用于引用它们的任务节点上。在任务组参数生效前已提交的任务节点，需要重新提交后才可以引用该参数。
+
+* 点击任务组内操作区域的「参数」tab，进入任务组参数配置界面中。
+* 点击新建按钮，在弹窗内输入参数名称和参数取值。内置参数取值详情请见[任务参数](task_param.md)
+
+  ![](.topwrite/assets/image_1722252018555.png =497)
+
+创建任务组参数后，使用方法如下：
+
+* 在任务节点的SQL代码中输入${任务组参数名称}，或在调度配置的参数配置中输入参数名；
+
+  ![](.topwrite/assets/image_1722252076469.png =496)
+
+* 在「取值来源」下拉框里选择任务组参数
+
+  ![](.topwrite/assets/image_1722252102342.png =472)
+
+创建且引用任务组参数后：
+
+* 任务组提交至生产环境后，应用的任务节点才可以使用任务组参数的参数值
+* 变更后的任务组参数如需在任务节点里生效，需重新提交任务节点
+
+### 批量提交调度时间
+
+可使用批量编辑调度时间的功能，批量修改任务组内所有（或选定）任务的调度时间，以减少逐个配置的操作成本。具体操作如下：
+
+1）点击批量修改调度时间
+
+* DAG编辑模式下：鼠标悬浮在批量按钮上时，选择「编辑调度时间」
+  ![](.topwrite/assets/image_1736303777548.png =498)
+* 列表模式下：选择需要批量修改的目标任务后，点击编辑调度时间。
+
+2）批量编辑调度时间
+选择批量修改的调度时间，这里操作同任务调度里的调度配置，具体操作可参考[任务开发调度](taskdevelop.md)
+![](.topwrite/assets/image_1736303843406.png =499)
+
+3）确定提交批量操作
+
+## 提交任务组
+
+任务组编辑创建完成后，需要将其提交至生产环境，其管理的任务才可以引用任务组内的参数信息。同时，任务组也提供了批量提交任务节点的功能。
+
+1）点击右上角提交按钮，弹出任务组提交弹窗，同时可以支持批量提交任务组内的任务列表。
+
+2）DAG图模式下，鼠标悬浮在批量按钮上方，显示批量提交任务，该功能仅支持批量提交任务组内的任务，不会将任务组本身的参数和管理信息提交至生产环境中。
+
+## 相关问题
+
+Q1：为什么任务组提交后，提交按钮不能再次点击了
+
+任务组提交后，若未发生任何变更（即状态未变为“已提交，有修改”），则不支持再次提交。若需要批量提交任务组内的任务信息，可通过两种方式提交
+
+方案一：在任务内直接操作提交
+
+方案二：在任务组DAG图模式下，点击批量操作下的批量提交任务
+
+任务组状态变更条件：
+
+* 对任务组内的任务进行增删的操作
+* 对任务组参数进行增删改查的操作
+
+^