@clickzetta/cz-cli-darwin-x64 0.3.1

package/bin/skills/lakehouse-doc/references/dynamic_table_summary.md

@@ -0,0 +1,366 @@
+# 动态表简介
+>【预览发布】本功能当前处于受邀预览发布阶段。如果需要使用，请联系我们的技术支持同学协助处理。
+
+## 什么是动态表
+
+动态表（Dynamic Table）是云器Lakehouse的数据对象。创建时与表的区别是通过定义查询语句动态生成数据，刷新时自动获取的Base Table的增量数据，采用增量算法来进行计算，这样做的优势是大幅提升数据处理效率，尤其适用于处理大规模数据。
+## Dynamic Table捕获源表变化的时效性
+
+Dynamic Table根据源表对象的元数据修改提交时间来感知变化数据，源表发生变化并且完成元数据提交的变化可以被捕获，源表变化可能存在以下情况影响变化数据的时效性：
+
+* DML方式修改数据：源表发生DML操作，DML任务成功结束后，源表变化数据可被Dynamic Table访问；
+* 批量导入（Bulkload）：源表有批量任务导入，在批量导入任务成功结束后，源表的变化数据可被Dynamic Table访问；
+* 流式导入：源表通过Ingestion Service流式API写入数据，默认1Min提交变化，提交后源表的变化数据即可被Dynamic Table访问。注：对于流式写入的源表本身进行SQL查询时是实时可见，这里仅约束了基于该表的增量变化被Dynamic Table可见的时效。
+
+
+## 动态表应用场景
+
+### 不适用于增量场景
+1. 查询操作里存在大量数据排序需求，例如使用了 Orderby 子句。
+2. Window 函数需要对数据进行排序（RowNumber=1 的情况除外），并且增量数据中包含多个数据量特别大的 Partition。
+3. 数据缺乏良好的聚集性，无法通过 Joinkey、Aggregat key、Window partition key 等清晰地将冷数据和热数据区分开来。
+4. Aggregat key中目前支持的类型有CHAR、VARCHAR、STRING、TINYINT、SMALLINT、INT、BIGINT、DECIMAL、BOOLEAN、DATE如果有其他类型则不支持
+
+### 面向实时加工场景
+
+在实时数据加工场景中，数据以持续且快速的方式流入系统。传统的数据处理方法，如完全重载（Full Reload）或全量刷新（Full Refresh），在性能和资源消耗方面可能不够高效，特别是在处理大规模数据流时。动态表采用增量计算方法，仅处理自上次更新以来变化的数据，从而显著减少了计算资源的消耗。
+
+**动态表的优势**：
+
+* **实时性**：能够迅速将新数据变更反映到数据仓库中，保持数据的高新鲜度。
+* **成本效益**：通过设置合理的刷新间隔，可以平衡性能与成本，实现资源的最优利用。
+* **资源弹性**：Lakehouse的资源可以轻松实现弹性扩展，尤其在处理峰值数据流入时更具优势。
+* **按需计算**：未来Lakehouse将实现按需启动计算资源，即仅在有数据需要计算时才会启动相应资源，进一步提高效率和降低成本。
+
+**应用实例**：
+
+**背景**： 一家电子商务公司希望实时分析其销售数据，以便快速做出库存和定价决策。数据以高速率持续流入系统，需要一种高效的数据处理方法。
+
+**挑战**：
+
+* 传统的全量数据处理方法在性能和资源消耗方面效率低下，尤其是在高峰时段。
+* 需要一种能够快速响应数据变更并保持数据新鲜的处理机制。
+
+**解决方案**：
+
+* 引入动态表，采用增量计算方法，仅处理自上次更新以来变化的数据。
+
+**动态表的优势**：
+
+1. **实时性**： 动态表能够迅速捕捉并反映数据变更，确保决策基于最新的销售数据。
+
+2. **成本效益**：通过动态表，公司可以根据实际需求设置合理的数据刷新间隔，避免了不必要的计算资源浪费。
+
+3. **资源弹性**：在促销活动或节假日等流量高峰时段，Lakehouse的资源可以按需扩展，以应对数据流入的峰值，而不必长期维持高额的资源配置。
+
+4. **按需计算**：未来，Lakehouse的按需计算功能将进一步提高效率，仅在有数据需要计算时才启动资源，从而降低成本。
+
+### 数据新鲜度要求较高的固定维度分析查询场景
+
+在固定维度分析查询场景中，我们追求的是能够提供近乎实时的分析结果。传统的视图查询可以实现这一点，但如果涉及大量数据转换，则可能会导致查询速度变慢。为了解决这个问题，我们可以将转换后的结果进行物化，这样在查询时就可以直接返回这些结果，从而提高查询速度。物化结果可以采用传统的表格或者dynamic table。
+
+使用传统的表可以提供最高的性能，因为它们在查询时只返回预先转换好的数据。但这种方法的缺点是，需要定期评估数据转换的时间，并通过调度进行全量计算，这通常会占用较长的时间。
+
+dynamic table结合了增量计算的优势。通过仅更新自上次加载以来发生变化的记录，dynamic table不仅减少了每次构建的时间，通过缩短时间间隔还保持了数据的最新性。
+
+### 注意事项
+
+* 在处理源端大量变化数据时，计算任务可能接近全量计算的负载。尽管增量计算在效率上具有明显优势，但如果您设置的刷新间隔过短，可能会导致任务积压。这是因为每次刷新操作本身需要一定的时间来完成，如果这个时间超过了您设置的刷新间隔，将会导致后续刷新任务的排队等待。
+  * **建议**：
+    * **合理设置刷新间隔**：根据数据变更的频率和任务的刷新耗时，合理设置刷新间隔，以避免刷新操作的积压。
+    * **监控和调整**：持续监控数据变更模式和系统性能，根据实际情况调整刷新间隔，以实现效率和资源的最优化利用。
+* 在编写算子时参考算子是如何增量刷新中的注意事项来优化增量刷新任务
+### 不适合场景
+1. 涉及大量 Outer Join 操作，且 Outer Join 右表数据频繁变动。
+2. 是否存在大量数据排序操作（如使用 Order by）。
+3. Window 操作需对数据排序（RowNumber=1 情况除外），同时增量数据包含多个数据量极为庞大的 Partition。
+4. 数据是否具有良好的聚集特性，例如能否通过 Join key、Aggregate key 或 Window partition key 明确区分冷数据与热数据。
+
+## 动态表工作原理概述
+
+### 如何获取变化的数据
+
+* MetaService（元数据服务，Lakehouse 的一个组件服务）记录了 Lakehouse 里每张表的每一个历史数据版本
+  * ![](.topwrite/assets/image_1716281294985.png)
+  * 基本概念: 一张表的 **Snapshot（全量**） VS **Delta（变化**）
+
+
+## Lakehouse Dynamic Table 刷新机制
+
+Lakehouse 目前使用调度机制来更新 Dynamic Table。支持以下几种调度模式：
+
+1. **在** **DDL** **语句中定义调度属性**
+2. **在 Lakehouse Studio 中定义调度**
+3. **使用第三方调度引擎提交 Refresh 作业**
+
+|                          | 使用方式                                                                                                    | 优点                                                        | 缺点                                                                                    |
+| ------------------------ | ------------------------------------------------------------------------------------------------------- | --------------------------------------------------------- | ------------------------------------------------------------------------------------- |
+| DDL语句中定义调度属性             | 在refreshOption中定义刷新间隔，具体使用方式[参考动态表创建文档](<create-dynamic-table.md>)。目前限制刷新间隔一分钟。 | 简单易用，可以快速设置刷新选项。不依赖任何第三方工具。                               | 当前Lakehouse不支持在 Dynamic Table 上定义严格的上下游依赖关系。在 DDL 定义中依赖时间调度。可以通过时间间隔的方式先保证上游刷新完成再调度下游 |
+| 在 Lakehouse Studio 中定义调度 | 可以在 Lakehouse Studio 中通过可视化界面配置调度，具体配置方式可以参考[任务开发调度文档](taskdevelop.md)。目前限制刷新间隔一分钟。                     | 可视化配置，用户友好。支持调度依赖配置，确保上游刷新完成后再刷新下游。支持单节点运行监控，如失败告警、超时告警等。 |                                                                                       |
+| 使用第三方调度引擎提交 Refresh 作业   | 通过下载 Lakehouse 客户端命令，使用 cron 表达式定时提交 Refresh 任务。或者通过 Java Jdbc 接口自定义提交 Refresh 命令。                      | 您可以更灵活地控制作业的提交和配置调度信息，时间间隔没有限制                            | 需要依赖第三方调度。引入第三方调度系统                                                                   |
+
+## 动态表和物化视图、普通视图的比较
+
+从Lakehouse的实现机制上来看，动态表是基于传统的物化视图来演进的，虽然两者有一些共性，但是定位上存在很大区别
+
+|       | 物化视图                                        | 动态表                         | 普通视图                                              |
+| ----- | ------------------------------------------- | --------------------------- | ------------------------------------------------- |
+| 定义    | 一种预计算并存储查询结果的特殊视图                           | 专注于数据加工的高效工具                | 一种虚拟表，不存储数据，只保存查询定义                               |
+| 性能优化  | 显著提升查询效率，通过预存结果减少重复计算。其他 SQL可以利用该物化结果进行查询改写 | 虽然也可以提高查询效率，但是查询优化器不会进行查询改写 | 性能取决于底层数据表的查询效率,查询是计算逻辑每次重新计算                     |
+| 数据时效性 | 要求数据即时更新，以确保查询改写的准确性                        | 注重数据加工灵活性，可调整数据滞后性          | 数据新鲜度每次都是最新的                                      |
+| 更新机制  | 采用定时刷新机制，保持数据最新                             | 根据业务定义调整，不强制实时更新            | 不存储数据无需更新                                         |
+| 查询优化  | 优化器自动识别并使用预存结果                              | 不依赖于查询优化器的自动重写              |                                                   |
+| 使用场景  | 适合于预计算并复用查询结果的场景                            | 适合数据加工，可能数据不是最新的            | 适合于查询复杂度不高不涉及大量加工,如果涉及大数据量和很多复杂算子，查询很慢，因为每次都是重新计算 |
+| 运维    | 无复杂运维场景                                     | 动态表还支持了复杂的加列，版本回滚等功能        | 无复杂运维场景                                           |
+
+## 动态表刷新监控
+
+### 通过 SQL 命令查看刷新历史
+
+您目前可以利用 SQL 命令来监控动态表的刷新历史。尽管该命令可能尚未全面上线，但您已经可以通过以下 SQL 语句来获取所有动态表的刷新情况概览：
+
+```SQL
+SHOW DYNAMIC TABLE REFRESH HISTORY [WHERE <condition>];
+```
+
+**过滤刷新历史**
+
+您可以使用 `WHERE` 子句来根据特定字段过滤信息，例如，要查看名为 `my_dy` 的动态表的刷新历史，可以使用以下命令：
+
+```SQL
+SHOW DYNAMIC TABLE REFRESH HISTORY WHERE name='my_dy';
+```
+
+| 字段名称             | 含义                                                                    |
+| ---------------- | --------------------------------------------------------------------- |
+| workspace\_name  | 工作空间名称                                                                |
+| schema\_name     | schema名称                                                              |
+| name             | 动态表名字                                                                 |
+| virtual\_cluster | 使用的计算集群                                                               |
+| start\_time      | 刷新开始时间，                                                               |
+| end\_time        | 刷新结束时间                                                                |
+| duration         | 刷新耗时                                                                  |
+| state            | 作业状态，setup\resuming cluster\queued\running\sucess\failed\success      |
+| refresh\_trigger | MANUAL(由用户调用refresh手动触发刷新,包含studio调度刷新) LH\_SCHEDULED（由lakehouse调度刷新） |
+| suspended\_reson | 暂停调度原因                                                                |
+| refresh\_mode    | NO\_DATA FULL INCREMENTAl                                             |
+| error\_message   | 刷新失败的信息，如果失败则会在这里有                                                    |
+| source\_tables   | 记录了dynamict table使用的表名称                                               |
+| stats            | 增量刷新条数等信息                                                             |
+| job\_id          | 作业ID,通过点击作业ID可以看到job profile                                          |
+
+### 通过Job Profile查看单个作业的刷新情况
+
+除了 SQL 命令，您还可以通过 Job Profile 来查看单个作业的刷新详情
+
+![](.topwrite/assets/image_1716280617859.png)
+
+* 您也可以通过job profile的输入记录来判断是否是增量读取数据
+
+## 动态表的成本
+
+#### 计算成本
+
+动态表的刷新操作依赖于计算资源（Virtual Cluster）来执行，包括：
+
+* **定时刷新**：根据设定的时间间隔自动执行刷新。
+* **手动刷新**：用户根据需要手动触发刷新。
+
+这些刷新操作均会消耗计算资源。
+
+#### 存储成本
+
+动态表同样需要存储空间来保存其具体化结果。与常规表一样，动态表支持：
+
+* **Time Travel**：允许用户访问过去7天内的任何时间点的数据。
+* **Time Travel 保留期限**：默认设置为7天，超过此期限后，数据将无法通过Time Travel访问，并且会被物理删除。
+
+
+#### 刷新调度设置周期
+
+**刷新速度影响因素**
+
+增量刷新的速度主要取决于两个因素：
+
+1. **源数据的变更量**：刷新操作需要处理的数据量越大，所需的时间就越长。
+2. **固定开销**：无论数据变更量大小，每次刷新都会产生的一些基本开销。
+
+**商业价值与刷新频率**
+
+* 如果数据新鲜度对您的业务价值不是至关重要，可以考虑降低刷新频率。这种策略可以减少因频繁刷新带来的计算开销。
+* 采用增量计算模式可以提高单次刷新的速度，因为它只处理自上次刷新以来发生变化的数据。
+
+**刷新成本与频率的平衡**
+
+* 刷新成本会随着刷新频率的增加而上升。因此，您需要在数据新鲜度所带来的商业价值和由此产生的计算成本之间做出权衡。
+* 高频率的刷新操作虽然可以保持数据的实时更新，但累积的计算成本也会随之增加。
+
+**建议**
+
+* 评估您的业务需求，确定数据新鲜度对您业务的具体价值。
+* 根据业务价值来设定合理的刷新频率，以优化成本效益。
+* 利用增量计算模式来提高刷新效率，减少不必要的计算开销。
+
+## 动态表限制
+
+* 增量刷新限制：不支持非确定性函数，比如random、current\_timestmap、current_date等
+* 不支持直接修改动态表数据，比如执行update、delete、truncate数据
+
+# 使用动态表加工案例
+
+## 使用动态表加工Lakehouse提供的样例数据
+
+Lakehouse 提供了一个名为 `ecommerce_events_multicategorystore_live` 的动态公共数据集，该数据集位于 `clickzetta_sample_data.clickzetta_sample_data.ecommerce_events_history` 路径下。这个数据集是实时更新的，并且可以被直接查询。
+
+实时数据集可用性：目前，`ecommerce_events_multicategorystore_live` 实时写入的公共数据集只在阿里云的上海区域提供。如果您的账户或服务不在该区域，您将无法查询此公共数据集。
+
+1. **编写SQL脚本使用DDL定义调度加工数据**
+
+```SQL
+CREATE  DYNAMIC TABLE event_type_count
+REFRESH interval 1 minute vcluster default
+as
+SELECT event_type, COUNT(*) AS events_count
+FROM clickzetta_sample_data.ecommerce_events_history.ecommerce_events_multicategorystore_live
+GROUP BY event_type;
+--初始化DYNAMIC TABLE数据
+REFRESH DYNAMIC TABLE event_type_count;
+```
+
+2. 查看动态表刷新
+
+**使用命令查看动态表刷新**
+
+```SQL
+SHOW DYNAMIC TABLE REFRESH HISTORY WHERE name='event_type_count';
+```
+
+**在作业历史中查看dynamic table刷新历史**
+
+![](.topwrite/assets/image_1716280651911.png)
+
+点进详情中可以查看输入记录可以看到获取了增量多少条，诊断中可以查看增量执行SQL的计划
+
+![](.topwrite/assets/image_1716280668286.png)
+
+3. **在作业历史中看到增量刷新有数据后，可以查看数据变化**
+
+```SQL
+SELECT    *   FROM      event_type_count;
++-------------+--------------+
+| event_type  | events_count |
++-------------+--------------+
+| view        | 91634700     |
+| purchase    | 91630921     |
+| add_to_cart | 91622270     |
++-------------+--------------+
+--增量刷新完成后查看数据
+SELECT    *
+FROM      event_type_count;
++-------------+--------------+
+| event_type  | events_count |
++-------------+--------------+
+| purchase    | 91633135     |
+| add_to_cart | 91624515     |
+| view        | 91636913     |
++-------------+--------------+
+```
+
+## 使用STUDIO刷新调度动态表刷新任务
+
+在本次演示中，我们将通过以下步骤模拟增量数据的插入，并展示增量计算的效果：
+
+* **模拟增量数据插入**：使用 `INSERT INTO` 语句将模拟数据插入到指定表中，以此来模拟实际业务场景中的增量数据更新。
+* **利用 Studio 调度刷新**：随后，我们将利用 Lakehouse Studio 的调度功能来触发和执行增量数据的刷新任务。
+* **演示增量计算效果**：通过上述步骤，我们旨在展示增量计算如何高效地处理新插入的数据，并将更新反映在最终的查询结果中。
+
+1. 数据准备
+
+```SQL
+CREATE TABLE event_tb (
+    event STRING,
+    process DOUBLE,
+    event_time TIMESTAMP
+  );
+INSERT INTO event_tb VALUES
+  ('event-0', 20.0, TIMESTAMP '2023-09-20 14:43:13'),
+  ('event-0', 20.0, TIMESTAMP '2023-09-19 11:40:13'),
+  ('event-1', 21.0, TIMESTAMP '2023-09-19 14:30:14'),
+  ('event-1', 22.0, TIMESTAMP '2023-09-20 14:20:15');
+```
+
+2. 数据加工
+
+* 新建SQL脚本“1.时间处理dt”，将准备的数据使用SQL创建dy进行加工
+
+  ![](.topwrite/assets/image_1716280688236.png)
+
+```SQL
+CREATE dynamic TABLE IF NOT EXISTS event_gettime AS
+SELECT    event,
+          process,
+          YEAR(event_time) event_year,
+          MONTH(event_time) event_month,
+          DAY(event_time) event_day,
+          hour(event_time) event_hour,
+          minute(event_time) event_minute
+FROM      event_tb;
+
+REFRESH   dynamic TABLE event_gettime;
+```
+
+* 新建SQL脚本“2.聚合dy”，对上一步加工完的数据进行聚合操作
+
+  * ```SQL
+    CREATE dynamic TABLE IF NOT EXISTS event_group_minute AS
+    SELECT    event,
+              event_hour,
+              event_minute,
+              SUM(process) process_sum
+    FROM      event_gettime
+    GROUP BY  event,
+              event_hour,
+              event_minute;
+
+    refresh dynamic table event_group_minute;
+    ```
+
+3. 构建依赖和调度关系
+
+* 任务一“1.时间处理dy” 配置定时一分钟调度一次
+
+  * ![](.topwrite/assets/image_1716280711741.png)
+
+* 任务二“2.聚合dy” 按照任务一配置定时一分钟调度一次并且在调度依赖中配置**依赖任务一“1.时间处理dy**”
+
+  * ![](.topwrite/assets/image_1716280739978.png)
+
+* 在数据开发界面每个任务点击提交任务
+
+  * ![](.topwrite/assets/image_1716280770050.png)
+
+4. 查看是否增量刷新
+
+```SQL
+--手动插入数据
+INSERT INTO event_tb VALUES
+  ('event-0', 20.0, TIMESTAMP '2024-01-20 14:43:13');
+ --查看event_gettime是否是增量刷新和增量刷新了多少条
+SHOW DYNAMIC TABLE REFRESH HISTORY WHERE name='event_gettime';
++----------------+-------------+---------------+-----------------+-------------------------+-------------------------+----------------------+---------+-----------------+------------------+--------------+---------------+-------------------------------------------------------------------+------------------------------------------+-------------------+-------------------------------+
+| workspace_name | schema_name |     name      | virtual_cluster |       start_time        |        end_time         |       duration       |  state  | refresh_trigger | suspended_reason | refresh_mode | error_message |                           source_tables                           |                  stats                   | completion_target |            job_id             |
++----------------+-------------+---------------+-----------------+-------------------------+-------------------------+----------------------+---------+-----------------+------------------+--------------+---------------+-------------------------------------------------------------------+------------------------------------------+-------------------+-------------------------------+
+| ql_ws          | public      | event_gettime | DEFAULT         | 2024-05-17 11:33:15.512 | 2024-05-17 11:33:15.839 | 0 00:00:00.327000000 | SUCCEED | MANUAL          | null             | INCREMENTAL  | null          | [{"schema":"public","table_name":"event_tb","workspace":"ql_ws"}] | {"rows_deleted":"0","rows_inserted":"1"} | null              | 202405170333149794gibwyt3dv0g |
++----------------+-------------+---------------+-----------------+-------------------------+-------------------------+----------------------+---------+-----------------+------------------+--------------+---------------+-------------------------------------------------------------------+------------------------------------------+-------------------+-------------------------------+
+```
+
+## 使用动态表节点加工任务
+使用方式参考[动态表任务](<dynamic_table_task.md>)
+
+
+## **约束限制**
+* 除了列出的 current_date非确定性函数，其他非确定性函数不支持。如果使用非确定性函数创建则报错
+* 建议使用GP型集群来刷新动态表。原因：动态表刷新过程中会根据内置策略自动执行小文件合并操作，而AP型集群不支持此功能。
+
+
+

package/bin/skills/lakehouse-doc/references/dynamic_table_task.md

@@ -0,0 +1,73 @@
+# 动态表任务
+
+>【预览发布】本功能当前处于受邀预览发布阶段。如果需要使用，请在页面申请或者联系我们的技术支持同学协助处理。
+
+
+Web-IDE 提供了支持协作开发的向导式动态表任务模板，提高动态表任务的开发效率，同时支持与任务运维、监控告警功能打通，增强面向生产的运维监控能力。
+
+Web-IDE 中动态表的开发过程，是通过可视化的向导方式辅助用户编写创建动态表所需的必要内容。例如：动态表所在的schema、动态表名称、刷新周期、动态表查询逻辑等。开发动态表脚本完成后，执行任务"提交"时系统会根据脚本内容在目标位置创建动态表、动态表的刷新策略配置进行自动化调度，从而实现动态表任务的部署上线。
+
+* 第一步：新建动态表任务
+
+您可以在Studio的IDE开发环境中，通过新建任务的方式添加"动态表"类型的任务。
+
+![](.topwrite/assets/image_1722413586664.png)
+
+新建时，为任务指定名称并选择保存位置。
+
+![](.topwrite/assets/image_1722413608121.png =347)
+
+* 第二步：为动态表命名并编写动态表的SELECT查询语句
+
+首先，填写动态表在提交后将要保存的schema位置以及动态表名称
+
+![](.topwrite/assets/image_1722413623690.png)
+
+其次，在SQL代码区域编写和测试动态表的查询语句。
+
+在 SQL 代码区编写处理转换的 SELECT 语句，设置运行 SQL 的集群名称（当动态表部署运行时，将默认使用该集群运行刷新任务），同时可以通过运行按钮测试运行 SELECT 语句以确保处理逻辑的正确性。
+
+![](.topwrite/assets/image_1722413647339.png)
+
+最后，通过Explain按钮校验查询语句的语法正确性并保存动态表的模型定义
+
+点击按钮检查 SELECT 查询语法的正确性，检查字段名称及数据类型是否符合预期。确认正确后点击弹出窗口的"确定并继续"按钮，系统将保存动态表的定义并退出SQL代码编辑状态。
+
+![](.topwrite/assets/image_1722413661168.png)
+
+* 第三步：修改和调整动态表配置并提交部署
+
+在完成动态表SQL代码开发并退出SQL编辑模式后，您将看到包括动态表基本信息、运行参数、SQL代码、动态表字段、动态表分区及分桶相关的默认配置。
+
+![](.topwrite/assets/image_1722413674413.png)
+
+在动态表模型定义提交部署至 Lakehouse 数据环境前，您还需要根据业务需要检查并修改以下配置信息，以满足生产运行需求。以下是动态表支持调整和修改的配置项目，请根据需要进行配置。
+
+| 配置项     | 默认值           | 配置说明                                                                 | 示例                                            |
+| ------- | ------------- | -------------------------------------------------------------------- | --------------------------------------------- |
+| 动态表生命周期 | 永久            | 可选项。可指定动态表数据的生命周期。                                                  | ![](.topwrite/assets/image_1722413761168.png) |
+| 负责人     | 任务脚本创建者       | 可选项。可调整任务负责人。                                                        |                                               |
+| 动态表说明   | 无             | 可选项。添加动态表的注释信息。                                                      |                                               |
+| 运行集群    | IDE开发时指定的集群名称 | 可选项。可根据部署环境的集群规划，选择其他计算集群运行动态表刷新任务。                                  | ![](.topwrite/assets/image_1722413783296.png) |
+| 刷新方式    | 手动刷新          | 可选项。\*\*\*建议生产使用时，选择自动刷新的刷新方式。\*\*\*当前支持按分钟、小时、天间隔设置调度策略，最小调度间隔为1分钟。 | ![](.topwrite/assets/image_1722413797691.png) |
+| 参数配置    | 无             | 可选项。动态表运行的高级参数设置，仅在特定优化场景下需要使用（一般由平台方针对特定场景提供优化参数），默认无需设置。           | ![](.topwrite/assets/image_1722413810954.png) |
+| SQL代码   | 上次保存的代码内容     | 可选项。当您在保存后，希望对 SQL 代码进行调整时，可通过编辑方式修改并保存。                                | ![](.topwrite/assets/image_1722413830727.png) |
+| 编辑字段    | 无             | 在编辑字段时，您可以设置：\* 字段注释。为字段添加注释信息                                       |                                               |
+
+* 设置分区字段。添加特定字段为分区字段，支持普通分区字段、Transform分区
+
+* 设置动态表分桶字段和数量：添加特定字段为分桶字段，并设置分桶数量。开启分桶设置后，分桶数默认值为 256 个。
+
+* 设置排序字段。可指定1个或多个字段为排序字段，指定排序方法。 | ![](.topwrite/assets/image_1722413842446.png) |
+
+* 第四步：提交部署动态表模型到目标环境
+
+完成SQL开发和动态表配置后，您可以通过"DDL预览"查看动态表模型完整的DDL定义。
+
+![](.topwrite/assets/image_1722413857683.png)
+
+确认符合预期后，您可以点击动态表任务右侧的"提交"按钮，系统弹出与上次保存代码版本的对比：
+
+![](.topwrite/assets/image_1722413868003.png)
+
+确定提交后，您的模型开发内容最终将通过 DDL 命令在 Lakehouse 目标数据环境中执行，创建动态表数据对象。Lakehouse系统将自动根据动态表的刷新策略进行调度执行。

package/bin/skills/lakehouse-doc/references/dynamic_table_using_studio.md

@@ -0,0 +1,159 @@
+# 使用Studio开发监控动态表
+>**【预览发布】本功能当前处于受邀预览阶段。如需试用，请通过官网联系方式联系云器科技。**
+Lakehouse Studio 提供了集成化的数据开发、作业运行监控及异常告警通知的 Web 工作环境。使用Web-IDE可以进行动态表的模型开发并提交至目标环境运行；通过任务运维模块对动态表运行状态进行监控或根据需要进行启动或暂停操作；同时，您还可使用监控告警模块为动态表配置监控规则和报警通知，及时发现任务异常。
+
+## 使用Web-IDE开发并部署动态表
+
+Web-IDE 中动态表的开发过程，是通过可视化的向导方式辅助用户编写创建动态表的必要内容。例如：动态表所在的schema、动态表名称、刷新周期、动态表查询逻辑等。开发动态表脚本完成后，执行任务“提交”时，系统会根据脚本内容在目标位置创建动态表，并根据动态表的刷新策略配置进行自动化调度，从而实现动态表任务的部署上线。
+
+* 第一步：新建动态表任务
+
+您可以在Studio的IDE开发环境中，通过新建任务的方式添加"动态表"类型的任务。
+
+![](.topwrite/assets/image_1722413586664.png)
+
+新建时为任务代码指定任务名称并指定保存位置。
+
+![](.topwrite/assets/image_1722413608121.png =280)
+
+* 第二步：为动态表命名并编写动态表的SELECT查询语句
+
+首先，填写动态表在提交后将要保存的schema位置以及动态表名称
+
+![](.topwrite/assets/image_1722413623690.png)
+
+其次，在SQL代码区域编写和测试动态表的查询语句。
+
+在 SQL 代码区编写处理转换的 SELECT 语句，设置运行 SQL 的集群名称（当动态表部署运行时，将默认使用该集群运行刷新任务），同时可以通过运行按钮测试运行 SELECT 语句以确保处理逻辑的正确性。
+
+![](.topwrite/assets/image_1722413647339.png)
+
+最后，通过Explain按钮校验查询语句的语法正确性并保存动态表的模型定义
+
+点击按钮检查 SELECT 查询语法的正确性、检查字段名称及数据类型是否符合预期。确认正确后点击弹出窗口的"确定并继续"按钮，系统将保存动态表的定义并退出SQL代码编辑状态。
+
+![](.topwrite/assets/image_1722413661168.png)
+
+* 第三步：修改和调整动态表配置并提交部署
+
+在完成动态表SQL代码开发并退出SQL编辑模式后，您将看到包括动态表基本信息、运行参数、SQL代码、动态表字段、动态表分区及分桶相关的默认配置。
+
+![](.topwrite/assets/image_1722413674413.png)
+
+在动态表模型定义提交部署至Lakehouse数据环境前，您还需要根据业务需要检查并修改以下配置信息，以满足生产运行需要。以下是动态表支持调整和修改的配置项目，请根据需要进行配置。
+
+| 配置项     | 默认值           | 配置说明                                                                                                                                                        | 示例                                            |
+| ------- | ------------- | ----------------------------------------------------------------------------------------------------------------------------------------------------------- | --------------------------------------------- |
+| 动态表生命周期 | 永久            | 可选项。可选择指定动态表数据生命周期。                                                                                                                                         | ![](.topwrite/assets/image_1722413761168.png) |
+| 负责人     | 任务脚本创建者       | 可选项。可调任务整负责人。                                                                                                                                               |                                               |
+| 动态表说明   | 无             | 可选项。添加动态表的注释信息。                                                                                                                                             |                                               |
+| 运行集群    | IDE开发时指定的集群名称 | 可选项。可根据部署环境的集群规划，选择其他计算集群运行动态表刷新任务。                                                                                                                         | ![](.topwrite/assets/image_1722413783296.png) |
+| 刷新方式    | 手动刷新          | 可选项。\*\*\*建议生产使用时，选择自动刷新的刷新方式。\*\*\*当前支持按分钟、小时、天间隔设置调度策略，最小调度间隔为1分钟。                                                                                        | ![](.topwrite/assets/image_1722413797691.png) |
+| 参数配置    | 无             | 可选项。动态表运行的高级参数设置，仅在特定优化场景下需要使用（一般由平台方针对特定场景提供优化参数），默认无需设置。                                                                                                  | ![](.topwrite/assets/image_1722413810954.png) |
+| SQL代码   | 上次保存的代码内容     | 可选项。当您在保存后，希望对SQL代码进行调整时可通过编辑方式修改并保存。                                                                                                                       | ![](.topwrite/assets/image_1722413830727.png) |
+| 编辑字段    | 无             | 在编辑字段时，您可以设置：\* 字段注释。为字段添加注释信息 ,设置分区字段。添加特定字段为分区字段，支持普通分区字段、Transform分区,设置动态表分桶字段和数量。添加特定字段为分桶字段，并设置分工数量，开启分桶设置后，分桶数默认值为256个,设置排序字段。可指定1个或多个字段为排序字段，指定排序方法。 | ![](.topwrite/assets/image_1722413842446.png) |
+
+* 第四步：提交部署动态表模型到目标环境
+
+完成SQL开发和动态表配置后，您可以通过"DDL预览"查看动态表模型完整的DDL定义。
+
+![](.topwrite/assets/image_1722413857683.png)
+
+确认符合预期后，您可以点击动态表任务右侧的"提交"按钮，系统弹出与上次保存代码版本的对比：
+
+![](.topwrite/assets/image_1722413868003.png)
+
+确定提交后，您的模型开发内容最终将通过DDL命令在Lakehouse目标数据环境中执行、创建动态表数据对象。Lakehouse系统将自动根据动态表的刷新策略进行调度执行。
+
+## 监控动态表刷新及管理任务启停
+
+### 动态表监控列表
+
+通过Studio Web-IDE成功提交部署的动态表任务，可以通过"运维监控"下"任务运维"菜单中的"动态表"TAB页面查看动态表的运行情况。目前，**运维监控模块仅支持管理通过 Web-IDE 新建动态表节点创建的任务，不支持查看直接使用 SQL 命令手动创建的动态表（这部分对象您仍然可以通过 `SHOW DYNAMIC TABLE REFRESH HISTORY` 方式监控动态表刷新任务）**。
+
+以下是动态表运维监控列表页提供的信息。
+
+![](.topwrite/assets/image_1722416553405.png)
+
+**列表表头含义**
+
+* 任务名称：用户新建动态表节点时指定的任务名称
+* 动态表名：动态表的名称
+* 任务状态：动态表的调度状态。调度状态包含正常调度、已暂停和未设置调度
+* schema:动态表的schema
+* 操作按钮：支持对动态表暂停调度、手动刷新、和下线操作。特别注意的是下线操作意味着会删除动态表
+
+**筛选选项**
+
+* 支持通过任务名称搜索、根据调度状态过滤、根据动态表的 schema 进行过滤
+* 更多筛选框中支持根据负责人、动态表的创建时间过滤
+
+点击指定动态表任务名称，可以查看该动态表的上游依赖关系，帮助您更好地理解数据流和任务之间的相互影响。此外，您可以查看动态表的刷新历史记录，追踪任务的执行情况，了解是否进行了增量刷新。
+
+### 指定动态表任务执行详情
+
+#### 任务详情
+
+* 可以查看动态表的上游依赖关系。目前只能查看上游，无法查看下游。点击可以展开上游
+* 顶部编辑按钮，跳转到数据开发进行编辑
+* 顶部暂停按钮，暂停动态表的调度
+* 顶部手动刷新按钮，手动触发动态表执行刷新命令
+* 顶部下线按钮，下线操作意味着会删除动态表
+
+![](.topwrite/assets/image_1722416571859.png)
+
+#### 节点代码
+
+查看动态表的创建语句。
+
+![](.topwrite/assets/image_1722416583152.png)
+
+#### 操作日志
+
+记录动态表任务部署到下线生命周期内的操作审计事件。包括任务提交上线、暂停调度、恢复调度、手动刷新、下线等。
+
+![](.topwrite/assets/image_1722416592033.png)
+
+#### 刷新历史
+
+刷新历史提供了动态表刷新执行的实时历史记录，根据刷新历史您可以查看刷新任务执行的成功状态、关键的处理指标。
+
+**列表表头含义**
+
+* 开始时间：动态表每次执行刷新的开始时间
+* 刷新耗时：动态表刷新执行的时间
+* 作业状态：动态表的执行状态
+* 作业ID：动态表执行的任务ID，通过ID可以跳转到作业详情。查看动态表的执行计划
+* 增加的条数：增量刷新新增的数据条数。
+* 删除的条数：例如，当基表中数据被删除时，在增量刷新中反映的删除数据条数。
+* 依赖的表：动态表刷新时依赖了的表
+
+**筛选选项**
+
+* 支持根据作业ID搜索
+* 支持耗时、作业状态、执行时间和集群进行过滤
+
+![](.topwrite/assets/image_1722416609512.png)
+
+# 监控告警
+
+**监控告警仅支持监控通过新建动态表节点创建的任务，无法查看通过普通 SQL 脚本或 SQL 命令行提交的动态表**。
+
+* 支持动态表刷新超时告警，通过配置运行耗时监控动态表的刷新超时
+
+  * 工作空间：对整个工作空间中通过**动态表节点创建**且已经提交的任务进行监控。
+* 任务名称：对动态表单个节点进行监控。
+* 负责人：对负责人是该负责人的动态表进行监控。
+
+* 支持动态表刷新失败告警
+
+  * 会在指定时间检查动态表刷新失败次数，如果达到阈值则会触发报警
+
+![](.topwrite/assets/image_1722416626731.png)
+
+# Studio动态表任务与动态表对象的关系
+Studio在开发模块提供了名为"动态表"的任务类型，借助该任务类型提供对动态表任务的开发、运维及监控告警功能支持。在"开发"模块提交动态表任务时，系统将根据代码定义同步创建Lakehouse动态表对象，在"运维"模块下线动态表任务时，系统将自动删除Lakehouse动态表对象。
+注意：在 Studio 开发模块使用动态表任务创建动态表时，系统会检查目标位置是否已经存在 Lakehouse 动态表对象，并提示同名对象存在导致无法创建。此时可修改新建动态表任务名称或在手工删除先前存在的Lakehouse动态表对象后再创建Studio动态表任务。
+
+# 约束与限制
+Studio监控告警模块不支持对直接使用CREATE DYNAMIC TABLE语句创建的动态表进行告警配置。如需使用Studio监控告警对动态表创建告警规则，请通过Web IDE开发模块使用"动态表"任务创建并提交。