@clickzetta/cz-cli-darwin-x64 0.3.1

package/bin/skills/lakehouse-doc/references/structure_data_analysis.md

@@ -0,0 +1,229 @@
+# VOLUME中的结构化、半结构化数据分析
+
+### 语法：
+
+```
+SELECT { <column_name>,... | * } 
+FROM [ VOLUME <volume_name> | TABLE VOLUME <table_name> | USER VOLUME ]
+    [ ( <column_name> <column_type>, <column_name> <column_type> ... ) ]
+USING CSV|PARQUET|ORC|JSON|BSON
+OPTIONS(
+  FileFormatParams
+) 
+FILES|SUBDIRECTORY|REGEXP <pattern>;
+```
+
+### 参数说明：
+
+`<column_name> <column_type> `：可选，lakehouse支持自动识别文件内的表结构信息。推荐不用填写，当指定文件中包含的列名和文件中类型需与文件中预定义的列类型相匹配，
+
+* 自动识别文件schema对于csv文件则会则会自动生成字段，字段编号以 f0 开始,目前自动识别的类型为int、double、string、bool
+* 对于 parquet、orc 格式将会根据文件中存储的字段名和类型自动识别。如果指定的文件中列的个数不一致。Lakehouse 会尝试合并，无法合并则会报错
+
+`USING CSV`：
+
+* `sep`：列分隔符，默认为 `”,“`。最多支持长度为 1 的字符，例如：`'sep'=','`
+* `compression`：配置文件压缩格式。支持的压缩格式有：`gzip/zstd/zlib`。例如：`'compression'='gzip'`
+* `lineSep`：行分隔符，默认值为`"\n"`。最多支持长度为 2 的字符，例如：`'lineSep'='$'`
+* `quote`：设置用于转义引号值的单个字符。默认值为双引号`“"“`，例如：`'quote'='"'`
+* `header`：是否解析表头，默认为 `false`。布尔类型，例如：`'header'='true'`
+* `timeZone`：配置时区，没有默认值。用于指定文件中时间格式的时区。例如：`'timeZone' = 'Asia/Shanghai'`
+* `escape`：用于转义已加引号的值中的引号，默认值为”\“，例如：`'escape'='\'`
+* `multiLine`：是否启用多行字段解析，默认为 `false`。布尔类型。当设置为 true 时，解析器会正确处理被引号包围的字段中的换行符，将其作为字段内容的一部分而非行分隔符。这对于包含 JSON 格式数据、长文本描述、向量数据等可能跨行的字段特别重要。即使字段实际不包含换行符，启用此选项也能提供更健壮的解析，特别是处理包含大量特殊字符（如逗号、引号）的复杂字符串时。例如：`'multiLine'='true'`
+
+`USING Parquet | ORC | JSON | BSON`：
+
+* 无
+
+`FILES`：指定文件。例如：`files('part-00002.snappy.parquet','part-00003.snappy.parquet')`
+
+`SUBDIRECTORY`：指定子路径。例如：`subdirectory 'month=02' `
+
+`REGEXP <pattern>`：支持使用正则表达式匹配文件。需要注意的是，正则表达式匹配的目标是文件的**完整的对象存储路径**（如 's3://cz-udf-user/volume-data/1234321.csv.gz'），而不是以文件在 Volume 对象的相对路径。
+
+![](.topwrite/assets/20250124-160418.jpeg)
+
+匹配规则：
+
+* `.` - 匹配任意单个字符，不包括换行符
+* `*` - 匹配前面的元素零次或多次，经常与`.` 配合使用，如 `.* `组合表示匹配任意字符任意次数
+* `+` - 匹配前面的元素一次或多次，经常与`.` 配合使用，如 `.+ `表示匹配任意字符一次或多次
+* `?` - 匹配前面的元素零次或一次
+* `[abc]` : 匹配 a、b 或 c 中的任意一个字符
+* `[^abc]` : 匹配除了 a、b、c 之外的任意字符
+* `[a-z]` : 匹配小写字母 a 到 z
+* `[A-Z]` : 匹配大写字母 A 到 Z
+* `[0-9]` : 匹配数字 0 到 9
+
+例如：
+
+1. `REGEXP '.*.parquet'` 匹配以 `parquet` 后缀的文件
+2. `REGEXP '.*yellow_tripdata_202[0-4]-0[23].parquet' ` 匹配包含 `yellow_tripdata_` ，年份为 `2020` 到 `2024`，月份为 `02` 或 `03`，并且以 `.parquet` 结尾的文件名
+
+## 示例：
+
+### **查询 CSV 格式文件**：
+
+#### 数据准备：
+
+创建 volume 对象：`hz_csv_volume`，绑定阿里云 OSS 路径：`oss://hz-datalake/csv_files/`，该路径下的文件结构为巴西电商数据集的 CSV 文件：
+
+```
+-------------oss://hz-datalake/csv_files/ 的对象存储目录结构 ------------------
+-- brazil-ecommerce/olist_customers_dataset.csv
+-- brazil-ecommerce/olist_geolocation_dataset.csv
+-- brazil-ecommerce/olist_order_items_dataset.csv
+-- brazil-ecommerce/olist_order_payments_dataset.csv
+-- brazil-ecommerce/olist_order_reviews_dataset.csv
+-- brazil-ecommerce/olist_orders_dataset.csv
+-- brazil-ecommerce/olist_products_dataset.csv
+-- brazil-ecommerce/olist_sellers_dataset.csv
+-- brazil-ecommerce/product_category_name_translation.csv
+```
+
+#### 查询示例：
+
+```
+-- 查询文件：olist_customers_dataset.csv
+SELECT * FROM VOLUME hz_csv_volume 
+USING CSV 
+OPTIONS(
+  'header'='true',
+  'sep'=','
+) 
+FILES('brazil-ecommerce/olist_customers_dataset.csv');
+
+-- 查询文件 olist_geolocation_dataset.csv
+SELECT * FROM VOLUME hz_csv_volume USING csv 
+OPTIONS(
+    'header'='true',
+    'sep'=','
+ ) 
+FILES('brazil-ecommerce/olist_geolocation_dataset.csv');
+```
+
+如果文件的字段中包含向量字段，因为它的特殊格式，建议使用参数 `'multiLine'='true'`，否则可能会遇到报错。
+
+```
+SELECT * FROM USER volume
+USING csv
+OPTIONS(
+    'header'='true',
+    'sep'=',',
+    'multiLine'='true'
+)
+FILES('cz_knowledge.csv');
+```
+
+#### 数据导入到 Lakehouse 中：
+
+您可以通过 create table as select 方式将数据导入到云器 Lakehouse 内表：
+
+```
+CREATE TABLE olist_customers_dataset as
+SELECT * FROM VOLUME hz_csv_volume
+USING CSV
+OPTIONS(
+    'header'='true',
+    'sep'=','
+ ) 
+FILES('brazil-ecommerce/olist_customers_dataset.csv');
+```
+
+### **查询 Parquet 格式文件**：
+
+#### 数据准备：
+
+创建 volume 对象：`hz_parquet_volume`，绑定阿里云 OSS 路径：`oss://hz-datalake/yellowtrip-partitioned/`，该路径下的文件结构为纽约出租车数据集以及其它的一些零散的 parquet 格式文件，目的是展示如何利用 `FILES | SUBDIRECTORY | REGEXP `这几种文件匹配的选项查询目标数据文件。文件的组织形式为：
+
+```
+--------- oss://hz-datalake/yellowtrip-partitioned/ 的对象存储目录结构 ----
+-- month=01/yellow_tripdata_2023-01.parquet
+-- month=02/yellow_tripdata_2023-02.parquet
+-- month=03/yellow_tripdata_2023-03.parquet
+-- month=04/yellow_tripdata_2023-04.parquet
+-- month=05/yellow_tripdata_2023-05.parquet
+-- part-00000-d87581e8-afdb-49ba-abd4-d8f9f5a37a6e-c000.snappy.parquet
+-- part-00002-d87581e8-afdb-49ba-abd4-d8f9f5a37a6e-c000.snappy.parquet
+-- part-00005-d87581e8-afdb-49ba-abd4-d8f9f5a37a6e-c000.snappy.parquet
+-- part-00007-d87581e8-afdb-49ba-abd4-d8f9f5a37a6e-c000.snappy.parquet
+```
+
+#### 查询示例：
+
+查询1：查询 month 分区1-5的 parquet 文件
+
+```
+SELECT * FROM VOLUME hz_parquet_volume 
+USING parquet 
+REGEXP '.*month=0[1-5].*.parquet' ;
+```
+
+查询2：查询以 part- 开头的 parquet 后缀的文件，其中包含复杂类型：
+
+```
+SELECT * FROM VOLUME hz_parquet_volume 
+USING parquet 
+REGEXP '.*part-.*.parquet';
+```
+
+查询3：用files 参数包含具体文件，复杂类型查询：
+
+```
+SELECT id, array_col[0],map_col['Key2'],struct_col.field2, FROM volume hz_parquet_volume( 
+    id INT,
+    string_col STRING,
+    int_col INT,
+    float_col FLOAT,
+    boolean_col BOOLEAN,
+    date_col STRING,
+    timestamp_col STRING,
+    array_col ARRAY<STRING>,
+    struct_col STRUCT<field1: STRING, field2: INT>,
+    map_col MAP<STRING, INT>
+  ) USING parquet files(
+    'part-00002-d87581e8-afdb-49ba-abd4-d8f9f5a37a6e-c000.snappy.parquet',
+    'part-00005-d87581e8-afdb-49ba-abd4-d8f9f5a37a6e-c000.snappy.parquet'
+);
+```
+
+### **查询 ORC 格式文件**：
+
+#### 数据准备：
+
+创建 volume 对象：`hz_orc_volume`，绑定阿里云 OSS 路径：`oss://hz-datalake/orcfiles/`，该路径下的文件结构为:
+
+```
+--------- oss://hz-datalake/orcfiles/ 的对象存储目录结构 ----------
+-- t_search_log/dt=20230401/hours=06/part-00000-7342ed8826c5.c000
+-- t_search_log/dt=20230401/hours=07/part-00002-7342ed8826c5.c000
+```
+
+#### 查询示例：
+
+```
+SELECT * FROM volume hz_orc_volume (
+    dpt_city_code STRING,
+    dpt_city_name STRING,
+    month_year STRING
+  ) USING orc subdirectory 't_search_log/dt=20230401/hours=06/'
+limit 10;
+```
+
+### **查询 JSON 格式文件**：
+
+```
+SELECT * FROM USER VOLUMEUSING json FILES('lake_demo/products_json/part00001.json')LIMIT 5;
+```
+
+### **查询 BSON 格式文件**：
+
+```SQL
+--Query bson files
+SELECT * FROM VOLUME my_external_vol
+(name string, age bigint, city string, interests array<string>)
+using bson
+FILES( 'data.bson');
+```
+
+^

package/bin/skills/lakehouse-doc/references/studio_manual.md

@@ -0,0 +1 @@
+^

package/bin/skills/lakehouse-doc/references/studio_overview.md

@@ -0,0 +1,71 @@
+# Studio: Lakehouse 开发和管理工具
+
+Lakehouse Studio 是一个以 Web 方式提供的集成开发和管理工具集合，是 Lakehouse 原生提供的图形化操作界面，旨在为用户提供丰富的一站式功能和直观便捷的操作体验。通过浏览器登录并进入 Lakehouse Studio 后，可以在界面上轻松地操作和使用各项产品功能，比如上传、导入或同步数据，开发 SQL 任务，调度运行，配置监控告警，进行运维操作，管理用户和权限等。相较于基于 JDBC 协议连接和使用 CLI 命令行工具访问，Lakehouse Studio 提供了更为丰富的原生功能，并且更加方便易用。
+
+> 建议使用最新正式版的 Google Chrome 浏览器来操作 Lakehouse Studio。其他浏览器未经过与 Chrome 相同程度的广泛适配和兼容性测试，可能会出现一些影响页面展示等问题。
+
+## 主要功能
+
+Studio 为用户提供了以下主要功能：
+
+### 数据同步
+
+用户可以通过可视化界面配置数据源，实现数据的自动同步和集成。
+![数据同步概览](.topwrite/assets/image_1690121201463.png)
+
+***
+
+### 任务开发和调度
+
+用户可以在 IDE 中编写、调试和调度数据处理任务，实现数据处理流程的自动化。
+![](.topwrite/assets/image_1689928936054.png)
+
+***
+
+### 任务运维
+
+用户可以对任务进行启动、停止、暂停、恢复等运维操作，确保数据处理流程的稳定运行。
+![](.topwrite/assets/image_1690172910920.png)
+
+***
+
+### 任务监控和告警
+
+用户可以实时查看任务的运行状态，并通过设置告警规则来接收异常情况的实时通知。
+![监控规则列表](.topwrite/assets/226957dd01/8d11a86d9d484c752427e010555ea2d1efbf0b50.png)
+
+***
+
+### 数据质量管理
+
+用户可以对数据进行质量评估、清洗和修复，确保数据的准确性和一致性。
+![](.topwrite/assets/image_1699875583952.png)
+
+***
+
+### 数据目录管理
+
+用户可以对数据进行分类和标签化管理，方便数据的检索和使用。
+![](.topwrite/assets/image_1735621808188.png)
+
+***
+
+### 安全管理
+
+用户可以配置访问权限、审计日志等，确保数据和任务的安全性。
+
+***
+
+### 计算集群和作业管理
+
+用户可以管理和监控计算集群资源，优化作业的执行效率。
+![](.topwrite/assets/image_1726038487451.png)
+
+***
+
+### 工作空间管理
+
+用户可以创建和管理多个工作空间，实现项目和团队间的隔离与协作。
+![](.topwrite/assets/image_1726038537263.png)
+
+---

package/bin/skills/lakehouse-doc/references/synonym.md

@@ -0,0 +1,139 @@
+# 同义词
+## 概述
+
+同义词（synonym）是一个数据库对象，类似于给对象起一个别名，具有以下用途：
+
+* 当您需要在schema02中查询schema01的表t，但又不希望复制数据时，可以在schema02中为表t创建一个同义词sy\_t。这样，您就可以直接在schema02中查询sy\_t，而数据将实时与schema01中的表t保持一致。这是一种高效的数据管理策略，既保证了数据的一致性，又避免了不必要的数据重复。
+* 提供一个抽象层，保护客户端应用程序免受对基础对象的名称或位置所做的更改的影响。
+
+同义词属于 schema，与 schema 中的其他对象一样，同义词的名称必须在同一 schema 下唯一。支持为以下对象创建同义词：table、table stream、dynamic table、materialized view、volume、function。
+
+
+## 操作管理
+### 创建
+
+```SQL
+CREATE  [TABLE|VOLUME|FUNCITON] SYNONYM [schema_name.] synonym_name FOR object COMMENT''
+object ::=
+workspace_name.schema_name.object_name|schema_name.object_name｜object_name
+```
+
+* TABLE|VOLUME|FUNCTION：表示同义词对象类型。
+
+  * **TABLE**：这是默认选项。用于为 table、table stream、materialized view、dynamic table 命名同义词。在这些情况下，“table”关键字是可选的。
+  * **VOLUME**：为 volume 命名同义词时，必须明确指定此关键字。如果省略，系统将默认寻找同名的表格对象。
+  * **FUNCTION**：为 function 命名同义词时，此关键字是必填项。如果未指定，系统会默认寻找同名的 table 对象。
+
+* synonym\_name:同义词名称，遵循元数据规范
+
+* object：指定基对象的名称，支持workspace\_name.schema\_name\_2.object\_name、schema\_name\_2.name格式如果省略schema则使用当前schema中的对象
+
+
+### 删除
+
+```SQL
+DROP [TABLE|VOLUME|FUNCITON] SYNONYM [ IF EXISTS ] [ schema. ] synonym_name
+```
+
+* TABLE|VOLUME|FUNCTION：表示同义词的对象类型。
+
+  * **TABLE**：这是默认选项。用于为 table、table stream、materialized view、dynamic table 命名同义词。在这些情况下，“table”关键字是可选的。
+  * **VOLUME**：为 volume 命名同义词时，必须明确指定此关键字。如果省略，系统将默认寻找同名的表格对象。
+  * **FUNCTION**：为 function 命名同义词时，此关键字是必填项。如果未指定，系统会默认寻找同名的 table 对象。
+
+* if exists：可选。仅当同义词存在时，才有条件地删除该同义词。
+
+* schema：可选，指定同义词所在的 schema。如果未指定 schema，则使用当前会话的默认 schema。
+
+### 权限
+
+创建同义词需要 `CREATE SYNONYM` 权限。
+
+```SQL
+grant create synonym  on schema  scname to user uat_test_01;
+```
+
+删除同义词需要 `DROP` 权限。
+
+```SQL
+grant drop synonym on all synonyms in schema <schemaname> to user uat_test_01;
+grant create synonym  on schema  scname to user uat_test_01;
+```
+
+### 同义词查询权限
+
+同义词的权限与基对象的权限相同。授予对同义词的权限等同于授予对应基对象的权限。同样，授予对基对象的权限等同于授予对该对象的所有同义词的权限。如果向用户授予对同义词的权限，则该用户可以在行使该权限的 SQL 语句中使用同义词名称或基对象名称。
+
+### 列出同义词
+
+```SQL
+SHOW SYNONYMS [IN {SCHEMA scname | WORKSPACE wbname}] [WHRERE <expr>]
+```
+
+## 使用示例
+
+为 table 创建同义词
+
+```SQL
+--创建表
+CREATE TABLE `public`.students(
+  `name` string,
+  `class` string);
+--给表创建同义词
+CREATE SYNONYM students_sy for `public`.students;
+--查询同义词
+select * from students_sy;
+--删除同义词
+drop synonym students_sy;
+```
+
+为 table stream 创建同义词，其语法与为 table 创建同义词相同。
+
+```SQL
+create  synonym students_stream_synonym for public.students_stream;
+--删除同义词
+drop synonym students_stream_synonym;
+```
+
+为 dynamic table 创建同义词，其语法与为 table 创建同义词相同。
+
+```SQL
+create  synonym event_group_minute_sy for public.event_group_minute;
+--删除同义词
+drop synonym event_group_minute_sy;
+```
+
+为 materialized view 创建同义词，其语法与为 table 创建同义词相同。
+
+```SQL
+create SYNONYM event_group_mv_sy for event_group_mv;
+--删除同义词
+drop synonym event_group_mv_sy;
+```
+
+为 volume 创建同义词，其中 VOLUME 为必选关键字。如果不指定，则系统会默认寻找同名的表格对象。
+
+```SQL
+create volume synonym hz_csv_volume_sy for public.hz_csv_volume;
+--删除同义词
+drop volume synonym hz_csv_volume_sy;
+```
+
+为 function 创建同义词，其中 FUNCTION 为必选关键字。如果不指定，则系统会默认寻找同名的 table 对象。
+
+```SQL
+create function synonym s_swu_udf_upper_aliyun_java_upper for public.swu_udf_upper_aliyun_java_upper;
+--删除同义词
+drop function synonym s_swu_udf_upper_aliyun_java_upper;
+```
+
+## 获取同义词
+
+```SQL
+show synonyms in  public where synonym_name='students_sy';
++--------------+-------------------------+-------------+-----------------------+
+| synonym_name |       create_time       | target_type |       target_name     |
++--------------+-------------------------+-------------+-----------------------+
+| students_sy  | 2024-06-14 10:21:00.504 | TABLE       | ql_ws.`public`.studen |
++--------------+-------------------------+-------------+-----------------------+
+```

package/bin/skills/lakehouse-doc/references/table-stream-title.md

@@ -0,0 +1 @@
+^

package/bin/skills/lakehouse-doc/references/table-stream.md

@@ -0,0 +1 @@
+^

package/bin/skills/lakehouse-doc/references/table-summary.md

@@ -0,0 +1 @@
+表是数据存储的单元，逻辑结构为列和行的集合，每行代表一条记录，每列表示相同数据类型的一个字段，一条记录可以包含一个或多个列。

package/bin/skills/lakehouse-doc/references/table_funciotn.md

@@ -0,0 +1 @@
+^

package/bin/skills/lakehouse-doc/references/table_stream.md

@@ -0,0 +1,118 @@
+## Table Stream 变化数据捕获
+
+Table Stream 是云器 Lakehouse 的一种功能，用于捕获表对象的变化数据。通过定义 Table Stream 对象，您可以基于现有表来记录和追踪数据的变化。该对象利用 Lakehouse Table 的多历史版本功能，在创建时会记录源表的指定版本（或最新版本）作为初始读取位置。当您使用 SQL 查询 Table Stream 时，它将返回从初始位点到当前最新版本的所有变化记录。
+
+以下是 Table Stream 的工作原理示意图：
+
+![Table Stream工作原理](.topwrite/assets/image_1699855189257.png)
+
+Table Stream 不会存储实际数据，仅记录和维护源表的数据版本位点。仅当使用 INSERT、DELETE、UPDATE、MERGE 等 DML 语句操作 Table Stream 时，其位点才会更新至最新的数据版本。
+
+### 应用场景
+
+1. **SQL ETL 任务**：使用 Table Stream 可以简化增量数据的识别，提高 ETL 任务的处理效率。传统 ETL 任务需要通过分区过滤或 WHERE 条件过滤增量数据，这在实时化场景下可能会产生额外的系统压力和资源消耗。Table Stream 基于数据版本识别变化数据，无需额外操作和计算即可捕获增量数据，从而提高 ETL 作业的效率，节省计算开销。
+2. **实时数据提供**：类似于数据库的CDC（变更数据捕获），Lakehouse数据平台的Table Stream可以捕获变化数据，并将这些数据以明细记录的形式持续同步给下游系统。
+
+## Table Stream类型
+
+Table Stream 有两种类型：
+
+1. **STANDARD 类型**：跟踪源对象的所有 DML 变化，包括插入、更新和删除（包括表截断）。这种类型提供行级别的变化，通过连接加工所有变化的 delta 数据来提供行级别增量。Table Stream 中的 delta 变化指的是在两个事务时间点之间发生的数据变化。例如，如果在 Table Stream 的 offset 之后，有一行被插入，然后被更新，那么 delta 变化就是一个新的行。如果在 Table Stream 的 offset 之后，有一行被插入，然后被删除，那么 delta 变化就是没有这一行。换句话说，delta 变化会反映源对象的最新状态，而不是历史变化。
+2. **APPEND_ONLY 类型**：仅记录对象的 INSERT 操作的数据。update 和 delete 操作不会记录。例如，最初在表中插入了 10 行，然后在点位没有移动的时候执行 delete 操作删除 5 行，Table Stream 仍然记录 10 行操作。
+
+## 使用Table Stream
+
+### 创建Table Stream
+
+您可以使用 `CREATE TABLE STREAM` 命令来创建 Table Stream。以下是一个示例：
+
+```SQL
+-- 创建测试表
+CREATE TABLE data_change_test (id INT, name STRING);
+INSERT INTO data_change_test VALUES (1, 'apple');
+ALTER TABLE data_change_test SET PROPERTIES ('change_tracking' = 'true');
+-- 在data_change_test上创建table stream，获取从当前时间开始插入的增量记录
+CREATE TABLE STREAM data_change_test_stream ON TABLE data_change_test
+WITH PROPERTIES('TABLE_STREAM_MODE' = 'APPEND_ONLY');
+
+-- 插入测试数据
+INSERT INTO data_change_test VALUES (2, 'banana');
+SELECT * FROM data_change_test; -- 可以查到两条记录
+SELECT * FROM data_change_test_stream; -- 查看stream可以查到一条记录，因为创建stream时指定的时间在id为1的记录之后
+-- 使用dml语句消费记录
+CREATE TABLE data_change_test_offset (id INT, name STRING);
+INSERT INTO data_change_test_offset SELECT id, name FROM data_change_test_stream; -- 写入到表中
+SELECT id, name FROM data_change_test_stream; -- 查询stream数据已经被消费
+```
+
+### 删除Table Stream
+
+您可以使用 `DROP TABLE STREAM` 命令来删除 Table Stream。以下是一个示例：
+
+```SQL
+DROP TABLE STREAM IF EXISTS data_change_test_stream;
+```
+
+### Table Stream 捕获数据变化的时效性
+
+Table Stream 根据对象的元数据修改提交时间来感知变化数据。具体时效性如下：
+
+- **DML 方式修改数据**：在 DML 任务成功结束后，变化数据即可在 Table Stream 对象中可见。
+- **批量导入（Bulkload）**：在批量导入任务成功结束后，变化数据即可在 Table Stream 对象中可见。
+- **流式导入**：通过 Ingestion Service 流式 API 写入数据，默认 1 分钟提交变化，变化数据即可在 Table Stream 对象中可见。注：对于流式写入的目标表本身进行 SQL 查询时是实时可见的，这里仅约束了基于该目标表的 Table Stream 可见性的时效。
+## 动态表与 Table Stream 的关系详解
+
+在云器 Lakehouse 中，动态表（Dynamic Table）与 Table Stream 是两种相互关联且至关重要的功能，均聚焦于增量数据处理领域，但它们在具体用途及工作模式上存在显著差异。
+
+### 一、动态表的定义与特点
+
+动态表是云器 Lakehouse 特有的数据对象，具备以下关键特性：
+
+* **增量计算能力**：能精准处理增量变化数据，拥有高效的增量刷新优化机制。
+* **自动化处理**：用户仅需定义业务逻辑，无需明确指定增量处理细节（例如按分区对齐或使用最大时间戳等），系统将自动完成增量计算优化工作。
+* **定期刷新**：支持设置刷新间隔，依据预设时间周期，从基表（Base Table）获取增量数据并执行计算任务。
+* **工作原理**：以“基于历史 T0 时刻已算结果，融合 T0 至 T1 时刻增量计算，同时为 T2 及后续时刻计算做铺垫”的增量形态开展计算。
+
+### 二、Table Stream 的定义与特点
+
+TABLE STREAM 专注于捕获表的数据变化，特点如下：
+
+* **变化数据捕获**：类似于数据库的 CDC（Change Data Capture）功能，全面记录表的 DML 更改操作，涵盖插入、更新与删除行为。
+* **版本跟踪**：借助 Lakehouse Table 的多历史版本特性，可指定记录源表的特定版本（或最新版本）作为初始读取起点。
+* **两种模式**：STANDARD 模式追踪所有 DML 变化；APPEND_ONLY 模式仅记录 INSERT 操作数据。
+* **位点更新**：仅记录和维护源表数据版本位点，不存储实际数据，执行 DML 语句操作 Stream 时同步更新位点信息。
+
+### 三、两者的关系与区别
+
+#### （一）功能层次
+
+* Table Stream 属于底层机制，核心任务是捕获表的变化数据。
+* 动态表则是建立在 Table Stream 之类的底层功能之上的高级特性，侧重于利用增量计算实现数据转换与加工。
+
+#### （二）数据处理方式
+
+* TABLE STREAM 仅聚焦于变化数据的捕获，不涉及数据计算环节。
+* 动态表会对捕获到的增量数据执行计算与转换操作，生成具有业务价值的结果。
+
+#### （三）支持关系
+
+* 动态表可借助 Table Stream 机制达成增量计算目标。
+* 在云器 Lakehouse 体系中，允许在动态表基础上创建 Table Stream，由此构建起复杂且高效的增量数据处理链路。
+
+#### （四）应用场景
+
+* **Table Stream**：适用于单纯的变化数据捕获场景以及实时数据同步任务，例如在需要快速感知源表数据变动并实时传递至其他系统的场景中发挥关键作用。
+* **动态表**：适用于对增量数据进行深度加工与转换的业务场景，比如在数据仓库中对每日新增订单数据进行多维度聚合计算，生成报表所需指标数据。
+
+#### （五）底层实现
+
+两者均依托于云器 Lakehouse 的 MetaService（元数据服务），该服务负责记录每张表的历史数据版本信息，为动态表和 Table Stream 的正常运行提供基础支撑。
+
+### 四、实际应用示例
+
+在实际业务场景中，动态表与 Table Stream 经常协同工作，形成完整且强大的增量数据处理方案：
+
+* **ETL 数据处理链**：先在源表创建 Table Stream 捕获变化数据，随后利用动态表对这些变化数据执行转换与聚合操作，最终将处理后的结果准确写入目标表。
+* **多级增量计算**：搭建一系列动态表，让每个动态表依次处理前一个表产生的增量数据，构建起高效的增量数据处理流水线，实现数据的逐级加工与提炼。
+* **实时数据分析**：借助 Table Stream 实时捕获业务系统数据变动，再通过动态表开展实时分析与计算，为业务决策层及时提供准确且具时效性的数据洞察，助力企业敏捷决策。
+