@clickzetta/cz-cli-darwin-arm64 0.3.75 → 0.3.78

package/bin/skills/lakehouse-doc/references/working_with_Vclusters.md

@@ -1,171 +0,0 @@
-# 使用Lakehouse计算集群
-
-## 一、概述：为什么需要“计算集群”？
-
-在云器Lakehouse中，无论是执行离线/实时数据集成，进行复杂的ETL任务，还是进行实时/离线的交互式查询，都需要使用Lakehouse提供的计算集群（Virtual Cluster，简称Vcluster）。计算集群支持：
-
-* **按需启动与停止**：无查询或作业时可自动停止，避免资源闲置带来的成本浪费；有新作业或查询到来时可自动启动，保障及时处理。
-* **灵活规格选择**：可根据作业负载和并发度，快速“垂直扩容”或“水平扩展”。
-* **多种使用方式**：可通过Web界面或SQL DDL命令方式完成集群创建、启动、停止、调整大小、权限管理等操作。
-
-这份文档将结合**Lakehouse计算集群**的特性与操作方法，结合实际应用场景给出一些应用示例和最佳实践。
-
-## 二、核心概念与主要功能
-
-### 1. 集群名称
-
-每个云器计算集群都有唯一名称，在其所在的工作空间下不可重复。计算集群一旦创建，名称不可更改。
-
-### 2. 规格
-
-在Lakehouse中，规格以 “CRU（Compute Resource Unit）”为单位，如（1CRU，2CRU，4CRU...直至256CRU）。根据需求可选择**通用型/分析型/同步型**集群，并配置对应的集群大小。
-
-**注意**：更大规格的集群意味着更高的负载能力和查询性能，同时也会产生更高的成本。可根据业务负载和成本预期，在使用过程中调整、优化集群规格。
-
-### 3. 集群类型
-
-Lakehouse计算集群分为通用型（General Purpose 简称：GP）、分析型（Analytics Purpose，简称AP）和同步型（Integration Purpose，简称：Integration）。
-
-* 通用型（GP）：适合离线作业或综合场景，同一计算集群中的作业资源共享、公平调度。可自动弹缩规格大小（纵向扩缩容）。
-* 分析型（AP）：适合ad-hoc和高并发在线作业场景，同一计算集群中的作业独占资源，根据作业先后排队执行。可根据并发负载自动弹缩副本数（横向扩缩容）。
-* 同步型（Integration）：适合实时/离线数据集成等同步任务，多个集成任务可共用一个实例，可根据负载自动弹缩规格大小（纵向扩缩容）。
-
-### 4. 自动启动 & 自动停止
-
-**自动启动**：当有新的查询作业提交到集群时，若集群处于“停止运行（suspended）”状态，则自动启动以执行任务。
-
-**自动停止**：在集群配置的自动停止时间内无作业/查询任务后，集群自动停止并释放计算资源，不再产生计费。
-
-### 5. 多实例弹缩
-
-Lakehouse的分析型计算集群可设定“实例最小值”和“实例最大值”，在并发请求高时自动加实例，并发请求下降后自动回收实例，满足查询业务需求的同时，节省资源成本。
-
-### 6. 计费方式
-
-按照计算集群的实际运行时间计费，精确到秒，最小计费周期1分钟。通过合理设置计算集群规格以及自动停止、自动启动等策略，可有效节省计算成本。
-
-## 三、常见使用场景与使用示例
-
-### 场景 1：离线ETL作业负载
-
-**需求**：每天或每小时执行数据清洗/转换，数据规模较大，耗时几十分钟到数小时，但在作业空闲期不希望一直空耗计算集群成本。
-**解决方案**：
-
-1\. 创建通用型计算集群
-
-在需要执行ETL作业的工作空间内，创建一个通用型计算集群。根据数据量和作业完成预期配置集群规格大小，可参考[计算集群](virtual-cluster.md)中的下表进行估算和配置：
-
-| 业务场景    | 负载类型    | 执行频率 | 作业并发 | 处理数据规模 | VCluster类型 | 作业时延SLA | VCluster 规格 |
-| ------- | ------- | ---- | ---- | ------ | ---------- | ------- | ----------- |
-| ETL调度作业 | 近实时离线处理 | 小时   | 1    | 1   TB | 通用型        | 15 分钟   | 4           |
-| ETL调度作业 | T+1离线处理 | 天    | 1    | 10 TB  | 通用型        | 4 小时    | 8           |
-
-假设需要处理的数据为10TB，预期4小时内需要完成。则需要创建一个规格为8 CRU的通用型计算集群。
-
-2\. 配置自动停止时间设置为1分钟，确保作业结束后能及时释放资源。
-
-3\. 开启“自动启动”配置，当每次ETL调度任务启动时，能够自动拉起该计算集群。
-
-:-: ![](.topwrite/assets/image_1739274962311.png =514)
-
-4\. 在ETL任务（ETL\_task\_demo）的调度配置中，将任务执行的计算集群配置为上一步设置的ETL集群。更多调度配置的操作可参考[任务开发与调度](taskdevelop.md)文档中的相关内容。
-
-:-: ![](.topwrite/assets/image_1739276187369.png =791)
-
-***
-
-**效果**：
-
-1\. 当ETL任务（ETL\_task\_demo）开始执行时，通用型计算集群ETL 会自动启动。
-
-2\. 当ETL任务（ETL\_task\_demo）执行结束后，通用型计算集群ETL会在空闲1分钟后自动关闭。
-
-^
-
-### 场景 2：在线报表+实时查询
-
-**需求**：每天工作时段，多个业务人员/分析师同时开始通过APP或BI进行业务查询，要求查询结果返回的延迟低、等待队列短。且为了提高资源使用效率，希望计算集群的资源消耗能够随着业务人员使用的规模动态弹缩，在无业务时能够自动关闭集群，节省成本。
-**解决方案**：
-
-1\. 创建分析型计算集群，并设置：
-
-实例规格为**4 CRU**；
-
-实例最小值为**1**，最大值为**10**；
-
-每实例的最大并发数为**8**；
-
-开启**自动启动**；
-
-自动停止时间为**30 分钟**。
-
-这样预期100GiB数据量的复杂查询，能在3秒内返回查询结果。计算集群运行时，最小规模下可以支持8并发，最大可以支持80并发的查询。超过80并发时，新增的并发请求会开始排队。超过30分钟空闲后，该计算集群将自动关闭，停止产生计算成本。关机时间延长至30分钟而非1分钟，可尽量减少频繁重启对查询体验的影响，也能保留缓存更快响应后续查询，兼顾成本和查询效果。
-
-:-: ![](.topwrite/assets/image_1743422670370.png =469)
-
-^
-
-2\. 在APP或BI链接Lakehouse执行查询作业时，配置使用ANALYTICS\_BI这个计算集群执行查询任务。以JDBC为例，连接串如下：
-
-```SQL
-jdbc:clickzetta://<your_instance_name>.<region_id>.api.clickzetta.com/<your_workspace>?username=<your_username>&password=<your_password>&virtualCluster=ANALYTICS_BI&schema=public
-```
-
-以virtualCluster=ANALYTICS\_BI参数指定执行查询任务的计算集群为ANALYTICS\_BI。
-
-**效果**：
-
-实时查询处理效率高，当用户查询量激增时，会自动扩容新实例，避免排队。保证高并发下依然有良好性能。空闲时则缩容节省成本。
-
-^
-
-### 场景 3：临时分析/数据探索
-
-**需求**：数据科学家对大规模数据做探索性分析，包括反复多表Join和高级聚合。需要能够在复杂查询时快速返回查询结果。
-**解决方案**：
-
-1\. 创建一个**大规格的分析型计算**集群，如16 CRU，提升计算并行度，缩短查询时间。实例最小值1，实例最大值2，以控制成本。
-
-:-: ![](.topwrite/assets/image_1739326621174.png =378)
-
-2\. 分析阶段可**关闭自动停止**或将自动停止时间设置成30分钟以上，保留缓存，以在反复查询时大幅提升速度。
-
-:-: ![](.topwrite/assets/image_1739326785003.png =692)
-
-^
-
-:-: ![](.topwrite/assets/image_1739327118802.png =384)
-
-3\. 分析结束后手动停止或重新缩短自动暂停时长至1分钟，以节约成本。
-
-:-: ![](.topwrite/assets/image_1739327178912.png =383)
-
-4\. 若使用中发现性能不足，可随时“手动调整”计算规格，以获得更好的查询性能。
-
-:-: ![](.topwrite/assets/image_1739327260338.png =391)
-
-**效果**：
-
-* 大规格的分析型计算集群，对大批量、复杂SQL的处理更快，分析周期更短。
-* 无需一直占用大规格资源，可随时手动调整集群规格和自动启停时间，而不影响正在进行的分析作业。
-
-^
-
-### 场景 4：多任务隔离
-
-:-: **需求**：同一部门里既有周期性ELT任务，也有Ad-Hoc分析，还有在线报表请求，希望相互之间资源不互抢、资源不浪费。
-**解决方案**：
-![](.topwrite/assets/image_1739329227325.png =709)
-
-1. 创建多个集群：
-   * **ETL专用集群**：使用通用型计算集群，根据业务使用需要，配置符合作业SLA预期的规格，自动暂停时间较短，以便作业执行完成后及时关闭集群，降低费用。可以创建多个ETL专用集群，将拥有不同SLA保障需求的ETL任务分配到不同的集群上执行，避免多个ETL任务在同一集群内争抢资源，影响重要任务的SLA。
-   * **在线报表集群**：使用分析型计算集群，启用多实例模式，使计算集群可随并发数增减而自动扩缩容，并适当延长自动停止的时间，以利用缓存提高响应速度，提供稳定的在线服务。
-   * **Ad-Hoc 分析集群**：使用分析型计算集群，配置较大规格，为复杂查询提供更好的查询性能。根据实际查询需要，在使用过程中手动调整集群规格。配置较长的自动停止时间，以保留缓存，进一步提升查询性能。
-2. 为不同的调度任务、分析查询、在线报表配置各自专用的集群，隔离不同任务的负载。
-
-**效果**：
-
-* 工作负载之间互不干扰，同时实现资源利用最大化。
-* 不同场景的SLA都能得到保障，避免“一个大作业拖慢其他全部查询”或“在线查询挤占离线任务”的情况。
-
-^

package/bin/skills/lakehouse-doc/references/working_with_cache.md

@@ -1,102 +0,0 @@
-# 了解和使用Result Cache
-
-## 简介
-
-云器Lakehouse使用缓存技术来加速查询性能和效率。平台提供了三种类型的Cache来提高查询性能。
-
-1. 查询结果缓存（ Result Cache ）
-2. 元数据缓存（Metadata Cache ）
-3. 虚拟集群本地缓存（Virtual Cluster Local Disk Cache）
-
-![](.topwrite/assets/image_1713780513737.png)
-
-其中：
-
-* 元数据缓存和查询结果缓存服务从属于服务层，可在工作空间内共享。
-* 虚拟集群缓存本地缓存保存在集群本地节点，仅在使用指定虚拟集群时可以使用其本地缓存。
-
-本文中将介绍缓存的工作原理、及它们的使用方式。
-
-## 结果缓存
-
-在 云器Lakehouse 中执行查询时，会自动将符合一定条件的查询结果将保留一段时间，结果会在时间段结束后清除。这部分临时存储的的查询结果称为查询结果缓存。
-
-Result Cache需要满足以下条件才能被复用：
-
-* 查询中使用的表的基础数据不改变。如果查询中使用的任何表中的数据发生更改，则无法使用结果缓存；
-* 查询中没有包含对视图的查询。如果查询对象中包含视图，不支持保留查询结果缓存；
-* 新发起的SQL查询语句在语法上能够和先前执行过的查询精确匹配；
-* 查询中不包含非确定性函数（例如：CURRENT\_TIMESTAMP()）、用户定义函数 (UDF) ；
-* 先前的Result Cache未过期删除。
-
-## 结果缓存的过期周期
-
-结果缓存成功后，默认保留周期为24小时。
-
-在 24小时内运行使用查询结果缓存的后续查询，则结果缓存过期时间将额外延长 24 小时。否则，24小时后，查询结果缓存将被清除。
-
-## 启用与禁用结果缓存
-
-使用 cz.sql.enable.shortcut.result.cache 参数在 SESSION 级别启用或禁用，如下所示。
-
-```Python
---开启结果缓存
-set cz.sql.enable.shortcut.result.cache=true;
-
---关闭结果缓存
-set cz.sql.enable.shortcut.result.cache=false;
-```
-
-注：当前（2024年04月）Lakehouse版本的Result Cache功能处于公测阶段、未默认开启，之后版本将默认打开。
-
-## 约束与限制
-
-缓存保留周期：24小时
-
-单个工作空间支持缓存的作业数量上限：10万
-
-结果缓存大小限制：无限制。小于等于10MB的结果将缓存在管控层内存Cache，超过10MB的结果将持久化在存储层（对象存储文件）。
-
-不支持非确定性函数、UDF查询结果的结果缓存
-
-## 结果缓存演示
-
-为了演示查询结果缓存，首先启结果缓存并在云器Lakehouse中执行一个SQL查询。然后重新运行相同的查询来验证新查询是否重用了结果缓存实现加速。
-
-```Python
- --开启结果缓存
-set cz.sql.enable.shortcut.result.cache=true;
-
- select
-        l_returnflag,
-        l_linestatus,
-        sum(l_quantity) as sum_qty,
-        sum(l_extendedprice) as sum_base_price,
-        sum(l_extendedprice * (1 - l_discount)) as sum_disc_price,
-        sum(l_extendedprice * (1 - l_discount) * (1 + l_tax)) as sum_charge,
-        avg(l_quantity) as avg_qty,
-        avg(l_extendedprice) as avg_price,
-        avg(l_discount) as avg_disc,
-        count(*) as count_order
-from
-        tpch_100g_new.lineitem
-where
-        l_shipdate <= date '1998-12-01' - interval '85' day
-group by
-        l_returnflag,
-        l_linestatus
-order by
-        l_returnflag,
-        l_linestatus
-;
-```
-
-第一次执行花费了12.1秒。通过Job Profile查看作业运行信息，作业从磁盘读取了大量数据。
-
-![](.topwrite/assets/4590d8b1-4fd3-45b6-abd2-816d8ca58242.png =685)
-
-第2次执行该查询，作业复用了上次查询的结果缓存，15ms内返回结果。
-![](.topwrite/assets/result_cache_query_output.png)
-![](.topwrite/assets/383621f0-27c0-4f17-b217-0c0ad3bbc686.png)
-查看作业的Job Profile时，可在诊断页面执行计划图中看到作业使用了"JOB RESULT REUSE"，说明作业直接查询了结果数据。
-![](.topwrite/assets/image_1713780060450.png =428)

package/bin/skills/lakehouse-doc/references/worksapce-informaiton_schema-views.md

@@ -1,207 +0,0 @@
-# 数据库元数据视图
-
-在本节中，我们将介绍各种数据库元数据视图，以便您更好地了解和查询您的数据。这些视图提供了有关数据库、表、列、视图、用户、角色和作业历史等详细信息。通过这些视图，您可以轻松地管理和监控您的数据。
-
-## SCHEMAS 视图
-
-SCHEMAS 视图提供了有关数据库（SCHEMA）的详细信息，包括 WORKSPACE 名称、SCHEMA 名称、创建者、类型等。
-
-**字段详细信息**
-
-| COLUMN NAME | DATA TYPE | 描述 |
-| --- | --- | --- |
-| CATALOG\_NAME | STRING | 当前 WORKSPACE 的名称 |
-| SCHEMA\_NAME | STRING | 数据库（SCHEMA）的名字 |
-| SCHEMA\_CREATOR | STRING | 数据库（SCHEMA）所有者的账号名称 |
-| TYPE | STRING | 枚举值：EXTERNAL（外部）、INTERNAL（内部） |
-| COMMENT | STRING | 创建数据库时的注释信息 |
-| CREATE\_TIME | TIMESTAMP | 数据库创建时间 |
-| LAST\_MODIFY\_TIME | TIMESTAMP | 数据库修改时间 |
-| PROPERTIES | MAP | 创建时指定的 PROPERTIES，保留字段 |
-
-## TABLES 视图
-
-TABLES 视图展示了当前 WORKSPACE 下的每个表的详细信息。
-
-**字段详细信息**
-
-| COLUMN NAME | DATA TYPE | 描述 |
-| --- | --- | --- |
-| TABLE\_CATALOG | STRING | 当前 WORKSPACE 的名称 |
-| TABLE\_SCHEMA | STRING | 当前 TABLE 所属的 SCHEMA |
-| TABLE\_NAME | STRING | 表名字 |
-| TABLE\_TYPE | STRING | 枚举值：EXTERNAL（外部表）、VIEW（视图）、MATERIALIZED VIEW（物化视图）、BASE TABLE（标准表）、SNAPSHOT（快照表） |
-| ROW\_COUNT | BIGINT | 表中的条数（对于 VIEW 显示为 NULL，MATERIALIZED VIEW 显示对应条数） |
-| BYTES | BIGINT | 表的大小（对于 VIEW 显示为 NULL，MATERIALIZED VIEW 显示对应大小） |
-| CREATE\_TIME | TIMESTAMP | 表创建时间 |
-| LAST\_MODIFY\_TIME | TIMESTAMP | 表修改时间 |
-| TABLE\_CREATOR | STRING | 表所有者的账号名称 |
-| IS\_PARTITIONED | BOOLEAN | 是否是分区表（对于 VIEW 显示为 NULL） |
-| IS\_CLUSTERED | BOOLEAN | 是否是分桶表（对于 VIEW 显示为 NULL） |
-| COMMENT | STRING | 表注释信息 |
-| DATA\_LIFECYCLE | BIGINT | 生命周期（单位为天） |
-| PROPERTIES | MAP | 创建时指定的 PROPERTIES，保留字段 |
-
-
-## COLUMNS 视图
-
-COLUMNS 视图展示了表中每个字段的详细信息。
-
-**字段详细信息**
-
-| COLUMN NAME | DATA TYPE | 描述 |
-| --- | --- | --- |
-| TABLE\_CATALOG | STRING | 当前 WORKSPACE 的名称 |
-| TABLE\_SCHEMA | STRING | 当前 TABLE 所属的 SCHEMA |
-| TABLE\_NAME | STRING | 表名字 |
-| COLUMN\_NAME | STRING | 字段的名字 |
-| COLUMN\_DEFAULT | STRING | 字段默认值 |
-| IS\_NULLABLE | BOOLEAN | 是否可以为 NULL |
-| DATA\_TYPE | STRING | 字段类型 |
-| CREATE\_TIME | TIMESTAMP\_LTZ | 表的创建时间 |
-| IS\_CLUSTERING\_COLUMN | BOOLEAN | 是否是 CLUSTER 字段 |
-| IS\_PRIMARY\_KEY | BOOLEAN | 是否是主键 |
-| COMMENT | STRING | 字段的注释信息 |
-
-
-## VIEWS 视图
-
-VIEWS 视图展示了当前 WORKSPACE 下的所有视图及其详细信息。
-
-**字段详细信息**
-
-| COLUMN NAME        | DATA TYPE | DESCRIPTION     |
-| ------------------ | --------- | --------------- |
-| TABLE\_CATALOG     | STRING    | 当前WORKSPACE的名称  |
-| TABLE\_SCHEMA      | STRING    | 当前VIEW所属的SCHEMA |
-| TABLE\_NAME        | STRING    | 视图名字            |
-| TABLE\_CREATOR     | STRING    | 视图所有者的账号名称      |
-| VIEW\_DEFINITION   | STRING    | 创建视图的语句         |
-| CREATE\_TIME       | TIMESTAMP | 视图创建时间          |
-| LAST\_MODIFY\_TIME | TIMESTAMP | 视图修改时间          |
-| COMMENT            | STRING    | 视图的注释信息         |
-
-## USERS 视图
-
-USERS 视图展示了当前 WORKSPACE 下的所有用户信息。每个用户显示一行。
-
-| COLUMN NAME    | DATA TYPE | DESCRIPTION           |
-| -------------- | --------- | --------------------- |
-| WORKSPACE\_NAME | STRING    | 当前空间的名字               |
-| USER\_NAME     | STRING    | 用户名称                  |
-| ROLE\_NAME     | STRING    | 当前用户拥有的角色，多个角色使用逗号分隔  |
-| CREATE\_TIME   | TIMESTAMP | 用户加入时间                |
-| EMAIL          | STRING    | 用户邮箱                  |
-| TELEPHONE       | STRING    | 用户电话                  |
-| COMMENT        | STRING    | 描述用户信息                |
-| PROPERTIES     | MAP       | 创建时指定的PROPERTIES，保留字段 |
-
-## ROLES 视图
-
-| COLUMN NAME    | DATA TYPE | DESCRIPTION            |
-| -------------- | --------- | ---------------------- |
-| WORKSPACE\_NAME | STRING    | 当前空间的名字                |
-| ROLE\_NAME     | STRING    | 空间下的所有角色               |
-| USER\_NAMES    | STRING    | 被授予该角色的用户名称,多个用户使用逗号分开 |
-| CREATE\_TIME   | TIMESTAMP | 视图创建时间                 |
-| COMMENT        | STRING    | 描述角色信息                 |
-| PROPERTIES     | MAP       | 创建时指定的PROPERTIES，保留字段  |
-
-## JOB_HISTORY 视图
-| COLUMN NAME      | DATA TYPE | DESCRIPTION                                     |
-| ---------------- | --------- | ----------------------------------------------- |
-| WORKSPACE\_NAME  | STRING    | 运行JOB所在的空间                                      |
-| JOB\_ID          | STRING    | 作业ID                                            |
-| JOB\_NAME        | STRING    | 作业名称                                            |
-| JOB\_CREATOR     | STRING    | 运行作业的用户                                         |
-| STATUS           | STRING    | SCHEDULE, PROCESS, SUCCEEDED, FAILED, CANCELLED |
-| CRU              | DECIMAL   | 任务消耗的计算资源                                       |
-| ERROR\_MESSAGE   | STRING    | 如果运行出错会有此信息                                     |
-| JOB\_TYPE        | STRING    | 作业类型 COPY SQL DATALAKE（文件操作命令）                  |
-| JOB\_TEXT        | STRING    | 执行JOB的语句                                        |
-| QUERY\_TAG       | STRING    | 用户设置的TAG，用于标识QUERY                              |
-| START\_TIME      | TIMESTAMP | JOB运行开始时间                                       |
-| END\_TIME        | TIMESTAMP | JOB运行结束时间                                       |
-| EXECUTION\_TIME  | DOUBLE    | 执行时间，单位为秒，精确到毫秒                                 |
-| INPUT\_BYTES     | BIGINT    | 实际扫描的数据量。                                       |
-| OUTPUT\_BYTES    | BIGINT    | 输出字节数。                                          |
-| INPUT\_OBJECTS   | STRING    | 输入的表名                                           |
-| OUTPUT\_OBJECTS  | STRING    | 输出的表名                                           |
-| CLIENT\_INFO     | STRING    | 客户端信息，来自于JDBC、客户端、WEB页面                         |
-| VIRTUAL\_CLUSTER | STRING    | 使用的计算资源                                         |
-| ROW\_PRODUCED    | BIGINT    | 处理的总记录数，输入的数据                                   |
-| ROW\_INSERTED    | BIGINT    | 如果是插入行为应该有值                                     |
-| ROW\_UPDATED     | BIGINT    | 如果是更新行为应该有值                                     |
-| ROW\_DELETED     | BIGINT    | 如果是删除行为应该有值                                     |
-| JOB\_CONFIG      | STRING    | 提交作业时设置的参数信息                                    |
-| CACHE\_HIT       | BIGINT    | 从缓存中读取的数据                                       |
-| JOB\_PRIORITY    | STRING    | 作业优先级                                           |
-| INPUT\_TABLES    | STRING    | 输入的表名                                           |
-| OUTPUT\_TABLES   | STRING    | 输出的表名                                           |
-
-## 物化视图刷新历史
-
-| COLUMN\_NAME             | DATA\_TYPE   | DESCRIPTION                    |
-| ------------------------ | ------------ | ------------------------------ |
-| WORKSPACE\_NAME          | STIRNG       | 项目空间名字                         |
-| SCHEMA\_NAME             | STRING       | SCHEMA名字                       |
-| MATERIALIZED\_VIEW\_NAME | STRING       | 物化视图名字                         |
-| CRU                    | DECIMAL      | 刷新物化视图使用的计费                    |
-| VIRTUAL\_CLUSTER\_NAME   | STRING       | 使用的虚拟集群名称，自动刷新任务会有此信息               |
-| STATUS                   | STRING       | PENDING\RUNNING\FINISHED\FAILED |
-| SCHEDULED\_START\_TIME   | TIMESTAMP_LTZ | 计划刷新时间                         |
-| START\_TIME              | TIMESTAMP_LTZ | 物化视图开始时间                       |
-| END\_TIME                | TIMESTAMP_LTZ | 物化视图结束时间                       |
-| ERROR\_CODE              | STRING       |                                |
-| ERROR\_MESSAGE           | STRING       | 刷新失败的信息，如果失败则会在这里有             |
-
-## AUTOMV_REFRESH_HISTORY 视图
-| COLUMN\_NAME               | DATA\_TYPE   | DESCRIPTION                                                             |
-| -------------------------- | ------------ | ----------------------------------------------------------------------- |
-| WORKSPACE_NAME            | STRING       | 项目空间名字                                                               |
-| SCHEMA_NAME               | STRING       | SCHEMA名字,AUTOMV所在的SCHEMA                                                |
-| MATERIALIZED_VIEW\_NAME   | STRING       | 物化视图名字                                                                  |
-| CRU                        | DECIMAL      | 刷新物化视图使用的计费                                                             |
-| STATUS                     | STRING       |  PROCESSING：正在刷新。 SUCCEEDED：刷新成功完成。 FAILED：执行期间刷新失败。 CANCELLED：刷新在执行前被取消。  |
-| MV\_PROCESS\_TYPE          | STRING       | BUILD：构建MV。REFRESH：刷新                                                   |
-| START\_TIME                | TIMESTAMP_LTZ | 物化视图开始时间                                                                |
-| END\_TIME                  | TIMESTAMP_LTZ | 物化视图结束时间                                                                |
-| BUILD\_FROM\_WORKSPACE     | STRING       | 构建MV对应的源表空间                                                             |
-| JOB_ID | STRING       | 构建 MV 的作业 ID                                                           |
-| ERROR\_MESSAGE             | STRING       | 刷新失败的信息，如果失败则会在这里有                                                      |
-
-## VOLUMES 视图
-
-
-| column_name       | data\_type          | description                                           |
-| ------------------ | ------------------- | ----------------------------------------------------- |
-| VOLUME\_CATALOG    | STRING              | 所属 Workspace 名称                                       |
-| VOLUME\_SCHEMA     | STRING              | 所属 Schema 名称                                          |
-| VOLUME\_NAME       | STRING              | Volume 名称                                             |
-| VOLUME\_URL        | STRING              | Volume 绑定的URL                                         |
-| VOLUME\_REGION     | STRING              | Volume 所属区域                                           |
-| VOLUME\_TYPE       | STRING              | Volume 类型（INTERNAL 指创建 Volume 时不用指定第三方云厂商地址，或者 EXTERNAL） |
-| VOLUME\_CREATOR    | STRING              | Volume 的 owner                                        |
-| CONNECTION\_NAME   | STRING              | 引用的connection名称                                       |
-| COMMENT            | STRING              | 注释                                                    |
-| PROPERTIES         | map\<string,string> |                                                       |
-| CREATE\_TIME       | TIMESTAMP           | 创建时间                                                  |
-| LAST\_MODIFY\_TIME | TIMESTAMP           | 修改时间                                                  |
-
-## CONNECTIONS 视图
-
-
-| COLUMN_NAME       | DATA_TYPE           | DESCRIPTION                                                                   |
-| ------------------ | ------------------- | ----------------------------------------------------------------------------- |
-| WORKSPACE\_NAME    | STRING              | 对象所在的空间                                                                       |
-| CONNECTION\_NAME   | STRING              | 连接对象名称                                                                   |
-| CONNECTION\_KIND   | STRING              | 枚举值支持的connection种类，STORAGE CONNECTION、 API CONNECTION                         |
-| TYPE               | STRING              | 指定连接数据源的类型 storage connection支持 FILE\_SYSTEM api connection支持 CLOUD\_FUNCTION |
-| PROVIDER           | STRING              | TYPE 为 FILE_SYSTEM 时，PROVIDER 为 OSS / COS；TYPE 为 CLOUD_FUNCTION 时，PROVIDER 为 aliyun / tencent   |
-| REGION             | STRING              | connection 连接的 region，比如 ap-shanghai / cn-beijing                              |
-| SOURCE\_CREATOR    | STRING              | 创建者                                                                           |
-| CREATE\_TIME       | TIMESTAMP           | 创建时间                                                                          |
-| LAST\_MODIFY\_TIME | TIMESTAMP           | 上次修改时间                                                                        |
-| COMMENT            | STRING              | 注释信息                                                                          |
-| PROPERTIES         | map\<string,string> |                                                                               |
-

package/bin/skills/lakehouse-doc/references/worksheet.md

@@ -1,15 +0,0 @@
-# 工作区
-
-## 概览
-
-工作区以列表的形式管理当前实例下的所有任务信息。在工作区内可以方便快捷地定位最近打开的项目，并支持用户在工作区内创建新任务，或对任务进行批量操作。
-
-## 界面总览
-
-![](.topwrite/assets/image_1735620775928.png)
-
-* 最近打开：在该 Tab 下，展示了当前工作空间下最近使用的近 10 条记录，可以帮助用户快速地定位最近打开的任务节点。
-* 我的：列出了当前工作空间下由我负责的任务。
-* 全部：列出了当前工作空间下的所有任务。
-
-^

package/bin/skills/lakehouse-doc/references/workspace-introduction.md

@@ -1,41 +0,0 @@
-# WorkSpace（工作空间）
-
-WorkSpace（工作空间）是云器Lakehouse中用于组织和隔离资源对象（如数据对象、计算资源和用户等）的基本单元。它提供了配套的数据开发能力，包括数据集成、数据开发和数据运维等。通过使用工作空间，您可以更好地管理和控制Lakehouse中的资源和数据。
-
-## 工作空间列表
-
-登录云器Lakehouse并进入Lakehouse实例后，您可以在左侧菜单的“管理”页面中查看工作空间列表。一个服务实例下可以创建多个工作空间，它们之间默认相互隔离。用户需要加入工作空间后，才能使用其中的数据和计算资源。不同工作空间内的数据对象（如Schema、Table和View等）可以通过跨工作空间授权的方式实现数据共享。
-
-![工作空间列表截图](.topwrite/assets/image_1690451948979.png)
-
-## 创建工作空间
-
-要创建新的工作空间，请点击工作空间列表右侧的“新建”按钮。创建工作空间的用户将会默认获得该工作空间的“空间管理员”（workspace\_admin）角色，拥有使用和管理该工作空间下所有资源对象的权限，并可以管理空间内的成员。
-
-![创建工作空间截图](.topwrite/assets/image_1690452024663.png =312)
-
-## 加入工作空间
-
-只有加入工作空间的用户才能被授予相应的角色和权限，进而使用工作空间内的计算和数据资源。一个账户新建用户后，该用户初始并未加入任何工作空间，因此不具备任何工作空间的访问和使用权限。
-
-具备“空间管理员”角色的用户可以将其他用户添加到工作空间中，以便进一步授予角色和权限。空间管理员可以在“管理”-“工作空间”中点击工作空间名称进入工作空间的详情页，对工作空间中的用户进行“添加用户”和“移除用户”操作。
-
-![添加用户截图](.topwrite/assets/image_1690457600615.png)
-
-请注意，当您将用户添加到工作空间后，该用户仅加入了指定的工作空间，但尚未具备任何权限。您需要通过授予工作空间角色或权限，才能使其使用工作空间内的资源。
-
-一个用户可以同时加入多个工作空间。一个工作空间内至少需要有一名用户。
-
-## 工作空间角色
-
-为了方便快速授权，系统在每个工作空间内预设了以下空间级别的角色：
-
-| 角色名称 | 角色代码 | 角色默认权限 |
-| :--- | :--- | :--- |
-| 空间管理员 | `workspace_admin` | 拥有管理空间成员、角色、开发任务、运维中心、任务实例、空间内数据和计算集群等所有权限点的权限。 |
-| 空间成员 | `workspace_user` | 可查看空间成员、角色、开发任务、运维中心、任务实例等，但不能访问空间内数据和计算集群。 |
-| 开发人员 | `workspace_dev` | 可管理开发任务、运维中心、任务实例等，并拥有空间内数据的全部权限以及计算集群的使用权限。 |
-
-工作空间的创建者默认被授予“空间管理员”角色。其他用户在加入工作空间时，不会默认获得任何角色。一个用户可以同时被授予多个角色，其实际权限是这些角色权限的并集。一个角色可以同时授予多个用户。
-
-至少需要授予一名用户“空间管理员”角色。实例级别角色的权限与工作空间内角色的权限不存在重叠。所有工作空间内的资源均由工作空间级别的角色进行管理。用户即使被授予实例级别的任何角色，也不会直接拥有操作工作空间内对象的权限。

package/bin/skills/lakehouse-doc/references/worskapce-infroamtionschema-summary.md

@@ -1,56 +0,0 @@
-# LAKEHOUSE INFORMATION\_SCHEMA元数据视图服务介绍
-
-LAKEHOUSE提供了工作空间级别的INFORMATION\_SCHEMA元数据视图服务，通过INFORMATION\_SCHEMA可查看当前空间的元数据信息及作业历史等信息。INFORMATION\_SCHEMA基于ANSI SQL-92标准设计，并扩展了云器LAKEHOUSE特有的字段和视图。它随LAKEHOUSE空间创建而默认提供，您可从中查看关心的元数据视图。
-
-## 使用说明
-
-* 视图当前阶段会存在延时15分钟左右，JOB\_HISTORY、MATERIALIZED\_VIEW刷新视图保留60天记录。
-* 最新的在线元数据信息可通过 SHOW 命令查看，例如：SHOW TABLES、SHOW JOBS 等命令将返回实时元数据信息。
-* INFORMATION\_SCHEMA下的视图均为只读，不可修改、删除。
-* 视图字段根据功能演进可能发生变化。在周期任务中使用视图时应避免使用SELECT \*直接查询所有字段，强烈建议使用SELECT COLUMN\_NAME方式选择具体需要的字段进行查询，避免视图字段发生变更时导致周期任务出错。
-
-## 权限要求
-
-* 具备workspace\_admin角色
-
-## 使用示例
-
-获取当前空间的所有表信息：
-
-```SQL
-SELECT * FROM information_schema.tables;
-```
-
-获取当前空间的所有作业信息：
-
-```SQL
-SELECT * FROM information_schema.job_history;
-```
-
-获取当前空间的所有物化视图（Materialized View）信息：
-
-```SQL
-SELECT * FROM information_schema.materialized_views;
-```
-
-## 授权操作
-
-* 由workspace\_admin角色授权的角色或用户
-
-授权给某个角色：
-
-```SQL
-GRANT ALL ON ALL VIEWS IN SCHEMA information_schema TO ROLE <role_name>;
-```
-
-授权给某个用户：
-
-```SQL
-GRANT ALL ON ALL VIEWS IN SCHEMA information_schema TO USER <user_name>;
-```
-
-## 注意事项
-
-* 请确保您已经具备了相应的权限要求，否则无法使用INFORMATION\_SCHEMA元数据视图服务。
-* 在使用INFORMATION\_SCHEMA时，请注意只读的特性，不可对视图进行修改和删除操作。
-* 请在周期任务中使用具体需要的字段进行查询，避免使用SELECT \*查询所有字段，以免因视图字段变更导致周期任务出错。