@clickzetta/cz-cli-darwin-x64 0.3.1

package/bin/skills/lakehouse-doc/references/datagpt_bestpractice.md

@@ -0,0 +1 @@
+^

package/bin/skills/lakehouse-doc/references/datagpt_data_source.md

@@ -0,0 +1,58 @@
+# 数据源管理
+
+DataGPT 将默认添加同区域的阿里云 Lakehouse 实例作为系统内置数据源，无需手动添加。如果想添加其他区域的 Lakehouse 数据源，请参考如下操作。
+
+## 功能概述
+
+本功能用于添加和配置 Lakehouse 数据源连接，支持用户将 Lakehouse 数据库接入系统进行数据分析。
+
+## 操作入口
+
+* 位置：产品主页，左侧导航栏：管理 > 数据源
+
+## 配置项说明
+
+### 基本信息
+
+| 字段名称         | 是否必填 | 说明                         |
+| ---------------- | -------- | ---------------------------- |
+| 数据源名称       | 是       | 用于标识数据源的唯一名称       |
+| 连接串           | 是       | Lakehouse 数据库的连接地址     |
+| 用户名           | 是       | 访问数据库的用户账号，示例：admin |
+| 密码             | 是       | 访问数据库的用户密码           |
+| 分析型计算集群名称 | 否       | 指定用于数据分析的计算集群       |
+
+## 操作说明
+
+1. 输入数据源名称
+
+2. 填写数据库连接串
+
+   ![](.topwrite/assets/image_1736899291801.png =634)
+
+3. 输入用户名和密码
+
+4. 填写分析型计算集群名称
+
+5. 点击“连接测试”按钮验证配置是否正确
+
+6. 测试通过后，点击“保存”按钮完成添加
+
+## 注意事项
+
+1. 数据源名称在系统内必须唯一
+2. 建议在保存前进行连接测试
+3. 请确保填写的用户名具有足够的数据库访问权限
+4. 密码建议使用高强度密码以确保安全性
+
+## 错误处理
+
+| 错误类型     | 可能原因         | 解决方案                 |
+| ------------ | ---------------- | ------------------------ |
+| 连接测试失败 | 连接串格式错误     | 检查连接串格式是否正确     |
+|              | 用户名或密码错误   | 确认账号密码的正确性       |
+|              | 网络问题         | 检查网络连接是否正常       |
+| 保存失败     | 数据源名称重复     | 更换一个未使用的名称       |
+|              | 必填信息未完整填写 | 检查所有必填字段是否已填写 |
+
+^

package/bin/skills/lakehouse-doc/references/datagpt_get_accurate_answers.md

@@ -0,0 +1,34 @@
+# 如何让 DataGPT 回答得更准确
+
+作为一个基于数据的问答系统，回答的准确性尤为重要。系统提供以下手段来保障准确性：
+
+## 1.数据治理
+
+* **数据画像**（DataGPT Profile）：系统提供数据画像功能，让您了解底层数据集表的数据状态。通过 **左侧导航栏 -> 数据 -> 数据表**，在表详情页的 **统计分析** 页签，可以查看数据状态，帮助您进行数据治理。建立数据画像，也有助于通过自然语言找到合适的目标数据。
+
+> 注意：DataGPT 仅提供数据的 **统计分析** 功能，供客户查看数据分布、进行统计分析。数据质量由上游数据平台保证。
+
+* **表、列描述与列别名配置**：为表和列添加准确的描述和别名信息，这有助于系统精确地将问题与数据做匹配。在 **左侧导航栏 -> 数据 -> 数据表** 中，可以分别配置表级别的描述、列的别名（Alias）和列的描述（Description）。数据表和列有清晰准确的别名和描述，不同表和列在名称和描述上的歧义越小，回答的准确度越高。
+
+* **列类型与用途**：请根据列的实际含义填写列类型（ColumnType）与用途（Intended For）。**该选项会影响系统是否选择该列作为数据来源**。
+
+## 2. 划分分析域
+
+拆分业务域（或分析域）有助于系统更加聚焦于特定数据。
+
+1. 预先划分分析域，减少每个 Domain 里涉及的数据表范围和知识范围。
+2. 针对域（Domain）提问更为聚焦，同时域会绑定用户，能做到表级别的数据隔离。
+
+## 3. 创建指标与答案构建器
+
+指标是聚合函数或基于聚合函数的计算结果，答案构建器是基于 SQL 的模板定义，两者均为预定义对象。基于指标和答案构建器进行回答，会使准确率大幅提升。如果对问答准确率有严格要求，建议预先定义好它们。指标支持别名，用于匹配更多的表达方式。请参考[指标与答案构建器](metrics_answer_build.md)
+
+:-: ![](.topwrite/assets/image_1736900144814.png =636)
+
+## 4. 采用输入提示
+
+**列值智能匹配**：启用列值索引功能后，系统将在您输入时提供实时数据值提示，以确保查询结果的准确性与相关性。
+
+![](.topwrite/assets/20250115-082414.jpeg)
+
+^

package/bin/skills/lakehouse-doc/references/datagpt_intro.md

@@ -0,0 +1 @@
+^

package/bin/skills/lakehouse-doc/references/datagpt_quickstart.md

@@ -0,0 +1,94 @@
+# DataGPT 快速入门
+
+## 开通 DataGPT 服务
+
+* 在管理中心“首页”中找到 DataGPT 产品卡片，点击“免费开通”按钮。 
+
+       ![](.topwrite/assets/20250211-192212.jpeg =731)
+
+* 弹出窗口中会默认指定**云服务商**阿里云和**地域**华东2（上海）。系统提供了“**同时开通阿里云-华东2（上海）的 Lakehouse 实例作为默认数据源**”选项：
+  * **勾选（推荐新用户）**：将自动开通阿里云-华东2（上海） Lakehouse 作为默认数据源，无需手动配置。
+  * **不勾选**：系统不会自动开通华东2（上海）地区的 Lakehouse 实例，可以在服务开通后，在数据源管理页面手动添加。请注意，此情况下 **DataGPT 不会包含预置的样例数据**。
+
+       ![](.topwrite/assets/20250211-192304.jpeg =618)
+
+^
+
+* 点击“开通”，稍等片刻后即可进入使用界面。
+
+       ![](.topwrite/assets/20250211-193618.jpeg =787)
+
+^
+
+完成服务开通后，您可以通过多种方式开启 DataGPT 数据分析体验。为帮助您快速上手，我们提供以下分析路径：
+
+## 方式一：使用样例分析域
+
+利用样例数据集提问：我们已为您准备了一个配置完善的样例数据集，包含了完整的表配置和指标体系。您可以直接开始提问，快速体验智能分析能力。同时，这个样例也可以作为模板，帮助您创建适合自己业务场景的分析域。
+
+进入产品主页，在主页面找到标有“样例”的分析域，点击“开始分析”进入分析主页，即可开始提问。
+
+![](.topwrite/assets/quickstart_1.png)
+
+## 方式二：基于自己的数据进行分析
+
+系统支持导入多种数据格式，包括 CSV、Text、Excel、PDF 等。您可以创建独立的分析域，将数据导入后即可进行智能分析和问答。
+
+本案例将以巴西著名电商平台 Olist 的真实业务数据为例，展示系统的数据分析能力。我们将导入以下核心数据文件：
+
+**核心业务数据**：
+- `olist_orders_dataset.csv.gz (订单主表)`
+- `olist_order_items_dataset.csv.gz (订单商品明细)`
+- `olist_order_payments_dataset.csv.gz (支付信息)`
+- `olist_products_dataset.csv.gz (商品信息)`
+
+**用户与商家数据**：
+- `olist_customers_dataset.csv.gz (客户信息)`
+- `olist_sellers_dataset.csv.gz (卖家信息)`
+
+这些数据文件采用了 gzip 压缩格式 (.gz) 以提升传输效率，系统会自动进行解压和识别处理。数据之间通过订单号(order\_id)、商品编号(product\_id)等关键字段建立关联关系，形成完整的业务分析数据链路。
+
+### Step1: 新建分析域
+
+![](.topwrite/assets/output_1.png)
+
+^
+
+### Step2: 基础配置
+
+* **分析域名称**：用户需填写分析域名称，例如“巴西 Olist 电商数据分析”
+* **数据源**：选择 LAKEHOUSE 作为底层数据平台（默认）
+
+> **数据源限制**：分析域的表、指标和答案构建器的底表必须来自同一数据源。其他选项保持默认，点击**确认**创建分析域。
+
+^
+
+### Step3: 添加数据
+
+* 新建分析域后，会弹出添加数据提示，点击**添加数据 -> 表**，再点击**开始添加**。
+* 选择“**上传文件**”，添加上述几份文件到系统中。点击**下一步**开始解析。
+
+       ![](.topwrite/assets/qs_4.png =759)
+
+* 点击**下一步**上传数据：
+
+       ![](.topwrite/assets/qs_5.png =799)
+
+^
+
+> 注意：在文件解析界面，有强制验证要求：所有显示灰色圆点的文件必须点击文件名，完成确认（显示绿色）后，才能点击“下一步”按钮进行后续步骤。
+>
+> ![](.topwrite/assets/qs_6.png =485)
+
+* 自动数据语义层构建：
+  * 数据自动画像：自动分析数据集的基础统计特征，包括数据分布、缺失值、异常值等关键指标
+  * 列描述、别名的智能补充：说明：对于别名，系统已生成别名建议，选择后生效
+  * 列类型自动识别：连续性（Continuous）、类别型（Categorical）、时间和日期（Date\_And\_Time）、分区（Partition）和其它（Other）
+  * 列用途：过滤条件（FILTER）、时间过滤条件（DATETIME\_FILTER）、维度(DIM)、度量(MEASURE)
+  * 关联关系自动识别：如果上传的表数量超过1张，将自动判断关联关系
+  * 自动指标推荐：自动生成具有业务含义的指标
+    ![](.topwrite/assets/qs7.png)
+
+数据准备就绪后，您就可以用自然语言的方式开始问答。
+
+^

package/bin/skills/lakehouse-doc/references/datagpt_tutorial.md

@@ -0,0 +1 @@
+^

package/bin/skills/lakehouse-doc/references/datalake_FAQ.md

@@ -0,0 +1,54 @@
+# 数据湖常见问题 FAQ
+
+#### **问题1**：**用 PUT 命令上传文件到 Volume 路径之后，在 SQL 处理时，查询不到文件**
+
+**解答**：如果创建 Volume 对象时开启了文件目录表( `DIRECTORY = (enable = TRUE` ) ， 则在向该 Volume 路径中添加新文件之后，需要手动同步该变化到 Lakehouse 元数据系统，可以使用命令 `alter volume xxxx refresh; `（该命令需要执行者拥有对该 volume 对象有 alter 权限：`GRANT ALTER ON VOLUME xxxx  TO USER datalake_user;`）
+
+^
+
+#### **问题2**：**查询数据湖 Volume 中文件时，是否支持 CSV 文件为压缩格式**
+
+**解答**：当前版本暂不支持 CSV 压缩格式文件，会在后续版本中支持。
+
+^
+
+#### **问题3：查询 CSV 文件时报错**：**CZLH-00000:CZLH-71001: CZ_SQL_TIMEZONE should exist in context**；
+
+**解答**：需在查询中指定默认时区：在查询 volume 的 select 语句的options 中，添加 `'timeZone' = 'Asia/Shanghai' `的选项，例如：
+
+```
+select * from volume hz_csv_volume (
+  order_id STRING,
+  order_item_id INT,
+  product_id STRING,
+  seller_id STRING,
+  shipping_limit_date TIMESTAMP,
+  price DECIMAL(10,2),
+  freight_value DECIMAL(10,2)
+)using csv 
+ options(
+    'header'='true',
+    'sep'=',',
+    'timeZone' = 'Asia/Shanghai'
+ ) files('brazil-ecommerce/olist_order_items_dataset.csv');
+```
+
+^
+
+#### **问题4**：**执行远程函数（remote function）时报错**：**CZLH-42000:\[1,8] Semantic analysis exception - function not found**
+
+**解答**：可能原因：
+
+1. 函数是schema 级别对象，请保证执行函数时携带了正确的 schema 信息，如：函数 fc\_orc\_schema 是属于 public schema 下的对象，引用时需携带 schema 信息：`public.fc_orc_schema()`
+2. 目前执行remote function时，需要在 SQL 语句前携带  `set cz.sql.remote.udf.enabled=true; `并一起执行
+
+```
+set cz.sql.remote.udf.enabled = true;
+SELECT public.fc_orc_schema('orc','<url>') as schema_orc;
+```
+
+####
+
+#### **问题5：执行远程函数时报错**：**CZLH-XX000: failed to hook preExecute: urllib3 v2.0 only supports OpenSSL 1.1.1+, currently the 'ssl' module is compiled with 'OpenSSL 1.1.0l 10 Sep 2019'.**
+
+**解答**：python 代码中需要处理文件url 链接时，需要 urllib3 的库版本与 OpenSSL 版本不兼容，可以安装 urllib3 d的1.26.9 版本代替：`pip3 install --upgrade urllib3==1.26.9 -t .`

package/bin/skills/lakehouse-doc/references/datalake_overview.md

@@ -0,0 +1,17 @@
+# 数据湖分析
+
+## 概述
+
+云器 Lakehouse 作为一款湖仓一体化的数据平台，可以无缝连接云上对象存储（目前支持的云对象存储产品有：阿里云 OSS、腾讯云 COS、谷歌云 GCS、AWS S3），并利用自身一体化的数据处理引擎，结合业界领先的 AI 能力，高效处理数据湖中的半结构化和非结构化数据。在此过程中，平台采用统一的权限管理方法，确保数据安全与合规性。具体能力包括：
+
+1.  **感知、获取外部数据的能力**：随着数据量的不断增长，半结构化和非结构化数据在数据中所占比例越来越大，其重要性也日益凸显。
+2.  **便捷利用前沿 AI 技术的能力**：深度学习模型和大语言模型（LLM）的多模态能力，极大地降低了从业人员分析半结构化和非结构化数据的门槛。让数据平台便捷地利用这些能力，将数据分析范围从二维表格数据扩展到几乎所有数据（All Data），是分析能力维度的重要提升。
+3.  **对数据和文件统一管理和治理的能力**：将数据仓库中成熟、完善且通用的权限体系应用到数据和文件（如 AI 模型文件）上，例如：管控特定用户使用指定的模型文件，处理有权限的数据。同时，能够在组织视角对数据实现全局视图。
+
+以下是具体产品功能的详细介绍：
+
+1. [数据湖Volume对象](datalake_volume.md)：通过整合数据平台与非结构化数据，解决数据平台访问非结构化数据、AI/BI数据割裂的问题。例如，用户可以通过 Volume 对象轻松地将图片、文本等非结构化数据导入数据平台，进行进一步的分析和处理。
+2. [远程函数（Remote Function）](RemoteFunctionBestPractice.md)：为用户提供低门槛调用AI模型、大语言模型（LLM）分析数据的方法。例如，用户可以通过 Remote Function 轻松地调用预训练的深度学习模型，对图片进行分类、识别等任务。
+3. [统一湖仓元数据系统](datalake_privilege.md)：将结构化和非结构化数据整合于统一的 Catalog-Schema 视图，解决统一的湖仓元数据管理和权限管理问题，简化了数据的整理和访问。例如，管理员可以通过元数据系统为不同部门的员工分配相应的数据访问权限，确保数据安全和合规性。
+
+^

package/bin/skills/lakehouse-doc/references/datalake_privilege.md

@@ -0,0 +1,55 @@
+# 数据湖权限管理
+
+数据湖权限管理是确保数据安全和合规性的重要组成部分。通过合理的权限管理，您可以确保用户只能访问和操作其所需的数据和资源。数据湖的权限管理主要涉及两个方面：数据访问权限和函数调用权限。具体包括以下几个方面：
+
+1. Volume 对象的权限点与管理
+2. Remote Function 对象的权限点与管理
+
+## Volume 对象权限
+
+对于 Volume 对象，您可以设置以下权限：
+
+* 对象所属 Schema 的权限：CREATE / DROP
+* 对象本身的权限：READ / WRITE / ALTER
+
+### 示例 1：授权新用户访问 Volume
+
+假设您有一个名为 `datalake_user` 的新用户，您希望授权其访问 workspace 空间。首先，授予该用户 workspace_user 角色（该角色具有只读权限）：
+
+```
+GRANT ROLE workspace_user TO USER datalake_user;
+```
+
+接下来，如果您希望允许 `datalake_user` 用户对 Volume 对象进行读取、上传数据以及将文件元数据同步到 Lakehouse 元数据服务，需要进行以下授权：
+
+1. 授权使用计算资源 Virtual Cluster。
+2. 授予用户 `datalake_user` 对 Volume 的 READ、WRITE、ALTER 权限。
+
+具体步骤如下：
+
+```SQL
+GRANT USE VCLUSTER ON VCLUSTER DEFAULT TO USER datalake_user;
+```
+
+```SQL
+GRANT READ ON volume xxx TO USER datalake_user;
+GRANT WRITE ON volume xxx TO USER datalake_user;
+GRANT ALTER ON volume xxx TO USER datalake_user;
+```
+
+## Remote Function 对象权限
+
+对于 Remote Function 对象，您可以设置以下权限：
+
+* 对象所属 Schema 的权限：CREATE / DROP
+* 对象本身的权限：USE
+
+### 示例 2：授权用户使用 Remote Function
+
+假设您希望授权用户 `datalake_user` 使用名为 fc_image_2_text 的 Remote Function，您可以执行以下命令：
+
+```SQL
+GRANT USE ON FUNCTION fc_image_2_text TO USER datalake_user;
+```
+
+^

package/bin/skills/lakehouse-doc/references/datalake_query_ingest.md

@@ -0,0 +1,18 @@
+# 数据湖查询
+
+在创建 Volume 对象之后，您可以通过该对象直接查询外部存储路径中的 CSV、Parquet 和 ORC 格式的数据文件，无需依赖任何元数据系统。
+
+## 前提条件
+
+1. 如果数据在云厂商的对象存储中，请先完成创建 Storage Connection 和 External Volume 对象。
+2. 在 Lakehouse 中查询 Volume 中的文件前，请确认是否具备对目标 Volume 对象的读权限（READ）。如果同时需要使用 [PUT 命令](PUT.md) 上传文件，则需要具备读、写权限。可以使用 `show grants to user <user_name>` 查看当前用户是否具备上述权限。
+
+## 使用限制
+
+* 支持的外部存储包括：阿里云 OSS、腾讯云 COS 和 AWS S3。
+* 仅支持查询 CSV、Parquet 和 ORC 三种文件格式。
+* 仅支持 gzip、zstd 和 zlib 三种压缩格式。
+
+^
+^
+^

package/bin/skills/lakehouse-doc/references/datalake_unstructure_data.md

@@ -0,0 +1,3 @@
+# 调用AI能力处理非结构化数据
+
+请参考图片解析的非结构化数据处理最佳实践：[最佳实践](RemoteFunctionOnACR.md)

package/bin/skills/lakehouse-doc/references/datalake_volume.md

@@ -0,0 +1,92 @@
+# 数据湖存储管理：Volume
+
+## 概述
+
+Lakehouse Volume 是在云器 Lakehouse 中表示云对象存储位置的对象。它提供了对云上对象存储的访问、存储、管理和组织文件等功能，可用于存储和访问各种格式的文件，包括结构化、半结构化和非结构化数据。它可以与表、视图等对象一样在Lakehouse 的 Schema 下进行组织和管理。使用 Volume 功能会带来如下收益：
+
+* 统一数据分析：支持在云器 Lakehouse 中调用 AI 负载处理对象存储中的图片、PDF 以及特殊格式的非结构化数据，与平台中的结构化数据做统一处理和分析
+* 统一权限管理：支持使用云器 Lakehouse 平台的权限系统，对库表以及对象存储中的文件做统一权限管理
+* 统一数据治理：对象存储中的数据会被云器 Lakehouse 平台统一管理和治理
+
+Lakehouse Volume按照数据存储位置分为 Internal Volume 和 External Volume 两种类型：
+
+| **特性** | **External Volume**                                                                                                                                    | **Internal Volume**                                                                                                                                                                                                                                                                                                                                   |
+| :----- | :----------------------------------------------------------------------------------------------------------------------------------------------------- | :---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
+| 存储位置   | 客户指定的外部存储位置，云器仅保留路径元信息。支持的存储产品有：
- 阿里云 OSS
- 腾讯云 COS
- 亚马逊云 S3
- 谷歌云 GCS                                                               | 云器账号内部存储，与内表对象共同存储与指定Schema路径下。                                                                                                                                                                                                                                                                                                                       |
+| 使用场景   | 在您已经使用对象存储服务存储和管理数据时，通过 External Volume，云器 Lakehouse 能够 Mount 到已有存储服务，将对象存储视为数据湖以共享已有数据。                                                                 | Internal Volume 默认提供了以下2种Volume对象：
- Table Volume：数据表默认关联的文件存储区域，权限与数据表权限一致。Table Volume 常用于简化批量导入、导出场景。用户只要对目标表有读写权限，即可直接通过 PUT/GET 方式向目标表默认关联的 Table Volume 目录交换文件，从而简化批量导入/导出场景下对 Volume 的权限要求。
- User Volume：用户账号关联的文件存储区域，Workspace User 默认对该区域具备管理权限。每个 Workspace 都默认拥有一个具备管理权限的 User Volume，用户可以将各种格式的文件上传至此。Table/User Volume 具备默认权限，不支持额外授权。 |
+| 操作管理   | 创建 External Volume 通过 PUT 命令上传本地文件通过 GET 命令下载文件至本地查看指定 Volume 下文件列表删除指定 Volume 路径下文件使用 COPY INTO 命令导入导出数据使用SQL查询文件数据使用 get\_presigned\_url 函数获取文件访问地址。 | 通过 PUT 命令上传本地文件；删除指定 Volume 路径下文件。                                                                                                                                                                                                                                                                                                                          |
+| 存储费用   | 不属于 Lakehouse 存储计费项目。                                                                                                                                  | 和内表存储相同，属于Lakehouse存储计费项目。                                                                                                                                                                                                                                                                                                                            |
+
+## 相关链接
+
+[内部VOLUME对象使用](internal_volume.md)
+
+[阿里云OSS VOLUME创建](oss_volume_creation.md)
+
+[腾讯云COS VOLUME创建](cos_volume_creation.md)
+
+[亚马逊云S3 VOLUME创建](s3_volume_creation.md)
+
+[查询VOLUME](structure_data_analysis.md)
+
+[从VOLUME导入数据到表](from_volume_to_table.md)
+
+[导出数据到VOLUME ](from_lakehouse_to_volume.md)
+
+## 数据操作协议
+
+| 协议类型            | 地址格式                                       | 典型场景     |
+| --------------- | ------------------------------------------ | -------- |
+| External Volume | volume://volume\_name/path\_to\_file       | 跨团队共享资源  |
+| User Volume     | volume\:user://\~/path\_to\_file           | 用户的自有空间  |
+| Table Volume    | volume\:table://table\_name/path\_to\_file | 表关联ETL文件 |
+
+* **External Volume 格式地址** `volume://volume_name/upper.jar`
+
+  * `volume_name` 创建的vollume名称。
+  * `upper.jar` 表示目标文件名。
+
+* **User Volume 格式地址**:`volume:user://~/upper.jar`
+
+  * `user` 表示使用 User Volume 协议。
+  * `~` 表示当前用户，为固定值。
+  * `upper.jar` 表示目标文件名。
+
+* **Table Volume 格式地址**`volume:table://table_name/upper.jar`
+
+  * `table` 表示使用 Table Volume 协议。
+  * `table_name` 表示表名，需根据实际情况填写。
+  * `upper.jar` 表示目标文件名。
+
+## DDL操作
+
+| 命令                    | 描述                      | User Volume | Table Volume | 外部 Volume |
+| --------------------- | ----------------------- | ----------- | ------------ | --------- |
+| CREATE VOLUME         | 创建内部或外部 Volume。         | 否           | 否            | 是         |
+| DROP VOLUME           | 移除内部或外部 Volume。         | 否           | 否            | 是         |
+| DESC VOLUME           | 显示内部或外部 Volume 的属性。     | 否           | 否            | 是         |
+| SHOW VOLUME DIRECTORY | 返回 Volume 中已保存文件的列表。    | 是           | 是            | 是         |
+| REMOVE                | 从 Volume 中移除已保存的文件。     | 是           | 是            | 是         |
+| SHOW VOLUMES          | 返回已创建的内部和外部 Volume 的列表。 | 否           | 否            | 是         |
+
+## 权限
+
+| 权限            | 说明                                                                             |
+| ------------- | ------------------------------------------------------------------------------ |
+| READ METADATA | 查看 Volume 对象元信息权限。                                                             |
+| READ VOLUME   | 读取 Volume 对象下文件及目录的权限。当需要查看 Volume 下文件列表、SQL 读取 Volume 文件以及通过 GET命令下载文件时需要。    |
+| WRITE VOLUME  | 写入数据到 Volume 的权限。当需要通过 PUT 命令上传文件，通过 REMOVE 命令删除文件时需要。                         |
+| ALTER VOLUME  | ALTER VOLUME 命令需要的权限。如：ALTER VOLUME \<volume\_name> REFRESH 刷新Volume下的文件元数据信息。 |
+| ALL           | Volume对象全部权限。                                                                  |
+
+# 成本
+
+* External Volume：在Lakehouse侧无额外存储费用。
+* Internal Volume：按照实际存储大小收取存储费用。
+
+## 约束与限制
+
+* 上传单个文件大小不得超过5 GB。
+* JDBC 驱动要求 1.4.4 及以上版本支持本地 PUT/GET 接口。
+
+^

package/bin/skills/lakehouse-doc/references/datalake_volume_anlytics.md

@@ -0,0 +1 @@
+^

package/bin/skills/lakehouse-doc/references/datalake_volume_object.md

@@ -0,0 +1 @@
+^

package/bin/skills/lakehouse-doc/references/dataops_practice.md

@@ -0,0 +1,105 @@
+# DataOps数据安全稳定生产实践
+
+## 概述
+
+DataOps 通过结合敏捷开发、数据管理和数据科学的最佳实践，能够显著提高数据管道的效率和质量。在 DataOps 整个数据研发运营流水线上，数据开发管理和数据运维是两个极为关键的环节。
+
+本实践围绕这两个环节展开，基于 NYC TLC Trip Record Data，构建 pipeline 进行数据清洗和指标统计分析，产出数据供 BI 查询使用。通过本实践，可了解到如下内容：
+
+* 如何便捷地构建定时调度运行的数据处理 pipeline，对数据同步、SQL 任务等进行统一的调度编排。
+* 如何利用监控告警规则，及时监控任务运行的稳定性。
+* 如何利用数据质量监控规则，监控数据产出的正确性，及时告警，防止问题数据扩散。
+* 如何利用完善的运维措施，来快速定位问题原因。
+* 如何提高监控告警的处置效率。
+
+## Pipeline
+
+整个 Pipeline 包含如下五个任务节点：
+
+* 1\_同步\_OSS：从OSS端，批量同步数据，写入到Lakehouse
+* 1\_同步\_Kafka：从Kafka端批量同步数据，写入到Lakehouse
+* 2\_数据清洗：对于源端同步进来的数据进行简单清洗加工、关联维度表进行拓宽
+* 3\_指标计算\_daily汇总：计算关键的业务指标
+* 6\_BI\_简单查询：使用SQL模拟BI查询的简单示意
+  ![](.topwrite/assets/image_1715856764265.png =414)
+
+## 主要步骤
+
+### 任务开发调度和提交发布运行
+
+使用 **任务开发** 模块的功能来编排整个 pipeline：首先进行数据同步导入，然后编写 SQL 代码进行数据清洗，按天维度统计出行数据、计算平均每单金额和平均乘客数等指标，最后供 BI 报表查询。
+
+#### 任务开发
+
+在任务开发界面，通过下图的新建按钮，可以按需创建同步任务、SQL 任务等任务类型：
+![](.topwrite/assets/image_1715856137643.png)
+
+^
+
+#### 任务调试运行
+
+任务创建后，可进行编码和配置。完成这些操作后，可使用“运行”功能测试代码逻辑是否正确。
+![](.topwrite/assets/image_1715856147701.png)
+
+^
+
+#### 任务调度配置和提交发布
+
+完成测试后，在“配置”选项中，可以设定任务的调度属性，包含定时调度的时间、调度的上游依赖等。配置完成后，通过点击“提交”按钮，将任务发布到生产环境进行定期调度运行。
+![](.topwrite/assets/image_1715856159293.png)
+
+### 配置监控告警以监控任务运行情况
+
+任务上线发布后，使用 **监控告警** 模块可配置监控规则，以监测任务运行失败等需要观测的状态或指标，并通过在告警中配置的通知渠道通知负责人进行处理。
+
+#### 监控规则配置
+
+以本次示例为例，配置监控任务实例的运行失败状态，给定具体的任务名称，并配置好通知渠道（基于通知策略）和通知人员等，如下图所示：
+![](.topwrite/assets/image_1715856178384.png)
+![](.topwrite/assets/image_1715856188374.png)
+
+在通知策略中，可配置推送间隔和次数，例如每 10 分钟发送一次，最多发送 6 次，以避免告警被遗漏。
+![](.topwrite/assets/image_1715856196213.png)
+
+### 使用数据质量监控数据产出的正确性
+
+除了监控任务调度运行状态外，为避免因上游数据变更或后续代码变更引入逻辑问题，也需要监控数据的正确性、合理性等，以确保业务方能够放心使用数据。这里会使用到 **数据质量** 模块的功能：
+
+#### 质量规则配置
+
+在 **数据质量** 模块，可以配置数据质量的监控规则，以监控任务产出表中的数据。
+![](.topwrite/assets/image_1715856220634.png)
+以 dws\_tripdata\_summary 表中的 avg\_passenger\_count（平均乘客数） 字段为例，监控其最大值要大于1（即平均至少有1个乘客），可以按照如下方式配置。
+![](.topwrite/assets/image_1715856226837.png)
+
+^
+
+#### 质量规则运行
+
+质量规则支持多种触发方式，例如手动触发、定时触发和周期任务触发。手动触发可用于测试规则配置的正确性。在本实例中，将质量规则配置为“周期任务触发”，即通过表的产出任务来触发，以达到在任务运行完成后即刻触发质量校验的目的，并配置为使用“强阻塞调度”模式。此方式意味着如果质量规则校验失败，则会将关联的调度任务实例状态也置为失败，从而阻塞下游任务实例的调度运行，防止数据问题扩散。
+![](.topwrite/assets/image_1715856234080.png)
+
+### 生产问题的运维处置
+
+1. 在任务调度运行后，通过监控检测到任务实例运行失败，收到 IM 告警
+   ![](.topwrite/assets/image_1715856242741.png =446)
+2. 基于监控告警的内容，可以直达告警对象
+   ![](.topwrite/assets/image_1715856478879.png)
+3. 排查任务实例失败的原因，从任务的变更记录中查找发现存在代码变动
+   ![](.topwrite/assets/image_1715856492223.png)
+4. 在运维中，点击“编辑”按钮，前往查看任务详情。在任务的版本中，可以查看到任务的提交历史记录。
+   ![](.topwrite/assets/image_1715856513403.png)
+5. 通过版本的对比功能查看具体的变动。定位到是代码逻辑改动引入的问题，进行代码回滚操作来修复，并重新提交。
+   ![](.topwrite/assets/image_1715856521466.png)
+6. 任务重新提交后，在实例的详情页进行运维处置，重跑任务实例，**注意选择使用最新的代码和配置**。
+   ![](.topwrite/assets/image_1715856529104.png)
+7. 实例重跑成功后，系统**会自动触发数据质量规则的重新运行**，校验通过。
+   ![](.topwrite/assets/image_1715856539792.png)
+8. 查看任务状态监控，实例状态通过重跑恢复成功后，**告警会自动关闭、不再推送，完全无需人工操作处置**。
+   ![](.topwrite/assets/image_1715856549114.png)
+
+## 小结
+
+通过 Lakehouse Studio 产品内置的数据开发、任务调度、任务运维、数据质量和监控告警功能的配合使用，在任务运行失败时，能第一时间告警通知责任人进行处置；通过操作审计定位变动、利用版本管理进行变更回滚、基于回滚后的代码重跑任务实例等，可快速进行处置；同时，监控告警事件与任务实例状态联动，重跑任务实例成功后，会自动关闭告警，无需手动操作，减少了告警处置环节，可大幅节约问题排查处置和数据生产恢复的时间。
+
+这些功能完整覆盖了 DataOps 中数据开发管理和数据运维两个关键环节的需求，能为“可测试、可监控、可回滚”的数据安全稳定生产提供坚实的落地保障。