@clickzetta/cz-cli-darwin-x64 0.3.1

package/bin/skills/lakehouse-doc/references/data-catalog.md

@@ -0,0 +1 @@
+^

package/bin/skills/lakehouse-doc/references/data-integration-intro.md

@@ -0,0 +1,60 @@
+# 概述
+
+数据同步是云器 Lakehouse 内置的高效数据集成服务，支持在多种数据源之间同步数据，并利用调度系统创建自动化的同步任务。通过数据同步功能，用户无需编写代码，只需通过简单的向导式操作即可实现快速导入 Lakehouse、导出加工后数据或进行不同数据源之间的数据同步。
+
+^
+
+## 基本概念
+
+### 数据同步任务
+
+数据同步任务是用于从数据源采集数据并写入目标数据源的一种任务类型。根据数据同步的时效性，数据同步任务可分为离线同步任务和实时同步任务。在 Lakehouse Studio 中，数据同步任务通过界面配置实现任务定义和调度配置，无需编写代码。
+
+Lakehouse Studio 目前支持离线周期同步和实时同步两大类同步任务类型。在“开发 > 任务”中点击新建按钮，按需选择合适的任务类型。
+
+![](.topwrite/assets/image_1736153630510.png =600)
+
+^
+
+一个数据同步任务包含以下核心组件：
+
+1.  **数据来源**：同步任务的数据来源，包括数据库、文件系统、SaaS/应用、Lakehouse 空间数据源等。数据来源由数据源进行定义和管理。
+2.  **数据对象**：同步任务需要处理的数据来源下的数据对象，如数据库表、消息队列 Topic、文件系统文件等。
+3.  **对象及 Schema 映射**：定义来源数据对象与目标数据对象及其 Schema 之间的映射关系。
+4.  **数据目标**：数据写入的目标数据源，包括 Lakehouse 及其他外部数据源。
+5.  **任务设置**：影响任务运行的规则设置，如容错规则、并发设置、流量控制等。
+6.  **调度配置**：任务调度运行的规则及策略。
+
+### 数据源
+
+数据源是定义外部服务连接信息的对象，包括服务地址、认证信息、连接方式等。定义好的数据源可以在数据同步任务中作为数据来源或数据目标使用。数据源位于“管理 > 数据源”功能菜单下。
+
+![](.topwrite/assets/image_1736153771696.png =800)
+
+^
+
+## 使用示例
+
+### 示例：从MySQL数据库同步数据到Lakehouse
+
+假设您有一个 MySQL 数据库，其中包含客户订单数据。您希望将这些数据同步到 Lakehouse，以便进行数据分析和处理。
+
+1.  在 Lakehouse 中创建一个新的数据同步任务。
+2.  选择 MySQL 数据库作为数据来源，并指定相应的数据源连接信息。
+3.  选择需要同步的数据库表作为数据对象。
+4.  定义表结构及字段映射规则。
+5.  选择 Lakehouse 作为数据目标，并指定目标表。
+6.  根据需要配置任务设置和调度配置。
+7.  启动同步任务，数据将按照设定的规则从 MySQL 数据库同步到 Lakehouse。
+
+通过以上示例，您可以看到 Lakehouse 数据同步功能可以帮助您轻松实现不同数据源之间的数据同步，无需编写复杂的代码。这将大大提高数据处理效率，让您专注于数据分析和业务决策。
+
+^
+
+详细的数据同步任务的创建和配置指南，请参考以下帮助文档：
+
+* [离线同步任务](batch_sync.md)
+* [实时同步任务](realtime_sync.md)
+* [多表实时同步任务](multitable_realtime_sync.md)
+
+^

package/bin/skills/lakehouse-doc/references/data-integration.md

@@ -0,0 +1,10 @@
+## 数据同步
+
+* [概述](data-integration-intro.md)
+* [数据源支持范围](datasources.md)
+* [配置数据源](config-datasource.md)
+* [同步任务开发](pipeline-batch.md)
+* [全量增量一体同步](realtimesync_m.md)
+* [多表实时同步](realtimesync.md)
+
+^

package/bin/skills/lakehouse-doc/references/data-lifecycle.md

@@ -0,0 +1,46 @@
+# 数据生命周期
+
+数据生命周期（TTL）是指云器 Lakehouse 中表和表分区从最后一次更新时间算起的时间长度。在指定的时间周期内，如果数据没有发生变动，系统将自动回收这些数据。生命周期的单位是天，且取值为整数类型。
+
+## 数据生命周期的工作原理
+
+数据生命周期到期的回收依赖于数据的最后修改时间（last\_modified\_time）。对于非分区表，您可以通过 `desc extended` 命令查看 last_modified_time；对于分区表，您可以通过 `SHOW PARTITIONS EXTENDED table_name` 查看对应具体分区的 last_modified_time。当发生 DDL（数据定义语言）或 DML（数据操纵语言）操作时，last_modified_time 会更新。
+
+需要注意的是，到期的数据并不会立即被回收。您仍然可以查询这些数据，直到后台进程执行删除操作。通常，后台进程会在 24 小时内删除这些数据。此外，被回收的表仍然遵守 [数据保留周期](TIMETRAVEL.md)，您仍可以使用 [时间旅行](TIMETRAVEL.md) 功能进行查询。若需要恢复已删除的对象，可以使用 [undrop table](UNDROP-TABLE.md) 命令。
+
+## 设置数据生命周期
+
+生命周期单位为天，取值为正整数。设置为 '-1' 代表不开启生命周期，即数据将被永久保留。您可以在创建表时指定生命周期，也可以在表创建后进行修改。
+
+### 具体SQL操作方式
+
+**创建表时设置生命周期**
+
+```SQL
+-- 创建表并设置生命周期为7天
+CREATE TABLE tname (col1 datatype1, col2 datatype2) PROPERTIES('data_lifecycle'='7');
+-- 创建表并设置生命周期为7天，同时在生命周期到期时删除表结构
+CREATE TABLE tname (col1 datatype1, col2 datatype2) PROPERTIES('data_lifecycle'='7', 'data_lifecycle_delete_meta'='true');
+```
+
+**修改现有表的生命周期**
+
+```SQL
+-- 修改表的生命周期为10天
+ALTER TABLE tname SET PROPERTIES ('data_lifecycle'='10');
+-- 修改表的生命周期为10天，并在生命周期到期时删除表结构
+ALTER TABLE tname SET PROPERTIES ('data_lifecycle'='10', 'data_lifecycle_delete_meta'='true');
+```
+
+## 注意事项
+
+1.  生命周期回收任务每天不定时启动，每 12 小时轮询一次，会扫描全量分区。只有当 last_modified_time 超过生命周期指定的时间时，数据才会被回收。
+2.  生命周期回收主要针对表或分区，每天根据服务的繁忙程度进行，不能确保到期后立即被回收。
+3.  生命周期到期时，默认行为是不删除表结构，只清空数据。如果您希望删除表结构，请在设置生命周期时添加参数 `ALTER TABLE tname SET PROPERTIES ('data_lifecycle_delete_meta'='true')`。
+4.  修改生命周期时，例如当您将生命周期策略从 15 天更改为 30 天时，新策略会立即生效。但是由于生命周期回收任务每天不定时启动，通常每 12 小时轮询一次。在极少数情况下，如果在策略变更时，回收任务恰好启动并读到了旧的策略，可能会按照旧策略（15 天）回收部分数据。该现象属于系统设计的正常机制，不会影响未到期数据的安全。
+
+
+
+
+
+

package/bin/skills/lakehouse-doc/references/data-load-summary.md

@@ -0,0 +1,71 @@
+# 数据导入概览
+
+将数据加载到 Lakehouse 的方法有多种，具体取决于数据源、数据格式、加载方式（如批量、流式或数据传输）等因素。Lakehouse 提供了多种导入方式，按导入方式划分包括：支持用户 SDK 导入、支持使用 SQL 命令导入、支持使用客户端上传数据、支持第三方开源工具导入、支持通过 Lakehouse Studio 可视化界面导入。
+
+## 导入方式概览
+
+![](.topwrite/assets/image_1742463415615.png)
+
+## 按场景划分
+
+| 数据源                             | 具体案例                                                                                                                      | 适用场景                                                                                                  |
+| ------------------------------- | ------------------------------------------------------------------------------------------------------------------------- | ----------------------------------------------------------------------------------------------------- |
+| 本地文件快速上传                        | 使用put命令上传到内部Volume，再使用COPY命令导入                                                                                            | 适用于源文件上传，并且需要使用 SQL 进行转换的场景。推荐在上传过程中使用 SQL 来转换或处理异常数据。                                                       |
+|                                 | [使用Lakehouse Studio的可视化上传界面](load-data-local.md)                                                                          | 1. 适用于需要上传小数据量文件的用户，尤其是当文件存储在本地时。
+2. 用户界面友好，简化上传流程。
+3. 支持多种文件格式，包括 CSV、Parquet、Avro，满足不同数据格式需求。           |
+|                                 | [使用Jdbc客户端   ](load-data-local.md)在 JDBC 2.0.0 之后的版本中，本地 COPY 命令已被弃用。我们建议您使用 PUT 方法将数据上传到 volume 中，然后使用服务器端的 COPY 命令进行导入。 | 1. 在没有可视化界面的情况下处理小数据量，适合技术用户，尤其是那些熟悉命令行操作且需要批量处理小数据量的用户。2. 快速处理 CSV 文件，适合脚本化和自动化操作。                             |
+| 批量从对象存储导入数据                     | [使用Volume批量从对象存储加载数据](load-data-oss.md)                                                                                   | 1. 适用于存储在对象存储上的数据，需要利用 SQL 性能优势快速读取大量数据的场景。
+2. 高效处理大规模数据集。
+3. 支持在导入时进行 SQL 数据转换，简化数据导入流程。
+4. 支持多种文件格式，包括 CSV、Parquet、ORC。 |
+|                                 | [使用Copy命令导入](load-data-oss.md)                                                                                            | 1. 具备 Volume 的优势。区别在于，COPY 命令提供更多容错参数和数据导出支持，同时也支持导出到对象存储。                                               |
+| 使用JavaSDK读取Kafka实时写入到Lakehouse中 | [使用Java SDK导入数据  ](use-java-sdk-releatime-uploaddata.md)                                                                  | 1. 适合需要实时数据流处理的业务场景，尤其是熟悉 Java 的开发人员。
+2. 实现实时数据读取和写入，确保数据的即时可用性。
+3. 适合自定义数据导入流程，提供高度灵活性。                         |
+| 自定义SDK读取文件写入到Lakehouse中          | [使用Java SDK导入数据  ](use-java-sdk-upload-dta-local.md)                                                                      | 1. 适合一次性大量数据导入，且数据更新频率不高（时间间隔大于五分钟）的场景。
+2. 支持自定义数据源，提供数据导入的灵活性。                                               |
+|                                 | [使用Python SDK导入数据](use-python-sdk-upload-data.md)                                                                         | 1. 适合熟悉 Python 的开发人员，需要自定义数据导入流程，尤其是当数据源不在对象存储或现有集成不支持时。                                                    |
+| 需要全托管服务和可视化操作的用户，尤其是需要同步第三方数据源的用户    | 使用 Lakehouse Studio 数据集成                                                                                                    | 1. 支持丰富的数据源和多种导入方式。
+2. 提供实时同步、CDC镜像同步和离线周期调度同步。
+3. 可视化监控，提高数据管理的透明度。                                       |
+
+# 按导入方式
+
+| 导入方式名称                   | 使用方式                                                                                                        | 使用注意事项                                                                                                                                                                                   |
+| ------------------------ | ----------------------------------------------------------------------------------------------------------- | ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
+| COPY 命令                  | [COPY INTO 命令](copy-into-table.md)                                                                          | 1. 目前支持的对象存储位置为腾讯云 COS 和阿里云 OSS。
+2. 不支持跨云厂商导入（后续会支持）。例如，您的 Lakehouse 实例部署在阿里云而对象存储是腾讯云 COS。                                                                                                              |
+| Volume                   | [使用ISNERT INTO... SELECT FORM VOLUEM导入  ](datalake_volume.md)                                               | 1. 目前支持的对象存储位置为腾讯云 COS 和阿里云 OSS。
+2. 不支持跨云厂商导入（后续会支持）。例如，您的 Lakehouse 实例部署在阿里云而对象存储是腾讯云 COS。                                                                                                               |
+| 数据集成                     | [使用数据集成导入](data-integration-intro.md)                                                                       | 1. 支持丰富的数据源，但性能可能比 COPY 命令和 Volume 略差。                                                                                                                                                           |
+| SDK实时数据流（RealtimeStream） | [实时上传数据](java_reference/realtime-upload.md)                                                                 | 1. 实时写入的数据可以秒级查询。
+2. 进行表结构更改时，需要先停止实时写入任务，然后在表结构变更后一段时间（大约 90 分钟）后，重新启动任务。
+3. Table stream、materialized view 和 dynamic table 只能显示已经提交的数据。实时任务写入的数据需要等待约 1 分钟才能确认，因此 table stream 也需要等待约 1 分钟才能看到。 |
+| SDK批量上传（BulkloadStream）  | [批量上传数据Java SDK](java_reference/bulkload-upload.md)、[批量上传数据Python SDK](python_reference/bulkload-upload.md) |                                                                                                                                                                                          |
+| 使用开源工具导入数据               | [AIRBYTE](airbyte.md)、[DATAX](eco_integration/datax.md)、[ FLINK CONNECTOR ](flink-write-connector.md)   |                                                                                                                                                                                          |
+
+# 导入说明
+
+Lakehouse 从原理上提供了两种主要的数据写入方法，以适应不同的数据处理需求和性能考量。
+
+### **SQL 引擎直接拉取**
+
+Lakehouse 的 SQL 引擎能够直接从对象存储中拉取数据，这一方法特别适合于数据源已经位于对象存储的场景。未来，Lakehouse 计划扩展支持更多类型的数据源，以进一步提升数据接入的灵活性。
+
+* **优势**：SQL 引擎直接拉取数据，利用其性能优势，可以高效地处理存储在对象存储中的数据。使用 COPY 命令、Volume 可在导入过程中进行数据转换。
+* **计算资源**：执行 SQL 查询时会消耗计算资源（Virtual Cluster），但这种消耗是值得的，因为它提供了强大的数据处理能力。
+* **文件格式**：目前支持的文件格式包括 CSV、PARQUET 和 ORC，这些格式都是数据分析和处理中常用的格式。
+* **导入方式**：支持多种数据导入方式，如 COPY 命令、Volume、数据集成离线导入以及 SDK 批量上传（BulkloadStream）。
+
+### 向Ingestion Service推送数据
+
+Lakehouse 的 Ingestion Service 为需要实时数据写入的场景提供了解决方案。客户端将数据推送到服务端，由 Ingestion Service 接收并提交到表中，包括 SDK 实时数据流（RealtimeStream）和 CDC 实时写入。
+
+* **优势**：提高了数据写入的时效性，实现了实时写入和实时可读。
+* **资源消耗**：目前 Ingestion Service 处于预览版，使用该服务暂不计费。但请注意，未来将开始计费。
+* **适用场景**：适用于需要实时数据流处理的业务场景，如实时分析和即时数据更新。
+
+# 批量加载建议
+
+批量摄取涉及加载不需要实时处理的大型有界数据集。这些数据通常以特定的频率被摄取，并非所有数据都立即到达。对于批量加载，建议使用对象存储来存储传入数据。Lakehouse 支持多种文件格式，包括 CSV、Parquet、ORC。

package/bin/skills/lakehouse-doc/references/data-mamager-tool.md

@@ -0,0 +1 @@
+^

package/bin/skills/lakehouse-doc/references/data-recover.md

@@ -0,0 +1,52 @@
+# Lakehouse Time Travel 功能使用指南
+
+## Time Travel功能简介
+
+Lakehouse 的 Time Travel 功能让您能够轻松访问时间旅行窗口内任何时间点的数据。这意味着您可以在不同的时间点查看数据，甚至可以恢复到先前的数据状态。
+
+借助 Time Travel，您可以查询已更新或删除的数据、恢复已删除的表或者恢复已过期的表。
+![](.topwrite/assets/image_1708936936399.png =740)
+
+如上图所示，表中原来有一条数据，对表执行 INSERT、UPDATE、DELETE 等操作后，一共有四个版本。当指定的时间点或版本在 v0 到 v1 之间时，则会返回 v0 的数据。通过 Time Travel 指定时间点或版本可以查看历史版本数据。
+
+## 访问特定时间点的数据
+
+[TIME TRAVEL](TIMETRAVEL.md)
+
+## 设置数据保留周期
+
+您可以配置 Time Travel 的数据保留周期，以决定数据在时间旅行窗口中保留的时间长度。根据您的需求，您可以设置不同的保留期限。
+
+Time Travel 保留期限决定了您可以访问多久以前的数据。例如，如果 Time Travel 保留期限设置为 7 天，那么您可以访问过去 7 天内任何时间点的数据。如果超过了 7 天，您将无法再使用 Time Travel 访问过期的数据，数据会被物理删除。
+
+当前版本中，默认保留周期是 1 天，可以查询 1 天内的数据。
+
+### 在表上设置数据保留周期
+
+您可以通过以下SQL语句设置表的数据保留周期：
+
+```SQL
+ALTER TABLE orders SET PROPERTIES ('data_retention_days'='num');
+```
+
+其中 `num` 的设置范围为 0-90，表示数据保留的天数。
+
+## 恢复已删除的对象
+
+如果您意外删除了某个对象，可以使用 `UNDROP` 命令来恢复它。以下是一个恢复已删除表的示例：
+
+```SQL
+UNDROP TABLE orders;
+```
+
+此命令将恢复名为 `orders` 的已删除表。
+
+## 恢复到指定版本的数据
+
+使用 `RESTORE` 命令，您可以将数据恢复到特定版本。这对于回滚或修复错误的数据更改非常有用。以下是一个将数据恢复到指定版本的示例：
+
+```SQL
+RESTORE TABLE orders TO TIMESTAMP AS OF '2023-03-01 10:00:00';
+```
+
+此命令将 `orders` 表的数据恢复到 2023年3月1日 10:00:00 的版本。

package/bin/skills/lakehouse-doc/references/data-type.md

@@ -0,0 +1 @@
+^

package/bin/skills/lakehouse-doc/references/data-types-timestamp-ntz.md

@@ -0,0 +1,139 @@
+# TIMESTAMP\_NTZ
+
+## 概述
+
+timestamp\_ntz即timestamp without time zone 是一种数据库数据类型，用于存储不包含时区信息的日期和时间值。这意味着存储的时间值是绝对的，不考虑时区的变化。无论用户在哪个时区，timestamp without time zone 类型的字段显示的时间都是一样的,使用 timestamp without time zone 类型时，通常需要应用程序或用户自己来管理时区转换，因为数据库不会自动处理时区信息。这种类型适用于那些不需要考虑时区差异的场景。timestamp\_ntz等效于Mysql中的datetime。
+
+## 语法
+
+```SQL
+TIMESTAMP_NTZ
+```
+
+**说明**
+
+`timestamp_ntz` 类型当前支持 JDBC 客户端版本 1.4.0 及以上的 JDBC JAR 包
+
+### timestamp\_ntz常量格式
+
+```SQL
+TIMESTAMP_NTZ
+
+timestampString
+{ 'yyyy[...]' |
+  'yyyy[...]-[M]M' |
+  'yyyy[...]-[M]M-[d]d' |
+  'yyyy[...]-[M]M-[d]d ' |
+  'yyyy[...]-[M]M-[d]d[T][H]H[:]' |
+  'yyyy[..]-[M]M-[d]d[T][H]H:[m]m[:]' |
+  'yyyy[...]-[M]M-[d]d[T][H]H:[m]m:[s]s[.]' |
+  'yyyy[...]-[M]M-[d]d[T][H]H:[m]m:[s]s.[ms][ms][ms][us][us][us]' }
+```
+
+* `yyyy`：一个至少包含四位数字的年份。
+* `[M]M`：介于 01 和 12 之间的一位数或两位数的月份。
+* `[d]d`：介于 01 和 31 之间的一位数或两位数的日期。
+* `H[H]`：介于 00 和 23 之间的一位数或两位数的小时。
+* `m[m]`：介于 00 和 59 之间的一位数或两位数的分钟。
+* `s[s]`：介于 00 和 59 之间的一位数或两位数的秒。
+* `[ms][ms][ms][us][us][us]`：秒最多 6 位小数。
+
+```SQL
+SELECT TIMESTAMP_NTZ'2020-12-31';
++---------------------------+
+| TIMESTAMP_NTZ'2020-12-31' |
++---------------------------+
+| 2020-12-31 00:00:00       |
++---------------------------+
+SELECT TIMESTAMP_NTZ'2021-7-1T8:43:28.123456' as res;
++----------------------------+
+|            res             |
++----------------------------+
+| 2021-07-01 08:43:28.123456 |
++----------------------------+
+SELECT TIMESTAMP_NTZ'2021-7-1 8:43:28.123456' as res;
++----------------------------+
+|            res             |
++----------------------------+
+| 2021-07-01 08:43:28.123456 |
++----------------------------+
+```
+
+如果输入的字符串中的格式则会转化为timestmap
+
+## timestamp\_ntz和timestamp\_ltz的区别
+
+timestamp\_ntz（没有时区的时间戳）: 这种类型的时间戳记录的是“墙上时钟”时间，即不考虑任何时区信息的时间。所有的操作都是在没有考虑时区的情况下进行的。如果输出格式包含时区，将显示UTC指示符（Z）。这意味着，无论你在世界上的哪个地方，timestamp\_ntz记录的时间都是相同的。
+
+timestamp\_ltz（本地时区的时间戳）: 这种类型的时间戳在内部存储UTC时间，并根据当前会话的时区进行所有操作。这意味着，当你查询一个timestamp\_ltz类型的字段时，你看到的时间将是转换为你当前会话时区的时间。这使得在全球分布的系统中工作时，用户可以看到转换为他们本地时区的时间。
+
+如下所示：本地客户端的时区为utc+00区。timestamp\_ltz会根据字符输入的时区进行转化内部存储UTC时间，由于客户端也在utc+00区，所以查出来会转化为utc+00时间。而timestamp\_ntz不考虑任何时区所以客户端在任何时区查出来都是该时间
+
+```SQL
+SELECT timestamp_ltz'2022-03-30 06:00:00+08',timestamp_ntz'2022-03-30 06:00:00+08';
++---------------------------------------+---------------------------------------+
+| timestamp_ltz'2022-03-30 06:00:00+08' | timestamp_ntz'2022-03-30 06:00:00+08' |
++---------------------------------------+---------------------------------------+
+| 2022-03-29 22:00:00                   | 2022-03-30 06:00:00                   |
++---------------------------------------+---------------------------------------+
+```
+
+## 约束限制
+
+* 不支持python sdk写入timestamp\_ntz
+
+## 具体案例
+
+1. 将timestmap\_ntz转化为timestmap\_ltz
+
+```SQL
+SELECT cast(timestamp_ntz'2022-03-30 06:00:00' as timestamp_ltz);
++-------------------------------------------------------+
+| CAST(timestamp_ntz'2022-03-30 06:00:00' AS timestamp) |
++-------------------------------------------------------+
+| 2022-03-30 06:00:00                                   |
++-------------------------------------------------------+
+```
+
+2. 将timestmap\_lt转化为timestmap\_ntz
+
+```SQL
+SELECT cast(timestamp_ltz'2022-03-30 06:00:00+08' as timestamp_ntz);
++--------------------------------------------------------------+
+| CAST(timestamp_ltz'2022-03-30 06:00:00+08' AS timestamp_ntz) |
++--------------------------------------------------------------+
+| 2022-03-30 06:00:00                                          |
++--------------------------------------------------------------+
+```
+
+3. 建表时使用timestamp\_ntz字段数据类型
+
+```SQL
+CREATE    TABLE timestamp_wihtout_timezone (col timestamp_ntz);
+```
+
+4. 插入timestamp\_ntz类型数据
+
+```SQL
+INSERT    INTO timestamp_wihtout_timezone
+VALUES    (timestamp_ntz '2022-03-30 06:00:00');
+```
+
+5. 使用函数处理
+
+```SQL
+SELECT    year(timestamp_ntz '2022-03-30 06:00:00');
++--------------------------------------------+
+| `year`(timestamp_ntz'2022-03-30 06:00:00') |
++--------------------------------------------+
+| 2022                                       |
++--------------------------------------------+
+SELECT    month(timestamp_ntz '2022-03-30 06:00:00');
++---------------------------------------------+
+| `month`(timestamp_ntz'2022-03-30 06:00:00') |
++---------------------------------------------+
+| 3                                           |
++---------------------------------------------+
+```
+
+^

package/bin/skills/lakehouse-doc/references/data.md

@@ -0,0 +1 @@
+^

package/bin/skills/lakehouse-doc/references/data_catalog.md

@@ -0,0 +1,106 @@
+# 数据目录（Data Catalog）
+
+## 概述
+
+数据目录，又称为数据资产地图，提供强大的数据检索和展示功能，旨在帮助用户更轻松地查找、理解和使用数据。它支持两种模式：数据搜索模式和数据管理模式。数据搜索模式允许用户直接搜索数据，而数据管理模式则通过目录结构查找和管理数据表。通过数据目录，您可以更高效地管理和利用数据资源。
+![](.topwrite/assets/image_1735621816126.png)
+
+* 资产明细：展示当前租户的总数据资产。
+* 搜索框：点击进入数据搜索结果页
+* 数据管理：点击进入数据管理页面
+* 上传数据：轻量级本地文件上传入口
+* 最近浏览/最新创建：当前租户下最近浏览/创建的top5条数据表信息，点击可直接进入表详情页面
+
+## 数据搜索
+
+在数据目录首页的搜索框中输入关键字，即可进入搜索结果页面。搜索功能支持对象类型（Table、View、Materialized View）的名称和描述信息搜索。搜索结果页面提供多种筛选条件，包括对象类型、工作空间/Schema、创建时间、负责人等，以及名称、创建时间、更新时间等排序选项。
+![](.topwrite/assets/image_1735638515501.png)
+
+在搜索结果的筛选上：支持按照对象类型、所在工作空间/schema、创建时间、负责人进行过滤；同时支持按照名称、创建时间、更新时间进行过滤。
+
+![](.topwrite/assets/image_1735638559254.png)
+点击搜索结果页的表名，即可跳转至对应的表详情页。
+
+## 数据管理
+
+数据管理页面以目录形式展示当前用户在服务实例下有权限管理的所有数据资产。从首页点击“数据管理”，进入数据管理页面，展示当前服务下有权限的工作空间列表。
+
+![](.topwrite/assets/536c830f76/6d452f0b5d750f3a42ac150d3d2f2a46a1b06216.png)
+
+### 工作空间层级
+
+在工作空间层级下，您可以看到该空间下的所有Schema列表。点击左侧目录树可以展开层级查看。顶部区域展示工作空间的基本信息，如来源、创建时间/修改时间、负责人等。信息区域呈现具体的Schema信息，包括名称、创建时间、更新时间、责任人等。
+
+每个工作空间下都会有一个默认的information\_schema。
+
+工作空间下的shema包括内部创建、外部创建两种类别
+
+![](.topwrite/assets/536c830f76/13c0c5b0de5cdb544d9dfb30208ecd7897706983.png)
+
+支持用户在工作空间下通过可视化的方式创建schema信息。点击标题旁的问号，可查看创建对象的帮助文档。
+
+![](.topwrite/assets/536c830f76/ca874a7a019814f4b59811207177035046a8f740.png =297)
+
+### Schema层级
+
+点击具体的Schema后，下钻到该Schema的详情页面。在Schema层级下，可看到Schema下管理的所有对象信息，同时具体的对象通过对象类别进行管理。当前系统内支持的对象类型有Table、View、Materialized View三种类别。
+
+![Schema层级](.topwrite/assets/536c830f76/1c37e9e34e320d58f7d975ad833c5686162e1159.png)
+
+在Schema下支持直接创建对象，支持脚本创建和可视化创建两种方式。系统内置了不同对象的模板，帮助用户更好地理解Lakehouse语法。
+
+![创建对象模板](.topwrite/assets/536c830f76/79ef0ae4339fac60c009a9508b495ac8f3cbd090.png =529)
+
+## 表详情页
+
+表详情页展示了云器Lakehouse库内的所有表的详情信息、字段信息、数据预览、数据血缘、作业历史、上传等信息。详情页分为两部分，顶部区域显示表名、负责人以及一些表的快捷操作；信息区则包含六大块内容，分别是详情、字段、预览、血缘、作业、上传。
+
+![](.topwrite/assets/536c830f76/441e6d94ae7efacb852c089f4a4aa0871cc04c3f.png)
+
+### 顶部功能区域
+
+顶部区域显示当前表的完整结构（即对应的workspace/schema/表名信息）、行数/存储大小、创建时间/更新时间、责任人等基础信息。顶部区域还提供“上传”功能，支持将本地文件通过上传的方式传至云器Lakehouse平台。
+
+![顶部功能区域](.topwrite/assets/536c830f76/67ea57ab34dd3b76f3ab553faf2a258f582864bc.png)
+
+### 详情
+
+详情页签中展示了当前表的DDL语句，并支持一键复制，同时支持一键进入权限管理页面进行权限授权。
+
+![](.topwrite/assets/536c830f76/f081a3d6f3b91bec4de88b3ee67a10bd42003355.png)
+
+### 字段
+
+在**字段**页签中会显示当前表的字段名称、类型、描述等信息，若有主键等信息，还可以显示主键、字段的标准化标签。
+
+![](.topwrite/assets/536c830f76/47b33b650c6c77e2de4ff2df037836580e4be390.png)
+
+### 预览
+
+在数据预览Tab页，可以预览当前表的100条数据。注意此处有数据权限限制，需要当前登陆用户具备此表的Select权限才可预览。
+
+数据预览需要用户手动选择参与查询的计算集群才能显示出预览数据。
+
+![](.topwrite/assets/536c830f76/c5efa313984239360d57373d1912d37f030c7345.png)
+
+### 血缘
+
+在数据血缘Tab页，可以查看当前表的上下游依赖关系。此处血缘关系基于产出此表的对应任务的代码解析生成，属于“定义视角”的关系。
+
+![](.topwrite/assets/536c830f76/3e8ffc557a0d11d362aef2a576257b5b023f4e78.png)
+
+点击具体的上游或者下游表节点，可以查看其更详细的信息：
+
+![](.topwrite/assets/536c830f76/0820ab62e0868ea1f873defc635eb4577142a084.png)
+
+### 作业
+
+作业Tab下可查看表对应的产出任务的SQL作业。通过点击作业ID，可进一步查看到作业详情。
+
+![](.topwrite/assets/536c830f76/b18ee57b085317472a1abfadb1777bda2fab3c36.png)
+
+### 上传
+
+在上传页签下，展示了当前表通过「上传」功能传入的所有历史记录。
+
+![](.topwrite/assets/536c830f76/89ad928925aedfc753ac5eca1b07411286234857.png)