@clickzetta/cz-cli-darwin-x64 0.3.1

package/bin/skills/lakehouse-doc/references/show-volume.md

@@ -0,0 +1,57 @@
+# SHOW VOLUMES
+
+## 语法结构
+
+```sql
+SHOW VOLUMES [IN schema_name] [LIKE 'pattern' | WHERE expr] [LIMIT num]
+```
+
+## 参数说明
+1. `LIKE pattern`：可选参数，用于按 volume 名称进行模式匹配过滤。支持不区分大小写的匹配，可使用 SQL 通配符 `%`（匹配任意数量字符）和 `_`（匹配单个字符）。示例：`LIKE '%testing%'`。注意：不支持与 `WHERE` 条件同时使用。
+
+2. `IN schema_name`：可选参数，用于指定特定的 schema 名称，列举该 schema 下的所有 volume。
+
+3. `WHERE expr`：可选参数，用于根据 `SHOW VOLUMES` 命令显示的字段进行筛选，支持使用表达式对结果进行精确过滤。
+
+## 显示字段
+
+| 字段 | 描述 |
+| --- | --- |
+| volume_name | Volume 的名称 |
+| create_time | Volume 的创建时间 |
+| external | 是否为外部 Volume |
+| workspace_name | Volume 所属的工作区名称 |
+| url | Volume 的 URL 地址 |
+| recursive_file_lookup | 是否启用递归文件查找 |
+| connection | Volume 的连接信息 |
+
+## 示例
+
+```sql
+SHOW VOLUMES;
+```
+
+```sql
+SHOW VOLUMES WHERE volume_name = 'zettapark_csv';
+```
+
+```sql
+SHOW VOLUMES WHERE external = true;
+```
+
+```sql
+SHOW VOLUMES WHERE workspace_name = 'xxx';
+```
+
+```sql
+SHOW VOLUMES WHERE recursive_file_lookup = false;
+```
+
+查询哪些 Volume 使用 xxx.storage_connection：
+```sql
+SHOW VOLUMES WHERE connection = 'xxx.storage_connection';
+```
+
+## 说明
+
+该命令用于列出当前 schema 下的所有 Volume 信息，并支持通过 WHERE 子句根据指定条件进行过滤显示。

package/bin/skills/lakehouse-doc/references/show.md

@@ -0,0 +1,168 @@
+# SHOW 语句
+
+列出指定类型的现有对象。
+
+## 语法结构
+```sql
+SHOW <object_type_plural> 
+[ IN <scope_object_name> ] 
+[ LIKE '<pattern>' | WHERE <expression>  ] 
+[ LIMIT <num> ]
+```
+
+## 参数详解
+1. 核心参数
+- **`<object_type_plural>`**（必需）  
+  需展示的对象类型
+
+2. 作用域限定
+- **`IN <scope_object_name>`**（可选）  
+  指定对象的作用域层级，对应关系如下表：
+
+| 对象类型                | 作用域格式             | 示例                  |
+|-----------------------|----------------------|----------------------|
+| TABLE/VIEW/MATERIALIZED VIEW/SYNONYM/VOLUME/TABLE STREAM/PIPE | `IN schema_name`          | `SHOW TABLES IN sales` |
+| 作业                  | `IN VCLUSTER vc_name`        | `SHOW JOBS IN VCLUSTER prod` |
+| 索引/列               | `IN table_name`           | `SHOW COLUMNS IN orders` |
+| SCHEMA/VCLUSTER/USERS/ROLES/PIPES | `IN workspace_name `      | `SHOW SCHEMA IN workspace_name`   |
+| 分区                  | 不支持使用 IN 关键字      | `SHOW PARTITIONS table_name`   |
+| CONNECTION/SHARE/FUNCTION                | 不支持作用域限定       | `SHOW CONNECTIONS`   |
+
+
+3. 结果过滤
+- **`LIKE '<pattern>'`**（可选，与WHERE二选一）  
+  使用通配符模式匹配对象名称（支持 `%` 和 `_`）
+  ```sql
+  SHOW TABLES LIKE 'temp%'  -- 匹配temp开头的表
+  ```
+  
+- **`WHERE <expression>`**（可选，与LIKE二选一）
+  支持用户根据命令返回的字段进行筛选。用户可以通过表达式对结果进行复杂过滤，目前只有 TABLE、TABLE STREAM、CONNECTION、VCLUSTER、JOB、SHARE、SYNONYM、PIPE 对象支持。对象类型与可筛选字段矩阵：
+
+| 对象类型             | 核心过滤字段（支持全字段组合查询）                                                                                                                                    |
+| ---------------- | ---------------------------------------------------------------------------------------------------------------------------------------------------- |
+| **TABLE**        | `table_name`, `is_view`, `is_materialized_view`, `is_external`, `is_dynamic`                                                                         |
+| **TABLE STREAM** | `create_time`, `name`, `table_name`, `mode`, `comment`                                                                                               |
+| **CONNECTION**   | `name`, `category`, `type`, `enabled`, `created_time`                                                                                                |
+| **VCLUSTER**     | `name`, `vcluster_type`, `max_concurrency`, `state`, `creator`, `create_time`, `min_replicas`, `max_replicas`, `min_vcluster_size`, `max_vcluster_size`, `current_vcluster_size`, `preload_tables`, `current_replicas`, `auto_suspend_in_second`, `auto_scale_in_in_second`, `running_jobs`, `queued_jobs`, `error_message`, `provision_mode` |
+| **JOB**          | `job_id`, `status`, `creator`, `priority`, `start_time`, `end_time`, `execution_time`, `vcluster_name`, `job_text`, `query_tag`                                    |
+| **SHARE**        | `share_name`, `provider`, `provider_instance`, `scope`, `kind`                                                                                       |
+| **SYNONYM**      | `synonym_name`, `create_time`, `target_type`, `target_name`                                                                                          |
+| **PIPE**         | `pipe_name`, `pipe_kind`, `status`, `copy_statement`                                                                                                |
+| **SCHEMA**       | `schema_name`, `type`                                                                                                |
+
+  ```sql
+  SHOW TABLES WHERE table_name=base_a_dt;
+  ```
+
+4. 结果限制
+- **`LIMIT <num>`**（可选）
+  限制返回结果数量
+  ```sql
+  SHOW TABLES LIMIT 10
+  ```
+
+5. 特殊语法形式
+索引/列的 FROM 语法：对于索引和列对象，支持使用 `FROM` 替代 `IN TABLE`：
+```sql
+SHOW INDEXES FROM customers       -- 等效于 SHOW INDEXES IN TABLE customers
+SHOW COLUMNS FROM order_details   -- 等效于 SHOW COLUMNS IN TABLE order_details
+```
+
+## 注意事项
+1. CONNECTION 和 SHARE 不支持作用域限定
+2. 模式匹配区分大小写
+3. `WHERE` 子句支持标准 SQL 表达式语法
+4. 返回结果默认按对象名称排序
+
+
+## LIKE子句的使用示例
+
+```SQL
+-- 查找名称中包含'taxi'的所有表
+SHOW TABLES LIKE '%taxi%';
+
+-- 查找名称以'yellow'开头的所有表
+SHOW TABLES LIKE 'yellow%';
+
+-- 查找名称中第二个字符为'a'的所有schema
+SHOW SCHEMAS LIKE '_a%';
+```
+
+## WHERE子句的使用示例
+
+```SQL
+-- 查找所有不是视图的表
+SHOW TABLES WHERE is_view=false;
+
+-- 查找所有外部表
+SHOW TABLES WHERE is_external=true;
+
+-- 查找特定schema中的所有表
+SHOW TABLES WHERE schema_name='mcp_demo';
+
+-- 使用多个条件进行过滤
+SHOW TABLES WHERE is_view=false AND table_name LIKE '%taxi%';
+
+-- 查找特定连接的卷
+SHOW VOLUMES WHERE connection='xxx.storage_connection';
+
+-- 查找外部卷
+SHOW VOLUMES WHERE external=true;
+```
+
+## 使用建议
+
+1. 当只需要按对象名称过滤时，使用LIKE子句更为简洁
+2. 当需要基于对象的属性或特性进行筛选时，使用WHERE子句更为灵活
+3. 对于不支持WHERE子句的对象类型，只能使用LIKE子句进行名称过滤
+4. WHERE子句支持更复杂的过滤条件，包括逻辑运算符的组合
+
+请注意，云器 Lakehouse 的 SHOW 命令功能与标准 SQL 中的 SHOW 命令相似，但有其特定的语法和支持范围。
+
+## 具体的语法参考
+
+[SHOW USERS](SHOWUSERS.md)
+
+[SHOW GRANTS](show-grants-user.md)
+
+[SHOW ROLES](SHOWROLES.md)
+
+[SHOW GRANTS](SHOWGRANTS.md)
+
+[SHOW CONNECTIONS](SHOWCONNECTIONS.md)
+
+[SHOW SCHEMAS](show-schemas.md)
+
+[查看外部SCHEMA](show-external-schemas.md)
+
+[SHOW SHARES](show-shares.md)
+
+[SHOW VCLUSTERS](show-vclusters.md)
+
+[SHOW JOBS](show-jobs.md)
+
+[SHOW DYNAMIC TABLE REFRESH HISTORY](refresh-history.md)
+
+[SHOW TABLES](SHOWTABLES.md)
+
+[SHOW VIEWS](show-views.md)
+
+[列出当前空间下的物化视图](show-materialized-view.md)
+
+[列出动态表](show-dynamic-table.md)
+
+[SHOW VOLUMES](<show-volume.md>)
+
+[SHOW TABLE STREAMS](show-table-streams.md)
+
+[SHOW SYNONYMS](show-synonyms.md)
+
+[SHOW INDEX](SHOW-INDEX.md)
+
+[SHOW PARTITIONS](list-partition.md)
+
+[SHOW COLUMNS](<show-columns.md>)
+
+[SHOW PIPES](<pipe-syntax.md>)
+

package/bin/skills/lakehouse-doc/references/simpletosimple_bazhuayu_datagpt.md

@@ -0,0 +1,152 @@
+# 基于八爪鱼和云器DataGPT，实现至简的网页数据获取与对话式数据分析
+
+:-: ![](.topwrite/assets/image_1734329097397.png =447)
+
+## 从简单走向简单
+
+数据的重要性不言而喻。它不仅是企业决策的基础，也是创新和发展的动力。然而，传统的数据采集和分析方法往往复杂且耗时，往往需要使用者具备代码（SQL/Python）编写能力，这限制了数据的快速应用和价值的最大化。因此，我们提出了一个方案思想——“从简单走向简单”，不管是数据获取还是数据分析，都采用无代码的方法，旨在通过简化数据采集和分析流程，让更多人能够快速、直观地获取所需信息，从而提高数据处理效率，并通过数据获得深入见解。每一份报告，都因为你独特的数据内容而独特！每一页PPT，都因为你的深入见解而让人折服！
+
+## 方案组成
+
+:-: ![](.topwrite/assets/image_1734329112134.png =485)
+
+其中，八爪鱼采集器是一款功能强大且操作简便的数据采集工具，它能让用户无需编写代码就能采集网站数据。无需学习复杂的编程技术，轻松上手，仅需简单三步就能获取网页数据。
+
+云器DataGPT是一款创新的对话式AI数据分析工具，引领了从传统仪表盘和复杂报告向对话式分析的转变。同样无需编码技术，无需安装部署，即开即用，简单三步就能通过流行的自然语言对话问答方式对获取的数据进行可视化分析。
+
+云器Lakehouse是云器DataGPT底层的数据存储和处理平台，对于云器DataGPT用户来说，无需关注底层的复杂性，就能享受无限存储和极速处理数据的便利。
+
+## 方案指南
+
+### 方式一：以Excel文件作为数据交换格式，适合无数据库背景的用户使用。具体实现步骤如下：
+
+:-: ![](.topwrite/assets/image_1734329129548.png =514)
+
+#### 八爪鱼：
+
+#####   01、创建任务    通过点击鼠标配置页面数据捕捉方式。
+
+:-: ![](.topwrite/assets/image_1734329148588.png =700)
+
+#####   02、开始采集    
+
+开始进行采集，等待采集完成后，检查采集到的数据是否符合预期。要提前留意本地采集和云采集在导出数据上的不同。因为方式二支持导出到 MySQL，而本地采集不支持，所以选择了云采集方式。
+
+:-: ![](.topwrite/assets/image_1734329171687.png =700)
+
+检查采集到的数据是否符合预期：    
+首先，需要对采集到的数据进行全面的审查和分析。这包括数据的准确性、完整性和一致性。准确性是指数据是否准确无误地反映了实际情况；完整性是指数据是否涵盖了所有预期的信息；一致性是指数据在不同来源或不同时间点是否保持一致。    
+接着，要将采集到的数据与预期的标准和规范进行比对。例如，数据的格式是否符合要求，数据的取值范围是否在合理的范围内，数据的逻辑关系是否正确等。   
+ 然后，还需要检查数据的合理性。通过对数据的观察，判断数据是否存在异常或不合理的波动。
+
+:-: ![](.topwrite/assets/image_1734329188223.png =700)
+
+#####   03、数据导出    
+
+导出数据为Excel文件。八爪鱼采集到的数据，支持自动导出数据到本地文件，文件格式包括Excel、CSV、html、json、Xml，注意团队版和企业版才支持该功能，如需自动导出到本地文件，请升级到账号到对应套餐版本。
+
+:-: ![](.topwrite/assets/image_1734329204072.png =700)
+
+#### 云器DataGPT：
+
+#####   04、导入数据    
+
+导入刚才下载的Excel文件里的数据
+
+:-: ![](.topwrite/assets/image_1734329222963.png =700)
+
+:-: ![](.topwrite/assets/image_1734329229933.png =700)
+
+#####   05、数据标注    
+
+对字段增加必要的描述和别名，以方便大模型理解数据，并提高问答过程中自然语言和数据定义的一致性。云器DataGPT会根据提供的信息自动生成字段描述和别名，只是需要用户选择和确认一下，这极大的降低了数据标注的工作量。
+
+:-: ![](.topwrite/assets/image_1734329251329.png =700)
+
+#####   06、数据分析    通过自然语言问答的方式进行数据分析。   
+
+ **问一下：不同门类的专业数量**？
+
+:-: ![](.topwrite/assets/image_1734329262043.png =700)
+
+**问一下：管理学都设置了哪些专业**？
+
+:-: ![](.topwrite/assets/image_1734329282295.png =700)
+
+**问一下：人气值最高的专业类别，前10个，不包括类型为0的**
+
+:-: ![](.topwrite/assets/image_1734329294818.png =700)
+
+**问一下：不同专业门类毕业后的平均薪酬**
+
+:-: ![](.topwrite/assets/image_1734329304049.png =700)
+
+**问一下：哪些专业开设了素描课程**？
+
+:-: ![](.topwrite/assets/image_1734329315980.png =700)
+
+看起来刚下载的数据里还有很多有趣的问题等你来探索呢！
+
+### 方式二：使用MySQL协议从八爪鱼直接同步数据到云器Lakehouse，适合无数据库背景的用户使用。具体实现步骤如下：
+
+:-: ![](.topwrite/assets/image_1734329328797.png =700)
+
+八爪鱼：
+
+  01、创建任务：通过点击鼠标配置页面数据捕捉方式
+
+  02、开始采集：并等待采集完成，并检查采集到的数据是否符合预期
+
+  03、数据导出：配置到云器Lakehouse的MySQL连接
+
+  云器DataGPT：
+
+  04、导入数据：创建Lakehouse目标表并添加到DataGPT
+
+  05、数据标注：对字段增加必要的描述和别名，以方便大模型理解数据
+
+  06、数据分析：通过自然语言问答的方式进行数据分析
+
+  和方式一不同的是MySQL数据库的配置，这里介绍如下：
+
+  八爪鱼采集到的数据，支持导出到Mysql数据库中。可手动导出，也按照设置的定时导出计划，自动导出。
+
+  云器Lakehouse支持MySQL方式的访问方式，可以直接将数据通过MySQL协议导入到云器Lakehouse，这样就不需要云器Lakehouse自己的JDBC驱动，直接适应已有的MySQL JDBC驱动即可，极大的提高了便利性。
+
+  将数据导出方式选择为“导出到数据库”，并选择MySQL（云器Lakehouse支持MySQL协议）：
+
+:-: ![](.topwrite/assets/image_1734329339603.png =700)
+
+  配置数据库信息：
+
+:-: ![](.topwrite/assets/image_1734329350652.png =700)
+
+[通过MySQL连接云器Lakehouse的配置请参考](https://www.yunqi.tech/documents/use-mysql-client)：
+
+<https://www.yunqi.tech/documents/use-mysql-client>
+
+## 总结
+
+本文介绍了一种基于八爪鱼和云器 DataGPT 的方案，旨在简化网页数据获取与对话式数据分析流程，提高效率和响应速度。该方案包括八爪鱼采集器、云器 DataGPT 和云器 Lakehouse 三个部分，分别用于数据采集、分析和存储处理。方案提供了两种方式，一种是以 Excel 文件作为数据交换格式，适合无数据库背景的用户；另一种是使用 MySQL 协议从八爪鱼直接同步数据到云器 Lakehouse，适合有数据库背景的用户。
+
+在日常的工作、学习、科研中，越来越多的需要通过数据说话。无论是企业的决策制定，还是学术研究的深入探索，又或是个人学习的数据分析，数据都扮演着至关重要的角色。
+
+在工作方面，精准的市场调研数据能够帮助企业准确把握市场需求，优化产品策略，从而在激烈的竞争中立于不败之地；详细的销售数据分析可以揭示潜在的客户需求和消费趋势，为企业的业务拓展提供有力支持。
+
+在学习中，通过对学生学习成绩和行为数据的分析，教师能够因材施教，制定更具针对性的教学计划，提升教学效果；学生也可以借助自身的学习数据，了解自己的优势和不足，及时调整学习策略，提高学习效率。
+
+在科研领域，大量的实验数据和观测结果是得出科学结论、推动学科发展的重要依据。科研人员需要对海量的数据进行整理、分析和解读，从中发现规律，探索未知。
+
+因此，赶快开启你的数据化之旅吧！让数据成为你运营、管理和决策的有力助手，为你的工作、学习和科研带来新的突破和发展。
+
+这一切，都因为八爪鱼和云器DataGPT的完美集成，让你的实践自始至终保持简单，从数据获取到数据分析，快来获得从简单走向简单的体验吧！
+
+^
+
+这里也提供下[八爪鱼的下载地址](https://www.bazhuayu.com/)，方便你进行实践：<https://www.bazhuayu.com/>
+
+以及[云器Lakehouse和DataGPT的开通地址](https://accounts.clickzetta.com/register)：<https://accounts.clickzetta.com/register> 和[快速入门](datagpt_quickstart.md)
+
+ 
+
+数据能手，非你莫属！

package/bin/skills/lakehouse-doc/references/small_file_optimization.md

@@ -0,0 +1,101 @@
+# 自动合并小文件功能
+
+在数据写入过程中，Lakehouse 提供了一项自动合并小文件的功能，旨在提升存储效率和查询性能。这项功能对于处理由高频写入操作产生的大量小文件尤其有效，因为这些小文件在查询时可能会引起频繁的I/O操作，进而影响整体性能。需要注意的是，启用此功能可能会导致写入速度变慢，因为合并操作需要额外的时间来处理。
+
+> 虽然 Lakehouse 后台默认会不定时自动执行文件合并，但在频繁更新或需要精细控制合并频率的场景中，用户可以通过手动调用该命令来满足特定业务需求。该命令支持异步和同步两种执行模式，为不同场景提供灵活的优化方案。
+
+**功能优势**：
+
+* **减少I/O操作**：合并小文件可以减少查询过程中的I/O操作，从而加快数据访问速度。
+* **自动触发**：在数据插入时，合并操作会自动执行，无需用户进行额外的手动操作。
+# 注意事项
+- 该功能只能在**通用型（GENERAL PURPOSE VIRTUAL CLUSTER）计算集群**上运行，在分析型计算集群上该功能不会生效。
+# 执行DML语句时触发小文件合并
+添加如下设置，选中后和 DML 语句一起执行会触发小文件合并。
+`SET cz.sql.compaction.after.commit = true;`
+
+
+## 使用场景
+
+* **高频写入**：在需要频繁写入数据的场景下，如动态表刷新，建议开启此功能。高频写入往往会生成大量小文件，自动合并可以有效地管理这些文件。
+
+## 使用案例
+
+假设您有一个名为`test_sql_compaction`的表，用于存储分区数据。
+
+```SQL
+CREATE TABLE test_sql_compaction (
+    id BIGINT,
+    name STRING
+) PARTITIONED BY (ds STRING);
+```
+
+在未启用自动合并功能前，每次插入操作可能会生成多个小文件。例如，插入 10 条记录：
+
+```SQL
+-- 插入10条记录
+INSERT INTO test_sql_compaction PARTITION (ds ='1') VALUES(1, 'a');
+-- 重复此INSERT操作共10次
+```
+
+插入后，您可以查看生成的文件数量：
+
+```SQL
+SHOW PARTITIONS EXTENDED test_sql_compaction;
+```
+
+再次插入数据：
+
+```SQL
+SET cz.sql.compaction.after.commit = true;
+INSERT INTO test_sql_compaction PARTITION (ds ='1') VALUES(1, 'a');
+```
+
+合并后，再次查看文件数量，您会发现小文件已被合并：
+
+```SQL
+SHOW PARTITIONS EXTENDED test_sql_compaction;
+```
+# 使用OPTIMIZE命令触发小文件合并
+## 概述
+`OPTIMIZE` 是 Lakehouse 提供的一个异步文件优化命令，用于合并小文件、优化存储布局，提升查询性能。该命令‌**仅支持在 GP 型计算集群运行**‌，执行后立即返回任务ID，实际优化操作在后台异步执行。
+## 语法
+```SQL
+OPTIMIZE table_name
+[WHERE predicate]  -- 可选分区过滤条件
+[OPTIONS ('key' = 'value')]  -- 可选配置参数
+```
+## 参数说明
+1. table_name（必选）
+* 需要优化的目标表名称，格式为 `[schema_name.]table_name`
+2. WHERE predicate（可选）
+* 分区过滤条件，必须包含‌**完整的分区列匹配条件**‌
+* 支持格式：`partition_column = 'value'` 或复合分区 `dt='2023-01-01' AND region='us'`
+* OPTIONS:Lakehouse保留参数
+## 使用案例
+假设您有一个名为`test_sql_compaction`的表，用于存储分区数据。
+```SQL
+DROP TABLE test_sql_compaction;
+CREATE TABLE test_sql_compaction (
+    id BIGINT,
+    name STRING
+) PARTITIONED BY (ds STRING);
+```
+在未启用自动合并功能前，每次插入操作可能会生成多个小文件。例如，插入 10 条记录：
+```SQL
+-- 插入10条记录
+INSERT INTO test_sql_compaction PARTITION (ds ='1') VALUES(1, 'a');
+-- 重复此INSERT操作共10次
+```
+插入后，您可以查看生成的文件数量：
+```SQL
+SHOW PARTITIONS EXTENDED test_sql_compaction;
+```
+执行合并小文件命令
+```SQL
+OPTIMIZE  test_sql_compaction;
+```
+合并后，再次查看文件数量，您会发现小文件已被合并：
+```SQL
+SHOW PARTITIONS EXTENDED test_sql_compaction;
+```