@clickzetta/cz-cli-darwin-x64 0.3.1

package/bin/skills/lakehouse-doc/references/COPY_INTO_Location.md

@@ -0,0 +1,371 @@
+# 使用COPY INTO导出文件
+
+将表或查询结果导出到指定路径。您可以将一张表或查询结果导出为文件并保存到 Volume 的指定路径。请注意，如果指定路径下已存在同名文件，则该文件将会被覆盖。
+
+注意事项
+
+* **默认文件名**：Lakehouse 导出时，默认文件名是相同的。因此，如果您多次运行导出操作并且指定了相同的子目录（SUBDIRECTORY），新文件将覆盖上次导出的文件。
+* **避免覆盖**：为了防止意外覆盖现有文件，请确保每次导出时使用唯一的文件名或子目录。
+
+# 语法
+
+```SQL
+---语法
+COPY INTO { VOLUME external_volume_name | TABLE VOLUME table_name  | USER VOLUME }  
+SUBDIRECTORY '<path>'
+FROM { [schema.]<table_name> | ( <query> ) }
+FILE_FORMAT = ( TYPE = { CSV  | PARQUET | JSON }  [ formatTypeOptions ]  ) 
+[ copyOptions ]
+```
+
+## **参数说明**
+
+* **COPY INTO**：表示向目录中追加数据。
+
+* **VOLUME**：支持 `external_volume_name`，具体介绍参考[Volume介绍](datalake_volume.md)。
+  * `external_volume_name`：客户指定的外部存储位置，云器仅保留路径元信息。支持的存储产品有：阿里云 OSS、腾讯云 COS、亚马逊云 S3。创建过程可以参考[CONNECTION创建](Datalake_StorageConnection.md)和[VOLUME创建](datalake_volume_object.md)。
+  * **Table Volume**：Lakehouse内部存储，与内表对象共同存储于指定Schema路径下。
+  * **User Volume**：用户账号关联的文件存储区域，Workspace User默认对该区域具备管理权限。每个Workspace都默认拥有一个具备管理权限的User Volume。
+    ```SQL
+    --1.将数据导入到external_volume中。前提必须创建external_volume
+    COPY INTO VOLUME my_volume SUBDIRECTORY 'dau_unload/'
+    FROM TABLE birds
+    file_format = (type = CSV);
+    --查看volume中的文件
+    --show volume directory
+    SHOW VOLUME DIRECTORY my_volume SUBDIRECTORY 'dau_unload/';
+    +--------------------------+----------------------------------------------------------------+------+---------------------+
+    |      relative_path       |                              url                               | size | last_modified_time  |
+    +--------------------------+----------------------------------------------------------------+------+---------------------+
+    | dau_unload/part00001.csv | oss://lakehouse-perf-test/test_insert/dau_unload/part00001.csv | 105  | 2024-12-27 16:49:01 |
+    +--------------------------+----------------------------------------------------------------+------+---------------------+
+    --2.将数据导入到user volume中
+    COPY INTO USER VOLUME SUBDIRECTORY 'dau_unload/'
+    FROM TABLE birds
+    file_format = (type = CSV);
+    SHOW  USER VOLUME DIRECTORY  SUBDIRECTORY 'dau_unload/';
+    +--------------------------+-------------------------------------------------------------------------------------------------------------------+------+---------------------+
+    |      relative_path       |                                                        url                                                        | size | last_modified_time  |
+    +--------------------------+-------------------------------------------------------------------------------------------------------------------+------+---------------------+
+    | dau_unload/part00001.csv | oss://lakehouse-hz-uat/86/workspaces/qingyun_6552637055735457988/internal_volume/user_13/dau_unload/part00001.csv | 105  | 2024-12-27 16:52:06 |
+    +--------------------------+-------------------------------------------------------------------------------------------------------------------+------+---------------------+
+    --删除user volume中的文件
+    REMOVE  VOLUME my_volume  FILE 'dau_unload/part00001.csv'
+
+    --3.将数据导入到table volume中
+    COPY INTO TABLE VOLUME birds  SUBDIRECTORY 'dau_unload/'
+    FROM TABLE birds
+    file_format = (type = CSV);
+    SHOW  TABLE VOLUME  DIRECTORY  birds SUBDIRECTORY 'dau_unload/';
+    +--------------------------+-------------------------------------------------------------------------------------------------------------------------------------+------+---------------------+
+    |      relative_path       |                                                                 url                                                                 | size | last_modified_time  |
+    +--------------------------+-------------------------------------------------------------------------------------------------------------------------------------+------+---------------------+
+    | dau_unload/part00001.csv | oss://lakehouse-hz-uat/86/workspaces/qingyun_6552637055735457988/internal_volume/table_6808843871866704121/dau_unload/part00001.csv | 105  | 2024-12-27 16:57:54 |
+    +--------------------------+-------------------------------------------------------------------------------------------------------------------------------------+------+---------------------+
+    --删除table volume中的文件
+    REMOVE TABLE VOLUME birds  FILE 'dau_unload/part00001.csv';
+    ```
+
+***
+
+* **SUBDIRECTORY**：指定子路径，该参数必须填写。例如：`subdirectory 'month=02'`
+
+* **FROM**：支持直接导出表中数据，或直接编写查询语句（query）。
+
+```SQL
+ --直接指定表
+ COPY INTO VOLUME my_volume SUBDIRECTORY 'dau_unload/'
+ FROM TABLE birds
+ file_format = (type = CSV);
+ --将SQL结果集导出
+ COPY INTO VOLUME my_volume SUBDIRECTORY 'dau_unload/'
+ FROM  (select * from birds limit 1)
+ file_format = (type = CSV);
+```
+
+* **formatTypeOptions**：文件格式，支持 CSV、TEXT、PARQUET、JSON。其中 JSON 导出的格式参考 [JSON LINE](https://jsonlines.org/)。
+
+* CSV 格式支持的参数：
+  * sep：列分隔符，默认为 ”,“。最多支持长度为 1 的字符，例如：`sep=','`
+  * compression：配置文件压缩格式。支持的压缩格式有：gzip/zstd/zlib。例如：`compression='gzip'`
+  * lineSep：行分隔符，默认值为"\n"。最多支持长度为 2 的字符，例如：`lineSep='$'`
+  * quote：设置用于转义引号值的单个字符。默认值为双引号“"”，例如：`quote='"'`
+  * header：是否解析表头，默认为 false。布尔类型，例如：`header='true'`
+  * timeZone：配置时区，没有默认值。用于指定文件中时间格式的时区。例如：`timeZone = 'Asia/Shanghai'`
+  * escape：用于转义已加引号的值中的引号，默认值为“\”，例如：`escape='\'`
+  * nullValue：用于判定什么样的内容应为 Null，默认值为 \`""\`，例如 `nullValue='\\\N'` 或者 `nullValue=r'\N'`。使用 `r` 可以不需要转义字符，参考[正则转译](regexp-statement.md)。
+  * multiLine：是否有跨行的 CSV 记录，默认值为 `false`。如果有这样的记录，需要配置 `multiLine='true'`。
+  ```SQL
+  --指定分隔符为｜和压缩
+  COPY INTO VOLUME my_volume  SUBDIRECTORY 'dau_unload/'
+  FROM TABLE birds
+  file_format = (
+      type= CSV
+      sep='|'
+      compression='gzip'
+  );
+  ```
+
+* JSON 格式支持的参数：
+  * compression：源文件/目标文件是否压缩，默认不压缩，配置如 `'compression'='gzip'`
+
+  ```SQL
+    COPY INTO VOLUME my_volume  SUBDIRECTORY 'dau_unload/'
+    FROM TABLE birds
+    file_format = (
+        type= json
+    );
+    ```
+
+* Parquet、ORC、BSON 格式：无
+
+  ```SQL
+  COPY INTO VOLUME my_volume  SUBDIRECTORY 'dau_unload/'
+  FROM TABLE birds
+  file_format = (
+      type= parquet
+  );
+  ```
+
+* **copyOptions**
+
+  * `filename_prefix = '\<prefix\_name>'`：可选参数。设置文件前缀，例如：`filename_prefix = 'my_prefix_'`
+
+  ```SQL
+   --给文件添加前缀
+   COPY INTO VOLUME my_volume  SUBDIRECTORY 'dau_unload/'
+   FROM TABLE birds
+   file_format = (
+       type= json
+     
+   )
+   filename_prefix='birds'
+   ;
+   --查看目录，如第一行添加了前缀birds
+   SHOW VOLUME DIRECTORY my_volume SUBDIRECTORY 'dau_unload/';
+
+   +-------------------------------+---------------------------------------------------------------------+------+---------------------+
+   |         relative_path         |                                 url                                 | size | last_modified_time  |
+   +-------------------------------+---------------------------------------------------------------------+------+---------------------+
+   | dau_unload/birds00001.json    | oss://lakehouse-perf-test/test_insert/dau_unload/birds00001.json    | 295  | 2024-12-27 17:29:20 |
+   | dau_unload/part00001.csv      | oss://lakehouse-perf-test/test_insert/dau_unload/part00001.csv      | 105  | 2024-12-27 17:15:40 |
+   | dau_unload/part00001.csv.gzip | oss://lakehouse-perf-test/test_insert/dau_unload/part00001.csv.gzip | 104  | 2024-12-27 17:19:33 |
+   | dau_unload/part00001.json     | oss://lakehouse-perf-test/test_insert/dau_unload/part00001.json     | 295  | 2024-12-27 17:24:26 |
+   | dau_unload/part00001.parquet  | oss://lakehouse-perf-test/test_insert/dau_unload/part00001.parquet  | 1886 | 2024-12-27 17:27:15 |
+   | dau_unload/part00001.text     | oss://lakehouse-perf-test/test_insert/dau_unload/part00001.text     | 87   | 2024-12-27 17:25:34 |
+   +-------------------------------+---------------------------------------------------------------------+------+---------------------+
+  ```
+
+  * `filename_suffix = '\<suffix>'`：参数。设置文件后缀，例如：`filename_suffix = '.data'`
+
+  ```SQL
+        --添加后缀
+        COPY INTO VOLUME my_volume  SUBDIRECTORY 'dau_unload/'
+        FROM TABLE birds
+        file_format = (
+            type= json
+          
+        )
+        filename_suffix='.data';
+        --查看目录，如第四行添加了前缀birds
+        SHOW VOLUME DIRECTORY my_volume SUBDIRECTORY 'dau_unload/';
+        +-------------------------------+---------------------------------------------------------------------+------+---------------------+
+        |         relative_path         |                                 url                                 | size | last_modified_time  |
+        +-------------------------------+---------------------------------------------------------------------+------+---------------------+
+        | dau_unload/birds00001.json    | oss://lakehouse-perf-test/test_insert/dau_unload/birds00001.json    | 295  | 2024-12-27 17:29:20 |
+        | dau_unload/part00001.csv      | oss://lakehouse-perf-test/test_insert/dau_unload/part00001.csv      | 105  | 2024-12-27 17:15:40 |
+        | dau_unload/part00001.csv.gzip | oss://lakehouse-perf-test/test_insert/dau_unload/part00001.csv.gzip | 104  | 2024-12-27 17:19:33 |
+        | dau_unload/part00001.data     | oss://lakehouse-perf-test/test_insert/dau_unload/part00001.data     | 295  | 2024-12-27 17:33:49 |
+        | dau_unload/part00001.json     | oss://lakehouse-perf-test/test_insert/dau_unload/part00001.json     | 295  | 2024-12-27 17:24:26 |
+        | dau_unload/part00001.parquet  | oss://lakehouse-perf-test/test_insert/dau_unload/part00001.parquet  | 1886 | 2024-12-27 17:27:15 |
+        | dau_unload/part00001.text     | oss://lakehouse-perf-test/test_insert/dau_unload/part00001.text     | 87   | 2024-12-27 17:25:34 |
+        +-------------------------------+---------------------------------------------------------------------+------+---------------------+
+  ```
+
+  * `include_job_id = 'TRUE' | 'FALSE'`：可选参数。设置文件名是否写入作业ID，不设置时默认为不写入作业ID。例如：`include_job_id = 'TRUE'`
+
+  ```
+  --导出的文件包含jobid
+  COPY INTO VOLUME my_volume  SUBDIRECTORY 'dau_unload/'
+  FROM TABLE birds
+  file_format = (
+      type= json
+    
+  )
+  include_job_id = 'TRUE' ;
+  --查看目录，如第8行包含了导出的文件包含了jobid
+  +--------------------------------------------------------+----------------------------------------------------------------------------------------------+------+---------------------+
+  |                     relative_path                      |                                             url                                              | size | last_modified_time  |
+  +--------------------------------------------------------+----------------------------------------------------------------------------------------------+------+---------------------+
+  | dau_unload/birds00001.json                             | oss://lakehouse-perf-test/test_insert/dau_unload/birds00001.json                             | 295  | 2024-12-27 17:29:20 |
+  | dau_unload/part00001.csv                               | oss://lakehouse-perf-test/test_insert/dau_unload/part00001.csv                               | 105  | 2024-12-27 17:15:40 |
+  | dau_unload/part00001.csv.gzip                          | oss://lakehouse-perf-test/test_insert/dau_unload/part00001.csv.gzip                          | 104  | 2024-12-27 17:19:33 |
+  | dau_unload/part00001.data                              | oss://lakehouse-perf-test/test_insert/dau_unload/part00001.data                              | 295  | 2024-12-27 17:33:49 |
+  | dau_unload/part00001.json                              | oss://lakehouse-perf-test/test_insert/dau_unload/part00001.json                              | 295  | 2024-12-27 17:24:26 |
+  | dau_unload/part00001.parquet                           | oss://lakehouse-perf-test/test_insert/dau_unload/part00001.parquet                           | 1886 | 2024-12-27 17:27:15 |
+  | dau_unload/part00001.text                              | oss://lakehouse-perf-test/test_insert/dau_unload/part00001.text                              | 87   | 2024-12-27 17:25:34 |
+  | dau_unload/part202412271736045501gmspelya5o900001.json | oss://lakehouse-perf-test/test_insert/dau_unload/part202412271736045501gmspelya5o900001.json | 295  | 2024-12-27 17:36:04 |
+  +--------------------------------------------------------+----------------------------------------------------------------------------------------------+------+---------------------+
+  ```
+
+# 使用示例
+
+导出数据到user volume中
+
+```SQL
+CREATE TABLE birds (
+    id INT,
+    name VARCHAR(50),
+    wingspan_cm FLOAT,
+    colors STRING
+);
+INSERT INTO birds (id, name, wingspan_cm, colors) VALUES
+    (1, 'Sparrow', 15.5, 'Brown'),
+    (2, 'Blue Jay', 20.2, 'Blue'),
+    (3, 'Cardinal', 22.1, 'Red'),
+    (4, 'Robin', 18.7, 'Red","Brown');
+
+COPY INTO USER VOLUME SUBDIRECTORY 'dau_unload/'
+FROM TABLE birds
+file_format = (type = CSV);
+--查看是否导出成功
+SHOW  USER VOLUME DIRECTORY  SUBDIRECTORY 'dau_unload/';
+--删除文件避免占用存储
+REMOVE  VOLUME my_volume  FILE 'dau_unload/part00001.csv';
+```
+
+导出数据到table volume中
+
+```SQL
+CREATE TABLE birds (
+    id INT,
+    name VARCHAR(50),
+    wingspan_cm FLOAT,
+    colors STRING
+);
+INSERT INTO birds (id, name, wingspan_cm, colors) VALUES
+    (1, 'Sparrow', 15.5, 'Brown'),
+    (2, 'Blue Jay', 20.2, 'Blue'),
+    (3, 'Cardinal', 22.1, 'Red'),
+    (4, 'Robin', 18.7, 'Red","Brown');
+COPY INTO TABLE VOLUME birds  SUBDIRECTORY 'dau_unload/'
+FROM TABLE birds
+file_format = (type = CSV);
+--查看是否导出成功
+SHOW  TABLE VOLUME  DIRECTORY  birds SUBDIRECTORY 'dau_unload/';
+--删除文件避免占用存储
+REMOVE  TABLE  VOLUME birds  FILE 'dau_unload/part00001.csv';
+```
+
+导出到外部 Volume 中使用前提需要创建 VOLUME 和 CONNECTION。创建过程可以参考[CONNECTION创建](Datalake_StorageConnection.md)和[VOLUME创建](datalake_volume_object.md)。
+
+导出数据到 OSS 中
+
+```SQL
+--创建表
+CREATE TABLE birds (
+    id INT,
+    name VARCHAR(50),
+    wingspan_cm FLOAT,
+    colors STRING
+);
+INSERT INTO birds (id, name, wingspan_cm, colors) VALUES
+    (1, 'Sparrow', 15.5, 'Brown'),
+    (2, 'Blue Jay', 20.2, 'Blue'),
+    (3, 'Cardinal', 22.1, 'Red'),
+    (4, 'Robin', 18.7, 'Red","Brown');
+--创建oss conenction
+CREATE STORAGE CONNECTION  catalog_storage_oss
+    type OSS
+    ACCESS_ID='xxxx'
+    ACCESS_KEY='xxxxxxx'
+    ENDPOINT='oss-cn-hangzhou-internal.aliyuncs.com';
+--创建volume
+CREATE EXTERNAL VOLUME my_volume
+    location 'oss://mybucket/test_insert/'
+    using connection catalog_storage_oss
+    directory = (
+        enable=true,
+        auto_refresh=true
+    );
+--将数据导出到test_insert子目录下
+COPY INTO VOLUME my_volume SUBDIRECTORY 'dau_unload/'
+FROM TABLE birds
+file_format = (type = CSV);
+
+```
+
+导出数据到 COS 中
+
+```SQL
+--创建表
+CREATE TABLE birds (
+    id INT,
+    name VARCHAR(50),
+    wingspan_cm FLOAT,
+    colors STRING
+);
+INSERT INTO birds (id, name, wingspan_cm, colors) VALUES
+    (1, 'Sparrow', 15.5, 'Brown'),
+    (2, 'Blue Jay', 20.2, 'Blue'),
+    (3, 'Cardinal', 22.1, 'Red'),
+    (4, 'Robin', 18.7, 'Red","Brown');
+--创建cos conenction
+CREATE STORAGE CONNECTION my_conn 
+  TYPE COS
+  ACCESS_KEY = '<access_key>'
+  SECRET_KEY = '<secret_key>'
+  REGION = 'ap-shanghai'
+  APP_ID = '1310000503';
+--创建volume
+CREATE EXTERNAL VOLUME my_volume
+    location 'cos://mybucket/test_insert/'
+    using connection my_conn
+    directory = (
+        enable=true,
+        auto_refresh=true
+    );
+--将数据导出到test_insert子目录下
+COPY INTO VOLUME my_volume SUBDIRECTORY 'dau_unload/'
+FROM TABLE birds
+file_format = (type = CSV);
+
+```
+
+导出数据到 S3 中
+
+```SQL
+--创建表
+CREATE TABLE birds (
+    id INT,
+    name VARCHAR(50),
+    wingspan_cm FLOAT,
+    colors STRING
+);
+INSERT INTO birds (id, name, wingspan_cm, colors) VALUES
+    (1, 'Sparrow', 15.5, 'Brown'),
+    (2, 'Blue Jay', 20.2, 'Blue'),
+    (3, 'Cardinal', 22.1, 'Red'),
+    (4, 'Robin', 18.7, 'Red","Brown');
+--创建s3 conenction
+CREATE STORAGE CONNECTION aws_bj_conn
+    TYPE S3
+    ACCESS_KEY = 'AKIAQNBSBP6EIJE33***'
+    SECRET_KEY = '7kfheDrmq***************************'
+    ENDPOINT = 's3.cn-north-1.amazonaws.com.cn'
+    REGION = 'cn-north-1';
+--创建volume
+CREATE EXTERNAL VOLUME my_volume
+    location 's3://mybucket/test_insert/'
+    using connection aws_bj_conn
+    directory = (
+        enable=true,
+        auto_refresh=true
+    );
+--将数据导出到test_insert子目录下
+COPY INTO VOLUME my_volume SUBDIRECTORY 'dau_unload/'
+FROM TABLE birds
+file_format = (type = CSV);
+```
+
+^

package/bin/skills/lakehouse-doc/references/CREAREUSER.md

@@ -0,0 +1,42 @@
+## 功能
+
+将用户添加到工作空间中，以便用户能够访问和操作其中的资源。
+
+## 语法
+
+```SQL
+CREATE USER [IF NOT EXISTS] user_name
+[DEFAULT_VCLUSTER= vc_name] 
+[DEFAULT_SCHEMA=schema_name]
+[COMMENT  "" ];
+```
+
+**1.user\_name**: 用户标识，必须是已在用户管理系统中创建的用户名。
+
+**2.DEFAULT\_VCLUSTER**: 为用户指定默认的计算资源。如果未指定，则使用全局默认计算资源。
+
+**3.DEFAULT\_SCHEMA**: 为用户指定默认的模式（schema）。如果用户未指定默认模式，登录时需要指定要访问的模式，否则将报错。如果指定了默认模式，用户登录时将默认使用该模式。在会话中使用 `USE` 命令可以切换到其他模式。优先级：`USE` 命令 > 默认模式。
+
+**4. COMMENT**: 为用户添加注释信息。
+
+## 示例
+
+1. 将用户 uat\_test 添加到工作空间中，使用全局默认计算资源和模式：
+
+   ```SQL
+   CREATE USER uat_test;
+   ```
+
+2. 将用户 uat\_test 添加到工作空间中，并为其指定计算资源为 vcluster1 和默认模式为 schema1：
+
+   ```SQL
+   CREATE USER uat_test DEFAULT_VCLUSTER=vcluster1 DEFAULT_SCHEMA=schema1;
+   ```
+
+3. 将用户 uat\_test 添加到工作空间中，并为其添加注释信息：
+
+   ```SQL
+   CREATE USER uat_test COMMENT "This is a test user for UAT environment.";
+   ```
+
+通过以上示例，您可以根据需要将用户添加到工作空间中，并为其分配适当的资源和模式。

package/bin/skills/lakehouse-doc/references/CREATE-BLOOMFILTER-INDEX.md

@@ -0,0 +1,138 @@
+# 创建BLOOMFILTER索引
+
+## 功能
+
+布隆过滤器（Bloom Filter）是一种概率型数据结构，用于判断一个元素是否属于某个集合。本功能允许用户在表中创建布隆过滤器索引，以提高查询效率。具体介绍参考 [Bloomfilter Index](bloomfilter-summary.md)。
+
+## 语法
+
+```
+CREATE BLOOMFILTER INDEX [IF NOT EXISTS] index_name ON TABLE 
+[schema].table_name(column_name)
+[COMMENT 'comment']
+[PROPERTIES ('key'='value')]
+```
+
+**bloomfilter**：索引类型，使用布隆过滤器算法。
+
+**index_name**：要创建的索引名称，需位于指定的schema下，且在同一schema下不能重复。
+
+**schema**：可选参数，用于指定表的schema名称。
+
+**table_name**：要创建索引的表名称。
+
+**column_name**：要创建索引的列名称，目前仅支持单列索引。
+
+**COMMENT**：可选参数，用于添加关于索引的描述信息。
+
+**PROPERTIES**：可选参数，Lakehouse保留属性，方便之后扩展添加属性。当前可选参数如下：
+| 参数名称 | 描述 |
+| :---| :----|
+| analyzer |   将字符串按固定长度分割为 ngram |
+| n | ngram的长度， 例如：当 ngram 长度设为4时，字符串 "Lakehouse" 将被索引为：Lake hous e ' |
+
+## 示例
+```
+CREATE TABLE IF NOT EXISTS demo_bloomfilter_index (
+col_1 string,
+col_2 string,
+col_3 string,
+index idx_bf (col_1) bloomfilter,
+index idx_ngram_bf (col_2) bloomfilter properties ('analyzer' = 'ngram', 'n' = '10')
+) USING parquet;
+
+CREATE BLOOMFILTER INDEX IF NOT EXISTS idx_ngram_bf1 
+ON TABLE demo_bloomfilter_index(col_3)
+COMMENT 'ngram 索引'
+properties ('analyzer' = 'ngram', 'n' = '3');
+
+SHOW INDEX FROM demo_bloomfilter_index;
+```
+
+## 参考文档
+
+* [构建索引](build-inverted-index.md)
+* [删除索引](DROP-INDEX.md)
+* [列出所有索引](SHOW-INDEX.md)
+* [查看索引详情](DESC-INDEX.md)
+
+## 使用注意事项
+
+1. BLOOMFILTER INDEX 添加完成后，只有新写入的数据才会生效。旧数据不会生效。如果旧数据需要生效，必须重写数据。
+2. 一张表可以创建多个布隆过滤器索引。
+3. 类型限制：不支持 INTERVAL、STRUCT、MAP、ARRAY 等类型。如果尝试使用不支持的类型，系统将报错。
+
+## 使用说明
+
+[BLOOMFILTER INDEX使用说明](bloomfilter-summary.md)
+
+## 示例
+
+1. 建表时指定 BLOOMFILTER 索引
+
+   ```
+   DROP TABLE IF EXISTS t;
+   CREATE    TABLE t (
+             order_id INT,
+             customer_id INT,
+             amount DOUBLE,
+             order_year string,
+             order_month string,
+             INDEX order_id_index (order_id) BLOOMFILTER COMMENT 'BLOOMFILTER'
+             );         
+   INSERT INTO t
+   VALUES (1, 101, 100.0, '2023','01'),
+          (2, 102, 200.0, '2023','02'),
+          (3, 103, 300.0, '2023','03'),
+          (4, 104, 400.0, '2023','04'),
+          (5, 105, 500.0, '2023','04');
+   SHOW INDEX FROM t;
+   +----------------+--------------+
+   |   index_name   |  index_type  |
+   +----------------+--------------+
+   | order_id_index | bloom_filter |
+   +----------------+--------------+
+
+   DESC INDEX order_id_index;
+   +--------------------+-------------------------+
+   |     info_name      |       info_value        |
+   +--------------------+-------------------------+
+   | name               | order_id_index          |
+   | creator            | UAT_TEST                |
+   | created_time       | 2024-12-26 21:20:43.914 |
+   | last_modified_time | 2024-12-26 21:20:43.914 |
+   | comment            | BLOOMFILTER             |
+   | index_type         | bloom_filter            |
+   | table_name         | t                       |
+   | table_column       | order_id                |
+   +--------------------+-------------------------+
+   DROP INDEX order_id_index;
+
+   ```
+
+2. 给已有的列添加 BLOOMFILTER 索引
+
+   ```
+   CREATE BLOOMFILTER INDEX customer_id_index
+   ON TABLE public.t (customer_id)
+   COMMENT 'xx';
+   --BLOOMFILTER INDEX添加完成后只有新写入的数据才会生效。老数据不会生效。如果老数据需要生效必须重写数据
+   INSERT OVERWRITE t SELECT * FROM t;
+   DESC INDEX customer_id_index;
+   +--------------------+-------------------------+
+   |     info_name      |       info_value        |
+   +--------------------+-------------------------+
+   | name               | customer_id_index       |
+   | creator            | UAT_TEST                |
+   | created_time       | 2024-12-26 21:24:57.649 |
+   | last_modified_time | 2024-12-26 21:24:57.649 |
+   | comment            | xx                      |
+   | index_type         | bloom_filter            |
+   | table_name         | t                       |
+   | table_column       | customer_id             |
+   +--------------------+-------------------------+
+   DROP INDEX customer_id_index;
+
+   ```
+
+

package/bin/skills/lakehouse-doc/references/CREATECONNECTION.md

@@ -0,0 +1,11 @@
+# CONNECTION
+
+在Lakehouse中，CONNECTION对象扮演着至关重要的角色。它负责存储第三方服务的身份认证信息和访问管理凭据，以实现数据处理过程中对敏感信息的保护。通过使用CONNECTION，用户无需将身份认证信息以明文形式暴露，从而确保数据安全。此外，CONNECTION还支持STS（Security Token Service）认证方式，允许跨账号授权访问Lakehouse外部的服务，从而进一步提高了数据访问的灵活性和安全性。
+
+## CONNECTION的类型
+
+根据其用途和连接的外部服务类型，CONNECTION对象主要分为以下三种类型：
+
+1. [创建API Connection](<create-api-connection.md>)：这种类型的CONNECTION主要用于存储和保护第三方应用服务的身份认证信息。通过API Connection，Lakehouse可以安全地通过API调用与这些服务进行交互。目前，API Connection支持的外部服务包括阿里云的函数计算FC和腾讯云的云函数服务。API Connection通常与Remote Function结合使用，以便在Lakehouse中远程调用这些服务。
+2. [创建Storage Connection](<create-storage-connection.md>)：Storage Connection主要用于存储第三方存储服务的身份认证信息，使得Lakehouse能够安全地访问和管理这些存储服务中的数据。目前支持的外部存储服务包括阿里云的对象存储OSS、腾讯云COS和AWS S3。
+3. [创建Catalog Connection](<create-catalog-connection.md>)：在数据湖架构中，Catalog Connection是一种关键组件，用于将数据湖与外部的元数据存储（例如Hive Metastore）关联起来。通过创建 Catalog Connection，用户可以实现元数据的统一管理和访问，从而直接读取存储在外部系统中的数据。Lakehouse目前只支持连接Hive。