@clickzetta/cz-cli-darwin-arm64 0.3.75 → 0.3.78

package/bin/skills/lakehouse-doc/references/continue-job.md

@@ -1,260 +0,0 @@
-# 流式SQL
-
->【预览发布】本功能当前处于受邀预览发布阶段。如果需要使用，请联系我们的技术支持同学协助处理。
-
-
-
-流式SQL是Lakehouse平台推出的一种新型SQL调度模式，它采用微批处理运行机制，支持设置秒级的数据刷新间隔，类似于Spark Streaming的微批执行方式。与传统的定时调度相比，流式SQL能够显著减少提交和编译SQL的开销，因为它将提交的SQL转化为一个常驻进程，一旦达到设定的时间间隔，就会自动触发数据的运行和处理。流式SQL目前是面向需要数据新鲜度更高的场景，目前支持dt刷新和加工数据过程中含有table stream。
-
-为了更清晰地理解流式SQL的优势，我们可以将其与普通SQL的执行过程进行对比：
-
-**普通SQL执行过程**
-
-![](.topwrite/assets/image_1727083232762.png)
-
-* 语法解析器（Parser），词法分析，语法分析将SQL文本解析成抽象语法树（AST），语义分析，类型推导和检查。生产Logical Plan
-
-* 查询优化器（Optimizer）：通过Rule对Plan进行变换，根据cost model找出best plan
-
-  * RBO：基于规则的优化器，通过用户下发的SQL语句进行的优化，主要通过改下SQL，比如SQL子句的前后执行顺序等。比较常见的优化包括谓语下推、字段过滤下推、常量折叠、索引选择、Join优化等等
-  * CBO：基于代价的优化器，根据收集的统 计信息来计算每种执行方式的代价，进而选择最优的执行方式
-  * HBO：History-Based Optimizer，基于历史的优化器
-
-* 生成DAG图：DAG描述了执行计划映射到物理分布式集群的具体描述，根据执行计划，分布式执行，体现的是执行计划被物化到分布式系统上，具备的一些特性：比如并发度，数据传输方式等等，保证有序性和可靠性
-
-* Executor读取数据进行运算
-
-**流式SQL执行过程**
-
-1. **首次提交与物理执行计划生成**：
-
-   1. 在流式SQL首次提交时，系统会进行完整的编译过程，包括语法解析、查询优化和物理执行计划的生成。
-   2. 这一阶段生成的物理执行计划（DAG图）将被固化，用于后续的执行周期。
-
-2. **后续执行的优化**：
-
-   1. 物理执行计划生成并固化，后续的执行周期在大部分情况下将直接使用这一计划，无需再次进行编译。
-   2. 这意味着每次数据到达时，流式SQL可以跳过耗时的解析和优化步骤，直接进入执行阶段。
-   3. 在执行过程中，优化器也会监测每次要处理的数据量，如果数据量变化非常大使得执行计划不是最优时，优化器会重新生成物理执行计划并固化。
-
-#### 定时调度与流式SQL的对比
-
-* **普通定时调度**：
-
-  * 每次执行前都需要重新解析和优化SQL，这增加了额外的开销。
-  * 时间间隔通常需要设置得相对较大，以减少调度的频率和资源消耗。
-
-* **流式SQL**：
-
-  * 由于省去了重复的编译过程，流式SQL可以支持更小的时间间隔，实现更高频的数据更新和处理。
-  * 这种模式特别适合需要实时或近实时数据处理的应用场景
-
-# 流式SQL适用场景
-
-流式SQL的引入，为数据处理带来了更高的灵活性和实时性。在动态表（dynamic table）的DDL（Data Definition Language）定义中，调度的时间间隔通常有一个最小值，例如一分钟。这意味着数据的更新和处理至少会有一个一分钟的延迟。然而，流式SQL通过微批处理机制，允许将这个时间间隔缩短到秒级，从而实现更快速的数据反应和处理。
-
-* **实时数据处理**：流式SQL能够快速响应数据变化，适合需要实时数据处理和分析的应用。
-* **高频数据更新**：对于需要频繁更新数据的系统，流式SQL可以减少每次更新的延迟，提高数据处理的实时性。
-
-# 流式SQL使用限制
-
-* 要求流式是动态表或者SQL加工中含有table stream。普通SQL暂时不支持
-* 作业必须运行在分析型（ap）集群
-* 目前只支持在Lakehouse 界面开发流式SQL。一个SQL文件中只能处理一个DML SQL任务
-
-# 流式SQL如何使用
-
-## 开发流式SQL任务
-
-1. 数据开发中新建流式SQL节点
-   ![](.topwrite/assets/image_1727083278915.png)
-
-2. 编写SQL任务
-
-提交的SQL任务中只能有一条DML SQL语句。在开发阶段可以编写任何SQL，目前是没有限制。但是在启动阶段会校验SQL是不是符合流式SQL。
-
-流式SQL要求
-
-* 要求流式是动态表或者SQL加工中含有table stream
-* 作业必须运行在分析型（ap）集群
-* 一个SQL文件中只能处理一个SQL任务
-
-**配置处理间隔**
-
-点击配置按钮，刷新间隔用来配置多长时间处理一次，目前最短时间是1s
-![](.topwrite/assets/image_1727083303138.png)
-
-## 运行流式SQL任务
-
-* 点击提交按钮会将流式SQL提交到运维中心
-
-![](.topwrite/assets/image_1727083345312.png)
-
-* 启动流式SQL。进入到运维中心点击启动按钮。流式SQL就会运行
-
-![](.topwrite/assets/image_1727083377948.png)
-
-## 流式SQL运维
-
-* 在运维中心界面中，可以看到当前工作空间中所有的流式SQL列表。
-  ![](.topwrite/assets/image_1727083398406.png)
-
-* 流式SQL运行过程可以通过job ID查看运行情况
-
-![](.topwrite/assets/image_1727083425696.png)
-
-## 流式SQL监控告警
-
-监控告警中支持监控流式SQL任务执行失败告警
-
-![](.topwrite/assets/image_1727083445006.png)
-
-# 流式SQL使用具体案例
-
-## TABLE STREAM使用流式SQL
-
-本次案例使用TABLE STREAM实现缓慢变化维第一种覆盖更新。并使用流失SQL的微批处理保证数据的新鲜度。
-
-[缓慢变化维度](https://developer.baidu.com/article/detail.html?id=371363)（Slowly Changing Dimension，SCD）是数据仓库中处理数据变更的一种方法。在数据仓库中，数据通常是从多个数据源整合而来的。随着时间的推移，这些数据源中的数据可能会发生变化，例如更新、添加或删除。缓慢变化维度是一种用于处理和更新这些数据变化的技术。SCD有多种类型，SCD1：覆盖更新，SCD2：历史记录等
-
-我们模拟当原表数据发生变化时，通过流失SQL加工，缓慢变化维表也会变化。
-
-1. 新建一个普通SQL节点。执行一下SQL。用于创建原表并插入一些测试数据，和开启table stream捕获原表的变化
-
-```SQL
-create schema continuous_job;
-drop table if exists continuous_job.test_table_offset;
-drop table stream  if exists continuous_job.test_table_offset_stream;
--- 创建原表
-CREATE TABLE continuous_job.test_table_offset (id INT, name VARCHAR, age INT);
---创建table stream时必须开启
-ALTER TABLE continuous_job.test_table_offset set PROPERTIES ('change_tracking' = 'true');
-CREATE table stream continuous_job.test_table_offset_stream ON TABLE continuous_job.test_table_offset
-WITH PROPERTIES ('TABLE_STREAM_MODE' = 'STANDARD');
--- 插入一些数据到测试表
-INSERT INTO continuous_job.test_table_offset VALUES
-  (1, 'Alice', 20),
-  (2, 'Bob', 25),
-  (3, 'Charlie', 30),
-  (4, 'David', 35),
-  (5, 'Eve', 40);
-```
-
-2. 创建一张缓慢变化维表，用于保持和原表一致
-
-```SQL
-drop table  if exists test_table_offset_consume;
--- 创建目标表
-CREATE TABLE continuous_job.test_table_offset_consume (id INT, name VARCHAR, age INT);
-```
-
-3. 新建一个流式SQL节点，将下面SQL复制到流式SQL节点中。我们设置20秒间隔处理一次数据
-
-```SQL
-MERGE INTO continuous_job.test_table_offset_consume target USING continuous_job.test_table_offset_stream source_stream ON target.id = source_stream.id WHEN MATCHED
-AND source_stream.__change_type = 'UPDATE_AFTER' THEN update set target.age = source_stream.age WHEN MATCHED
-AND source_stream.__change_type = 'DELETE' THEN DELETE WHEN NOT MATCHED
-AND source_stream.__change_type = 'INSERT' THEN
-INSERT VALUES (target.id, target.name, target.age);
-```
-
-![](.topwrite/assets/image_1727083470402.png)
-
-4. 提交流式SQL，并且在运维中心点击启动
-
-![](.topwrite/assets/image_1727083486439.png)
-
-5. 通过更新原表数据，流式SQL运行成功之后。SCD表也会和流式SQL保持一致
-
-* 普通节点执行SQL
-
-```SQL
--- 更新一些原表数据
-update continuous_job.test_table_offset set age = age + 5 WHERE id = 1 OR id = 3;
---等待20s，continues job执行成功。校验scd表和原表数据是否一致
-select "test_table_offset", * from continuous_job.test_table_offset
-union all
-SELECT "test_table_offset_consume",* FROM continuous_job.test_table_offset_consume;
-
--- 删除一些数据到测试表
-DELETE FROM continuous_job.test_table_offset WHERE id = 2 OR id = 4;
---等待20s,continues job执行成功。校验scd表和原表数据是否一致
-select "test_table_offset", * from continuous_job.test_table_offset
-union all
-SELECT "test_table_offset_consume",* FROM continuous_job.test_table_offset_consume;
-```
-
-6. 清理环境
-
-* 运维中心中停止流式SQL
-  ![](.topwrite/assets/image_1727083510506.png)
-
-* 删schema
-
-```SQL
-drop schema continuous_job;
-```
-
-## Dynamic Table使用流式SQL
-
-本次案例使用dynamic table对数据按时间进行聚合。利用流式SQL微批调度提高数据新鲜度
-
-* 创建一ods表
-
-```SQL
-CREATE TABLE event_tb (
-    event STRING,
-    process DOUBLE,
-    event_time TIMESTAMP
-  );
-INSERT INTO event_tb VALUES
-  ('event-0', 20.0, TIMESTAMP '2023-09-20 14:43:13'),
-  ('event-0', 20.0, TIMESTAMP '2023-09-19 11:40:13'),
-  ('event-1', 21.0, TIMESTAMP '2023-09-19 14:30:14'),
-  ('event-1', 22.0, TIMESTAMP '2023-09-20 14:20:15');
-```
-
-* 使用动态表进行聚合。在普通SQL节点中创建动态表，注意不要在ddl中设置调度周期
-
-```SQL
-CREATE dynamic table IF NOT EXISTS event_group_minute AS
-SELECT
-  event,
-  hour(event_time) hour,
-  year(event_time) year,
-  SUM(process) process_sum
-FROM
-  event_tb
-GROUP BY
-  event,
-  year(event_time),
-  hour(event_time);
-```
-
-* 新建流式SQL节点，将下面SQL复制到节点内容中，并配置10s运行一次
-
-```SQL
-refresh dynamic table event_group_minute;
-```
-
-![](.topwrite/assets/image_1727083531426.png)
-
-* 启动流式SQL刷新动态表
-
-![](.topwrite/assets/image_1727083554105.png)
-
-* 新建普通SQL节点，向表原表中插入一些数据，查询动态表是否刷新成功
-
-```SQL
-
-  INSERT INTO event_tb VALUES
-  ('event-0', 20.0, TIMESTAMP '2024-09-20 14:43:13'),
-  ('event-0', 20.0, TIMESTAMP '2024-09-19 11:40:13'),
-  ('event-1', 21.0, TIMESTAMP '2024-09-19 14:30:14'),
-  ('event-1', 22.0, TIMESTAMP '2024-09-20 14:20:15');
-  
-  --等待10s观察动态表变化
-  select * from event_group_minute;  
-```
-
-^

package/bin/skills/lakehouse-doc/references/conversational_analytics_datagpt.md

@@ -1 +0,0 @@
-Lakehouse DataGPT 是新一代对话式数据分析工具，基于云原生 Lakehouse 架构打造。它结合了大语言模型（LLM）的自然语言理解能力与 Lakehouse 企业级数据引擎的处理能力，将数据分析转化为直观的对话体验。通过DataGPT，即使是非技术背景的业务人员，也能轻松探索数据价值，驱动数据智能决策。详细使用方法请参考[对话式AI 数据分析工具 DataGPT ](datagpt_intro.md)

package/bin/skills/lakehouse-doc/references/copy-into-table.md

@@ -1,398 +0,0 @@
-# 功能描述
-
-将数据从对象存储中的文件加载到表中。这些文件必须存在于对象存储中。
-
-* 目前支持的对象存储位置为腾讯云COS、阿里云OSS和AWS S3。当前只支持 Volume 对象存储
-* 目前不支持跨云厂商导入。比如您的Lakehouse开服在阿里云而对象存储是腾讯云
-
-# 语法
-
-```SQL
---直接从VOLUME中导入数据
-COPY INTO|OVERWRITE table_name
- [PARTITION (partition_column_name = partition_column_val)]
-FROM VOLUME volume_name
-[( <column_name> <column_type>,...) ]
-USING CSV | PARQUET | ORC | BSON
-OPTIONS(
-  FileFormatParams
-) 
-FILES('filename1','fiename2'...)|SUBDIRECTORY 'path'|REGEXP <pattern>
-PURGE=TRUE
-ON_ERROR=TRUE|ABORT;
-
---导入过程中进行转化
-COPY INTO table_name FROM (
-SELECT  <column_name>,... 
-FROM VOLUME <volume_name>
-[(<column_name> <column_type>,...) ]
-USING CSV|PARQUET|ORC 
-OPTIONS(
-  FileFormatParams
-) 
-FILES|SUBDIRECTORY|REGEXP <pattern>
-)
-PURGE=TRUE
-ON_ERROR=CONTINUE|ABORT;
-```
-
-### 使用说明
-
-COPY INTO 语句后面可以直接使用 VOLUME 查询语法，可以在导入过程中直接转换数据，VOLUME 查询[参考结构化、半结构化数据分析](structure_data_analysis.md)
-
-### **参数说明**：
-
-* **OVERWRITE**\|**INTO**:
-  * **INTO**：追加模式。使用 `INTO` 子句进行数据导入时，新数据将被追加到目标表，这种模式不会删除或修改表中的现有数据。
-  * **OVERWRITE**：覆盖模式。使用 `OVERWRITE` 子句进行数据导入时，目标表中的现有数据将被清空，然后导入新数据。这种模式适用于需要用新数据完全替换旧数据的场景。
-
-```
---向表中追加数据
-CREATE TABLE birds (
-    id INT,
-    name VARCHAR(50),
-    wingspan_cm FLOAT,
-    colors STRING
-);
-COPY INTO birds FROM 
-VOLUME  my_volume
-USING csv
-SUBDIRECTORY 'dau_unload/read/';
---覆盖表中的的数据
-COPY OVERWRITE birds FROM 
-VOLUME  my_volume
-USING csv
-SUBDIRECTORY 'dau_unload/read/';
-```
--  [PARTITION (partition_column_name = partition_column_val)],直接指定分区列的值，例如 `PARTITION (dt='shanghai')`。
-* **column\_name**和**column\_type**：可选，lakehouse支持自动识别文件schema。推荐不填写。当指定文件中包含的列名和类型时，需与文件中预定义的列类型相匹配，
-  * 自动识别文件 schema 对于 CSV 文件则会自动生成字段，字段编号以 f0 开始。目前自动识别的类型为 int、double、string、bool。
-  * 对于parquet、orc格式将会根据文件中存储的字段名和类型自动识别。如果指定的文件中列的个数不一致，LakeHouse 会尝试合并，无法合并则会报错。
-  ```
-  --指定volume中的列类型和名字
-  COPY OVERWRITE birds FROM 
-  VOLUME  my_volume(id int,name string,wingspan_cm float,colors string)
-  USING csv
-  SUBDIRECTORY 'dau_unload/read/';
-  --自动探查volume中的列类型和名字
-  COPY OVERWRITE birds FROM 
-  VOLUME  my_volume
-  USING csv
-  SUBDIRECTORY 'dau_unload/read/';
-  ```
-* **FileFormatParams**：多个参数使用逗号分隔，字符串形式的'key'='value'
-    * CSV 格式：支持以下文件参数组合
-      * sep：列分隔符，默认为 ”,“。最多支持长度为 2 的字符，例如：`'sep'=','`、`sep='||'`或者`sep = '\001'`：使用 Hive 默认的字段分隔符（不可见字符）
-      * compression：配置文件压缩格式。支持的压缩格式有：gzip/zstd/zlib。例如：`'compression'='gzip'`
-      * lineSep：行分隔符，默认会将 `\r\n` 与 `\n` 都识别为换行。最多支持长度为 2 的字符，例如：`'lineSep'='$'`使用 `$` 作为行分隔符。`lineSep = '\r\n'`使用 Windows 风格的换行符
-      * quote：用于包裹包含特殊字符的字段内容，避免解析错误。默认值为双引号 "，当字段内容包含默认引用符（"）时必须指定。
-        例如：导入数据为 `{"key":"value"}` 这类含双引号的 JSON 字符串时，需改用其他字符包裹，例如指定 `quote = r'\0'`，空字符`\0`方案需确保数据中不存在该字符。
-      * header：是否解析表头，默认为 false。布尔类型，例如：`'header'='true'`
-      * timeZone：配置时区，没有默认值。用于指定文件中时间格式的时区。例如：`'timeZone' = 'Asia/Shanghai'`
-      * escape：用于转义已加引号的值中的特殊字符，仅支持单字节字符。默认值为”\“，例如：`'escape'=r'\'`。转义字符用于解释数据文件中字段分隔符或换行符的特殊含义。如果某一行以反斜杠结尾，则该反斜杠会转义文件格式选项中指定的换行符或回车符（`lineSep`）。因此，加载操作会将此行和下一行视为一行数据。如果不需要这种转义行为，可以将转义字符设置为其他字符
-      * nullValue: 用于判定什么样的内容应该被视为 Null，默认值为 \`""\`，例如 \`'nullValue'='\\\N'\` 或者 \`'nullValue'=r'\N'\`。为了避免在不确定何时需要转义的情况下手动处理转义字符，Lakehouse 支持在字符串前添加 `r` 前缀，表示字符串中的转义字符不会被转义，可以直接输入到表达式中运行。
-       * multiLine: 是否有跨行的 csv 记录，默认值为 `false`，如果有这样的记录，需要配置 `multiLine='true'`
-    
-    
-    ```
-    --指定分隔符和quote
-    COPY OVERWRITE birds FROM 
-    VOLUME  my_volume
-    USING csv
-    OPTIONS('sep'='|','quote'='"')
-    files('dau_unload/part00001.csv');
-    ```
-    
-    * JSON格式:
-      * compression: 源文件/目标文件是否压缩，默认不压缩，配置如 `'compression'='gzip'`
-      ```
-      --导入json数据
-      COPY OVERWRITE birds FROM 
-      VOLUME  my_volume
-      USING json
-      files('dau_unload/part00001.json');
-      ```
-        * explodeArray：默认值 true， 可选值 false。在 JSON 内容是数组开头时使用。为 true 时认为 schema 是数组内单个元素的 schema，为 false 时认为 schema 是数组本身的 schema。
-    * Parquet , ORC , BSON 格式
-    * ```
-      --导入parquet数据
-      COPY OVERWRITE birds FROM 
-      VOLUME  my_volume
-      USING parquet
-      files('dau_unload/part00001.parquet');
-      ```
-
-* **FILES**：用于指定要读取的具体文件。支持指定多个相同格式的文件。文件路径为创建 Volume 时指定的子文件路径。` `例如：`files('part-00002.snappy.parquet','part-00003.snappy.parquet')`。
-* **SUBDIRECTORY**：指定子路径。用于指定要读取的子路径。读取时会递归地加载该目录下的所有文件。例如：`subdirectory 'month=02'。`
-* ```
-  COPY OVERWRITE birds FROM 
-  VOLUME  my_volume(id int,name string,wingspan_cm float,colors string)
-  USING csv
-  SUBDIRECTORY 'dau_unload/read/';
-  ```
-* **REGEXP**\<pattern>：正则表达式匹配。正则路径匹配基于url，您可通过`SHOW VOLUME DIRECTORY my_tx_volume;`命令查看url。例如，`regexp 'part-.*.parquet'`可匹配以“part-”开头且以“.parquet”结尾的文件。需要注意的是，正则表达式匹配的目标是文件的**完整的对象存储路径**（如 's3://cz-udf-user/volume-data/1234321.csv.gz'），而不是文件在 Volume 对象中的相对路径。
-
-* **PURGE=TRUE**：当设置此参数时，表示在数据导入成功后，将删除对象存储中的源文件。这有助于节省存储空间，特别是在处理大量数据时。如果导入操作失败，源文件将不会被删除。
-* **ON_ERROR=CONTINUE|ABORT**:控制当数据加载过程中遇到错误时的处理策略。添加此参数后，会返回导入文件列表。
-  * `CONTINUE`：跳过错误行，继续加载后续数据。使用场景：容忍部分错误，要求最大限度完成数据加载。目前忽略的错误只支持文件格式不匹配，例如命令中指定的是 zip 压缩格式但文件中实际是 zstd 压缩。
-  * `ABORT`：立即终止整个 COPY 操作。使用场景：严格数据质量要求场景，任何错误都需人工介入检查
-
-    ```
-    --指定abort参数
-    copy into test_data from volume on_error_pipe  using csv OPTIONS(sep='|','quote'='\0')
-    on_error = 'abort';
-    +-------------------------------------------------+---------+-------------+-------------+
-    |                      file                       | status  | rows_loaded | first_error |
-    +-------------------------------------------------+---------+-------------+-------------+
-    | oss://lakehouse-perf-test/tmp/tmp_pipe/copy.csv | SUCCESS | 2           |             |
-    +-------------------------------------------------+---------+-------------+-------------+
-    --指定continue参数
-    copy into test_data from volume on_error_pipe  using csv OPTIONS(sep='|','quote'='\0')
-    on_error = 'continue';
-    +-----------------------------------------------------+---------------+-------------+----------------------------------------------------------------------------------------------------------------------+
-    |                        file                         |    status     | rows_loaded |                                                                first_error                                           |
-    +-----------------------------------------------------+---------------+-------------+----------------------------------------------------------------------------------------------------------------------+
-    | oss://lakehouse-perf-test/tmp/tmp_pipe/copy.csv     | SUCCESS       | 2           |                                                                                                                      |
-    | oss://lakehouse-perf-test/tmp/tmp_pipe/copy.csv.zip | LOADED_FAILED | 0           | csv file: oss://lakehouse-perf-test/tmp/tmp_pipe/copy.csv.zip, line: 0: eatString throws quote(0) in unquote string, |
-    | oss://lakehouse-perf-test/tmp/tmp_pipe/new_copy.csv | SUCCESS       | 2           |                                                                                                                      |
-    +-----------------------------------------------------+---------------+-------------+----------------------------------------------------------------------------------------------------------------------+
-
-    ```
-
-# 注意事项
-
-* 导入数据时建议您选择通用型计算集群(GENERAL PURPOSE VIRTUAL CLUSTER),通用型计算资源更加适合跑批量作业和加载数据作业
-* 建议导入数据时选择同一个 Region，这样可以避免公网传输费用。在同一个 Region 且同一个云厂商内，数据传输通过内网进行。
-
-# 具体案例
-
-1.从user volume中加载数据
-
-```SQL
---创建表
-CREATE TABLE birds (
-    id INT,
-    name VARCHAR(50),
-    wingspan_cm FLOAT,
-    colors STRING
-);
---将数据上传到user volume中
-PUT '/Users/Downloads/data.csv' TO USER VOLUME FILE 'data.csv';
---导入文件数据至目标表
-COPY INTO t_copy_from_volume FROM USER VOLUME  
-USING csv  
-OPTIONS(
-        'header'='true',
-        'lineSep'='\n'
-)
-FILES ('data.csv')
---删除volume中的文件，节省存储
-PURGE=TRUE;
-;
-```
-
-2.从table volume中加载数据
-
-```SQL
-CREATE TABLE birds (
-    id INT,
-    name VARCHAR(50),
-    wingspan_cm FLOAT,
-    colors STRING
-);
---将数据上传到table volume中
-PUT '/Users/Downloads/data.csv' TO TABLE VOLUME t_copy_from_volume FILE 'data.csv';
---导入文件数据至目标表
-COPY INTO t_copy_from_volume FROM TABLE VOLUME t_copy_from_volume
-USING csv  
-OPTIONS(
-        'header'='true',
-        'lineSep'='\n'
-)
-FILES ('data.csv')
---删除volume中的文件，节省存储
-PURGE=TRUE;
-;
-
-```
-
-导出到外部 VOLUME 中使用，前提是需要创建 VOLUME 和 CONNECTION。创建过程可以参考 [CONNECTION创建](Datalake_StorageConnection.md) 和 [VOLUME创建](datalake_volume_object.md)。
-
-3.将数据从oss中导入
-
-```SQL
---创建表
-CREATE TABLE birds (
-    id INT,
-    name VARCHAR(50),
-    wingspan_cm FLOAT,
-    colors STRING
-);
---创建oss conenction
-CREATE STORAGE CONNECTION  catalog_storage_oss
-    type OSS
-    ACCESS_ID='xxxx'
-    ACCESS_KEY='xxxxxxx'
-    ENDPOINT='oss-cn-hangzhou-internal.aliyuncs.com';
---创建volume
-CREATE EXTERNAL VOLUME my_volume
-    location 'oss://mybucket/test_insert/'
-    using connection catalog_storage_oss
-    directory = (
-        enable=true,
-        auto_refresh=true
-    );
---将数据如到表中
-COPY INTO birds FROM 
-VOLUME  my_volume
-USING csv
-SUBDIRECTORY 'dau_unload/read/';
-
-```
-
-4.将数据从cos中导入
-
-```
---创建表
-CREATE TABLE birds (
-    id INT,
-    name VARCHAR(50),
-    wingspan_cm FLOAT,
-    colors STRING
-);
---创建cos conenction
-CREATE STORAGE CONNECTION my_conn 
-  TYPE COS
-  ACCESS_KEY = '<access_key>'
-  SECRET_KEY = '<secret_key>'
-  REGION = 'ap-shanghai'
-  APP_ID = '1310000503';
---创建volume
-CREATE EXTERNAL VOLUME my_volume
-    location 'cos://mybucket/test_insert/'
-    using connection my_conn
-    directory = (
-        enable=true,
-        auto_refresh=true
-    );
---将数据导入到表中
-COPY INTO birds FROM 
-VOLUME  my_volume
-USING csv
-SUBDIRECTORY 'dau_unload/read/';
-
-```
-
-5.将数据从s3中导入
-
-```SQL
---创建表
-CREATE TABLE birds (
-    id INT,
-    name VARCHAR(50),
-    wingspan_cm FLOAT,
-    colors STRING
-);
-
---创建s3 conenction
-CREATE STORAGE CONNECTION aws_bj_conn
-    TYPE S3
-    ACCESS_KEY = 'AKIAQNBSBP6EIJE33***'
-    SECRET_KEY = '7kfheDrmq***************************'
-    ENDPOINT = 's3.cn-north-1.amazonaws.com.cn'
-    REGION = 'cn-north-1';
---创建volume
-CREATE EXTERNAL VOLUME my_volume
-    location 's3://mybucket/test_insert/'
-    using connection aws_bj_conn
-    directory = (
-        enable=true,
-        auto_refresh=true
-    );
---将数据导入到表中
-COPY INTO birds FROM 
-VOLUME  my_volume
-USING csv
-SUBDIRECTORY 'dau_unload/read/';
-```
-
-
-6. 导入 CSV 文件，并使用 JSON 函数解析，导入到 JSON 表中
-
-```SQL
-CREATE  TABLE pipe_json_load(col JSON);
-COPY INTO pipe_json_load FROM(
-SELECT parse_json(col)
-FROM  VOLUME 
-hz_csv_volume(
-col
-)
-USING csv 
-OPTIONS ('header' = 'false')
-);
-```
-
-7. 导入过程中使用SQL和维度表做join。过滤需要导入的数据
-
-```
---部分数据如下
-create table departments (
-  dept_id int ,
-  dept_name varchar,
-  location varchar
-);
-insert into departments values
-(10, '销售部', '北京'),
-(20, '研发部', '上海'),
-(30, '财务部', '广州'),
-(40, '人事部', '深圳');
---员工表如下
-CREATE  TABLE employees (
-          emp_id int,
-          emp_name varchar,
-          dept_id int,
-          salary int
-);
---在volume中存储的数据如下
-10,"销售部","北京",
-20,"研发部","上海",
-30,"财务部","广州",
-40,"人事部","深圳",
---要求只导入销售部的数据
-COPY OVERWRITE employees FROM 
-(SELECT f0::int,f1,f2::int,f3::int FROM 
-VOLUME  my_volume
-USING csv
-files('dau_unload/employees/part00001.csv') 
-join
-departments   
-on f3=dept_id
-where dept_name='销售部'
-);
-```
-
-8.导入Parquet文件并且使用正则匹配对应的文件
-
-```SQL
-COPY INTO hz_parquet_table
-FROM VOLUME hz_parquet_volume
-USING parquet 
-REGEXP 'month=0[1-5].*.parquet';
-```
-
-9.导入BSON文件
-
-```SQL
---LOAD FROM VOLUME USING BSON FORMAT
-COPY INTO t_bson 
-FROM VOLUME my_external_vol(
-        name string, 
-        age bigint, 
-        city string, 
-        interests array<string>
-)
-USING BSON
-FILES( 'data.bson');
-```
-
-