@clickzetta/cz-cli-darwin-x64 0.3.1

package/bin/skills/lakehouse-doc/references/aws_storage_connection.md

@@ -0,0 +1,114 @@
+# 创建亚马逊云存储连接
+
+本步骤的目标是：允许 Lakehouse 集群访问亚马逊云(AWS)的对象存储 S3。为了完成这个目标，可以通过AWS 的**身份与访问管理(IAM**) 产品提供的两种身份认证方式：**访问密钥** 和 **角色授权**。
+
+## 基于访问密钥
+
+```
+CREATE STORAGE CONNECTION aws_bj_conn
+    TYPE S3
+    ACCESS_KEY_ID = 'AKIAQNBSBP6EIJE33***'
+    SECRET_ACCESS_KEY = '7kfheDrmq***************************'
+    ENDPOINT = 's3.cn-north-1.amazonaws.com.cn'
+    REGION = 'cn-north-1';
+```
+
+### 参数：
+
+* TYPE：为对象存储类型，AWS 应填写 S3（大小写不限）
+* ACCESS\_KEY\_ID / SECRET\_ACCESS\_KEY：为AWS 的访问密钥，获取方式参考：[访问密钥](https://docs.aws.amazon.com/zh_cn/IAM/latest/UserGuide/id_credentials_access-keys.html)
+* ENDPOINT:  S3 的服务地址，AWS 中国区分为北京区和宁夏区，北京区的S3 的服务地址为 `s3.cn-north-1.amazonaws.com.cn`， 宁夏区 `s3.cn-northwest-1.amazonaws.com.cn`，可参考：[中国区终端节点](https://docs.amazonaws.cn/aws/latest/userguide/endpoints-arns.html) 分别找到北京区域和宁夏区域的终端节点 -> Amazon S3 对应的终端节点
+* REGION：AWS 中国区分为北京区和宁夏区，区域值为：北京区 `cn-north-1`， 宁夏区 `cn-northwest-1`，可参考：[中国区终端节点](https://docs.amazonaws.cn/aws/latest/userguide/endpoints-arns.html)。国际站请参考：[Amazon Simple Storage Service endpoints and quotas](https://docs.aws.amazon.com/general/latest/gr/s3.html)
+
+## 基于角色授权
+
+需要在目标云对象存储 S3 所属的账号，在 IAM 中创建一个**权限策略**和**角色**：权限策略代表访问AWS S3 数据的规则，将这个策略授权给创建的角色。云器 Lakehouse 通过扮演这个角色来实现与 S3 中数据的读写操作。
+
+### STEP1: AWS侧创建权限策略 (LakehouseAccess )：
+
+* 登录AWS 云平台，进入**身份与访问管理(IAM**) 产品控制台
+* 在 IAM 页面左侧导航栏进入 **账户设置**，在 **Security Token Service (STS**) 中的 **终端节点** 列表中，找到当前实例对应云器Lakehouse 的区域，如果 **STS  状态** 的状态为未开启请开启。
+* 在 IAM 页面左侧导航栏进入 **策略**，在 **策略** 界面选择 **创建策略**，在策略编辑器中选择 JSON 方式
+* 将要添加允许云器Lakehouse 访问 S3 bucket 和目录的策略。下面是策略的样例，请用实际的bucket 和路径前缀名称替换 `<bucket>` 和 `<perfix>` 名称
+
+> 注意：请将 `"s3:prefix" `项中填写:  `["*"]` or `["<path>/*"]` 分别代表授予对指定 bucket 或 bucket 中路径中的所有前缀的访问权限。
+
+```
+{
+    "Version": "2012-10-17",
+    "Statement": [
+        {
+            "Effect": "Allow",
+            "Action": [
+              "s3:PutObject",
+              "s3:GetObject",
+              "s3:GetObjectVersion",
+              "s3:DeleteObject",
+              "s3:DeleteObjectVersion"
+            ],
+            "Resource": "arn:aws:s3:::<bucket>/<prefix>/*"
+        },
+        {
+            "Effect": "Allow",
+            "Action": [
+                "s3:ListBucket",
+                "s3:GetBucketLocation"
+            ],
+            "Resource": "arn:aws:s3:::<bucket>",
+            "Condition": {
+                "StringLike": {
+                    "s3:prefix": [
+                        "<prefix>/*"
+                    ]
+                }
+            }
+        }
+    ]
+}
+```
+
+* 选择  下一步，输入策略名称如,(LakehouseAccess）和描述（选填）
+* 点击创建策略完成策略创建
+
+### STEP2: AWS侧创建角色 (LakehouseVolumeRole)：
+
+* 登录AWS 云平台，进入**身份与访问管理(IAM**) 产品控制台
+* 在 IAM 页面左侧导航栏进入**角色** -> **创建角色** -> **AWS账户**，选择 **另一个AWS账户**，在 Account ID 输入 `028022243208（中国站） / 014617434350（国际站）`
+
+> 注意：为了防止 ROLE\_ARN 被第三方获取进行未授权的数据访问，可以勾选 **选项** 中的 **需要外部ID(第三方担任此角色时的最佳实践**)，勾选之后 **EXTENRAL ID** 项可以填写 `000000` 占位符稍后填充。`EXTERNAL ID` 作为一种额外的验证层，确保只有当请求中包含了预设的 `EXTERNAL ID` 时，这一访问才会被允许。这意味着即使第三方知道了其他一些访问信息（如角色ARN），没有正确的 `EXTERNAL ID` 也无法访问资源。
+
+![](.topwrite/assets/image_1728551322654.png)
+
+* 选择下一步，在添加权限（Add permissions）页面，选择STEP1 中创建的策略 `LakehouseAccess `**后**，选择下一步
+* 填写 Role name (例：`LakehouseVolumeRole` ) 和描述，点击 **创建角色** 完成角色创建
+* 在角色详情页中，获取 **Role ARN** 的值，用来创建 STORAGE CONNECTION
+
+![](.topwrite/assets/image_1728551348143.png)
+
+^
+
+### STEP2: 云器 Lakehouse 侧创建 STORAGE CONNECTION ：
+
+* 在 Studio 或者 Lakehouse JDBC 客户端中执行以下命令：
+
+```
+CREATE STORAGE CONNECTION aws_bj_conn_arn
+  TYPE S3
+  REGION = 'cn-north-1'
+  ROLE_ARN = 'arn:aws-cn:iam::02802*******:role/LakehouseVolumeRole';
+```
+
+* 在创建存储连接的过程中，Lakehouse 会生成此EXTERNAL ID，可以将此EXTERNAL ID 配置到 STEP2创建的 AWS IAM 角色（`LakehouseVolumeRole`）的 Trust Policy 中，实现附加的访问控制：
+
+```
+-- 查看 EXTERNAL ID 
+DESC CONNECITON my_tx_connection_arn ;
+```
+
+![](.topwrite/assets/20240626-215920.jpeg)
+
+^
+
+* 在AWS IAM 的控制台，左侧导航栏中进入角色 **Roles**，找到 STEP2 中创建的角色并进入角色详情页面，在 **Trust relationships** 中将 `sts:ExternalId `的值`  000000  `替换为 DESC 结果中的` EXTERNAL_ID`。点击**更新** 完成角色策略更新。
+
+^

package/bin/skills/lakehouse-doc/references/backfilling_data.md

@@ -0,0 +1,60 @@
+# 补数任务
+
+补数据功能可通过补充历史或未来一段时间的数据，将数据写入对应时间分区。若代码中配置了调度参数，系统将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间的数据写入指定分区。具体写入的分区与执行的代码逻辑由任务定义中的代码决定。
+
+## **功能使用场景**
+
+* 当任务新建后，若希望对历史数据进行加工，可通过补数据功能选择历史某个时间段来执行任务；
+* 当任务在某个时间段内数据有问题或者任务本身异常时，可通过补数据功能对历史异常的数据或任务重新生成实例并执行，以达到修复历史数据的目的。
+
+## 功能操作
+
+### 步骤一：新建补数据任务
+
+1. 点击左侧导航**运维监控 -> 任务运维**，选中**周期任务** Tab，并选择其中任意一个已管理的周期任务，点击操作栏中的“补数据”，进入补数据操作界面。
+2. 配置补数任务的相应参数
+
+* 任务名称：系统默认名称，暂不支持用户修改
+
+* 选择补数任务包含的任务节点
+
+  * 包含当前节点：用户可根据实际需求选择是否勾选当前任务参与补数。
+  * 包含下游节点：用户可根据实际需求勾选需要补数据的**下游任务链路**，支持不选择、选择全部、自定义选择范围三种模式。
+
+* 任务定时时间范围：在创建补数据任务时，支持添加多段计划执行时间范围，用于满足补充多段不连续时间的需求。目前最多支持添加4段计划执行时间，且不允许选择重叠的时间段。
+
+* 最大并发数：表示当连续补充多个周期的数据时，若同时运行的实例数达到此并发上限，则可以并行运行多个周期的实例，从而提升补数据的效率，但也会消耗更多的资源。
+
+  * 最大并发数量，指的是同时运行的最大实例个数。
+
+* 补数自依赖：若用户需要补数任务严格按照业务时间依次往后执行，可选择补数自依赖选项。
+
+  * 若用户同时配置了最大并发数和补数自依赖，则整体执行效率可能会下降。
+
+^
+
+最大并发数与补数自依赖对执行效率的影响：
+
+* 配置最大并发数时，若该周期任务本身没有配置自依赖，同时也没有勾选补数自依赖选项，系统会基于用户配置的并发数，按照系统资源、依赖关系等随机分配执行的具体实例。
+* 若周期任务本身配置了自依赖，或勾选了补数自依赖选项，则同时并发的实例数会受到实例自身顺序依赖逻辑的影响，再结合系统资源、依赖关系等随机分配执行的具体实例，效率会降低。
+
+### 步骤二：查看补数据任务
+
+1. 点击左侧导航**运维监控 -> 任务运维**，选中**补数任务** Tab。
+2. 基础信息：包括并发分组、目标任务ID、任务名称、工作空间、是否包含下游、状态、执行顺序、任务定时时间范围、提交时间、提交人等。
+3. 统计图：
+
+* 全局统计信息：可查看当前补数任务内包含的所有计划时间点总数，并按天粒度展示执行状态。
+
+* 按粒度统计图：提供年、月、日三种粒度下的数据统计，点击统计图会联动下方的实例列表。
+
+  * **年视图**：鼠标悬停在日期上方可查看当天的执行情况；
+    ![](.topwrite/assets/image_1723185910796.png)
+  * **月视图**：可在月视图上查看当天要执行的实例总数，鼠标悬停在日历上方可查看执行状态汇总；
+    ![](.topwrite/assets/image_1723185934736.png)
+  * 日视图：支持按天或按小时两种粒度切换，可查看不同聚合粒度下实例的平均耗时时长。
+    ![](.topwrite/assets/image_1723185952493.png)
+
+4. 实例统计列表：默认按照计划时间展示当前补数任务下所有执行实例的信息，点击可跳转到实例执行的详情页面查看依赖关系等详细信息。
+
+^

package/bin/skills/lakehouse-doc/references/batch_sync.md

@@ -0,0 +1,54 @@
+# 离线同步任务
+
+云器 Lakehouse 工作空间的“开发”模块集成了数据同步任务的定义和调度能力。借助数据开发模块的数据同步任务编辑器，可以快速创建数据同步任务。以下对离线同步任务的创建和使用进行说明。
+
+## 新建数据同步任务
+
+您可分别从工作区和开发入口新建同步任务。
+
+* 由工作区新建
+  通过控制台“工作区”入口，在右侧“新建”按钮下选择新建离线同步或实时同步任务。
+
+  ![](.topwrite/assets/image_1690124841165.png =640)
+
+* 由开发入口新建
+  您可进入“开发”页面，在任务区域选择在指定目录下新建同步任务。
+
+  ![](.topwrite/assets/image_1690125196037.png =320)
+
+## 离线同步任务开发
+
+**第一步：新建离线数据同步任务**
+在指定任务保存位置创建指定名称的离线同步任务。
+![](.topwrite/assets/image_1690125712118.png =320)
+系统将生成同步任务，同时在右侧区域打开数据同步任务编辑器供用户编辑。
+![](.topwrite/assets/image_1690125934293.png =640)
+
+**第二步：定义同步任务**
+
+* 选择源和目标数据源及对应数据对象
+  在数据来源侧，选择现有数据源或新建数据源作为数据来源，并指定需要同步的数据对象。在数据目标侧，选择已有数据源或新建数据源作为目标数据源，目标数据的写入对象支持指定已有数据对象，或根据来源对象快速创建。
+  ![](.topwrite/assets/image_1690126242203.png =640)
+  确定来源对象和目标对象后，数据同步任务将生成来源对象与目标对象的字段映射，默认采用同名映射规则，可通过拖动方式调整字段间的映射关系。支持添加常量字段作为源表字段进行映射和写入。
+
+* 设置数据同步任务的容错和并发规则
+  * 任务并发数：可最小设置为1，最大设置为10。
+  * 任务同步速率：可最小设置为1 MB/s，最大不限制。
+    ![](.topwrite/assets/image_1690126859515.png =460)
+
+* 任务的高级配置
+  高级配置区域通常无需配置，保持留空即可。您也可以扩展设定任务的高级参数，例如调整任务使用的内存规格大小。支持的参数如下。具体如何设定，请联系技术支持人员。
+  * jobmanager.memory.process.size
+  * taskmanager.memory.process.size
+    ![](.topwrite/assets/image_1725711386646.png =640)
+
+**第三步：同步任务测试**
+在开发任务界面上点击“运行”，对同步任务进行测试。观察任务执行状态及日志，查询目标表的数据变化，验证同步任务是否正确执行。
+![](.topwrite/assets/image_1690127192272.png =640)
+
+**第四步：设置调度并部署至生产**
+调度配置完成后，可点击任务的“提交”按钮，将其部署至调度系统进行周期性执行。
+![](.topwrite/assets/image_1690127269116.png =640)
+
+在运维中心查看和运维已发布的同步任务。
+![](.topwrite/assets/image_1690127447830.png =640)

package/bin/skills/lakehouse-doc/references/batch_sync_Sop.md

@@ -0,0 +1,135 @@
+## 任务计费
+
+### 问题：数据同步任务如何收费？
+
+回答:数据同步任务的费用，整体分为硬件资源使用费用、数据传输网络费用两大类构成。
+
+* 硬件资源使用费用依据同步型计算集群的规格和使用时长进行按量计费，集群未使用或被停止后，不再收取费用。
+* 数据传输网络费用按实际情况收取：当使用数据集成等功能，批量从Lakehouse通过公网下载、导出数据时，会产生Internet网络传输费用。Internet网络传输以实际产生的传输数据量进行计量并计算费用。从其他数据源通过Internet网络向Lakehouse上传数据所产生的网络传输流量，不收取网络传输费用。若使用专线、Private Link或其他网络产品实现跨云厂商、跨地域或跨VPC网络打通，网络打通本身会产生费用。这部分费用根据网络打通方式的不同，在云器Lakehouse侧产生的由云器收取，在云平台账号中产生的费用由云平台直接收取。
+* 详见：[计费说明](pricing.md)
+
+## 数据源
+
+### 问题：离线同步当前支持的数据源有哪些？
+
+回答:在任务配置页面，进行源端和目标端选择时，会完整列出已支持的数据源类型。若没有可用的数据源，请点击「+」号按钮先前往新建，之后再使用。离线同步的数据源之间可以两两自由组合，来构建丰富的同步链路。详见：[数据源管理](config-datasource.md)
+
+^
+
+### 问题：离线同步如何验证数据源的可访问？
+
+回答:数据源列表中的「测试连通」功能（数据源配置页面也提供该功能），可用于测试数据同步任务环境与数据源之间的访问连通状况。若测试结果显示连通失败，则需检查配置的准确性（如连接串地址、用户名和密码等）以及网络状况。若存在网络不通的问题，可查阅下文的网络连通性章节，其中给出了相应的解决方案。
+
+^
+
+## 网络联通
+
+### 问题：如果数据源端在VPC环境下，如何打通数据同步的网络连通性？
+
+回答:如果数据源在VPC环境下，默认情况下数据同步任务所在的网络环境是无法访问联通的。可以通过以下几种方式来打通：
+
+* 在源端启用允许公网访问、在数据源中配置公网访问的地址。
+* 使用SSH Tunnel：[数据源管理](config-datasource.md) 
+* 使用Private Link：
+* Private Link和SSH相结合：[通过Private Link和SSH结合来同步VPC内的RDS数据](StudioDI_PrivateLinkVPC_fromRDS.md)
+
+### 问题：如果源端数据库有白名单限制，如何才能确保数据同步任务可连通该数据源？
+
+回答:需将数据同步服务出口IP地址添加至源端的白名单中，不同服务地域的IP地址存在差异，具体地址和配置方式详见：[数据源IP白名单配置指南](datasource_ip_whitelist.md)
+
+## 任务配置
+
+### 问题：离线同步任务配置的主要流程是怎样的？
+
+回答:主要分为数据源创建、来源和目标选择、配置字段映射、并发和脏数据管理等同步规则配置（可选）这几个步骤。配置完成后可手动触发运行测试，随后提交周期定时调度。详见：[离线同步](batch_sync.md)
+
+^
+
+### 问题：如果要控制数据同步时对源端的压力，需要如何配置？
+
+回答:在离线同步任务「同步规则配置」区域，可以通过最大并发数和同步速率两个配置项来分别控制对源端的连接数和读取访问的压力。并发数和同步速率越大、对源端的压力越大。
+
+^
+
+### 问题：如果源端数据中存在“脏数据”的情况，需要如何处理？
+
+回答:在离线同步任务「同步规则配置」区域，可以通过「任务遇脏数据自动结束」和「收集脏数据」两个配置项来控制同步任务对脏数据的处理行为。这些「脏数据」不会被写入到目标端。「脏数据」主要指无法正常写入到目标端的数据，最常见的情况是字段类型不匹配，比如把String类型的字段取值写入到目标INT字段中。
+
+* 「任务遇脏数据自动结束」配置成「是」，那么，在脏数据达到对应的条数时任务会失败退出。
+* 「任务遇脏数据自动结束」配置成「否」，那么，即使有脏数据，任务也会继续执行，不会自动退出。
+* 「收集脏数据」选项会控制是否把脏数据收集起来，在任务运行完成后进行查看。脏数据最多收集1000行数据，最长保存7天。
+
+^
+
+## 报错排查
+
+### 问题：任务运行报错 `java.lang.OutOfMemoryError: Java heap space`如何解决？
+
+原因：通常由于读取的数据中存在较大的字段或行，或者对于支持批量读取数据的数据源，单个批次内同步的数据量较大，超过了同步任务的计算进程的堆内内存。
+
+解决：可通过调整同步任务计算集成内存解决，在任务开发-高级参数中添加参数`taskmanager.memory.process.size`，有效单位m、g，默认1600m
+
+^
+
+### 问题：任务运行报错 `java.lang.OutOfMemoryError: Direct buffer memory`如何解决？
+
+原因：同步任务计算集成的堆外内存不足，通常可能是以下原因：
+
+* 来源数据中中存在较大的字段或行，或者对于支持批量读取数据的数据源，单个批次内同步的数据量较大，且来源数据源会使用堆外内存作为数据缓存，如elasticsearch
+* 目标数据源使用堆外内存攒批发送数据，如Lakehouse，由于一批数据中存在较大行导致某个批次数据超过攒批缓存大小
+
+解决：通常有以下解决方案：
+
+* 参照堆内存超限解决方案，调整`taskmanager.memory.process.size`参数
+* 单独调整任务堆外内存的大小，调整`taskmanager.memory.task.off-heap.size `参数，如256m，或512m
+* 如果数据源支持设置batch size，可适当调小配置值，**但注意，这可能会导致同步效率降低**
+
+### 问题：任务运行报错 `CZLH-67000:Out of Memory undefined: could not allocate block of size 262KB (1.0GB/1.0GB used)`，如何解决？
+
+原因: 底层存储索引数据时默认最大是1G, 如果表数据过多的情况下, 会出现pk数据操作了限制范围
+
+解决:
+
+* 如果是单表离线同步的话, 建议重新建表, 并且在建表时加上`cz.storage.art.max.memory.size.bytes`参数, 具体设置多大, 建议根据表实际大小来按需设置。
+* 如果是多表实时的全量同步报错的话，需要在任务的高级参数中加入`lh.table.cz.storage.art.max.memory.size.bytes`，重新提交任务并启动。
+
+### 问题：任务运行报错 `entity content is too long [320177567] for the configured buffer limit [104857600]`，如何解决？
+
+原因：es 读取数据是通过http 请求批量读取的。es http buffer 有大小限制，默认值是100MB，如果批量的数据大小超过这个限制，则会报错；
+
+解决：
+
+* 降低批量读取的batchSize；
+* 添加高级参数，调大http buffer的大小限制：studio.connector.es.buffer_limit；
+
+说明：降低batchSize会略微降低同步效率，调大studio.connector.es.buffer_limit 则会增加任务使用内存；
+
+### 问题：任务运行报错 `The maximum buffer size of 16777216 is insufficient to read the data of a single field. This issue typically arises when a quotation begins but does not conclude within the confines of this buffer's maximum limit.`，如何解决？
+
+原因：数据集成使用的第三方CSV SDK去读取解析CSV数据，SDK会对数据批量读取，对数据大小有限制，buffer大小默认是16MB；
+
+解决：
+
+添加高级参数：studio.connector.csv_reader.max\_buffer\_size；支持带MB/GB的写法，比如：32MB；
+
+说明：该参数目前仅在OSS/S3 生效；
+
+### 问题：任务运行报错 `Field at index 0 in record starting at line 1 exceeds the max field size of 16777216 characters`，如何解决？
+
+原因：数据集成使用的第三方CSV SDK去读取解析CSV数据，SDK对数据单个字段大小有限制，默认是16MB；
+
+解决：
+
+添加高级参数：studio.connector.csv_reader.max\_field\_size；支持带MB/GB的写法，比如：32MB；
+
+说明：该参数目前仅在OSS/S3 生效；
+
+### 问题：任务运行报错 `Field at index 5 in record starting at line 1 exceeds the max record size of 67108864 characters`，如何解决？
+
+原因：数据集成使用的第三方CSV SDK去读取解析CSV数据，SDK对单条数据大小有限制，默认是64MB；
+
+解决：
+
+添加高级参数：studio.connector.csv_reader.max\_record\_size；支持带MB/GB的写法，比如：128MB；
+
+说明：该参数目前仅在OSS/S3 生效；

package/bin/skills/lakehouse-doc/references/batchloadparquertfileintoLakehouse.md

@@ -0,0 +1,79 @@
+# 数据导入 Lakehouse 操作实践：通过 COPY 命令批量加载
+
+本指南将帮助您通过脚本方式和云器Lakehouse SQLLine命令行工具，将大量公共URL Parquet文件中的数据（例如New York City Taxi and For-Hire Vehicle Data）导入到云器Lakehouse中。
+
+1. download_raw_data.sh：将 Public URL Parquet 文件下载到本地。本文以NYC Taxi Data为例，包含450多个文件，60GB的数据（Parquet格式）。
+
+2. initialize_database.sh：通过 Lakehouse SQLLine 命令创建云器 Lakehouse 的 schema 和 tables。
+
+3. Import taxi and FHV data：用 R 转换 Parquet 文件到 CSV 文件，通过 Lakehouse SQLLine COPY 命令将本地 CSV 文件里的数据导入到云器 Lakehouse 的表里，支持批量多个文件的导入。
+
+# 操作指南
+
+脚本下载地址：<https://github.com/yunqiqiliang/nyc-taxi-data-clickzetta>
+
+## 1. Install [ClickZetta SQLLine](https://doc.clickzetta.com/zh-CN/connect-with-cli)
+
+## 2. Install [R](https://www.r-project.org/)
+
+From [CRAN](https://cloud.r-project.org/)
+
+Note that R used to be optional for this repo, but is required starting with the 2022 file format change. The scripts use R to convert Parquet files to CSV before loading into Postgres. There are other ways to convert from Parquet to CSV that wouldn't require R, but I found that R's `arrow` package was faster than some of the other CLI tools I tried
+
+## 3. Download raw data
+
+`./download_raw_data.sh`
+
+When done, modify download_raw_data.sh and run again to download data from 202212:
+wget -i setup_files/raw_data_urls_new\.txt -P data/ -w 2
+
+## 4. Initialize database and set up schema
+
+`./initialize_database.sh`
+
+## 5. Import taxi and FHV data
+
+`./import_yellow_taxi_trip_data.sh`
+
+`./import_green_taxi_trip_data.sh`
+
+`./import_fhv_taxi_trip_data.sh`
+
+`./import_fhvhv_trip_data.sh`
+
+Note that the full import process might take several hours or possibly even over a day, depending on computing power.
+
+# Schema
+
+* `trips` table contains all yellow and green taxi trips. Each trip has a `cab_type_id`, which references the `cab_types` table and refers to one of `yellow` or `green`
+* `fhv_trips` table contains all for-hire vehicle trip records, including ride-hailing apps Uber, Lyft, Via, and Juno
+* `fhv_bases` maps `fhv_trips` to base names and "doing business as" labels, which include ride-hailing app names
+* `nyct2010` table contains NYC census tracts plus the Newark Airport. It also maps census tracts to NYC's official neighborhood tabulation areas
+* `taxi_zones` table contains the TLC's official taxi zone boundaries. Starting in July 2016, the TLC no longer provides pickup and dropoff coordinates. Instead, each trip comes with taxi zone pickup and dropoff location IDs
+* `central_park_weather_observations` has summary weather data by date
+
+# 加载脚本示例
+
+[完整脚本](https://github.com/clickzetta/nyc-taxi-data-clickzetta/blob/master/README.md)
+
+```
+#!/bin/bash
+
+fhv_schema="(dispatching_base_num, pickup_datetime, dropoff_datetime, pickup_location_id, dropoff_location_id, legacy_shared_ride_flag, affiliated_base_num)"
+
+for parquet_filename in data/fhv_tripdata*.parquet; do
+  echo "`date`: converting ${parquet_filename} to csv"
+  ./setup_files/convert_parquet_to_csv.R ${parquet_filename}
+
+  csv_filename=${parquet_filename/.parquet/.csv}
+  
+  sh ../sqlline_cz/sqlline properties ../sqlline_cz/clickzetta.properties -e "set copy.csv.with.header=false;set copy.csv.skip.header=true; copy fhv_trips_staging from '${csv_filename}';"
+
+  echo "`date`: finished raw load for ${csv_filename}"
+
+  rm -f $csv_filename
+  echo "`date`: deleted ${csv_filename}"
+done;
+```
+
+^

package/bin/skills/lakehouse-doc/references/bestpractice_bazhuanyu.md

@@ -0,0 +1 @@
+[基于八爪鱼和云器DataGPT，实现网页数据获取与对话式数据分析](simpletosimple_bazhuayu_datagpt.md)

package/bin/skills/lakehouse-doc/references/billing.md

@@ -0,0 +1,62 @@
+# **计费账单**
+
+## 简介
+
+计费账单功能展示了您在云器Lakehouse平台的消费情况，账单会根据产品的使用情况持续更新。
+
+## 功能权限
+
+对于有多用户的租户，计费账单功能仅对管理员用户开放。
+
+## 账单更新
+
+* 计算、网络类资源账单的更新周期为每小时一次。
+* 存储类资源账单的更新周期为每天。系统会在一天内多次采集数据，并于次日凌晨更新前一天的账单实际用量数据。
+
+## 数据范围
+
+您可以通过计费账单功能查看自2023年5月起产生的账单数据。
+
+## 账单总览
+
+通过账单总览可了解使用云器Lakehouse的总成本，也可按照计算资源、存储、网络分别查看对应分类下的成本。
+
+您可通过指定可用区、实例、时间区间、工作空间等条件来查询和追溯成本来源，了解不同工作空间的成本分布。
+
+![](.topwrite/assets/image-20250227112413605.png)
+
+## 账单明细
+
+账单明细展示每日账单情况，可查看资源原价、折扣等信息，并支持明细导出。
+![](.topwrite/assets/image-20250227112939722.png)
+
+| 字段 | 说明 |
+| :--- | :--- |
+| 消费时间 | 账单对应的消费日期，以天为单位展示账单数据。 |
+| 计算用量 | 计算类型计费项产生的用量汇总，包括：数据集成、任务调度、通用型计算集群、分析型计算集群、Serverless作业、流式集成。 |
+| 存储用量 | 存储计费项产生的用量。 |
+| 网络用量 | 网络计费项产生的用量。 |
+| 原价 | 各计费项单价 × 用量后汇总金额 |
+| 折后消费 | 各计费项单价 × 用量 × 计费项折扣后汇总金额 |
+| 折扣 | 此处折扣为综合折扣，而非每个计费项的实际折扣。计算规则为：折扣 = 折后消费 / 原价 × 100%。 |
+
+具体产品的计费项定价和计费规则，请参考[定价和计费](pricing.md)。
+
+**账单明细导出**：点击列表右上角的“导出明细”按钮，即可导出计费账单明细。导出文件格式为 XLSX。
+
+## 计费总览
+
+计费总览展示了账户当前余额、今日消费金额、昨日消费金额、本月累计消费金额的统计信息，方便您快速了解消费趋势，管理账户资金。
+
+![](.topwrite/assets/image-20250227113055302.png =300)
+
+* 余额：账户当前剩余可用金额，充值、消费等操作均会导致余额变更。
+* 今日消费：当日账单累计消费金额，每小时更新。
+* 昨日消费：昨日账单汇总金额。
+* 本月累计消费：当月账单累计消费金额（含当日消费），每小时更新。
+
+## 账单历史
+
+账单历史提供全部账单记录的汇总，默认展示当年按月汇总的数据，可通过切换年份查看历史年份的账单记录。
+
+![](.topwrite/assets/image-20250227113457664.png =300)