@clickzetta/cz-cli-darwin-x64 0.3.1

package/bin/skills/lakehouse-doc/references/realtime_sync.md

@@ -0,0 +1,36 @@
+# 实时同步任务
+
+云器Lakehouse工作空间的“开发”模块集成了数据同步任务的定义和调度能力。借助数据开发模块的数据同步任务编辑器，可以快速创建数据同步任务。以下对实时同步任务的创建和使用进行说明。
+
+## 新建数据同步任务
+
+您可分别通过工作区和开发入口新建同步任务。
+
+* 由工作区新建
+  通过控制台“工作区”入口，在右侧“新建”按钮下选择新建离线同步或实时同步任务。
+
+  ![](.topwrite/assets/image_1690124841165.png =640)
+
+* 由开发入口新建
+  您可进入“开发”页面，在任务区域选择在指定目录下新建同步任务。
+
+  ![](.topwrite/assets/image_1690125196037.png =320)
+
+## 实时同步任务开发
+
+本节以Kafka数据源实时同步至Lakehouse为例进行说明。
+
+* 新建实时数据同步任务并配置源及目标信息
+  选择Kafka数据源，通过数据对象选择Topic，并指定位点及消息格式。目标端选择Lakehouse数据源及对应的数据对象。
+  ![](.topwrite/assets/image_1690128155312.png =708)
+
+  默认使用Kafka Topic内置字段进行数据字段映射。如果Topic内的消息格式为JSON，您还可以通过新增计算列的方式，使用JSONPath规则解析value字段中的内容，例如 `$.id`、`$.data.code`。
+
+
+* 部署至生产
+  实时同步任务不支持开发状态下的测试运行，也无需配置调度策略。您可通过“提交”按钮发布任务。
+  ![](.topwrite/assets/image_1690128987444.png =382)
+  提交后，可在运维中心对实时同步任务进行启停、运维操作及监控。
+  ![](.topwrite/assets/image_1690129075015.png)
+
+^

package/bin/skills/lakehouse-doc/references/realtime_sync_and_analysis_practice.md

@@ -0,0 +1,187 @@
+# 低延迟实时湖仓数据集成和高性能实时分析
+
+本文档会介绍基于云器Lakehouse构建高稳定低延迟的实时湖仓数据集成方案和基于同一份湖仓数据的高性能实时分析两部分内容。
+
+## 概述
+
+随着企业业务的扩展，实时数据分析变得至关重要，它不仅是业务决策的支撑点，也是推动企业发展的必备条件。为了实现数据的实时分析，企业通常面临两种技术方案选择：
+
+* 直接利用业务数据库进行BI分析：这种方法操作简便，能够快速实施。然而，它在处理大规模数据和复杂查询时会遇到性能瓶颈，特别是在需要执行多表连接等复杂操作时，查询响应时间会显著延长，无法满足实时分析的需求。此外，出于对稳定性和安全性的考虑，业务数据库通常不允许直接用于数据分析，这限制了数据分析团队的操作空间。
+* 基于数据仓库的BI分析方案：该方案通过将数据从业务数据库同步到数据仓库，利用数据仓库的高性能处理能力来支持BI分析。这种方法有效解决了性能问题，但最大的挑战在于数据的实时性。传统的数据同步通常是T+1或H+1的批处理模式，无法满足业务对数据实时性的需求，往往还需要部署额外的OLAP引擎，这进一步增加了成本。
+
+云器Lakehouse提供了一种高稳定性、低延迟的实时湖仓数据集成解决方案，它能够实现从多种源端数据源（如MySQL、PostgreSQL、SQL Server等）的实时数据同步，并直接支持BI报表的实时查询。这种方案通过在数仓中维护同一份数据，既支持数据的实时写入，也支持BI报表的实时查询，消除了传统方案中需要额外部署OLAP引擎的需求。这样的设计简化了数据架构，降低了成本，同时确保了数据的实时性和查询效率，为企业提供了一种既经济又高效的实时数据分析解决方案。
+
+##
+
+## 实时湖仓数据集成
+
+此部分会展开介绍产品化的实时湖仓集成方案，如何便捷地将海量库表数据同步进入到Lakehouse湖仓。
+
+### 场景和数据描述
+
+本演示实践中，在源端MySQL数据库准备了四张各有 100 万行数据的表，计划将这 400 万行数据同步到目标云器Lakehouse的表中，然后直接使用 BI 报表进行查询分析。
+
+:-: ![](.topwrite/assets/image_1734675535069.png =570)
+
+^
+
+本演示以常见的 SaaS 服务模式为例，在多租模式下，数据库采取分库分表的结构，数据存在不同的分表；某些租户的信息会存在同一张分表内，且不同分表中包含特定租户的定制扩展字段，即源端是基本相同的四张分表，但部分表的字段存在细微差异，如下图所示，yellow\_taxi\_02 表，相比yellow\_taxi\_00表，多出了一个扩展字段 ext\_columm\_2 。
+
+:-: ![](.topwrite/assets/image_1734675556308.png =500)
+
+###
+
+### 前置准备：数据源配置
+
+导航到管理 -> 数据源，单击”新建数据源“并选择MySQL，即可创建本案例中所需的数据源。填写必须的配置信息，尤其请注意选择正确的数据库所在时区，实时同步对时区敏感，配置错误会使得同步失败。
+
+![](.topwrite/assets/image_1735208242938.png)
+
+源端数据库的权限等高阶配置，可以参考[此文档](realtime_sync.md)。
+
+### 实时同步任务的配置
+
+首先在任务开发里点击新建”多表实时同步任务“，选择正确的源端数据源类型，比如 MySQL。
+![](.topwrite/assets/image_1734939965441.png =630)
+
+实时同步任务提供两类数据同步模式：
+
+* 第一类：多表镜像同步，把源端的数据表，原原本本地镜像同步到目标端。
+* 第二类：多表合并同步，支持把源端多张表合并写入到目标端同一张表中，这也是本实践中用到的场景。源端数据量大、有分库分表的场景下，同步过程中把多张表合并写入到同一张表，在后续查询中就不再需要再进行多表JOIN、可以为查询提速。
+
+选择好同步模式之后，选择存储了源端连接串信息的数据源，如下图所示：
+
+![](.topwrite/assets/image_1734940034365.png)
+
+^
+
+接下来配置需要同步的数据对象。产品内提供了丰富的过滤规则来筛选源端表，比如命名的精确匹配、正则匹配等，可以按需使用。在源端表字段存在不一致的情况下，系统会自动检测进行识别、提示开启异构表合并同步功能。异构表合并同步功能作用是在目标端的表中，取源端表字段的并集进行建表，确保源端所有的数据能被同步写入到目标端。
+
+![](.topwrite/assets/image_1734949182748.png)
+
+配置完成后可以对具体的表的字段进行预览检查，确保扩展字段也被添加进来，保证数据一致。
+
+![](.topwrite/assets/image_1734952733442.png)
+
+如果使用镜像同步模式来代替多表合并模式，会把源端表的结构完整映射到目标表上，但还需要再进行 ETL 的处理加工、产出一张新的合并后的表供BI查询。增加表，也附带增加了一个处理链路，提升复杂度的同时会使得端到端的整个链路更长，数据新鲜度和时效性会大打折扣，成本也会提升。
+
+上文提到源端数据是采用分库分表的方式存储数据，但常常会遇到一种更复杂的情况：源端主键字段相同的取值的记录，在不同分表中的数据会出现重复。本示例中的数据也模拟设计了类似情况，在源端两张表同样的主键 ID 取值，在不同的表里分别会有一条记录，这会给同步过程带来了挑战：在合并写入到目标端时，如果是只按 ID 作为主键，这两条记录就会被尝试写入到一条记录中，会产生数据冲突的情况，两条源端的记录依据先后顺序被处理，后到的源端表中的数据被把先到的源端表中的数据给覆盖掉。面对这种情况，Lakehouse 实时同步方案中，提供了扩展字段的能力，来保证数据准确性。通过标识源端数据来源，比如将 server、databasename、 tablename 等字段设置为联合主键后，这两条数据在目标端会被当成两条记录来对待。通过这种方式，保证在即使源端出现分表中主键数据有重复的复杂情况下，源端数据也能被准确地同步到目标端。
+
+![](.topwrite/assets/image_1735208417539.png)
+
+完成上述配置后，下一步在“目标配置”里设定目标数据源类型、数据源名称等配置项。
+
+![](.topwrite/assets/image_1735205909270.png)
+
+接下来可以在映射关系中预览同步的字段配置，可以看到扩展字段包含在内，扩展字段/联合主键也在这里有所体现。
+
+![](.topwrite/assets/image_1735205869904.png)
+
+云器Lakehouse实时同步中，也提供了丰富同步规则策略，用来动态适配源端数据库的变更（Schema Evelution），比如源端表删除、新增字段等情况下的应对策略，以及需要处理的源端变更消息类型等。
+
+![](.topwrite/assets/image_1735205828392.png)
+
+到这里，整个实时同步任务就已经配置完成，只需要简单四步：**选择数据源、圈定源端同步对象、选定目标端，设定同步策略**。
+
+### 提交并启动数据实时同步
+
+云器Lakehouse提供了开发环境和生产环境两种模式，要将该任务在生产环境运行起来，需要先将其发布提交，然后在运维中心启动该任务。
+
+* 提交多表实时同步任务
+  ![](.topwrite/assets/image_1735206359814.png)
+
+* 运维多表实时同步任务
+  ![](.topwrite/assets/image_1735206291470.png)
+
+* 启动多表实时同步任务：启动时，可以根据实际需求，选择是否进行全量数据同步。首次同步的数据，通常建议选择做一次全量数据同步，然后再进行增量数据同步。
+  ![](.topwrite/assets/image_1735206439758.png)
+  ![](.topwrite/assets/image_1735206478684.png)
+
+任务启动后，在运维界面中，可以看到任务会进入全量同步阶段，数据已经写入 200 万行，速率在 25, 000+ 行/秒。
+
+![](.topwrite/assets/image_1734677235371.png)
+
+特别地，多表实时同步任务仅需要在第一次启动时对源端做一次全量同步，全量同步完成后，无需手动更改，任务会自动转入增量同步环节，保持数据的无缝衔接。
+
+### 验证数据变更的同步效果
+
+在实际应用中，经常会出现因为业务需要使得源端数据库的表和结构出现变化的情况，如源端表增加了字段，删除了字段、或者字段的类型变化了。对于这类情况，Lakehouse的实时同步也提供了对应的解决办法。
+
+云器Lakehouse产品支持直接操纵源端数据库，通过 SQL 来对源端数据库进行修改、查询等操作，首先我们对源端数据进行变更，先在源端添加一些新的字段：ext\_column\_0 & ext\_column\_1，并在源端表里删掉一个字段，同时更改一个字段类型从 int 改为 bigint 。
+
+![](.topwrite/assets/image_1734677264978.png)
+
+![](.topwrite/assets/image_1734677273784.png)
+
+![](.topwrite/assets/image_1734677283775.png)
+
+接下来可以在监控页面中看到，源端的数据变更已经被同步过来进行消费，基于在同步任务中配置的Schema Evelution规则，自动更新，无需手动操作进行其它额外配置、或者重启任务，这样能确保整个同步链路平滑运行。
+
+![](.topwrite/assets/image_1734677295827.png)
+
+同步完成后，也可以在任务运维界面中检查源端的变更是否被成功同步到目标端，可以看到，新增的字段 ext\_column\_0 & ext\_column\_1已经被扩展进目标端，更改的 bigint 字段也完成变更。
+
+![](.topwrite/assets/image_1734677309588.png)
+
+![](.topwrite/assets/image_1734677315955.png)
+
+###
+
+### 实时同步任务的稳定性和指标监控
+
+实时同步和分析链路搭建完成后，最关心的问题之一就是整个链路的稳定性。我们的产品中，为每个多表同步任务提供了完善的监控信息展示，比如同步状态、同步延迟等。面向同步链路里可能会发生的异常情况，比如单条数据写入时发生异常导致任务失败，也提供了任务的自动 Failover 能力，任务失败以后会被自动拉起，减少人为运维处理的投入。
+
+![](.topwrite/assets/image_1734677408156.png)
+
+云器Lakehouse提供了监控告警产品模块，内置了丰富的状态和指标监控能力，支持自定义配置监控规则，来全面监控整个任务运行的状态，包括任务实例运行失败、单表存量数据同步异常、实时同步任务端到端延迟、作业 failover 、源端数据读取的点位延迟等等，一系列的监控事项，都可以通过配置对应的规则给监控起来。
+
+![](.topwrite/assets/image_1734677421992.png)
+
+本次实践演示中，配置了一些监控规则，可以看到下图告警通知，会监控端到端同步的延迟是否超过了 10 秒，在数量特别大时，延迟上去，会被监控捕获到，并通过告警通知提醒负责人感知并及时处理。
+
+![](.topwrite/assets/image_1734677436493.png)
+
+###
+
+### 实时同步任务的运维处置
+
+在实际生产过程中，经常会遇到各种各样的复杂问题，为此云器实时同步方案中也提供了多种配套运维处置功能来进行支持。例如在实时同步运行中，源端数据发生了变化，某个表中的数据出现了问题，针对这种情况，我们提供补数同步功能，支持对特定表重新进行全量同步。在业务突发高峰，源端变更流量非常大时，多个表的变更数据的实时同步会相互影响。这两种情况下，都可以通过全量补数同步的功能去加速数据同步过程。以下图为例，对源端表 yellow\_taxi\_00 表重新进行补数全量同步，其增量实时同步会被暂停，后台会通过全量的方式把源端数据重新同步。补数修订的全量同步完成后，增量同步会自动启动，无需再手动操作。
+
+![](.topwrite/assets/image_1734677453391.png)
+
+此外，云器Lakehouse还为日常运维提供优先执行功能，当在有多张表需要同步，而资源相对有限的条件下，可选择业务上更重要的表优先分配资源，在任务队列里面优先执行该表的数据同步，可以在任务整体出现消费堆积、端到端延迟变大的情况下，也能保证业务关键数据的新鲜度。
+
+![](.topwrite/assets/image_1734677476077.png)
+
+##
+
+## 高性能实时分析
+
+在传统离线数仓架构中，数据经过ETL处理后直接对接BI引擎进行查询，往往响应速度较慢。因此，企业通常会引入如Clickhouse等实时分析引擎来提升查询性能。云器科技的解决方案通过简化这一流程，实现了源端数据的实时写入与目标表的即时查询分析，无需额外的查询加速引擎。
+
+在本次演示中，我们利用Metabase BI工具构建的报表展示了源端MySQL数据行数统计与云器Lakehouse内数据行数的对比，并进行了复杂查询分析，如根据不同乘客数量统计费用的平均值。这一过程中，数据的实时同步写入与查询分析均在同一张表上完成，云器方案在简化架构和提升效率方面优势明显。
+
+![](.topwrite/assets/image_1734677365384.png)
+
+通过产品中提供的“作业历史”产品模块，可以看到提交到Lakehouse引擎的所有 SQL 明细。从下图中可以看到，实时同步写入的是 yellow\_taxi\_demo 表，在Metabase BI 看板里实时查询的也是该表。而且在演示的这个相对复杂的查询条件下，进行了400万行数据的全表扫描，能在 11 毫秒就返回查询结果。云器Lakehouse的方案不需要新增额外的加速引擎来进行查询加速，省去了再同步复制一份数据，所以能够极大地节约整体成本。
+
+![](.topwrite/assets/image_1734677380258.png)
+
+我们接下来看下高并发下的查询响应情况。云器Lakehouse 采用存算分离架构，在查询计算层面，通过不同集群类型来支撑不同的查询负载：
+
+* 通用型集群，面向批处理进行了针对性的优化。
+* 分析型集群，对于在线的实时分查询非常友好。
+
+云器也提供优秀的资源弹性能力，可以设定不同集群规格和弹性伸缩方式，可以配置查询的并发数以及实例的副本个数来实现动态伸缩。比如源端有 8 个并发时，只需要 1 个查询实例，通过弹性设置为 2 个副本，当并发数超过 8 个时，系统会自动拉起扩容出第 2 个副本来承接超过 8 个以上的并发流量，整个过程完全不需要人为干预。
+
+此外，云器Lakehouse还提供自动启停的功能，整个产品的资源收费模型上，在SaaS模式下采取按量付费的模式，比如对于 BI 报表，在夜间没有使用、没有流量时，集群会被自动停止，就会产生费用，能避免资源的空置浪费、节约成本费用。
+
+![](.topwrite/assets/image_1734677394361.png)
+
+## 总结
+
+云器Lakehouse基于一站式产品能力，提供了面向实时同步和实时分析场景的解决方案，应对源端数据库的复杂情况。产品支持对接MySQL、 PostgresSQL、SQLServer 等各种数据源，满足源端数据库存在异构情况下的同步要求，提供相对完善的高性能同步能力，和完善的配套运维监控能力保障数据的稳定生产。在成本方面，云器相比头部云厂商的传统同步方案，能够做到 50% 以上的整体成本节约。性能方面，具备更低的端到端的同步延迟，通常情况下可以做到 20 秒之内；以及更快的分析查询响应的速度，比如在较为复杂的查询SQL，也能够做到 10 毫秒的查询响应速度。基于云器Lakehouse的产品能力，可以为企业提供更好的数据新鲜度，让业务决策快人一步，在竞争中处于领先位置。
+
+## 附录
+
+关于多表实时同步功能的更详细的使用细节指南，请参考此[帮助文档](realtime_sync.md)。

package/bin/skills/lakehouse-doc/references/realtimesync_m.md

@@ -0,0 +1,190 @@
+# 全增量一体同步功能
+
+全增量一体同步功能是一项强大的数据同步工具，它能够将数据库中的数据完整地同步到Lakehouse中。该功能包括历史数据的全量同步和实时变更数据的增量同步。请注意，此功能目前处于 Beta 版本，部分已知局限将在后续版本中得到改进和优化。
+
+## 任务创建流程
+
+### 操作入口
+
+在任务开发界面，点击新建操作按钮，从下拉菜单中选择“全增量一体同步”任务类型。
+
+![新建全增量一体同步任务](.topwrite/assets/image_1710210458365.png)
+
+### 配置来源数据类型
+
+在创建任务时，首先需要选择一种需要同步的来源数据类型。目前支持的来源数据源类型及对应的增量读取模式和数据库版本如下：
+
+| **类型**     | **增量读取模式** | **数据库版本** |
+| ---------- | ---------- | --------- |
+| MySQL      | Binlog     | 5.x、8.x   |
+| PostgreSQL | WAL 日志     | 14 及以上     |
+
+### 选择同步类型
+
+全增量一体同步任务支持两种同步类型，请根据实际需求进行选择：
+
+1. 实时同步-多表镜像：适用于将源端数据完整地镜像同步到目标端的场景。
+2. 实时同步-多表合并：适用于将分库分表的数据合并后写入同一张目标表的场景。
+
+#### 多表镜像
+
+##### 来源配置
+* 选择数据源：选择一个已有的数据源。如果没有可用的数据源，请参考[数据源配置](config-datasource.md)文档新建一个数据源。
+* 配置读取模式：根据所选数据源类型，选择合适的读取模式。例如，MySQL数据源当前只支持BINLOG模式，而PostgreSQL数据源只支持WALs模式。
+* 选择同步对象：选择需要同步的数据库和表。可以通过批量配置功能，上传配置文件来快速选择多个同步对象。请注意，配置文件中的注释说明需要删除。
+* 配置槽位（slot）
+  * 仅PostgreSQL需要配置，槽位（slot）指PostgreSQL 的 replication slot，详见 [说明文档](https://www.postgresql.org/docs/9.4/catalog-pg-replication-slots.html)。
+  * 每个数据库都需要配置一个槽位。目前支持decoderbufs和pgoutput两种插件类型。
+  * 可以选择已存在的槽位进行使用；或者在页面页面来操作新建，在新建窗口的下方区域的创建语句，可按需修改。点击确定后进行创建。在数据源中配置的用户名必须具备创建slot的权限，否则会创建失败，详见下文的权限说明。
+  * 特别注意，不同任务不要复用同一个槽位。任务启动时，如果槽位被其他正在运行的任务占用，会启动失败。如果其他任务处于停止状态，因槽位中的数据会被共享消费，位点是共享的，新任务消费的增量数据，同步到目标端的表数据可能会不全。
+
+##### **目标配置**
+* 目标数据源：默认选择当前工作空间对应的Lakehouse数据源。
+* 命名空间规则：目前仅支持选择特定的命名空间。未来版本将支持按照源端进行镜像命名或自定义命名规则。
+* 目标表命名规则：目前仅支持镜像来源表名。后续版本将支持添加前缀或自定义命名规则。
+* 计算集群：选择工作空间下可用的计算集群。建议使用AP类型的集群。
+
+##### 预览配置
+在完成源端和目标端配置后，可以预览同步表和字段的映射关系。如有需要修改，可以返回上一步进行调整。
+
+##### 同步规则
+在同步规则中，可以配置Schema Evolution等规则，定义源端表和字段变化后的处理行为。
+
+#### 多表合并
+
+##### **来源配置**
+
+* 选择数据源
+  * 同上，多表镜像同步类似
+* 配置读取模式
+  * 同上，多表镜像同步类似
+* 选择同步对象
+  多表合并同步，会使用“虚拟表”作为中间的过渡承接，需要在配置时指定使用什么虚拟表来承接哪些对象的数据。支持两种方式进行配置
+  * 方式一：基于规则配置，通过正则匹配进行筛选，比如选出以 abc 开头的所有表，在正则表达式中填写 ^abc 即可
+  * 方式二：基于文件批量配置，按照模板中格式要求填写配置文件、上传后，页面会按照文件中给定的内容来选中需要同步的对象，选中后可以按需再进行微调。请注意删除模板文件中的注释说明
+
+##### **目标配置**
+* 同上，和多表镜像同步类似
+
+##### **预览配置**
+* 同上，和多表镜像同步类似
+
+##### **同步规则**
+* 同上，和多表镜像类似
+
+### 配置高级参数
+在任务常规配置完成后，点击“配置”按钮完成高级参数的设置。
+* 集群：指定用于运行同步任务的集群。建议使用AP类型的集群。
+* 更新频率：设定数据写入的频次间隔。
+
+### 提交任务
+点击提交按钮，将任务提交到生产环境执行。请注意，任务提交后默认不启动，需要手动启动。
+
+## 任务运维
+
+### 启动任务
+
+在任务详情页，可以操作启动任务。以下是三种启动方式：
+1. 无状态启动（仅适用于任务首次启动）：完整同步所有数据，先进行全量同步，再启动增量同步。
+2. 从上次保存状态恢复（适用于停止后的任务再次启动）：从停止位置断点续传。
+3. 自定义起始位置：从给定的位点进行同步，可用于数据回刷。对任务中配置的所有表统一生效。
+
+* MySQL：选择指定文件启动或者指定时间启动。在页面监控区域可以获取到上次文件位置。
+* PostgreSQL：指定 LSN 取值，在下文的实例监控中可以查看到最新的 LSN 取值。
+
+### 实例监控
+
+任务启动后，会经历初始化、全量同步、增量同步三个阶段。在实例监控区域，可以查看这三个阶段的运行状态。
+![实例监控](.topwrite/assets/image_1705386710920.png)
+
+### 指标监控
+
+在指标监控区域，可以查看全量同步和增量同步的关键监控指标。
+![指标监控](.topwrite/assets/image_1705386727702.png)
+
+| **指标名称**   | **口径说明**                                               |
+| ---------- | ------------------------------------------------------ |
+| 读取数据       | 数据同步任务在统计周期内从数据源读取的记录数。                                |
+| 写入数据       | 数据同步任务在统计周期内向目标数据源写入的记录数。                              |
+| 平均读取速率     | 数据同步任务在统计周期内平均读取速率。（周期内总读取记录 / 周期时间）                     |
+| 平均写入速率     | 数据同步任务在统计周期内平均写入速率。（周期内总写入记录 / 周期时间）                     |
+| Failover 次数 | 数据同步任务在统计周期内运行发生 Failover 次数。Failover 次数代表数据同步服务自身运行的稳定性。 |
+
+### 同步对象
+
+在同步对象区域，可以查看单表的同步终态和进行对应的运维操作。
+![](.topwrite/assets/image_1710214491047.png)
+
+| **指标** | **口径说明**                                    |
+| ------ | ------------------------------------------- |
+| 最新读取位置 | 同步任务实时读取来源对象数据并写入目标表，以目标表最新一条记录的写入时间作为读取位置。 |
+| 最新更新时间 | 最近一次写入目标表的时间。                               |
+| 数据延迟   | 数据从数据源端事务提交到同步至目标端可见的时间间隔。                  |
+
+| **操作** | **行为定义**                                     |
+| ------ | -------------------------------------------- |
+| 全量同步详情 |                                              |
+| 暂停     | 对于正在同步的表可操作，暂停该表的同步，保存同步位点。                  |
+| 恢复     | 从上次暂停的同步位点开始继续同步。                            |
+| 重新同步   | 对该表重新进行全量和增量同步。                              |
+| 查看异常   | 点击后可以查看表的增量同步任务的异常信息，比如 Schema Evolution 的异常等。 |
+
+### 停止任务
+
+停止任务会停止任务中正在进行的全量同步和增量同步。停止时会自动保存增量同步的位点状态。
+
+* 如果停止时表处在全量同步阶段，重启后，未完全全量同步的表，会重新进行一次全新的全量同步。
+* 如果停止时表处在增量同步阶段，重启后，默认会从同步停止的位点继续同步。
+
+### 下线任务
+
+下线任务属于高危操作，任务下线后，不会保存当前同步的位点。如果再次上线并启动任务，会重新开始同步数据。
+
+* 下线不会清理已经同步到目标端的数据，但会清理中间过程的缓存数据和位点信息。
+* 重新同步不会重新建表，全量数据同步会对于老的表进行覆盖写入，增量同步会对目标表做merge into的更新。
+
+## 权限说明
+
+同步不同类型数据源的变更事件时，需要在相应数据源服务端配置好适当的权限才能保证数据的正常同步。尽管直接分配管理员或超级用户的权限足以保证任务正常运行，但通常希望最小化需要分配给同步数据用户的权限。各操作步骤需要的具体权限配置说明如下。
+
+### PostgreSQL
+
+| 需求                                     | 权限                                                                    | 示例                                                                                                                                                                                   |
+| -------------------------------------- | --------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------ |
+| 配置任务（获取元数据：schema列表、table列表、table字段列表） | SELECT（information\_schema和需要获取详情的table上）                             | 赋予某个角色读取information\_schema的权限：GRANT SELECT ON TABLE information\_schema.tables TO role\_name;

赋予某个角色读取某张表的权限：GRANT SELECT ON TABLE your\_schema.your\_table TO role\_name; |
+| 同步wal日志                                | REPLICATION&#xA;LOGIN                                                 | CREATE ROLE \<name> REPLICATION LOGIN;                                                                                                                                               |
+| 同步历史全量数据（可选）                           | SELECT（需要同步的table上）                                                   | 赋予某个角色读取某张表的权限：GRANT SELECT ON TABLE table\_name TO role\_name;&#xA;&#xA;赋予某个角色读取schema下所有表的权限：GRANT SELECT ON ALL TABLES IN SCHEMA schema\_name TO role\_name;                      |
+| 创建publication（可选）                      | CREATE（需要创建publication的database上）&#xA;SELECT（需要添加到publication的table上） | 赋予CREATE权限：GRANT CREATE ON DATABASE your\_database TO role\_name;                                                                                                                    |
+
+### MySQL
+
+| 需求                                       | 权限                                                            | 示例                                                                                                                                                                                              |
+| ---------------------------------------- | ------------------------------------------------------------- | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
+| 配置任务（获取元数据：database列表、table列表、table字段列表） | SHOW DATABASES&#xA;SHOW TABLES（直接赋予更通用的SELECT权限也可）&#xA;SELECT | 赋予用户查询database列表的权限：GRANT SHOW DATABASES ON . TO 'username'@'host';&#xA;&#xA;赋予用户查询table列表和table详情的权限（SELECT包含了SHOW TABLES的权限）：GRANT SELECT ON database\_name.table\_name TO 'username'@'host'; |
+| 同步binlog日志                               | RELOAD&#xA;REPLICATION SLAVE&#xA;REPLICATION CLIENT           | GRANT SELECT, RELOAD, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT ON . TO 'username'@'host';                                                                                          |
+| 同步历史全量数据                                 | SELECT                                                        | 赋予用户查询table的权限：&#xA;  GRANT SELECT ON database\_name.table\_name TO 'username'@'host';                                                                                                          |
+
+## 已知局限
+
+* 当前方案需要设定数据刷新频次，最少支持设置为 1 分钟。即端到端数据新鲜度延迟至少会在 1 分钟以上，尚未做到秒级延迟（会在后续版本提供）。
+* Schema Evolution，暂不支持变更字段类型、不支持自动新增表。
+* 多表实时同步任务中，源端不同库表中若存在主键相同的数据，同步结果会出现异常。
+* MySQL同步，尚不支持的字段类型：
+
+| 字段类型 | 同步后行为 |
+| ---- | ----- |
+| year | 取值不对应 |
+
+* PostgreSQL同步，尚不支持的字段类型：
+
+| 字段类型     | 同步后行为          |
+| -------- | -------------- |
+| varbit   | 取值不对应          |
+| bytea    | 取值不对应          |
+| TIMETZ   | 取值不对应          |
+| interval | 取值不对应          |
+| NAME     | 取值不对应          |
+| NUMERIC  | 精度不对应，目标端精度会更高 |
+| decimal  | 精度不对应，目标端精度会更高 |
+
+^

package/bin/skills/lakehouse-doc/references/refresh-history.md

@@ -0,0 +1,63 @@
+# 功能
+
+用于返回所有正在进行刷新和历史刷新的作业历史。目前只会显示最近7天内的10000条数据。结果中可以显示增量刷新条数、是否为增量刷新等信息。
+
+# 语法
+
+```SQL
+ SHOW DYNAMIC TABLE REFRESH HISTORY [where <expr>] [LIMIT num];
+```
+
+# 参数说明
+
+* `WHERE <expr>`:WHERE \<expr>: (可选) 支持用户根据 `SHOW JOBS` 命令显示的字段进行筛选。用户可以通过表达式对结果进行筛选，以便更精确地查找所需的数据。
+* `LIMIT num`：（可选）限制返回的作业记录数量，范围为1-10000。
+
+# 返回结果
+
+| 字段                 | 说明                                                                        |
+| ------------------ | ------------------------------------------------------------------------- |
+| workspace\_name    | 工作空间名称                                                                    |
+| schema\_name       | schema名称                                                                  |
+| name               | 动态表名字                                                                     |
+| virtual\_cluster   | 使用的计算集群                                                                   |
+| start\_time        | 刷新开始时间，timestamp类型                                                        |
+| end\_time          | 刷新结束时间，timestamp类型                                                        |
+| duration           | 刷新耗时，interval类型                                                           |
+| state              | 作业状态                                                                      |
+| refresh\_trigger   | MANUAL(由用户调用refresh手动触发刷新,包含studio调度刷新) SYSTEM\_SCHEDULED（由lakehouse调度刷新） |
+| suspended\_reson   | 保留字段，无特殊意义                                                                 |
+| refresh\_mode      | NO\_DATA FULL INCREMENTAL                                                 |
+| error\_message     | 刷新失败的信息                                                                   |
+| source\_tables     | 记录了 Dynamic Table 使用的基表名称                                                  |
+| stats              | 增量刷新条数等信息                                                                 |
+| completion\_target | 保留字段，无特殊意义                                                                 |
+| job\_id            | 作业 ID，通过点击作业 ID 可以查看 job profile                                              |
+
+# 使用示例
+
+* 根据动态表名字过滤对应的刷新历史
+
+```SQL
+ SHOW DYNAMIC TABLE REFRESH HISTORY  where name='dau';
+```
+
+* 根据耗时进行筛选，筛选耗时大于一秒的刷新
+
+```SQL
+ SHOW DYNAMIC TABLE REFRESH HISTORY  where name='dau' and duration>interval 1 second;
+```
+
+* 根据计算集群进行过滤
+
+```SQL
+ SHOW DYNAMIC TABLE REFRESH HISTORY  where name='dau' and duration>interval 1 second and virtual_cluster='DEFAULT';
+```
+
+* 根据开始时间进行过滤
+
+```SQL
+ SHOW DYNAMIC TABLE REFRESH HISTORY  where name='dau' and duration>interval 1 second and virtual_cluster='DEFAULT'  and start_time>timestamp'2024-06-12 12:47:07.881';
+```
+
+^

package/bin/skills/lakehouse-doc/references/regexp-statement.md

@@ -0,0 +1,80 @@
+# 正则表达式支持的函数列表
+| 函数 | 说明 |
+| -------------------- | ------------------------------------------------------- |
+| RLIKE                | 用于检查一个字符串是否符合指定的正则表达式模式。                                |
+| REGEXP_EXTRACT       | 利用指定的正则表达式（regexp）从输入字符串（str）中提取匹配的文本。                  |
+| REGEXP_EXTRACT_ALL   | 用于从字符串中提取与正则表达式匹配的所有子串。                                 |
+| REGEXP_REPLACE       | 用于在字符串 str 中查找所有匹配正则表达式 regexp 的子字符串，并将它们替换为指定的字符串 rep。 |
+
+# 使用说明
+
+Lakehouse 使用的正则表达式引擎是 [re2](https://github.com/google/re2)。
+
+* **POSIX字符组**：允许使用如`[[:alnum:]]`这样的字符组。
+* **反斜杠序列**：包括`\d`（数字）、`\D`（非数字）、`\s`（空白字符）、`\S`（非空白字符）、`\w`（单词字符）、`\W`（非单词字符）、`\b`（单词边界）和`\B`（非单词边界）。
+* **POSIX通配符**：如`.`（匹配任意单个字符）和`*`（匹配前一个元素的零次或多次出现）。
+* **Unicode支持**：所有正则表达式函数均支持Unicode字符。
+# 转义字符的处理
+在 SQL 语句中使用字符串常量时，如果包含反斜杠序列或元字符（如`\d`、`\s`、`*`、`?`），这些转义字符会被自动转义。例如，`SELECT '\\' AS col;` 的输出将是 `\`。对于表中实际存储的值为 `\\` 的情况，不会发生转义，只有字符串常量会经历这种转义。
+
+因此，当编写需要匹配这些特殊序列的正则表达式时，需要添加额外的转义字符。例如：
+
+```SQL
+-- 在字符串常量中，反斜杠序列会被自动转义
+SELECT '\\\\' as col1, '\\' as col2;
++------+------+
+| col1 | col2 |
++------+------+
+| \\   | \    |
++------+------+
+-- 如果在表中存储的是\\，则不会有自动转义的情况
+CREATE TABLE test_regex(col STRING);
+INSERT INTO test_regex VALUES('\\');
+SELECT * FROM test_regex;
++-----+
+| col |
++-----+
+| \\  |
++-----+
+```
+
+使用正则表达式进行匹配时，需要对含有反斜杠序列或元字符的字符串进行转义：
+
+```SQL
+SELECT col, RLIKE(col, '\\\\') FROM test_regex;
++-----+---------------------+
+| col | RLIKE(col, '\\\\') |
++-----+---------------------+
+| \\  | TRUE                |
++-----+---------------------+
+```
+
+# 字符串前缀 r 的使用
+
+为了避免在不确定何时需要转义的情况下手动处理转义字符，Lakehouse 支持在字符串前添加 `r` 前缀，表示 [字符串](<STRING.md>) 中的转义字符不会被转义，可以直接输入到正则表达式中运行。这样，用户可以像编写普通正则表达式一样，而不必担心 SQL 引擎的转义问题。例如：
+
+```SQL
+-- 使用r前缀与表中的数据进行匹配
+SELECT col, RLIKE(col, r'\\') FROM test_regex;
++-----+---------------------+
+| col | RLIKE(col, '\\\\') |
++-----+---------------------+
+| \\  | TRUE                |
++-----+---------------------+
+-- 使用r前缀匹配字符串常量
+SELECT RLIKE(r'%SystemDrive%\Users\John', r'%SystemDrive%\\Users.*') as res;
++------+
+| res  |
++------+
+| TRUE |
++------+
+--不使用r前缀的正则匹配
+SELECT r'%SystemDrive%\Users\John' rlike '%SystemDrive\\\\\Users.*';
++------+
+| res  |
++------+
+| true |
++------+
+```
+
+通过使用 `r` 前缀，Lakehouse 简化了正则表达式的使用，使得文本匹配和数据处理更加直观和高效。

package/bin/skills/lakehouse-doc/references/releasenotes.md

@@ -0,0 +1 @@
+^

package/bin/skills/lakehouse-doc/references/releasenotesupdata.md

@@ -0,0 +1 @@
+^

package/bin/skills/lakehouse-doc/references/remove-volume.md

@@ -0,0 +1,32 @@
+# REMOVE 命令
+
+## 概述
+
+REMOVE 命令用于从云器 Lakehouse 的数据湖 Volume 对象中删除文件，同时实际存储与对象存储的文件也会删除。该命令支持在 Studio 和 Lakehouse 客户端中运行。
+
+## 使用场景
+
+* 可以结合Lakehouse定时调度任务将已经导入到lakehouse的文件定时删除
+
+## 语法
+
+```
+REMOVE 
+    [ VOLUME volume_name | TABLE VOLUME table_name | USER VOLUME ]
+    [ SUBDIRECTORY 'dir' | FILE 'file' ] 
+```
+
+## 参数说明
+
+* `VOLUME/TABLE VOLUME/USER VOLUME`：分别指将外部 Volume，TABLE VOLUME 和USER VOLUME 中的数据删除。
+* `SUBDIRECTORY/FILE`：指定下载文件包括的范围，可以是 volume 中的子目录。指定目录会将下面的所有文件删除（`SUBDIRECTORY`），也可以利用 FILE 参数删除多个文件。
+
+## 示例
+
+删除volume中的某个目录
+
+```SQL
+REMOVE VOLUME my_volume SUBDIRECTORY 'delta-format/uploaddelta';
+```
+
+^