@clickzetta/cz-cli-darwin-x64 0.3.1

package/bin/skills/lakehouse-doc/references/sqlalchemy.md

@@ -0,0 +1,82 @@
+# 使用SQLAlchemy连接并使用Clickzetta Lakehouse
+
+## 简介
+
+SQLAlchemy 是 Python 编程语言中的一个 SQL 工具箱和对象关系映射（ORM）系统。它为 Python 应用程序开发提供了全面而灵活的 SQL 功能，使得数据库操作更加便捷。Clickzetta Lakehouse 作为一款高性能的数据仓库服务，现已支持 SQLAlchemy，使得用户可以更加轻松地进行数据操作和分析。
+
+## 安装
+
+要使用 SQLAlchemy 连接 Clickzetta Lakehouse，首先需要在您的 Python 环境中安装 clickzetta-sqlalchemy 包。使用以下命令进行安装（确保当前环境中没有安装 clickzetta-sqlalchemy 和 clickzetta-connector，如有需要请先卸载以避免依赖冲突）：
+
+```
+pip uninstall -y clickzetta-sqlalchemy clickzetta-connector && pip install clickzetta-connector -U
+```
+
+## 配置连接参数
+
+在使用 SQLAlchemy 连接 Clickzetta Lakehouse 时，需要提供正确的连接参数。连接参数的格式如下：
+
+```
+clickzetta://<user_login_name>:<password>@<instance_name>.<region_id>.api.clickzetta.com/<workspace_name>?schema=<target_schema>&virtualcluster=<your_vcluster_name>
+```
+
+其中，各参数的含义如下：
+
+* `<user_login_name>`：您的 Clickzetta Lakehouse 登录用户名。
+* `<password>`：您的 Clickzetta Lakehouse 登录密码。
+* `<instance_name>`：您的 Clickzetta Lakehouse 实例名称。
+* `<region_id>`：服务实例所在的云厂商及区域的代码，例如：cn-shanghai-alicloud。所有 region_id 详见 [云服务和地域](Supported_Cloud_Platforms.md)。
+* `<workspace_name>`：您的 Clickzetta Lakehouse 工作空间名称。
+* `<target_schema>`：您希望访问的目标模式（schema）名称。
+* `<your_vcluster_name>`：您的虚拟集群（virtual cluster）名称。
+
+**连接示例**：
+
+```
+clickzetta://Alice:xxxx@1a2b3c4d.cn-shanghai-alicloud.api.clickzetta.com/myworkspace?schema=public&virtualcluster=default_vc
+```
+
+## 使用Apache Superset连接Clickzetta Lakehouse
+
+在本节中，我们将介绍如何使用 Apache Superset 连接 Clickzetta Lakehouse 并进行数据查询及 BI 分析。
+
+### 前置条件
+
+* 确保已成功安装 clickzetta-sqlalchemy 包。
+* 确保 Apache Superset 已成功安装并启动。
+
+### 配置连接
+
+1. 打开 Apache Superset，进入数据库列表页面。
+2. 点击右上角的“添加数据库”按钮，选择“其他”数据库类型。
+3. 在“SQLALCHEMY URI”字段中，填写上述配置的 Clickzetta Lakehouse 连接参数。
+4. 点击“测试连接”，确保连接成功。
+
+![配置Superset连接](.topwrite/assets/image_1668962209871.png)
+
+### 数据查询及BI分析
+
+连接成功后，您可以使用 Apache Superset 进行数据查询和 BI 分析。例如：
+
+1. 创建一个新的仪表板，并添加图表组件。
+2. 在图表配置页面中，选择刚刚配置的 Clickzetta Lakehouse 数据库连接。
+3. 编写 SQL 查询语句，例如：
+
+```sql
+SELECT
+  orders.order_id,
+  orders.customer_id,
+  orders.order_date,
+  orders.total
+FROM
+  orders
+WHERE
+  orders.order_date BETWEEN '2022-01-01' AND '2022-12-31';
+```
+
+4. 点击“执行查询”，查看查询结果。
+5. 根据需要调整图表样式和配置，完成BI分析。
+
+![Superset数据查询及BI分析](.topwrite/assets/image_1668962386077.png)
+
+通过以上步骤，您可以轻松地使用 Apache Superset 连接 Clickzetta Lakehouse，实现数据查询和 BI 分析。

package/bin/skills/lakehouse-doc/references/ssb-benchmark.md

@@ -0,0 +1,224 @@
+# 概述
+
+Star Schema Benchmark（简称 SSB）是一种用于评估 OLAP 系统性能的基准测试。SSB 基于 TPC-H 提供了一个简化版的星型模型数据集，主要用于测试在星型模型下多表关联查询的性能表现。ClickHouse 官方将 SSB 的星型模型打平转化成宽表，改造成了一个单表测试集，参见 [ClickHouse官方说明](https://clickhouse.com/docs/en/getting-started/example-datasets/star-schema)。
+
+本报告为您提供了云器 Lakehouse 与 ClickHouse 在 SSB 单表测试集 100GB 规模上的测试结果，结论如下：
+
+![](.topwrite/assets/image_1731490816583.png)
+
+* 在 SSB 单表测试集 100GB 规模数据集上执行的 13 个查询中，ClickHouse 总耗时是云器 Lakehouse 的 1.48 倍，云器 Lakehouse 性能更优。
+
+# 测试环境
+
+* **ClickHouse 测试环境**
+
+| **配置项** | **配置信息**                                      |
+| ------- | --------------------------------------------- |
+| 服务器     | 1 台阿里云 ECS 服务器（ecs.g7.16xlarge，64 vCPU，256 GiB） |
+| 网络带宽    | 32 Gbps                                        |
+| 软件      | ClickHouse 23.3                               |
+| 存储服务    | ESSD 高效云盘，200 GB，PL1，单盘 IOPS 上限 5 万                 |
+| 硬件费用    | 17.164 元/小时                                    |
+
+* **云器 Lakehouse 测试环境**
+
+| **配置项** | **配置信息**       |
+| ------- | ------------------------- |
+| 计算资源    | Large 规格的计算集群（64 vCPU 等效算力） |
+| 软件      | 阿里云上海 Region - 云器 Lakehouse 服务 |
+| 存储服务    | 托管存储，阿里云OSS对象存储           |
+
+# 测试数据
+
+测试使用了 SSB 标准数据集，包含以下表和记录数：
+
+* **lineorder**：6 亿条记录
+* **customer**：300 万条记录
+* **part**：140 万条记录
+* **supplier**：20 万条记录
+* **dates**：2556 条记录
+* **lineorder_flat**：6 亿条记录（展平后宽表）
+
+# 测试过程
+
+## ClickHouse
+
+DDL 与查询语句（Query）与 ClickHouse 官网测试方式一致，详情参见 [ClickHouse官方文档](https://clickhouse.com/docs/en/getting-started/example-datasets/star-schema)。
+
+## 云器 Lakehouse
+
+### 创建集群
+
+* 在Lakehouse中创建Large规格的虚拟集群
+
+```SQL
+create vcluster if not exists LARGE_CLUSTER vcluster_size='LARGE' vcluster_type='Analytics' AUTO_RESUME=TRUE AUTO_SUSPEND_IN_SECOND=300 min_replicas=1 max_replicas=1;
+```
+
+### 建表语句
+
+```SQL
+  --建表语句
+CREATE TABLE demo_examples.ssb_100g.lineorder_flat(
+  `lo_orderkey` int not null,
+  `lo_linenumber` int not null,
+  `lo_custkey` int not null,
+  `lo_partkey` int not null,
+  `lo_suppkey` int not null,
+  `lo_orderdate` date not null,
+  `lo_orderpriority` string not null,
+  `lo_shippriority` int not null,
+  `lo_quantity` int not null,
+  `lo_extendedprice` int not null,
+  `lo_ordtotalprice` int not null,
+  `lo_discount` int not null,
+  `lo_revenue` int not null,
+  `lo_supplycost` int not null,
+  `lo_tax` int not null,
+  `lo_commitdate` date not null,
+  `lo_shipmode` string not null,
+  `c_name` string not null,
+  `c_address` string not null,
+  `c_city` string not null,
+  `c_nation` string not null,
+  `c_region` string not null,
+  `c_phone` string not null,
+  `c_mktsegment` string not null,
+  `s_name` string not null,
+  `s_address` string not null,
+  `s_city` string not null,
+  `s_nation` string not null,
+  `s_region` string not null,
+  `s_phone` string not null,
+  `p_name` string not null,
+  `p_mfgr` string not null,
+  `p_category` string not null,
+  `p_brand` string not null,
+  `p_color` string not null,
+  `p_type` string not null,
+  `p_size` int not null,
+  `p_container` string not null)
+ CLUSTERED BY(lo_orderkey) SORTED BY(lo_orderdate, lo_orderkey) INTO 64 BUCKETS
+  PROPERTIES ('cz.storage.parquet.compression'='lz4');
+
+ --收集统计信息
+ analyze table lineorder_flat compute statistics for all columns;
+```
+
+### 运行查询
+
+```SQL
+--禁用结果缓存
+set cz.sql.enable.shortcut.result.cache=false;
+
+--Q1.1
+SELECT /*Q1.1*/ sum(LO_EXTENDEDPRICE * LO_DISCOUNT) AS revenue 
+FROM lineorder_flat 
+WHERE Year(LO_ORDERDATE) = 1993 AND LO_DISCOUNT BETWEEN 1 AND 3 AND LO_QUANTITY < 25;
+
+--Q1.2
+SELECT /*Q1.2*/ sum(LO_EXTENDEDPRICE * LO_DISCOUNT) AS revenue 
+FROM lineorder_flat 
+WHERE Year(LO_ORDERDATE) = 1994 and Month(LO_ORDERDATE) = 1 AND LO_DISCOUNT BETWEEN 4 AND 6 AND LO_QUANTITY BETWEEN 26 AND 35;
+
+--Q1.3
+SELECT /*Q1.3*/ sum(LO_EXTENDEDPRICE * LO_DISCOUNT) AS revenue 
+FROM lineorder_flat WHERE WeekOfYear(LO_ORDERDATE) = 6 AND Year(LO_ORDERDATE) = 1994 AND LO_DISCOUNT BETWEEN 5 AND 7 AND LO_QUANTITY BETWEEN 26 AND 35;
+
+--Q2.1
+SELECT /*Q2.1*/
+    sum(LO_REVENUE),
+    Year(LO_ORDERDATE) AS year,
+    P_BRAND 
+FROM lineorder_flat 
+WHERE P_CATEGORY = 'MFGR#12' AND S_REGION = 'AMERICA' 
+GROUP BY 
+    year,
+    P_BRAND 
+ORDER BY year,P_BRAND;
+
+--Q2.2
+SELECT /*Q2.2*/
+    sum(LO_REVENUE),
+    Year(LO_ORDERDATE) AS year,
+    P_BRAND 
+FROM lineorder_flat 
+WHERE P_BRAND >= 'MFGR#2221' AND P_BRAND <= 'MFGR#2228' AND S_REGION = 'ASIA' GROUP BY year,P_BRAND ORDER BY year,P_BRAND;
+
+--Q2.3
+SELECT /*Q2.3*/ sum(LO_REVENUE),Year(LO_ORDERDATE) AS year,P_BRAND FROM lineorder_flat WHERE P_BRAND = 'MFGR#2239' AND S_REGION = 'EUROPE' GROUP BY year, P_BRAND ORDER BY year,P_BRAND;
+
+--Q3.1
+SELECT /*Q3.1*/ C_NATION,S_NATION,Year(LO_ORDERDATE) AS year,sum(LO_REVENUE) AS revenue FROM lineorder_flat WHERE C_REGION = 'ASIA' AND S_REGION = 'ASIA' GROUP BY C_NATION,S_NATION,year HAVING year >= 1992 AND year <= 1997 ORDER BY year ASC,revenue DESC;
+
+--Q3.2
+SELECT /*Q3.2*/ C_CITY,S_CITY,Year(LO_ORDERDATE) AS year,sum(LO_REVENUE) AS revenue FROM lineorder_flat WHERE C_NATION = 'UNITED STATES' AND S_NATION = 'UNITED STATES' GROUP BY C_CITY,S_CITY,year HAVING year >= 1992 AND year <= 1997 ORDER BY year ASC,revenue DESC;
+
+--Q3.3
+SELECT /*Q3.3*/
+    C_CITY,
+    S_CITY,
+    Year(LO_ORDERDATE) AS year,
+    sum(LO_REVENUE) AS revenue 
+FROM lineorder_flat 
+WHERE (C_CITY = 'UNITED KI1' OR C_CITY = 'UNITED KI5') 
+AND (S_CITY = 'UNITED KI1' OR S_CITY = 'UNITED KI5') 
+GROUP BY C_CITY,S_CITY,year HAVING year >= 1992 AND year <= 1997 
+ORDER BY year ASC,revenue DESC;
+
+--Q3.4
+SELECT /*Q3.4*/
+    C_CITY,
+    S_CITY,
+    Year(LO_ORDERDATE) AS year,
+    sum(LO_REVENUE) AS revenue FROM lineorder_flat 
+WHERE (C_CITY = 'UNITED KI1' OR C_CITY = 'UNITED KI5') AND (S_CITY = 'UNITED KI1' OR S_CITY = 'UNITED KI5') AND Year(LO_ORDERDATE) = 1997 AND Month(LO_ORDERDATE) = 12 GROUP BY C_CITY,S_CITY,year ORDER BY year ASC,revenue DESC;
+
+--Q4.1
+SELECT /*Q4.1*/ Year(LO_ORDERDATE) AS year,
+    C_NATION,
+    sum(LO_REVENUE - LO_SUPPLYCOST) AS profit 
+FROM lineorder_flat WHERE C_REGION = 'AMERICA' AND S_REGION = 'AMERICA' AND (P_MFGR = 'MFGR#1' OR P_MFGR = 'MFGR#2') GROUP BY year,C_NATION ORDER BY year ASC,C_NATION ASC;
+
+--Q4.2
+SELECT /*Q4.2*/ Year(LO_ORDERDATE) AS year,
+    S_NATION,
+    P_CATEGORY,
+    sum(LO_REVENUE - LO_SUPPLYCOST) AS profit 
+FROM lineorder_flat 
+WHERE C_REGION = 'AMERICA' AND S_REGION = 'AMERICA' AND (P_MFGR = 'MFGR#1' OR P_MFGR = 'MFGR#2') GROUP BY year,S_NATION,P_CATEGORY HAVING year == 1997 OR year == 1998 ORDER BY year ASC,S_NATION ASC,P_CATEGORY ASC;
+
+SELECT /*Q4.3*/ Year(LO_ORDERDATE) AS year,
+    S_CITY,
+    P_BRAND,
+    sum(LO_REVENUE - LO_SUPPLYCOST) AS profit 
+FROM lineorder_flat 
+WHERE S_NATION = 'UNITED STATES' AND P_CATEGORY = 'MFGR#14' 
+GROUP BY year,S_CITY,P_BRAND 
+HAVING year = 1997 OR year = 1998 
+ORDER BY year ASC,S_CITY ASC,P_BRAND ASC;
+```
+
+# 测试结果
+
+以下是云器 Lakehouse 和 ClickHouse 在 13 个查询上的性能测试结果，单位为毫秒 (ms)，数值越低表示性能越好。
+
+ClickHouse 使用了默认的 LZ4 压缩方式，云器 Lakehouse 也使用 LZ4 压缩方式。所有查询预热一次后，执行三次取平均值作为结果。
+
+| 查询   | 云器 Lakehouse | ClickHouse 23.3 | ClickHouse vs. 云器 Lakehouse |
+| ---- | ----------- | --------------- | ------------------------ |
+| Q1.1 | 59          | 48              | 0.81                     |
+| Q1.2 | 30          | 15              | 0.50                     |
+| Q1.3 | 28          | 14              | 0.50                     |
+| Q2.1 | 197         | 301             | 1.53                     |
+| Q2.2 | 183         | 273             | 1.49                     |
+| Q2.3 | 149         | 255             | 1.71                     |
+| Q3.1 | 259         | 398             | 1.54                     |
+| Q3.2 | 200         | 319             | 1.60                     |
+| Q3.3 | 146         | 227             | 1.55                     |
+| Q3.4 | 34          | 18              | 0.53                     |
+| Q4.1 | 281         | 469             | 1.67                     |
+| Q4.2 | 117         | 160             | 1.37                     |
+| Q4.3 | 101         | 148             | 1.47                     |
+| 总计  | 1784        | 2645            | 1.48                     |
+

package/bin/skills/lakehouse-doc/references/sso-configuration.md

@@ -0,0 +1,157 @@
+# 单点登录 （Private Preview）
+
+本文档旨在帮助您逐步完成单点登录配置，确保能顺利使用 OAuth 2.0/OIDC 或 SAML 2.0 协议启用 SSO 功能。
+
+***
+
+## 基础概念简介
+
+* **单点登录**（**SSO**）：用户通过一次身份验证即可访问多个系统，简化登录流程并提高安全性。
+
+* **联合身份验证（Federated Authentication）**：Lakehouse（服务提供方，SP）信任外部身份提供方（IdP）执行用户认证。
+
+* **协议简述**：
+
+  * **SAML 2.0**：基于 XML 的身份断言协议，通过 Assertion 传递用户身份信息。
+  * **OAuth 2.0 / OpenID Connect（OIDC）**：OAuth 提供授权机制，OIDC 增加身份层，使用 JWT 格式的 ID Token 表达用户身份。
+
+## ClickZetta 与客户 IdP 的关系
+
+* 在 IdP 中注册 Lakehouse 应用（提供回调地址/ACS、Entity ID、签名或加密证书）
+* 在 Lakehouse 平台中填写 IdP 提供的参数
+* 配置完成后支持两种登录流程：用户从 Lakehouse 登录（SP-init）或从 IdP 登录（如果支持 IdP-init）
+
+## 功能局限
+
+当前 Lakehouse **不支持**以下功能，请在配置与使用时注意：
+
+1. **不支持全局登出**。用户在 IdP 的登出操作不影响在 Lakehouse 的登录状态。用户需要在 Lakehouse 中单独登出。
+2. **不支持配置多个 IdP**。仅支持一个 IdP 连接。
+3. **单点登录仅支持 Web 端登录**。当前不支持通过 JDBC、Python SDK、Java SDK 等使用 SSO 登录。
+4. **身份映射字段局限**：SAML 2.0 协议仅支持使用 Email 作为用户身份映射字段；OAuth 2.0 / OpenID Connect (OIDC) 协议仅支持使用 Email 或 Phone 作为用户身份映射字段。
+5. **身份映射字段唯一性要求**：当某字段被用作身份映射字段时，在 Lakehouse 中所有用户的该字段信息须保持唯一。如果 Lakehouse 中多个用户的邮箱或手机号信息存在重复，且该字段被用于单点登录的身份映射字段，则信息重复的用户将不能正常登录。
+
+***
+
+## 协议配置指南
+
+### 开启单点登录
+
+Lakehouse账户中，SSO登录（单点登录）默认关闭。拥有账户管理员身份的用户可以操作开启。
+
+登录 Lakehouse 账户，进入“账户中心”页面，在 SSO 登录选项中，点击“开启 SSO 登录”。
+
+![](.topwrite/assets/screenshot-20250814-145644.png)
+
+**注意**：开启 SSO 登录后，该账户下所有用户只能使用 SSO 方式登录，不再允许使用用户名/密码方式进行 Web 登录。因此在开启单点登录前，请确保账户下所有需要登录 Lakehouse 的用户：
+
+1）在Idp中拥有用户身份；
+
+2）在Lakehouse中用于身份映射的信息（邮箱或电话号码）唯一，不与其他用户重复。
+
+### OAuth 2.0 / OpenID Connect (OIDC) 协议
+
+**1. 选择协议**
+
+开启 SSO 登录后，在右侧弹窗中选择 “OAuth 2.0 / OIDC 协议”。选择协议后，您可在协议下方看到该协议的回调地址，如：
+
+:-: ![](.topwrite/assets/image_1755158785697.png =575)
+
+```SQL
+https://api.clickzetta.com/clickzetta-portal/sso/oidc/consume?u={code}
+```
+
+^
+
+请使用该回调地址，在您的 IdP 服务中注册 Lakehouse 应用，并记录注册后的 Client ID 和其他配置值，以便在后续配置中使用。
+
+**配置授权端点（Authorization Endpoint）**
+
+:-: ![](.topwrite/assets/image_1755160968700.png =525)
+
+**参数**：
+
+* 授权端点URL（例如 `https://idp.example.com/authorize`）：用于重定向用户到 IdP 进行身份授权
+* Client ID：标识 Lakehouse 在 IdP 上的应用，您可在您的 IdP 服务中完成对 Lakehouse 应用的注册后获得。
+* 响应类型（response\_type）：仅支持Code模式。
+* Scope（如 `openid`, `profile`, `email`）：决定可以请求的用户信息，支持多选。当使用 OpenID Connect 协议时，必须勾选 openid 选项。支持勾选“其他”后填写自定义的 scope 参数。
+* 可选扩展参数：便于根据 IdP 要求添加额外字段（如 `prompt=login`）。
+
+**配置令牌端点（Token Endpoint）**
+
+:-: ![](.topwrite/assets/image_1755161141507.png =510)
+
+**参数**：
+
+* 令牌端点URL：用于交换授权码获取令牌。通常在Lakehouse调用Idp的授权端点后，会获取访问Code。Lakehouse 会继续调用令牌端点 URL 来使用 Code 交换令牌。
+* Client Secret（非必须）：用于验证客户端身份。如 IdP 系统注册应用未颁发则此项可为空。
+* 可选扩展参数：根据 IdP 要求添加。
+
+^
+
+**配置用户信息端点（UserInfo Endpoint）**
+
+:-: ![](.topwrite/assets/image_1755161329682.png =530)
+
+**参数**：
+
+* 用户信息端点URL：用于Lakehouse调用并获取用户详细信息。
+* 身份映射配置：
+* userinfo 字段：指 Lakehouse 从 UserInfo Endpoint 获取的身份信息字段。可选 Email、Phone 或自定义字段。
+* 身份映射字段：指能够与 UserInfo 指定字段匹配的身份信息字段，可选 Email 或 Phone。注意：如果身份映射字段选择 Phone（手机号），Lakehouse 能够识别国家码为 00、+ 或不填写国家码的三种手机号格式。
+* 测试用户信息完整度：根据所选的“身份映射字段”，检查并列出当前账户下所有用户中缺失该信息或该信息重复的用户。这些用户在开启SSO后，不能正常登录。
+* 可选扩展参数：根据 IdP 要求添加。
+
+**账户管理员可同时使用云器账号登录**
+
+开启该选项，则允许具备账户管理员角色的用户继续使用用户名和密码登录，以便当SSO登录出现故障时，仍能够登录并修改账户配置。
+
+^
+
+### SAML 2.0 协议
+
+**选择协议**
+
+开启 SSO 登录后，在右侧弹窗中选择 “SAML 2.0 协议”。选择协议后，您可在协议下方看到该协议的回调地址（Assertion Consumer Service URL），如：
+
+:-: ![](.topwrite/assets/image_1755161484299.png =616)
+
+```SQL
+https://api.clickzetta.com/clickzetta-portal/sso/saml/consume?u={code}
+```
+
+请使用该地址，在 IdP 中注册应用，并记录及保存 IdP 所返回的 Entity ID 和 X.509 证书。
+
+^
+
+**填写 SSO 登录 URL**
+
+:-: ![](.topwrite/assets/image_1755161389065.png =457)
+
+**参数**：
+
+* SSO Login URL：IdP 接收 SAML Request 的端点。
+* Entity ID：IdP 中对应用的身份标识，在 IdP 内完成应用注册后可以获得。
+* X.509 证书（非必须）：用于校验签名、保证数据安全，在 IdP 内完成应用注册后可以获得。
+* Issuer（非必须）：发出 SAML 断言的实体，用于进行信任验证。
+* 测试用户信息完整度：SAML2.0协议目前仅支持以邮箱地址作为用户身份映射字段。用户信息完整度测试会检查并列出当前账户内所有用户中缺失邮箱信息或邮箱信息重复的用户。这些用户在开启SSO后，不能正常登录。
+
+**账户管理员可同时使用云器账号登录**
+
+开启该选项，则允许具备账户管理员角色的用户继续使用用户名和密码登录，以便当SSO登录出现故障时，仍能够登录并修改账户配置。
+
+***
+
+## 常见问题
+
+**问：为什么在 IdP 登录后，跳转回 Lakehouse 提示“认证失败”？**
+
+**答：**通常是映射字段（Email 或 Phone）在用户间不唯一，或未正确返回/格式有误。如果是映射字段在用户间不唯一，在认证失败的提示中会有明确提示。如未提示映射字段不唯一，则请账户管理员检查身份映射字段的配置是否正确，比如是否回传 Email 但映射为 Phone。
+
+**问：为何勾选了“账户管理员可同时使用云器账号登录”但仍不可使用用户名、密码登录？**
+
+**答：**在开启 SSO 登录且勾选“账户管理员可同时使用云器账号登录”后，仅具备账户管理员角色的用户可以使用用户名、密码登录，其他用户只能使用 SSO 方式登录。
+
+**问：是否可以通过 SDK（如 Python、JDBC）使用 SSO 登录？**
+
+**答：**当前仅支持 Web 登录。Python、JDBC 等方式当前仅支持用户名密码认证方式。

package/bin/skills/lakehouse-doc/references/storage_encryption.md

@@ -0,0 +1,81 @@
+# 数据存储加密
+
+## 概述
+
+Lakehouse 支持对存储在对象存储中的表数据进行服务端加密（Server-Side Encryption），采用 AES-256 加密算法，确保您的数据在存储层面得到安全保护。
+
+您可以根据安全合规需求，选择使用云厂商提供的托管密钥，或使用您自有的 KMS 密钥进行加密。
+
+## 加密模式
+
+Lakehouse 提供两种加密模式：
+
+| 模式         | 说明                                             |
+| ---------- | ---------------------------------------------- |
+| 托管加密（推荐）   | 使用云厂商对象存储服务提供的托管密钥进行加密，无需额外配置                  |
+| 自定义 KMS 加密 | 使用您自有的 KMS 密钥进行加密，需提供 KMS ARN（ID） 和 KMS Region |
+
+> 自定义 KMS 加密目前支持阿里云和 AWS 平台。腾讯云平台仅支持托管加密模式。
+
+## 加密范围
+
+* 您可以在工作空间级别统一开启加密，开启后该工作空间内新建的数据对象将默认加密存储。
+* 可以在任意时刻对工作空间设置开启加密，开启后不会影响工作空间中已有的表，只会对新建表应用加密。
+
+> ⚠️ 表一旦加密，无法恢复为非加密状态，请在开启前确认。
+
+## 使用方式
+
+### 在创建工作空间时开启加密
+
+1. 在创建工作空间页面，开启「存储加密」开关。
+
+2. 如果您希望使用托管加密，KMS ARN 留空即可。
+
+3. 如果您希望使用自定义 KMS 密钥：
+
+   * 填写您的 KMS 密钥 ARN。
+   * 填写 KMS Region。
+
+### 在修改工作空间时调整加密设置
+
+* 如果工作空间未使用自定义 KMS 密钥，您可以自由开启或关闭加密开关。
+* 如果工作空间已使用自定义 KMS 密钥，加密设置将被锁定，无法关闭加密或修改密钥配置。
+
+## 密钥管理
+
+* 每个数据对象在其生命周期内只能使用一个密钥，密钥不可变更。
+* 您可以创建多个密钥，在加密不同工作空间的数据对象时选用不同的密钥。
+* 使用自定义 KMS 密钥后，KMS ARN 和 KMS Region 将变为只读，不可修改。
+
+> ⚠️ 使用自定义 KMS 密钥加密后，密钥配置不可修改，加密不可关闭。请在配置前仔细确认密钥信息。
+
+> ⚠️ 请妥善保管您的自定义 KMS 加密密钥。一旦密钥遗失，Lakehouse 中使用该密钥加密的数据将永久不可读取，且无法恢复。
+
+## KMS 请求费用与缓存机制
+
+由于数仓场景下会频繁读写数据，使用自定义 KMS 密钥容易达到云厂商 KMS 服务的 QPS 请求上限，并产生大量的 KMS API 请求费用。为此，Lakehouse 采用了密钥缓存机制来减少对 KMS 的 API 调用，缓存有效期为 **5 分钟**。这意味着当 KMS 密钥被撤销或失效后，最多仍有 5 分钟的窗口期可以对加密数据进行读写。
+
+> ⚠️  建议**优先选择托管加密模式**，避免使用自定义 KMS 密钥，以免达到 KMS 请求上限影响读写性能，或产生大量的 KMS 请求费用。KMS 请求费用通常产生在您的 KMS 密钥所在的云账户中，而非 Lakehouse 账单内。
+
+## 常见问题
+
+**Q：开启工作空间加密后，历史数据会被加密吗**？
+
+不会。开启加密仅对之后新建的数据对象生效，已有数据不受影响。
+
+**Q：可以对已加密的表取消加密吗**？
+
+不可以。表的加密操作不可逆。
+
+**Q：自定义 KMS 密钥配置后可以修改吗**？
+
+不可以。一旦配置了自定义 KMS 密钥，密钥信息和加密开关均不可修改。
+
+**Q：自定义 KMS 密钥丢失了怎么办**？
+
+请务必妥善保管您的自定义 KMS 加密密钥。一旦密钥遗失，Lakehouse 中使用该密钥加密的数据将永久不可读取，且无法恢复。
+
+**Q：使用自定义 KMS 加密会产生额外费用吗**？
+
+会。每次数据读写都需要调用 KMS API 进行加解密，虽然 Lakehouse 通过 5 分钟的密钥缓存机制减少了请求次数，但在高频读写场景下仍可能产生可观的 KMS 请求费用。该费用产生在您的 KMS 密钥所在的云账户中。建议优先使用托管加密模式以避免此类费用。

package/bin/skills/lakehouse-doc/references/streaming_data_pipeline_overview.md

@@ -0,0 +1,20 @@
+## 增量计算概述
+
+流式数据处理（Streaming data pipeline）是面向实时数据持续不断地进行数据采集、处理转换，以获得满足业务时效性要求的结果数据的一组任务集合。流式数据处理是分析人员、业务应用开展实时洞察或实时决策的基础。
+
+与周期性离线处理（Batch data pipeline）有所不同，流式数据处理通过编排实时数据采集任务和支持增量数据处理的 SQL 任务，持续产出实时更新的结果数据。处理过程中使用增量处理技术以提高处理效率，同时降低成本。
+
+云器 Lakehouse 流式数据处理过程中，总体处理流程示例如下：
+
+![](.topwrite/assets/image_1709520998068.png)
+
+流式数据处理的产品功能特性包括：
+
+| 功能特性   | 特性说明                                                                                                                                                                                                                 |
+| ------ | -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
+| 实时数据加载 | **实时数据加载服务**：通过 SDK/Connector 方式提供 Streaming API，支持实时追加/更新写入、秒级可见的系统托管服务。可使用 SDK 或 Flink Connector 调用接口向目标表写入数据。**Studio 数据集成服务**：内建的数据集成工具，支持多种实时数据源（如 Kafka、数据库 CDC 等）的实时抽取，写入 Lakehouse 时通过 Streaming API 实时写入目标表。    |
+| 增量数据处理 | **动态表**：通过动态表声明式定义数据加工逻辑，支持任意 SQL 语法和算子，系统自动读取 Base 表的增量变化，自适应地通过增量/全量算法优化数据处理效率。用户可创建 1 个或多个动态表并设置调度策略，系统自动识别依赖关系并持续调度执行，大大简化实时数据处理的开发过程。注：当前最小支持 1min 的调度间隔。                                                         |
+| 变化数据捕获 | **Table Stream**：Table Stream 是系统内置的 SQL 对象类型，一个 Table Stream 创建在指定的一张表之上，可以记录该表的数据变化（CDC）信息。Table Stream 支持通过 SQL 查询获取指定两个数据版本之间的变化记录数据，例如 5 分钟前至当前这段时间的变化记录。通过 Table Stream，下游的 SQL ETL 可以非常简单易用地读取和处理表变化数据，或者将变化结果同步输出给外部系统。 |
+| 连续性调度  | 系统提供两种调度方式：
+**动态表自身设置调度周期**：通过物化视图 DDL 定义时，可通过指定 INTERVAL 关键字设置调度周期。
+**使用 Studio 调度任务调度**：在 Web IDE 中创建 SQL 任务，设置任务调度周期。此种方式同时支持对动态表、使用 Table Stream 的 SQL ETL 作业这两种任务进行调度。注：使用 Studio 调度系统，可获得更好的任务执行观测性和运维告警能力。          

package/bin/skills/lakehouse-doc/references/streaming_data_pipeline_overview1.md

@@ -0,0 +1 @@
+

package/bin/skills/lakehouse-doc/references/streaming_pipeline_with_dynamic_table.md

@@ -0,0 +1,66 @@
+# 开发动态表实现近实时增量处理
+
+> **【预览发布】** 本功能当前处于受邀预览阶段。如需试用，请通过官网联系方式联系云器科技。
+
+## 教程概述
+
+通过本教程，您将了解到如何使用Lakehouse动态表(Dynamic Table)构建一个完整的实时数据ETL加工流程。场景设计如下： 
+
+![](https://studio-prod-sh.oss-cn-shanghai.aliyuncs.com/fe-asset/tutorials/resources/tutorial_dt_scenario.jpg?OSSAccessKeyId=LTAI5tBH4MDxrfQw7VTx4w2B\&Expires=2034679003\&Signature=gewhAp%2FJ80Uu%2BFq1sNEH3fwQI54%3D)
+
+ 本教程将通过数据导入任务、基于动态表实现的数据清洗转换和数据聚合任务，实现了一个分钟级延迟的流式数据处理Pipeline案例。
+
+> 本教程借助 Lakehouse Tutorial，提供了在线教程指南以及脚本导入功能。您可以在登录 Lakehouse Web 控制台后，通过 Lakehouse Tutorial 的“Lakehouse教程”入口进入，并根据在线指南引导完成教程。
+> ![](<.topwrite/assets/截屏2025-01-14 19.36.29.png>)
+
+### 入门知识
+
+动态表（Dynamic Table）是一种支持仅处理增量变化数据的对象类型，与物化视图类似。创建动态表时，您需要同时定义数据计算逻辑。通过刷新操作，可以触发动态表的计算逻辑并更新其数据。与传统的 ETL 任务相比，动态表只需要在定义时声明全量语义的计算逻辑，在刷新时则可自动进行增量计算优化。借助动态表，Lakehouse可以面向流式写入的数据进行近实时增量处理，为实时分析提供数据准备。
+
+### 教程步骤
+
+1. **数据导入**：创建原始表、持续写入用户行为数据；
+2. **开发动态表模型**：通过 Dynamic Table 分别构造数据清洗、数据聚合的加工流程。
+3. **验证加工结果**：监控由动态表构造的数据Pipeline的刷新执行状态，同时查看消费层数据表的变化情况，验证实时数据加工结果
+
+通过以上步骤，您将了解如何通过动态表在 Lakehouse 中开发流式处理任务。
+
+## 准备工作
+
+首先，创建行为日志表，通过INSERT INTO任务写入测试数据。
+
+> 为了简化教程，本教程通过周期性调度 INSERT INTO 任务模拟数据的持续写入。实际生产环境中往往使用流式写入接口实时接入数据，云器 Lakehouse 也提供 SDK/Flink Connector 等方式进行实时写入，不建议在生产任务中使用 INSERT INTO 方式写入。
+
+本教程在“开发”模块提供了创建数据表以及插入测试数据的 SQL 脚本。打开 [Tutorial_Working_With_Dynamic_Table->Step01.Preparation] 脚本文件，配置 1Min 间隔的调度策略并提交部署，以模拟实时数据导入。
+
+![](https://studio-prod-sh.oss-cn-shanghai.aliyuncs.com/fe-asset/tutorials/resources/tutorial_dt_insert.gif?OSSAccessKeyId=LTAI5tBH4MDxrfQw7VTx4w2B\&Expires=2034681423\&Signature=m9w14ltjxHYgEUBkADmFSenqmeU%3D)
+
+## Transform Layer动态表模型开发
+
+在“开发”模块打开 [Tutorial_Working_With_Dynamic_Table->Step02.Transformation_With_Dynamic_Table] 样例动态表任务文件。该动态表定义了对原始表进行清洗转换的 ETL 逻辑。
+
+请参考下图进行调度配置"运行集群"和"调度参数"：
+
+![](https://studio-prod-sh.oss-cn-shanghai.aliyuncs.com/fe-asset/tutorials/resources/tutourial_dt_transform.gif?OSSAccessKeyId=LTAI5tBH4MDxrfQw7VTx4w2B\&Expires=2034682100\&Signature=z8F6by8Cae7HFYeTggx0VR7NGxQ%3D)
+
+## 提交部署
+
+点击\[提交]按钮，将动态表模型部署到Lakehouse目标环境中，系统将根据动态表设置的刷新频率自动刷新。
+
+## Aggregate Layer动态表模型开发
+
+在“开发”模块打开 [Tutorial_Working_With_Dynamic_Table->Step03.Aggregation_With_Dynamic_Table] 样例动态表任务文件。该动态表定义了对中间层数据模型进行聚合分析的 ETL 逻辑。
+
+请参考下图进行调度配置和提交运行：
+
+![](https://studio-prod-sh.oss-cn-shanghai.aliyuncs.com/fe-asset/tutorials/resources/tutourial_dt_agg.gif?OSSAccessKeyId=LTAI5tBH4MDxrfQw7VTx4w2B\&Expires=2034682137\&Signature=jcNW0LS9R3H2TuyP9xY17097tPk%3D)
+
+## 验证增量更新结果
+
+在“开发”模块打开 Step04.Check_Data_Freshness 文件，通过执行 Query 检查自动刷新动态表的数据新鲜度。
+![](.topwrite/assets/image_1725463960356.png =754)
+如上图所示，借助动态表的自动增量刷新功能，能够以 1min 左右的时间延迟完成数据的实时处理。
+
+## 环境清理
+
+在“任务运维”模块的周期性任务列表中，下线数据导入任务；在动态表任务列表中，下线 2 个动态表模型任务。