@guandata/guanetl 0.1.17 → 0.1.19

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
package/CHANGELOG.md CHANGED
@@ -1,5 +1,17 @@
1
1
  # Changelog
2
2
 
3
+ ## @guandata/guanetl 0.1.19 - 2026-07-08
4
+
5
+ - 新增 `move` 命令,支持将一个或多个智能 ETL 移动到指定 ETL 目录,并在接口异常时读回确认移动结果。
6
+ - `run` 新增 `--run-upstream` 与配套 `--dry-run`,支持递归解析智能 ETL 上游链路、按拓扑顺序执行并等待每个节点完成。
7
+ - `run --wait` 遇到同一 ETL 已在运行的 40001 响应时,会查找当前运行中的任务并等待其完成,减少级联触发后重复 run 的误判失败。
8
+ - `export` 静态检查新增 JOIN 键类型不一致 warning,提示 STRING/LONG 等隐式 coercion 风险。
9
+
10
+ ## @guandata/guanetl 0.1.18 - 2026-07-01
11
+
12
+ - 创建 ETL 时目录类型诊断更清晰,会识别误用工作流/经典数据流目录的场景,并提示使用智能 ETL 目录。
13
+ - 更新使用说明,明确智能 ETL、数据集输出目录和工作流目录的边界。
14
+
3
15
  ## @guandata/guanetl 0.1.17 - 2026-06-24
4
16
 
5
17
  - `install-skill` 适配 WorkBuddy 配置目录,提升本机编码助手安装兼容性。
package/LICENSE ADDED
@@ -0,0 +1,133 @@
1
+ Guandata Developer Tools Free Evaluation License
2
+
3
+ Copyright (c) Hangzhou Guandata Co., Ltd.
4
+
5
+ This software and its related source code, documentation, examples, packages,
6
+ configuration files, command-line tools, MCP servers, SDKs, plugins, and tool
7
+ integrations are proprietary software of Hangzhou Guandata Co., Ltd. or its
8
+ licensors.
9
+
10
+ This license applies to Guandata developer tools, including but not limited to
11
+ Guandata CLI, Guandata MCP Server, related npm packages, source code,
12
+ documentation, examples, configuration files, and tool integrations.
13
+
14
+ 1. Free Personal Evaluation Use
15
+
16
+ Hangzhou Guandata Co., Ltd. grants you a limited, non-exclusive,
17
+ non-transferable, revocable license to use this software free of charge solely
18
+ for personal learning, local testing, technical evaluation, and non-production
19
+ experiments.
20
+
21
+ This free license does not permit enterprise, commercial, production, internal
22
+ business, team, organizational, hosted, customer-facing, or revenue-generating
23
+ use.
24
+
25
+ 2. Enterprise and Commercial Use
26
+
27
+ Any use by or for a company, organization, institution, government entity, team,
28
+ client, or other non-individual entity requires a separate commercial license
29
+ from Hangzhou Guandata Co., Ltd.
30
+
31
+ Enterprise or commercial use includes, but is not limited to:
32
+
33
+ - use in production, staging, shared, or hosted environments;
34
+ - use for internal business operations or automated business workflows;
35
+ - use by employees, contractors, consultants, service providers, or
36
+ representatives on behalf of an organization;
37
+ - integration into commercial products, services, platforms, workflows, AI
38
+ agents, MCP clients, or customer deliverables;
39
+ - connection to, access to, processing of, exposure of, or operation on
40
+ enterprise data, business systems, customer data, or production data;
41
+ - redistribution, hosting, resale, sublicensing, or provision of this software
42
+ as part of a paid or unpaid service.
43
+
44
+ To obtain an enterprise or commercial license, please contact Hangzhou Guandata
45
+ Co., Ltd. through its official sales, support, or business channels.
46
+
47
+ 3. MCP Server and Agent Integration
48
+
49
+ For Guandata MCP Server or any MCP-compatible tool integration, the free license
50
+ is limited to local personal testing, learning, and non-production evaluation.
51
+
52
+ The free license does not permit use of the MCP Server in enterprise agent
53
+ platforms, production AI applications, shared team environments,
54
+ customer-facing systems, hosted services, automated business workflows, or
55
+ integrations that access, process, expose, or operate on enterprise data.
56
+
57
+ Any organizational, commercial, hosted, production, or data-connected use of the
58
+ MCP Server requires a separate commercial license from Hangzhou Guandata Co., Ltd.
59
+
60
+ 4. Restrictions
61
+
62
+ Unless expressly permitted by this license, reasonably necessary to install and
63
+ use the software as allowed by this license, or expressly permitted by a
64
+ separate written agreement with Hangzhou Guandata Co., Ltd., you may not:
65
+
66
+ - copy, distribute, sublicense, sell, lease, host, or provide this software to
67
+ third parties;
68
+ - modify, adapt, translate, create derivative works of, or otherwise alter this
69
+ software;
70
+ - reverse engineer, decompile, disassemble, or attempt to derive the source
71
+ code, structure, sequence, organization, or underlying ideas of this software,
72
+ except to the extent such restriction is prohibited by applicable law;
73
+ - remove or alter copyright, trademark, license, or proprietary notices;
74
+ - use Guandata names, logos, trademarks, product names, or brand assets without
75
+ permission;
76
+ - use this software in violation of applicable laws, regulations, or third-party
77
+ rights;
78
+ - circumvent license, access control, usage limitation, telemetry, audit, or
79
+ security mechanisms, if any.
80
+
81
+ 5. Ownership
82
+
83
+ Hangzhou Guandata Co., Ltd. and its licensors retain all rights, title, and
84
+ interest in and to this software. No rights are granted except as expressly
85
+ stated in this license.
86
+
87
+ 6. Third-Party Components
88
+
89
+ Third-party open source components, if any, are licensed under their respective
90
+ licenses. This license applies only to software owned by Hangzhou Guandata Co., Ltd.
91
+ and does not modify any third-party license terms.
92
+
93
+ 7. No Warranty
94
+
95
+ This software is provided "as is" and "as available", without warranties of any
96
+ kind, whether express, implied, statutory, or otherwise, including but not
97
+ limited to warranties of merchantability, fitness for a particular purpose,
98
+ accuracy, availability, security, and non-infringement.
99
+
100
+ 8. Limitation of Liability
101
+
102
+ To the maximum extent permitted by applicable law, Hangzhou Guandata Co., Ltd.
103
+ shall not be liable for any indirect, incidental, special, consequential,
104
+ exemplary, or punitive damages, or for any loss of profits, revenue, data,
105
+ goodwill, business opportunity, or business interruption arising from or related
106
+ to this software, even if Hangzhou Guandata Co., Ltd. has been advised of the
107
+ possibility of such damages.
108
+
109
+ 9. Termination
110
+
111
+ Your rights under this license terminate automatically if you violate any term of
112
+ this license. Upon termination, you must stop using the software and delete all
113
+ copies in your possession or control.
114
+
115
+ 10. Governing Law and Dispute Resolution
116
+
117
+ This license shall be governed by the laws of the People's Republic of China,
118
+ without regard to its conflict of laws principles.
119
+
120
+ Any dispute arising from or related to this license or the software shall be
121
+ submitted to the competent court with jurisdiction in Hangzhou, Zhejiang
122
+ Province, China, unless otherwise required by applicable law.
123
+
124
+ 11. Contact
125
+
126
+ For enterprise licensing, commercial authorization, partnership, procurement, or
127
+ other questions, please contact Hangzhou Guandata Co., Ltd. through its official
128
+ website or official business channels.
129
+
130
+ 12. Language
131
+
132
+ If this license is provided in multiple languages, the English version controls
133
+ unless Hangzhou Guandata Co., Ltd. expressly states otherwise in writing.
package/LICENSE.zh-CN ADDED
@@ -0,0 +1,82 @@
1
+ 观远开发者工具免费评估许可协议
2
+
3
+ 版权所有 (c) 杭州观远数据有限公司。
4
+
5
+ 本软件及其相关源代码、文档、示例、软件包、配置文件、命令行工具、MCP Server、SDK、插件和工具集成,属于杭州观远数据有限公司或其授权方的专有软件。
6
+
7
+ 本协议适用于观远开发者工具,包括但不限于观远 CLI、观远 MCP Server、相关 npm 包、源代码、文档、示例、配置文件和工具集成。
8
+
9
+ 1. 免费个人评估使用
10
+
11
+ 杭州观远数据有限公司授予你一项有限的、非独占的、不可转让的、可撤销的许可,允许你免费使用本软件,但仅限于个人学习、本地测试、技术评估和非生产环境实验。
12
+
13
+ 本免费许可不允许企业使用、商业使用、生产环境使用、内部业务使用、团队使用、组织使用、托管使用、面向客户的使用,或任何直接或间接产生商业收益的使用。
14
+
15
+ 2. 企业及商业使用
16
+
17
+ 任何由公司、组织、机构、政府单位、团队、客户或其他非个人主体进行的使用,或代表上述主体进行的使用,均需事先取得杭州观远数据有限公司的单独商业授权。
18
+
19
+ 企业或商业使用包括但不限于:
20
+
21
+ - 在生产环境、预发布环境、共享环境或托管环境中使用;
22
+ - 用于内部业务运营或自动化业务流程;
23
+ - 由员工、承包商、顾问、服务商或代理人代表组织使用;
24
+ - 集成到商业产品、服务、平台、工作流、AI 智能体、MCP 客户端或客户交付物中;
25
+ - 连接、访问、处理、暴露或操作企业数据、业务系统、客户数据或生产数据;
26
+ - 对本软件进行分发、托管、转售、再许可,或作为任何付费或免费的服务的一部分提供。
27
+
28
+ 如需企业或商业授权,请通过观远官方销售、支持或商务渠道联系杭州观远数据有限公司。
29
+
30
+ 3. MCP Server 与智能体集成
31
+
32
+ 对于观远 MCP Server 或任何兼容 MCP 的工具集成,免费许可仅限于个人本地测试、学习和非生产环境评估。
33
+
34
+ 免费许可不允许将 MCP Server 用于企业级智能体平台、生产环境 AI 应用、团队共享环境、面向客户的系统、托管服务、自动化业务流程,或任何访问、处理、暴露、操作企业数据的集成场景。
35
+
36
+ 任何组织用途、商业用途、托管用途、生产用途,或涉及企业数据连接的 MCP Server 使用,均需取得杭州观远数据有限公司的单独商业授权。
37
+
38
+ 4. 限制
39
+
40
+ 除非本协议明确允许、为按照本协议安装和使用本软件所合理必需,或杭州观远数据有限公司通过单独书面协议明确允许,你不得:
41
+
42
+ - 复制、分发、再许可、销售、出租、托管本软件,或向第三方提供本软件;
43
+ - 修改、改编、翻译本软件,创作本软件的衍生作品,或以其他方式变更本软件;
44
+ - 对本软件进行反向工程、反编译、反汇编,或试图获取本软件的源代码、结构、顺序、组织方式或底层思想,但适用法律禁止限制的情形除外;
45
+ - 删除或修改版权、商标、许可或专有权利声明;
46
+ - 未经许可使用杭州观远数据有限公司或观远品牌的名称、标识、商标、产品名称或品牌资产;
47
+ - 以违反适用法律法规或第三方权利的方式使用本软件;
48
+ - 绕过任何许可、访问控制、使用限制、遥测、审计或安全机制。
49
+
50
+ 5. 权利归属
51
+
52
+ 本软件的所有权利、所有权和利益均归杭州观远数据有限公司及其授权方所有。除本协议明确授予的权利外,不授予任何其他权利。
53
+
54
+ 6. 第三方组件
55
+
56
+ 本软件中如包含第三方开源组件,该等组件适用其各自的许可协议。本协议仅适用于杭州观远数据有限公司拥有权利的软件部分,并不修改任何第三方许可条款。
57
+
58
+ 7. 无担保
59
+
60
+ 本软件按“现状”和“现有”基础提供,不作任何明示、默示、法定或其他形式的担保,包括但不限于适销性、特定用途适用性、准确性、可用性、安全性和不侵权担保。
61
+
62
+ 8. 责任限制
63
+
64
+ 在适用法律允许的最大范围内,杭州观远数据有限公司不对因本软件引起或与本软件相关的任何间接、附带、特殊、后果性、惩罚性或惩戒性损害承担责任,也不对利润、收入、数据、商誉、商业机会损失或业务中断承担责任,即使杭州观远数据有限公司已被告知可能发生该等损害。
65
+
66
+ 9. 终止
67
+
68
+ 如果你违反本协议的任何条款,你在本协议项下的权利将自动终止。终止后,你必须停止使用本软件,并删除你持有或控制的所有副本。
69
+
70
+ 10. 适用法律与争议解决
71
+
72
+ 本协议适用中华人民共和国法律,但不包括其冲突法规则。
73
+
74
+ 因本协议或本软件引起或与之相关的任何争议,应提交中国浙江省杭州市有管辖权的人民法院解决,除非适用法律另有强制性规定。
75
+
76
+ 11. 联系方式
77
+
78
+ 如需企业授权、商业许可、合作、采购或有其他问题,请通过观远官方网站或官方商务渠道联系杭州观远数据有限公司。
79
+
80
+ 12. 语言
81
+
82
+ 如本协议提供多个语言版本,除非杭州观远数据有限公司另有明确书面说明,以英文版本为准。
package/README.md CHANGED
@@ -23,13 +23,16 @@ guanetl save --dir <work_dir>
23
23
 
24
24
  说明:npm 包名为 `@guandata/guanetl`,用户侧 CLI 命令统一为 `guanetl`。
25
25
 
26
- 标准 ETL 写入闭环:`create/edit → export → preview → save → run --wait`。
26
+ 标准 ETL 写入闭环:`create/edit → export → preview → save → run --wait`。如果目标 ETL 依赖的智能 ETL 上游也需要刷新,可先用 `guanetl run <etl_id> --run-upstream --dry-run` 查看拓扑计划,再用 `guanetl run <etl_id> --run-upstream` 从最上游依次执行并等待完成。
27
27
 
28
- > **触发成功 ≠ ETL 执行成功**:`run` 返回"执行已触发"仅表示后端接受了请求。使用 `run --wait` 等待终态,FAILED 时会展示真实错误消息。触发前会检查直接上游数据集状态;若发现上游处于失败态,会先输出警告但继续执行,可用 `--skip-upstream-check` 跳过检查。
28
+ > **触发成功 ≠ ETL 执行成功**:`run` 返回"执行已触发"仅表示后端接受了请求。使用 `run --wait` 等待终态,FAILED 时会展示真实错误消息;如果同一 ETL 已被级联触发并正在运行,`run --wait` 会改为等待当前运行中的任务。触发前会检查直接上游数据集状态;若发现上游处于失败态,会先输出警告但继续执行,可用 `--skip-upstream-check` 跳过检查。
29
+ > `run --run-upstream` 会包含目标 ETL 本身,并对计划内每个 ETL 等待终态;任一上游执行失败时会停止后续节点。
29
30
 
30
- 新建 ETL 时注意目录树不同:`create --parent-dir` 使用 ETL 目录树 id,输出数据集目录使用 DATA_SET 目录树 id。可用 `guancli etl tree` / `guancli ds tree` 分别查询,或用 `guanetl mkdir-pair` 成对创建。
31
+ 新建 ETL 时注意目录树不同:`create --parent-dir` 使用 ETL 目录树 id,输出数据集目录使用 DATA_SET 目录树 id。可用 `guancli etl tree` / `guancli ds tree` 分别查询,或用 `guanetl mkdir-pair` 成对创建。`guancli workflow tree` 是工作流/经典数据流目录树,不能作为智能 ETL 的 `create --parent-dir`。
31
32
 
32
- `export` 成功后会自动输出本地静态检查提示;其中 `BasicCalculator` 的每个 `Formula` 都应显式填写 `Type`,否则可能导致下游原生 GroupBy/Join 节点出现静态类型警告。
33
+ 移动已有 ETL 使用 `guanetl move <etl_id> [etl_id...] --dir-id <etl_dir_id>`;目标目录同样来自 `guancli etl tree`,可先加 `--dry-run` 查看请求体。
34
+
35
+ `export` 成功后会自动输出本地静态检查提示;其中 `BasicCalculator` 的每个 `Formula` 都应显式填写 `Type`,否则可能导致下游原生 GroupBy/Join 节点出现静态类型警告。JOIN 键两侧类型不一致时会提示隐式 coercion 风险,建议统一键类型。
33
36
 
34
37
  也可以为 AI Coding Assistant 安装 Skill:
35
38
 
@@ -39,6 +42,18 @@ guanetl install-skill
39
42
 
40
43
  ## 版本更新
41
44
 
45
+ ### @guandata/guanetl 0.1.19
46
+
47
+ - 新增 `move` 命令,支持将一个或多个智能 ETL 移动到指定 ETL 目录,并在接口异常时读回确认移动结果。
48
+ - `run` 新增 `--run-upstream` 与配套 `--dry-run`,支持递归解析智能 ETL 上游链路、按拓扑顺序执行并等待每个节点完成。
49
+ - `run --wait` 遇到同一 ETL 已在运行的 40001 响应时,会查找当前运行中的任务并等待其完成,减少级联触发后重复 run 的误判失败。
50
+ - `export` 静态检查新增 JOIN 键类型不一致 warning,提示 STRING/LONG 等隐式 coercion 风险。
51
+
52
+ ### @guandata/guanetl 0.1.18
53
+
54
+ - 创建 ETL 时目录类型诊断更清晰,会识别误用工作流/经典数据流目录的场景,并提示使用智能 ETL 目录。
55
+ - 更新使用说明,明确智能 ETL、数据集输出目录和工作流目录的边界。
56
+
42
57
  ### @guandata/guanetl 0.1.17
43
58
 
44
59
  - `install-skill` 适配 WorkBuddy 配置目录,提升本机编码助手安装兼容性。
Binary file
Binary file
Binary file
Binary file
Binary file
package/package.json CHANGED
@@ -1,6 +1,6 @@
1
1
  {
2
2
  "name": "@guandata/guanetl",
3
- "version": "0.1.17",
3
+ "version": "0.1.19",
4
4
  "description": "观远 ETL 本地开发工具 - 拉取、编辑、导出、预览、保存 ETL",
5
5
  "bin": {
6
6
  "guanetl": "bin/run.js"
@@ -17,6 +17,8 @@
17
17
  "binaries/",
18
18
  "skills/",
19
19
  "CHANGELOG.md",
20
+ "LICENSE",
21
+ "LICENSE.zh-CN",
20
22
  "README.md"
21
23
  ],
22
24
  "keywords": [
@@ -25,7 +27,7 @@
25
27
  "cli",
26
28
  "agent-skill"
27
29
  ],
28
- "license": "UNLICENSED",
30
+ "license": "SEE LICENSE IN LICENSE",
29
31
  "os": [
30
32
  "darwin",
31
33
  "linux",
@@ -145,11 +145,12 @@ guanetl run <etl_id> --wait # 可选:保存后触发执行并等待
145
145
  只追加输出列是安全例外:新增列、不改名、不删已有列、不改已有列类型,并保持原 `OUTPUT_DATASET` 节点 id 和 `outputDsName` 时,可以原地 `save`,保存前仍需 `preview` 目标输出确认结果。改列名、删列、改类型、换输入数据集、重接输出链路或更换输出节点 id 都按下游绑定风险处理。
146
146
 
147
147
  保存前优先执行 `save --dry-run` 查看影响报告;`--format json` 可用于自动化检查。dry-run 不调用 direct-save,若报告出现阻断风险,先修 `etl/` 后重新 `export -> preview -> save --dry-run`。
148
+ 如果报告出现“输出字段风险”,表示同一输出数据集中的同名字段发生类型或来源变化,服务端可能重建该列 fdId;保存前先用 `guands dataset cards <输出dsId>` 看下游卡片,保存执行后再按列名核对并重绑页面卡片 fdId。
148
149
 
149
150
  ### 新建 ETL
150
151
 
151
152
  1. 先用 `guancli` 查输入数据集和字段。
152
- 2. 如需在指定子目录下创建,先分别确认 ETL 目录树和数据集目录树。两棵树相互独立,同名目录的 id 也不同,不能把 `guancli etl get` 输出节点里的 ParentDirId 当作 `create --parent-dir` 使用。
153
+ 2. 如需在指定子目录下创建,先分别确认 ETL 目录树和数据集目录树。两棵树相互独立,同名目录的 id 也不同,不能把 `guancli etl get` 输出节点里的 ParentDirId 当作 `create --parent-dir` 使用。`guancli workflow tree` 返回的是工作流/经典数据流目录树,也不能用于智能 ETL 的 `create --parent-dir`。
153
154
 
154
155
  ```bash
155
156
  guancli etl tree # ETL 所在目录,用于 create --parent-dir
@@ -165,10 +166,18 @@ guanetl create --name "ETL名称" --dir <work_dir> --parent-dir <etl_dir_id> --o
165
166
  ```
166
167
 
167
168
  `create` / `save` 会校验目录 id 类型:`--parent-dir` 必须来自 ETL 树,输出数据集目录必须来自 DATA_SET 树。只有在确认目录 id 正确但当前账号无法读取目录树时,才使用 `--skip-dir-check`。
169
+ 如果错误提示目录 id 属于 `MASTER_FLOW`,说明拿到了工作流/经典数据流目录 id;智能 ETL 改用 `guancli etl tree` 查询,工作流/数据流创建改用 `guanwf create --parent-dir`。
170
+
171
+ 移动已有智能 ETL 用 `move`,目标目录同样必须来自 `guancli etl tree`。可先加 `--dry-run` 查看将提交的 `/api/etl/move` 请求体;批量移动直接追加多个 ETL ID:
172
+
173
+ ```bash
174
+ guanetl move <etl_id> --dir-id <etl_dir_id> --dry-run
175
+ guanetl move <etl_id1> <etl_id2> --dir-id <etl_dir_id>
176
+ ```
168
177
 
169
178
  4. 在 `etl/` 中实现 ETL。
170
179
  5. 再执行 `export -> preview -> save`。
171
- 6. 需要立即执行时:`run <etl_id> --wait`。
180
+ 6. 需要立即执行时:`run <etl_id> --wait`;需要先刷新可识别的智能 ETL 上游链路时,先用 `run <etl_id> --run-upstream --dry-run` 看计划,再用 `run <etl_id> --run-upstream` 执行。
172
181
 
173
182
  ### 修复失败
174
183
 
@@ -192,12 +201,14 @@ guanetl create --name "ETL名称" --dir <work_dir> --parent-dir <etl_dir_id> --o
192
201
 
193
202
  用户不需要手写服务端保存 payload。只要 `etl/` 修改正确、`export` 通过,`save` 就能完成服务端保存。
194
203
 
195
- ### run --wait 与任务状态
204
+ ### run --wait、run --run-upstream 与任务状态
196
205
 
197
206
  > **触发成功 ≠ ETL 执行成功**。`run` 返回 `✓ ETL 执行已触发` 仅表示后端接受了执行请求,ETL 可能在运行中失败。
198
207
 
199
208
  - 不加 `--wait` 时,`run` 只触发并返回 `taskId`。
200
209
  - 加 `--wait` 后,CLI 会轮询任务状态直到终态(FINISHED / FAILED / CANCELED),FAILED 时会展示真实错误消息。
210
+ - 需要递归刷新智能 ETL 上游链路时,用 `run <etl_id> --run-upstream`。CLI 会读取目标 ETL 的输入数据集,按数据集的生产 ETL 继续向上解析,生成拓扑顺序后从最上游依次执行,包含目标 ETL;每个 ETL 都会等待终态,任一失败即停止并报告失败节点。
211
+ - 不确定上游范围时,先用 `run <etl_id> --run-upstream --dry-run` 输出执行计划;dry-run 只读拓扑,不触发任何 ETL。
201
212
  - 触发前,`run` 会检查直接上游数据集状态;若发现上游处于 `FAILED`/`失败` 态,会先输出警告但继续触发执行。确认不需要检查时可加 `--skip-upstream-check`。
202
213
  - 如果不加 `--wait` 后想查状态:`task status <taskId>` 或 `task wait <taskId>`。
203
214