e10-data 0.1.10 → 0.1.12

package/README.md

@@ -112,6 +112,37 @@ e10-data conf delete GET_WORKFLOW_LIST --type api --group workflow
 - 同一 `confKey` 可存在于多个 `confGroup`；`conf batch` / `batch-file` 的返回映射在带分组时以 `组|键` 为键，不会互相覆盖。
 - `--json` 输出：`conf group` 返回配置数组（带 `--key` 时返回单条），`conf batch` 返回映射对象。
 
+## ds appId 自动解析（v0.1.11 新增）
+
+ChatBI 数据源取数接口（`getListDatas` / `getChartDatas` / `getStatDatas` / `getCountData`）对**部分 EB 应用（独立部署）**的数据集，必须在 `queryDto` 中携带 `appId`，否则后端一律返回 `code=500 请求失败`（实测：小餐厅应用 `840360791696547845` 名下 4 张表不传全 500、传即 200；低代码大赛等应用不传也正常）。
+
+`e10-data ds list|chart|stat|count` 现**默认自动解析并带上 appId**，解析顺序：
+
+1. `--app-id <id>` 显式指定（最高优先，0 额外请求）；
+2. 本地缓存 `~/.e10-cli/.e10-data-ds-appid.json`（key = `sourceType|groupId|tableId`，TTL 7 天）；
+3. `ebdf_obj`（DSL 查 `ec_edcapp.ebdf_obj`，`id = tableId` → `app_id`）—— EB 表单权威来源，请求最小；
+4. `ds tables`（`listByPage`）按 id 匹配，命中后把**整组** `id→appId` 映射一次性写入缓存；
+5. `ds fields` 扫字段 `config.appId`（Ebuilder 类字段携带）；
+6. 均无 → 不带 appId 发送（兼容旧行为）。
+
+```bash
+# 默认：自动解析（推荐）
+e10-data ds count --group weaver-ebuilder-form-service --table 840360795890851856
+
+# 显式指定（跳过所有解析，最快）
+e10-data ds count --group weaver-ebuilder-form-service --table 840360795890851856 --app-id 840360791696547845
+
+# 完全跳过自动解析（明确不需要 appId 的数据集，省一次解析往返）
+e10-data ds count --group weaver-ebuilder-form-service --table 1081139888007225347 --no-app-id
+
+# 查看某张表的 appId：ds tables 输出新增 appId 列；ds fields 命中时在表头打印 appId=…
+e10-data ds tables --group weaver-ebuilder-form-service --name 低代码大赛
+e10-data ds fields --group weaver-ebuilder-form-service --table 840360795890851856
+```
+
+> ⚠️ `ds tables`（`listByPage`）**不覆盖全部数据集**：实测「小餐厅」应用的 4 张表在该清单（共 997 条）里查不到，其 appId 由第 3 步 `ebdf_obj` 兜底拿到——故解析顺序把 `ebdf_obj` 置于 `ds tables` 之前。
+> 实测对照（带 appId 与 DSL 口径一致）：`ds count` + `ydlc isNotNull` = **6470**，与 DSL 同口径结果一致；`ds chart` 按区域分组 = 上海 5123 / 北京 165 / 区域空 1182。
+
 ## ds --where 过滤条件（v0.1.8 起支持树形 OR）
 
 `e10-data ds list|chart|stat|count --where` 接收**条件数组**或**完整条件树**，均可递归嵌套表达 AND/OR：

package/bin/e10-data.mjs

@@ -6,6 +6,9 @@
  * 覆盖（数据查询链路全部家族；登录/HRM 复用 e10-login / hrm-cli，checkEbModulePermission 已废弃不提供）：
  *   e10-data query    DSL 查询 executeQueryDsl（conn/model/schema/tableId/dslQuery/debug）
  *   e10-data ds     tables|fields|list|chart|stat|count   数据源（业务模块）取数与元数据
+ *                   取数（list/chart/stat/count）自动解析并携带 queryDto.appId（v0.1.12）：
+ *                   顺序 chat_bi_eb_config_map(dw，按 obj_id) → ebdf_obj(ec_edcapp，按 id)，实时查、不缓存；
+ *                   --app-id <id> 显式指定 / --app-id auto 强制自动 / --no-app-id 跳过（最快）
  *   e10-data doc    count|list   文档查询 documentListCount / documentList
  *   e10-data noun   list         词库 getChatDocsBySkillKey
  *   e10-data field  id2name|name2id  关联字段翻译 testRemoteBrowser / complete
@@ -493,17 +496,66 @@ function parseOrder(val) {
     return { fieldId: f, fieldName: f, objId: "", isAsc: (dir || "asc").toLowerCase() !== "desc", mainField: true };
   });
 }
+// ---------------- ds appId 自动解析（v0.1.12）----------------
+// 背景：ChatBI 数据源取数接口（getListDatas / getChartDatas / getStatDatas / getCountData）
+// 对部分 EB 应用（独立部署）的数据集必须携带 queryDto.appId，否则后端一律返回 code=500。
+// 解析顺序（无缓存，每次实时查）：--app-id <id> 显式 > chat_bi_eb_config_map（dw 权限配置表，按 obj_id，主来源）
+//   > ebdf_obj（ec_edcapp，按 id，兜底） > 不带 appId 发送（兼容旧行为）。
+// 关闭自动解析：--no-app-id。
+const APPID_SOURCES = [
+  { confKey: "CONN_DW", model: "dw", schema: "dw", table: "chat_bi_eb_config_map", idField: "obj_id" },
+  { confKey: "CONN_EC_EDCAPP", model: "ebuilder", schema: "ec_edcapp", table: "ebdf_obj", idField: "id" },
+];
+function dsFieldsForm(gid, tid, st) {
+  return { groupId: gid, sourceId: tid, sourceType: st, detailFieldsGroup: "true", enableMerge: "true", needTableName: "true", params: "[]" };
+}
+async function appIdByDsl(src, tid) {
+  const conn = await confGetData("conn", src.confKey, true);
+  const connId = (conn && conn.confValue) ? String(conn.confValue) : "";
+  if (!connId) return "";
+  const dslQuery = {
+    select: { columns: [{ field: "t1.app_id", alias: "app_id" }] },
+    from: { table: src.table, alias: "t1" },
+    where: { logic: "AND", conditions: [{ field: "t1." + src.idField, op: "=", value: String(tid) }, { field: "t1.delete_type", op: "=", value: 0 }] },
+    limit: { size: 1, offset: 0 },
+  };
+  const r = await postJson("/api/dw/dsl/executeQueryDsl", { connId, model: src.model, schema: src.schema, tableId: "", dslQuery });
+  const rows = Array.isArray(r && r.data) ? r.data : [];
+  return (rows[0] && rows[0].app_id) ? String(rows[0].app_id) : "";
+}
+async function resolveDsAppId(tid) {
+  for (const src of APPID_SOURCES) {
+    let appId = "";
+    try { appId = await appIdByDsl(src, tid); } catch { appId = ""; }
+    if (appId) return appId;
+  }
+  return "";
+}
+// ds 取数统一入口：--app-id <id> 显式 / --app-id auto 或省略=自动解析 / --no-app-id 跳过
+async function dsDto(args, tid, gid, pageNo, pageSize, queryType) {
+  const dto = baseDto(tid, gid, pageNo, pageSize, queryType);
+  const explicit = args["app-id"];
+  if (typeof explicit === "string" && explicit !== "" && explicit !== "auto") {
+    dto.appId = explicit;
+  } else if (!args["no-app-id"]) {
+    const appId = await resolveDsAppId(tid);
+    if (appId) dto.appId = String(appId);
+  }
+  return dto;
+}
 async function cmdTables(args, json) {
   const gid = need("group", args);
   const form = { name: args.name || "", pageNo: args.page || "1", pageSize: args.size || "100", groupId: gid, sourceType: args["source-type"] || "LOGIC", dataUsage: "" };
+  if (typeof args["app-id"] === "string" && args["app-id"] !== "" && args["app-id"] !== "auto") form.appId = args["app-id"];
   const r = await postMultipart("/api/ebuilder/common/ds/listByPage", form);
   if (json) return r;
   const recs = ((r.data || {}).records) || [];
-  printHuman("分组表清单 (total=" + ((r.data || {}).total) + ")", recs, ["id", "name", "tableText", "detailTable", "usage"]);
+  printHuman("分组表清单 (total=" + ((r.data || {}).total) + ")", recs, ["id", "name", "appId", "tableText", "detailTable", "usage"]);
 }
 async function cmdFields(args, json) {
   const gid = need("group", args), tid = need("table", args);
-  const form = { groupId: gid, sourceId: tid, sourceType: args["source-type"] || "LOGIC", detailFieldsGroup: "true", enableMerge: "true", needTableName: "true", params: "[]" };
+  const form = dsFieldsForm(gid, tid, args["source-type"] || "LOGIC");
+  if (typeof args["app-id"] === "string" && args["app-id"] !== "" && args["app-id"] !== "auto") form.appId = args["app-id"];
   const r = await postMultipart("/api/ebuilder/common/ds/fields", form);
   if (json) return r;
   for (const d of (r.data || [])) {
@@ -514,7 +566,7 @@ async function cmdFields(args, json) {
 async function cmdList(args, json) {
   const gid = need("group", args), tid = need("table", args), fld = need("fields", args);
   const fields = fld.split(",").map((f) => ({ fieldId: f, fieldName: f, objId: String(tid), mainField: true }));
-  const dto = baseDto(tid, gid, parseInt(args.page || "1", 10), parseInt(args.size || "20", 10), "getListData");
+  const dto = await dsDto(args, tid, gid, parseInt(args.page || "1", 10), parseInt(args.size || "20", 10), "getListData");
   dto.queryFields = fields;
   dto.orderFields = parseOrder(args.order);
   const ct = parseWhere(args.where); if (ct) dto.conditionTrees = ct;
@@ -527,7 +579,7 @@ async function cmdList(args, json) {
 }
 async function cmdChart(args, json) {
   const gid = need("group", args), tid = need("table", args), gb = need("group-by", args);
-  const dto = baseDto(tid, gid, parseInt(args.page || "1", 10), parseInt(args.size || "100", 10), "getChartData");
+  const dto = await dsDto(args, tid, gid, parseInt(args.page || "1", 10), parseInt(args.size || "100", 10), "getChartData");
   dto.groupFields = gb.split(",").map((f) => ({ fieldId: f, fieldName: f, objId: String(tid), mainField: true }));
   dto.groupStatFields = parseStat(need("stat", args)).map((s) => ({ ...s, objId: String(tid) }));
   const ct = parseWhere(args.where); if (ct) dto.conditionTrees = ct;
@@ -537,7 +589,7 @@ async function cmdChart(args, json) {
 }
 async function cmdStat(args, json) {
   const gid = need("group", args), tid = need("table", args);
-  const dto = baseDto(tid, gid, 1, 10, "getStatData");
+  const dto = await dsDto(args, tid, gid, 1, 10, "getStatData");
   dto.statFields = parseStat(need("stat", args)).map((s) => ({ ...s, objId: String(tid) }));
   const ct = parseWhere(args.where); if (ct) dto.conditionTrees = ct;
   const r = await postMultipart("/api/dw/newetl/chatBi/ds/getStatDatas", { sourceType: args["source-type"] || "LOGIC", queryDto: dto });
@@ -548,7 +600,7 @@ async function cmdStat(args, json) {
 }
 async function cmdCount(args, json) {
   const gid = need("group", args), tid = need("table", args);
-  const dto = baseDto(tid, gid, 1, 10, "getCountData");
+  const dto = await dsDto(args, tid, gid, 1, 10, "getCountData");
   const ct = parseWhere(args.where); if (ct) dto.conditionTrees = ct;
   const r = await postMultipart("/api/dw/newetl/chatBi/ds/getCountData", { sourceType: args["source-type"] || "LOGIC", queryDto: dto });
   if (json) return r;
@@ -1358,6 +1410,9 @@ ds      数据源（业务模块）取数与元数据
   ds stat    --group <gid> --table <tid> --stat '[...]' [--where ...]
   ds count   --group <gid> --table <tid> [--where ...]
   （ds 通用 --source-type LOGIC|ETEAMS，默认 LOGIC）
+  （ds 取数 list|chart|stat|count 的 appId：默认自动解析并带上——顺序 chat_bi_eb_config_map（dw 权限配置表，按 obj_id）
+     → ebdf_obj（ec_edcapp，按 id），每次实时查、不缓存；也可 --app-id <id> 显式指定、--app-id auto 强制自动、
+     --no-app-id 完全跳过自动解析（最快，适用于无需 appId 的数据集）；ds tables/fields 也接受 --app-id）
   --where 过滤条件（v0.1.8 起支持树形 OR，递归）：
     数组 = AND 根： [{"fieldId":"f1","conditionType":"Date","compareType":"range","conditionValue":"2026-09~2026-10"},{"fieldId":"f2",...}]
     对象 = 完整树： {"relationship":"0","conditionList":[{"fieldId":"f1",...},{"fieldId":"f2",...}]}   # "0"=OR、"1"=AND，缺省 AND

package/package.json

@@ -1,7 +1,7 @@
 {
   "name": "e10-data",
-  "version": "0.1.10",
-  "description": "泛微 E10 数据接口统一 CLI（data-assistant 专家配套）：DSL 查询/数据源/文档/词库/关联字段翻译/环境参数配置中心(conf，支持 confGroup 分组)/专家包版本管理；认证加解密全部交由 weaver-e10-login（本 CLI 不再自行解密，通过 e10-login 命令出口获取凭据）",
+  "version": "0.1.12",
+  "description": "泛微 E10 数据接口统一 CLI（data-assistant 专家配套）：DSL 查询/数据源/文档/词库/关联字段翻译/环境参数配置中心(conf，支持 confGroup 分组)/专家包版本管理；ds 取数（list/chart/stat/count）自动解析并携带 queryDto.appId（v0.1.12，chat_bi_eb_config_map → ebdf_obj；--app-id 显式/--no-app-id 跳过）；认证加解密全部交由 weaver-e10-login（本 CLI 不再自行解密，通过 e10-login 命令出口获取凭据）",
   "author": "e10-dw",
   "license": "MIT",
   "type": "module",