@amaster.ai/pi-lark 0.1.9 → 0.1.11

package/skills/lark-base/references/lark-base-record-query-and-analysis-sop.md

@@ -1,233 +1,123 @@
-# Base Record 查询、匹配与分析 SOP
+# Base Record 数据语义与专业分析 SOP
 
-任何 Record 读取、预览、搜索、筛选、匹配、统计、聚合、TopN、多表或语义分析，以及写操作中的记录定位和结果验收，都先完整读取本 SOP。先区分需要 LLM 理解原文的语义分析与可程序化计算的确定性分析，再按数据规模与计算复杂度选择路径；即使用户直接要求解释、编写或排错 `+data-query` 命令或 DSL，也先由本 SOP 确认口径和路径，再读取底层 reference。
+本 SOP 不讲解通用 jq / Python / pandas 语法、统计公式或数据科学算法。Agent 应使用已有的数据分析能力；本文只负责把 Base 的查询范围、NDJSON 物理结构、Field / Record / View / Link 语义和完整性约束，正确映射到专业分析任务。
 
-## 分流决策
+普通预览、已知记录读取、关键词搜索和小规模直接处理按主 skill 的 [Record 核心路径](../SKILL.md#record) 执行。以下情况读取本文：大表完整读取、`has_more=true`、View 范围读取、复杂多表 JOIN、集合或多值运算、分组与 Top-K、窗口或严格时序、时间周期对齐、层级递归、数据重塑、派生与指定规则清洗、临时语义转换，以及需要可靠样本范围的描述性或推断性分析。
 
-1. 明确所有需要参与分析的表；上下文已有整表 `records_count` 时用于提前分流，否则直接按下文导出或探测，不为获取规模单独枚举表。
-2. 如果结论必须依赖 LLM 理解原始内容，例如开放文本打标、情绪或意图识别、主题归纳、语义分类、相似性判断或实体消歧，进入下文“LLM 语义分析”路径。
-3. 对于其余确定性查询，任一分析表已知超过 2000 行或 NDJSON 探测返回 `has_more=true` 时，先从任务意图中提取可在单表内独立执行的日期、状态、关键词等谓词，逐表下推后用 `--field-id '<一个简单标量字段>' --limit 2000 --format ndjson --output <probe>.ndjson --minimal-stdout` 复查。目标是每张表都达到 `has_more=false`；任一表无法压缩到 2000 行以内时，转 [Cloud SOP](lark-base-record-query-and-analysis-cloud-sop.md) 用云端的数据分析能力。
-4. 所有分析表都不超过 2000 行后：若只有一张表且短 jq 可清晰完成筛选、计数、简单分组/聚合/排序、TopN 可以使用 jq。
-5. 其余确定性任务比如多表、日历计算和复杂数据分析，在 Python 可用时使用 Python，否则进入 [Cloud SOP](lark-base-record-query-and-analysis-cloud-sop.md)。
-
-进入 Cloud 后先由 Cloud SOP 在原始记录查询与聚合查询之间选路；只有选定 `+data-query` 时才读取 [data-query DSL reference](lark-base-data-query.md)。
-
-## 执行与交付
-
-所有 records 读取统一使用 `--format ndjson --output <artifact>.ndjson`。NDJSON 将大记录集写入 records 文件，并在 stdout 返回包含摘要、列 schema 和 stats 的 manifest，避免把过长用户数据直接加载进模型上下文。用 Python 或数据分析引擎直接处理 records 文件。未传 `--limit` 时最多读取 2000 条；仅在探测、预览或用户明确要求前 N 条时缩小限制。
-
-### NDJSON 读取示例
-
-按任务替换真实 token、ID、投影、条件和 artifact 名称；`+record-search` 和 `+record-get` 使用相同的 NDJSON 输出参数。
-
-```bash
-lark-cli base +record-list \
-  --base-token <base_token> \
-  --table-id <table_id> \
-  --field-id <field> \
-  --format ndjson \
-  --output ./records.ndjson \
-  --as user
-```
-
-缩小大表记录范围时，展示文本关键词用 `+record-search`，日期、状态、数字、空值、选项、人员和关联等结构化条件用 `+record-list --filter-json`。
-
-### 单表谓词下推常用 example
-
-`+record-list` / `+record-search` 的 `--filter-json '<filter-json>'` 支持使用 tuple condition 下推单表谓词。以下示例用注释说明各条件的含义；实际传参时删除注释并使用标准 JSON：
-
-```jsonc
-{
-  "logic": "and", // 所有 conditions 同时成立；任意一个成立时使用 "or"
-  "conditions": [
-    ["标题", "==", "Launch plan"], // 文本全等
-    ["标题", "!=", "Archived plan"], // 文本不全等
-    ["标题", "intersects", "urgent"], // 文本包含目标片段
-    ["标题", "disjoint", "internal"], // 文本不包含目标片段
-    ["金额", ">=", 100], // 数字比较；支持 ==、!=、>、>=、<、<=
-    ["状态", "intersects", ["进行中", "暂停"]], // Select 集合相交：包含“进行中”或“暂停”任意一个选项
-    ["状态", "disjoint", ["已终止"]], // Select 集合无交集
-    ["已完成", "==", true], // Checkbox
-    ["负责人", "intersects", [{"id": "ou_xxx"}]], // 负责人包含某个人；intersects 表示包含数组中任意一个人员
-    ["负责人", "disjoint", [{"id": "ou_yyy"}]], // 负责人不包含指定人员中的任何一个
-    ["关联项目", "intersects", [{"id": "rec_xxx"}]], // 关联项目包含某个 record_id；intersects 表示包含数组中任意一条关联
-    ["备注", "non_empty"], // 格子非空；判断格子为空改用 ["备注", "empty"]
-    ["业务日期", "==", "ExactDate(2026-08-07)"], // 具体一天：按 Base 时区匹配 2026-08-07 当天
-    ["发生时间", ">", "ExactDate(2024-01-31 23:59:59.999)"], // 日期不支持 >=；用 > 前一天最后一毫秒表达含当天的下界
-    ["发生时间", "<", "ExactDate(2024-03-01 00:00:00)"] // 2024 年 2 月范围上界：小于 3 月 1 日零点
-  ]
-}
-```
-
-全表分析的常规资源链路是 `+table-list` 确认目标表，并用已有整表 `records_count` 或 NDJSON `has_more` 确认规模；对所有参与分析的表并发执行 `+field-list` 读取所需 schema，再按上述 NDJSON 契约用 `+record-list` 导出记录。已有可信的 `table_id` 时可直接并发读取各表 `+field-list`。`+view-get` 可按需读取，作为用户持久化访问习惯的可选参考；其中的 filter、sort 与字段范围可辅助理解用户常用的查询范围和排序偏好，并结合当前任务确定最终口径。
-
-1. 每次读取使用任务所需的最小投影，并包含 JOIN、解释、回查或写入需要的业务 key。
-2. 全局结论以 `has_more=false` 的完整导出或 Cloud 聚合结果为依据；`has_more=true` 时继续收敛单表谓词或选择 Cloud 路径。
-3. 确定性分析选定一个分析引擎直接读取 NDJSON；模型上下文仅接收预览或最终小结果。
-4. Base 标量空值很常见；聚合前按用户口径确定空值是排除、按零计入还是进入分母。用户未指定且不同处理会实质改变结论时，说明空值数量、采用的口径及其影响；任务涉及业务键、展开、JOIN 或金额分摊时，同样明确目标粒度及与口径直接相关的重复或总量守恒。
-5. 最终结果保留真实表、查询范围和计算口径，展示用户可读字段；内部 ID 用于连接或定位。
-
-## 复用本轮 NDJSON
-
-Agent 上下文曾下载过当前表的 NDJSON 时，按以下规则判断是否复用：
-
-1. 短时间内继续分析或表中数据低频变化时，谓词下推口径一致且已有列覆盖计算需求即可优先复用。
-2. 间隔较长或表中数据高频变化时，批量提取 manifests 的 `base_token/table_id/rev`，刷新相关表元数据并校验最新 `rev`；版本一致且谓词口径未变时复用，否则重新导出对应表。
-
-## LLM 语义分析
-
-先用任务中明确且不改变分析口径的确定性条件缩小数据范围；只有剩余判断必须依赖语义理解时，才将必要原文加载到模型上下文。
-
-开放文本打标、情绪或意图识别、主题归纳、语义分类、相似性判断和实体消歧等任务必须理解原文，最终判断由当前 LLM 在本地上下文中逐条完成。代码只用于确定性范围筛选、分批、结果持久化和最终汇总；除非用户明确要求规则法，不用关键词命中、词频、正则或规则打分替代语义判断。
-
-1. 先把日期、状态、来源等不改变任务语义的确定性范围条件下推到 Base，只导出 `record_id`、判断所需原文和最终解释所需的最小字段集。
-2. 在读取正文前，先看 manifest 的 `record_file_size_bytes`；结合 `records_count` 以及所选字符串列的 `null_count`、`max_length` 判断正文相对当前上下文的规模，拿不准时先读取前 3 行再决定读取范围。
-3. 文件较小且上下文充足时，将必要记录读入上下文并直接完成语义分析；文件较大但任务仍必须理解全部原文时，先向用户说明原因和预计耗时，在确认后按文本体量分批处理。各批沿用同一判断口径，将 `record_id`、结构化判断和必要依据持续写入本地 artifact，最后统一汇总。
-
-## Manifest
-
-`--output <path>.ndjson` 生成 `<path>.ndjson` 与 `<path>.manifest.json`；记录写入 NDJSON，stdout 返回 manifest。
-
-分析 artifact 使用相对路径输出到当前工作目录，例如 `--output ./records.ndjson`。
-
-```json
-{
-  "record_file": "/path/records.ndjson",
-  "record_file_size_bytes": 18432,
-  "manifest_file": "/path/records.manifest.json",
-  "records_count": 137,
-  "has_more": false,
-  "columns": {
-    "record_id": {"physical_type": "string", "stats": {"max_length": 15}},
-    "状态": {
-      "field_id": "fld_status",
-      "field_type": "select",
-      "physical_type": "array<string>",
-      "stats": {"empty_count": 3, "max_length": 2, "avg_length": 1.1},
-      "example": ["进行中"]
-    }
-  }
-}
-```
-
-- manifest `columns` 是 NDJSON 物理 schema 的权威来源，包含 `field_id`、`field_type`、`physical_type`、`stats` 以及可选的真实 example 或 hint；它不替代完整 Base field schema，选项配置、数字格式、Link 目标表或 formula/lookup 定义影响任务时读取 `+field-list`。全空列按 hint 跳过，任务必须使用时显式 cast。
-- `stats` 只统计本次导出的 records；`null_count` 只计 JSON `null`，字符串长度按 Unicode 字符计数，数字 `avg` 排除 null，多值 `avg_length` 按全部 records（含 `[]`）计算。
-
-| 列类别 | `stats` |
-| --- | --- |
-| 普通字符串 | `null_count, max_length` |
-| 数字 | `null_count, min, max, avg` |
-| 日期 | `null_count, min, max` |
-| checkbox | `true_count` |
-| Location | `null_count` |
-| 多值列 | `empty_count, max_length, avg_length` |
-| 系统 `record_id` | `max_length` |
-
-- stdout 的 `records_count` 和 `has_more` 描述本次导出；确认后无需在分析代码中重读 manifest 或重新统计 NDJSON 行数。
-- `record_file_size_bytes` 是 NDJSON artifact 的实际字节数，用于选择一次读取、预览或分批方式；确定性计算由 jq/Python 直接读取文件。
-- `query_context` 保存导出查询范围；复用本轮 NDJSON 时结合原查询上下文确认谓词下推口径保持一致。
-- 仅在需要 `columns`、example、hint 或执行 artifact 复用判断时读取 `manifest_file`；满足复用条件后直接继续分析现有 NDJSON。
-- `ignored_fields` 和 `record_not_found` 仅在 stdout 返回时关注。
-
-## 数据库专家快速心智模型
-
-- Base table 是面向协作的反范式宽表；本地分析将每个导出表作为关系输入，不假设数据库级约束。
-- 每行是一条 record；系统 `record_id` 是表内真正的主键，由 Base 系统生成并维护，契约保证 `NOT NULL` 和 `UNIQUE`，分析代码无需再次检查空值或唯一性，也不可把它作为普通字段更新。Base 的“主字段”只是主要展示字段，不是主键。
-- NDJSON 业务列一律使用字段 `name` 作为 key，不使用 `field_id`；字段重命名会改变 key，对应的 `field_id` 仅记录在 manifest 列元数据中。
-- 除 `record_id` 外，不假设任何列满足 `NOT NULL`、`UNIQUE` 或业务键约束；仅当某列实际作为业务键参与关联或去重时处理空值和重复值。
-- checkbox 在 NDJSON 中始终为 `true` 或 `false`，上游空值会在导出时规范化为 `false`；其他标量列可空并使用 `null`。多值列始终非空，没有元素时用 `[]`；这些是序列化契约，不是业务约束。
-- NDJSON 的读取结构以 manifest `physical_type` 和下表为准，不等同于写记录时的 CellValue；`lark-base-cell-value.md` 在读写形态不一致的类型下提供对照说明。formula 和 lookup 在当前 NDJSON 中统一为字符串，不保留计算结果的原始类型。
-- 将 `physical_type` 和上述 CellValue 结构视为输入契约；一次性分析代码直接读取，不再逐格验证 `record_id`、数组或 struct 的运行时形状。
-- 未显式指定 sort 时不保证行顺序。
-
-### Physical type 快速参考
-
-| `field_type` | `physical_type` | 示例与语义 |
-| --- | --- | --- |
-| 系统 `record_id` | `string` | `"rec_xxx"`；系统主键 |
-| `text`、`formula`、`lookup`、`auto_number`、`not_support` | `string|null` | `"进行中"`；formula、lookup 不保留结果的原始类型 |
-| `datetime`、`created_at`、`updated_at` | `string|null` | `"2026-08-05T10:30:00.000+08:00"`；RFC3339，固定三位毫秒 |
-| `number` | `number|null` | `12.5`；JSON 整数和小数均为 number |
-| `checkbox` | `boolean` | `true`；上游空值已规范化为 `false` |
-| `select` | `array<string>` | `["进行中", "高优"]`；单选、多选读取均为名称数组 |
-| `location` | `struct<lng number, lat number, full_address string>|null` | `{"lng":116.39,"lat":39.90,"full_address":"北京市"}`；非空 Location 的三个成员均非空 |
-| `user`、`group_chat`、`created_by`、`updated_by` | `array<struct<id string, name string>>` | `[{"id":"ou_xxx","name":"张三"}]` |
-| `link` | `array<struct<id string>>` | `[{"id":"rec_xxx"}]`；schema 的 `table_id` 指定目标表，`id` 是目标 `record_id` |
-| `attachment` | `array<struct<file_token string, size number, name string>>` | `[{"file_token":"box_xxx","size":1024,"name":"report.pdf"}]` |
+## 1. 先选数据路径
 
-### 日期字段读取
-
-日期字段以带 offset 的 RFC3339 字符串序列化，并有两种分析语义：
+| 任务条件 | 路径 | 完整性要求 |
+| --- | --- | --- |
+| 当前查询最多 2000 行且 `has_more=false` | NDJSON 本地分析 | 直接处理 artifact |
+| 用户指定 View | 记录工具添加 `--view-id` 返回视图范围内的记录 | 结论只代表该 View；记录范围写入 `query_context` |
+| 超过 2000 行且必须取得逐条原始记录 | 调整 `--offset` 后继续查询 | 直到 `has_more=false` 代表所有记录已读取 |
+| 超过 2000 行，只需单表基础统计、分组或 Top-K | `+data-query` | 由 Base 云端在完整单表范围计算 |
+| 多表 JOIN、窗口、递归、严格漏斗、语义分析或任意需要逐条明细的高级计算 | 完整 NDJSON 后由合适的本地分析引擎处理 | 每张参与表都必须完整；不能用 `data-query` 代替原始明细 |
 
-- **instant semantics**：计算真实时长、先后顺序或跨时区比较时，解析完整 RFC3339 值，以其表示的绝对时刻计算。
-- **local-calendar semantics**：按来源 Base 的日、周、月等本地日历分组时，使用序列化值中的本地日期，不先转 UTC，也不按 manifest `timezone` 重复换算。
+局部预览、固定前 N 条或 `has_more=true` 的 artifact 不能支持全局结论。采样只在用户明确要求抽样时使用，并必须说明抽样范围和方法。
 
-例如，`2026-03-20T23:30:00.000-05:00` 与 `2026-03-21T12:30:00.000+08:00` 表示同一时刻；前者若是来源 Base 的值，本地日报归入 3 月 20 日，而时长或排序计算应把它解析为绝对时刻。只构造任务实际需要的日期表示，并在分析引擎中使用具备 datetime 功能的列。
+## 2. 范围、View、选择与投影
 
-## 读取与关系建模
+先明确分析总体，再导出数据：
 
-仅在 SOP 已选择 Python 路径后，按实际实现方式只读一份示例：
+- **整表范围：** 省略 `--view-id`；`query_context.record_scope` 应为 `all_records` 或 `filtered_records`。
+- **View 范围：** 传真实 `--view-id`。View 的 filter 决定记录范围，sort 决定顺序，`query_context.record_scope` 应为 `view_filtered_records`；结论必须表述为“该 View 内”。
+- **临时条件：** `--filter-json` 覆盖 View filter，`--sort-json` 覆盖 View sort；排序示例：`--sort-json '[{"field":"Updated","desc":true},{"field":"Title","desc":false}]'`，数组顺序是排序优先级，`desc=true` 为降序。两者只覆盖对应部分，不能把“指定 View”与“手工替换后的范围”混称为同一口径。tuple 条件的完整示例和协议见 [Filter 条件结构](lark-base-filter-condition.md)。
+- **关键词与结构化条件：** 展示文本关键词用 `+record-search`；数值、日期、选项、人员、群组、Link、空值等用 `--filter-json`。两者可以叠加。
+- **字段投影：** 重复 `--field-id`，只导出筛选、分组、排序、JOIN、解释、回查所需字段。系统 `record_id` 自动保留；跨表任务还必须投影 Link 或经过验证的业务 key。
 
-- [Python 标准库示例](lark-base-data-analysis-python-stdlib.md)
-- [pandas 示例](lark-base-data-analysis-pandas.md)
+manifest 的 `query_context` 是本次 artifact 范围的记录，不是完整查询语言的替代品。复用旧 artifact 前同时核对 `base_token`、`table_id`、View / filter / sort、投影字段和 `rev`。
 
-两份示例使用相同的五类场景：加载与日期解析、集合谓词、单数组展开、Link JOIN、多数组共现。场景语义和粒度规则以本 SOP 为准，示例只提供对应实现的最短代码。
+## 3. 大表完整读取
 
-标准库足以清晰表达任务时直接使用；DataFrame 能明显简化计算时再选 pandas。已选择 pandas 但环境未安装时，网络可用且存在 `uv` 或 `pip` 才按需安装，优先使用 `uv run --no-project --with pandas python analyze.py`。
+NDJSON 单次最多返回 2000 条。必须取得超过 2000 条逐行原始记录时：
 
-将 Base 反范式宽表映射为关系模型时，可将标量列视为 record attributes，将多值列视为以 `record_id` 为关联键的 nested relation，将 Link 视为跨表 adjacency list。多值列通过 lateral `explode` / `UNNEST` 切换粒度；Link 规范化为 bridge relation 后再 `merge` / `join` / `JOIN`；同类来源表先投影到 conformed fact schema，再用 `concat` / `UNION ALL` 纵向合并。
+1. 固定 `base_token`、`table_id`、`view-id`、filter、sort 和字段投影；首块从 `offset=0` 开始，每块 `limit=2000`，输出到不同 artifact。
+2. 每块读取 manifest 的 `records_count`、`has_more`、`next_offset`、`rev` 和 `query_context`；`has_more=true` 时只使用返回的 `next_offset` 继续。
+3. 所有块的 `rev` 与 `query_context` 必须一致。读取期间 `rev` 改变表示数据快照已变化，可能产生遗漏或重复；需要严格完整时从头重读，否则明确披露非快照一致。
+4. 以最后一块 `has_more=false` 作为终止条件。分析引擎可逐块消费，不必为了分析先把所有文件拼成一个巨型文件。
+5. 多表任务分别完成每张表的完整性检查；任一输入不完整，JOIN、集合、窗口或统计结果都不完整。
 
-## 常见分析模式
+如果任务只需要单表基础统计，不应为了拿到所有原始行而分块下载，优先使用下方 `+data-query`。
 
-### 单表简单筛选与统计：jq
+## 4. `data-query`：大规模单表基础统计逃生路径
 
-NDJSON 每行是一条 record。单表短筛选、计数和简单聚合可直接用 jq；下面筛选“状态”包含“进行中”的记录，并统计记录数和金额合计：
+`+data-query` 的 datasource 是单个 Base Table，适合在超过 2000 行时由云端完成：
 
-默认导出后使用本地 `jq -s`，同一 artifact 可反复查询而无需重新下载；本地 jq 不可用时，使用 Python 或其他数据分析引擎处理 records 文件。
+- `filters`：聚合前筛选，类似 WHERE；它使用 LiteQuery 特有的 DSL，不是 Record/View 的 tuple filter，注意不要混淆。
+- `dimensions`：分组字段。
+- `measures`：`sum`、`avg`、`min`、`max`、`count`、`count_all`、`distinct_count`。
+- `sort`：排序字段
 
-```bash
-lark-cli base +record-list \
-  --base-token <base_token> \
-  --table-id <table_id> \
-  --field-id 状态 \
-  --field-id 金额 \
-  --format ndjson \
-  --output records.ndjson &&
-jq -s '
-  map(select((.["状态"] | index("进行中")) != null)) as $records
-  | ($records | map(.["金额"] | select(. != null))) as $amounts
-  | {
-      records_count: ($records | length),
-      amount_sum: (
-        if ($amounts | length) > 0 then ($amounts | add) else null end
-      )
-    }
-' records.ndjson
-```
+SOP 选定这条路径后再读取 [data-query DSL](lark-base-data-query.md)。典型适用范围是**单表**总数、分组计数、数值汇总、去重计数、分组排序和 Top-K。
 
-### 多值列：nested relation 与目标粒度
+能力边界：
 
-Base 的反范式宽表会把零到多个 Select、人员、群组、Link 或附件元素嵌入一条 source record。多值单元格默认按无重复、无序集合建模：元素顺序不承担稳定业务语义，同一 source record 内可将元素视为唯一，因此其元素数等于去重元素数；跨 source record 出现的同一元素仍是不同事实或关系边。分析时将数组视为以 `record_id` 为 correlation key 的 nested relation，并先确定 target grain：
+- 只传 dimensions 时返回去重后的维度组合，不返回 `record_id`，不能视为逐条记录。
+- 不承担多表 JOIN、窗口函数、递归、原始明细导出或语义分析。
+- 没有独立 HAVING 语义；可先由 `data-query` 聚合，再对已收敛的聚合结果做本地条件过滤。
+- 条件聚合只有所有 measures 共用同一前置条件时才能直接下推到 `filters`；不同 measures 使用不同条件时，拆成可复核的查询或在完整明细上计算。
+- 聚合后需要展示原始记录时，用返回的真实业务 key / 维度值通过 `+record-list --filter-json` 或 `+record-get` 回查；不要从聚合行臆造 `record_id`。
 
-- **record grain**：包含、交集、子集和元素数量等问题直接使用集合谓词，不做 expansion。
-- **record-element grain**：通过 lateral `explode` / `UNNEST` 规范化为 `(source_record_id, element)` bridge relation。inner expansion 会丢弃空数组来源，outer expansion 会保留来源 record；回到 record 口径时按 `source_record_id` 聚合或去重。
-- **entity grain**：两侧分别规范化为 bridge relation，再按稳定 element key JOIN。人员和群组以 `id` 连接、以 `name` 展示；Select 以名称作为元素键，仅当字段共享同一业务值域时才可连接。
+## 5. Manifest 与 NDJSON 结构
 
-使用列 `stats` 中的 `empty_count`、`avg_length` 和 `max_length` 做 expansion cardinality 与数据倾斜预估：单数组 inner expansion 的估算行数为 `records_count × avg_length`，outer expansion 还需加上 `empty_count`；结合 `max_length` 识别极端 fan-out 或 hot record。任务确实需要元素粒度且估算规模可控时，可以直接展开。
+`--output ./records.ndjson` 生成记录文件和同名 `.manifest.json`。高频 manifest 字段：
 
-#### 多数组、fan-out 与 row-local Cartesian product
+| 字段 | 分析用途 |
+| --- | --- |
+| `records_count` / `has_more` / `next_offset` | 判断当前块大小、是否完整以及下一块起点 |
+| `base_token` / `table_id` / `query_context` | 固定来源表和读取范围 |
+| `rev` | 检查多块或复用 artifact 时的数据版本一致性 |
+| `timezone` | 解释 Base 本地日历边界 |
+| `columns.*.field_id/field_type/physical_type` | 确认 NDJSON 实际列类型与稳定字段标识 |
+| `columns.*.stats/example/hint` | 估算空值、数组展开规模和文本体量；只描述本次导出 |
+| `record_file_size_bytes` | 决定一次读取还是分块处理 artifact |
 
-同一 source record 中的独立数组默认建立为彼此独立的 lateral pipeline，分别展开并聚合回 target grain 后再连接，避免 many-to-many fan-out 和重复计量。只有问题明确要求分析元素组合或共现时，才同时展开形成 row-local Cartesian product。
+NDJSON 每行是一条 Record，以字段 `name` 为 key，并额外包含系统 `record_id`；`field_id` 位于 manifest。字段改名会改变 NDJSON key，跨批次或长期脚本应通过 manifest 复核 `field_id → name`。
 
-两个数组同时展开的准确 cardinality 为 `Σᵢ(|Aᵢ| × |Bᵢ|)`；可用 `records_count × avg_length_a × avg_length_b` 估算执行规模，并结合两列的 `max_length` 判断极端 fan-out。平均长度乘积不反映列间相关性，只用于成本估算。Base schema 不提供不同多值列之间的 positional contract；仅当额外业务契约明确声明位置对应语义时，才按 ordinality ZIP。
+| `field_type` | NDJSON 结构 | Base 特有的分析语义 |
+| --- | --- | --- |
+| `record_id` | `string` | 表内唯一主键，用于定位和块间去重 |
+| `text`、`formula`、`lookup`、`auto_number`、`not_support` | `string|null` | Formula / Lookup 不保留原始计算类型；需要数值运算时必须显式验证转换规则 |
+| `datetime`、`created_at`、`updated_at` | RFC3339 `string|null` | 带 offset；区分绝对时刻与 Base 本地日历语义 |
+| `number` | `number|null` | 空值不是零，是否纳入分母由任务口径决定 |
+| `checkbox` | `boolean` | 上游空值在 NDJSON 中规范化为 `false` |
+| `select` | `array<string>` | 单选、多选都读取为选项名称数组；空值为 `[]` |
+| `location` | `{lng,lat,full_address}|null` | 地理计算用坐标，文本范围分析用地址 |
+| `user`、`group_chat`、`created_by`、`updated_by` | `array<{id,name}>` | 连接与去重使用 `id`，展示使用 `name` |
+| `link` | `array<{id}>` | `id` 是 Field schema 指定目标表中的 `record_id` |
+| `attachment` | `array<{file_token,size,name}>` | 文件 token 是稳定定位信息；数组展开会改变粒度 |
 
-### Link：跨表 adjacency list
+除 `record_id` 外，不假设任何列满足非空或唯一。标量空值通常是 `null`，多值列空值是 `[]`；未显式排序时不依赖 NDJSON 行顺序。
 
-- Link 字段的完整 schema 以 `+field-list` 为准，其中 `table_id` 声明唯一目标 table；NDJSON 的 `[{"id":"rec_xxx"}]` 表示指向该表目标 `record_id` 的零到多条有向边。以 `table_id` 确定目标表，缺少可信 schema 时先补充 `+field-list`。
-- 将 Link 规范化为 `(source_record_id, target_record_id)` edge/bridge relation，再按 `target_record_id = 目标表.record_id` 执行外键式 JOIN。需要反向遍历时复用同一 edge relation 反向分组或连接；NDJSON 不隐含自动反向关系。
-- 多跳 Link 通过逐跳组合 edge relation 完成 traversal，并始终在各自 record-id domain 内连接。最终展示目标表的用户可读 attributes；已有 Link 时使用 Link edge relation，其他关联使用经过验证的 business key。
+## 6. 专业分析场景中的 Base 映射
 
-### 跨表同类实体与指标
+下表不教授算法，只指出开始计算前必须解决的 Base 特有问题：
 
-- 多表 users 等重复实体的事实分析，先把各表投影为 `(source_table, source_record_id, entity_id, metric...)` 的 conformed long fact schema，再 `UNION ALL` 并聚合到 entity grain。需要横向比较时，各表先聚合到相同 entity grain 再 JOIN，避免原始事实之间产生 many-to-many fan-out。
-- 没有 Link 时只能使用经过验证的 business key 关联。名称相似匹配属于 entity resolution，不属于普通 JOIN；应作为独立阶段输出匹配依据、置信度和未决项。
+| 场景 | Base 数据结构映射与正确性约束 |
+| --- | --- |
+| 复杂多表 JOIN | Link 先展开为 `(source_record_id, target_record_id)` 边，再按目标表 `record_id` 连接；目标 `table_id` 来自 Field schema。无 Link 时只能使用已验证唯一性和空值规则的业务 key，必须统计未匹配与重复 key。 |
+| 集合运算 | Select 是名称数组，人员/群组按 `id`，Link 按目标 `record_id`；先明确是 record 级包含/交并差，还是 element 级集合，不能把数组字符串化比较。 |
+| 多值展开与数据重塑 | Select、人员、群组、Link、附件都是 nested relation。一次展开把粒度从 record 变为 record-element；两个数组同时展开会产生行内笛卡尔积，除非任务明确分析共现，否则分别展开并聚合回目标粒度。 |
+| 分组、条件聚合与 HAVING | 先确定 record / element / entity grain 和空值口径。单表基础聚合可走 `data-query`；HAVING 在聚合结果上本地过滤。不同条件的 measures 不要错误共用一个全局 filter。 |
+| 排序与 Top-K | 原始记录 Top-K 用 Record sort；大表单表聚合 Top-K 用 `data-query`。并列值是否全部保留、如何稳定打破 ties 必须按任务口径明确。 |
+| 窗口计算与严格时序漏斗 | NDJSON 不保证默认顺序；显式选择实体 key、事件时间、分区字段和同时间 tie-breaker。`data-query` 不提供窗口或逐事件漏斗语义。 |
+| 时间边界与周期对齐 | 真实时长和跨时区排序按完整 RFC3339 instant；按来源 Base 的日/周/月分组使用值中的本地日期和 manifest `timezone`，不要先转 UTC 后再切日历周期。 |
+| 层级与递归 | Link 是有向邻接边；逐跳保持各 Table 的 record-id domain，记录已访问节点以处理环，并明确深度或终止条件。 |
+| 派生变量与指定规则的数据质量处理 | 保留原字段和 `record_id`，派生列另命名；只执行用户给定或业务已确认的缺失、异常、去重、标准化规则，不把通用清洗习惯当成业务事实。 |
+| 临时语义转换 | LLM 产生的标签、主题或实体映射以 `record_id` 回连并保留判断依据；默认只作为本地临时派生结果，用户未要求时不写回 Base。 |
+| 描述性统计、差异分解、关联分析与统计推断 | 先确认总体是整表还是 View、输入是否完整、分析粒度是否因多值展开改变，以及 Formula / Lookup 是否需要类型恢复；把选择偏差、缺失和重复实体视为 Base 数据口径问题，而不是静默用算法默认值处理。 |
+
+跨多个同类事实表时，先投影为一致的长表结构，例如 `(source_table, source_record_id, entity_id, metric...)` 再纵向合并；横向比较时，各表先聚合到相同 entity grain 再 JOIN，避免原始事实间 many-to-many fan-out。
+
+## 7. 交付前检查
+
+最终结果至少说明：
+
+- 数据来自哪些 Base / Table / View，应用了哪些 filter、时间范围和字段投影。
+- 每张输入表是否读到 `has_more=false`，或是否由 `data-query` 在云端完成完整单表聚合。
+- 分析粒度、空值口径、多值展开方式、JOIN key、重复 key 和未匹配数量。
+- 时间采用 instant 还是 Base local-calendar 语义。
+- 临时派生、清洗、语义标签或推断使用了哪些用户指定规则；哪些结果没有写回 Base。
+
+只有范围完整且口径与问题一致时，才给出全局结论。

package/skills/lark-base/references/lark-base-template-center.md

@@ -0,0 +1,199 @@
+# Base 模板中心
+
+模板中心是一个**公开的 Base 模板库**。当用户想“用一个现成的模板快速搭一个多维表格”时，这套命令帮助 AI 找到最合适的模板，最终通过 `+base-copy` 复制成用户自己的新 Base。
+
+模板中心里也可能返回 BaseApp / 应用模板。若模板预览链接 `templates[].link` 包含 `/app/`，它只是可展示的应用模板预览，不支持通过 `+base-copy` 复制创建。用户要求“基于这个应用模板创建 / 复制应用模板”时，应明确拒绝，并说明当前 CLI 只支持复制 Base 模板，不支持复制应用模板。
+
+三个命令：
+
+- `+template-categories`：列出所有模板分类，用于把用户意图对齐到某个类目。
+- `+template-list`：列出某个分类下的模板（不传分类则返回“推荐”类目）。
+- `+template-search`：按关键词搜索模板。
+
+## 何时使用模板中心
+
+满足以下特征时走模板中心：用户有**创建新 Base 的意图**，但**没有指向已有对象的锚点**（没有 Base URL、没有“我的/最近访问的表”、没有具体已存在的 Base 名）。
+
+典型触发：
+
+- “帮我建一个 CRM 多维表格”
+- “有没有适合项目管理的模板”
+- “找个 OKR 跟进的 Base 模板照着做”
+
+**不要**走模板中心的情况（即使用户嘴上说“模板”）：
+
+- 用户给了 Base/Wiki 链接或 token → 走 `+url-resolve`。
+- 用户说“我之前那张表 / 我的模板 / 最近访问的” → 走 `+title-resolve` 或转 `lark-drive` 搜索。
+- 用户要从零定义字段 schema，而不是套现成模板 → 走 `+base-create --table-name --fields`。
+
+模板中心是独立的公开数据集，**不能**用 `drive +search` 找到，`drive +search` 只搜用户自己可访问的云空间对象。
+
+## 推荐命令
+
+```bash
+# 列出所有模板分类
+lark-cli base +template-categories --as user
+
+# 列出某个分类下的模板（不传 --category-key 则返回“推荐”类目）
+lark-cli base +template-list --category-key template_center_tab_ai --limit 10 --as user
+
+# 按关键词搜索模板
+lark-cli base +template-search --keyword "项目管理" --limit 10 --as user
+
+# 翻页：把上一页返回的 offset 原样传给 --offset
+lark-cli base +template-search --keyword "AI" --limit 10 --offset <上一页返回的 offset> --as user
+
+# 选定模板后，用模板 token 复制成用户自己的新 Base
+lark-cli base +base-copy --base-token <模板 token> --name "<新 Base 名>" --as user
+```
+
+## 工作流
+
+模板中心有两条路径，按用户意图明确程度二选一，不要盲目全用。
+
+### 路径 A：分类浏览（意图偏宽泛时首选）
+
+用户只给了一个大方向（如“项目管理”“市场营销”），先按分类收敛，再在类目里挑模板。
+
+1. `+template-categories` 列出全部分类，拿到 `categories[].key` 和 `name`。
+2. AI 把用户意图匹配到最贴近的一个分类 `name`，取它的 `key`。
+3. `+template-list --category-key <key>` 列出该类目下的模板。
+4. 读每个模板的 `name` / `introduction` / `scenarios`，挑出最符合用户场景的那个，拿它的 `token`。
+5. 用 `+base-copy --base-token <token>` 基于模板复制出新 Base（见下文“基于模板创建”）。
+
+```bash
+# 1. 看有哪些分类
+lark-cli base +template-categories --as user
+
+# 2~3. 匹配到“AI 应用”类目后，列出该类目模板
+lark-cli base +template-list --category-key template_center_tab_ai --limit 10 --as user
+```
+
+匹配不到贴切分类，或用户意图本身就跨类目 / 很具体时，改走路径 B。
+
+### 路径 B：关键词搜索（意图有具体词时首选）
+
+用户给了明确、可检索的词（如“财务报销”“直播复盘”“AI 客服”），直接搜，不必先看分类。
+
+1. `+template-search --keyword "<词>"` 搜模板。
+2. 同样读 `name` / `introduction` / `scenarios` 选模板，拿 `token`。
+3. `+base-copy` 复制。
+
+```bash
+lark-cli base +template-search --keyword "项目管理" --limit 10 --as user
+```
+
+关键词不能为空；空搜会被拒绝。用户只有“大方向”而没有具体检索词时，用路径 A 的分类浏览更稳。
+
+### 分类 vs 搜索怎么选
+
+| 用户意图 | 走哪条 |
+|---|---|
+| 只有大类方向（“市场营销类的”“办公用的”） | 路径 A，先 `+template-categories` 收敛 |
+| 有具体、可检索的业务词（“报销”“OKR”“直播”） | 路径 B，直接 `+template-search` |
+| 大方向下没挑到合适的 | A 之后再用 B 换关键词补搜 |
+
+## 翻页
+
+`+template-list` 和 `+template-search` 都是游标翻页：
+
+- `--limit`：每页数量，默认 10，范围 1-100；`--page-size` 是等价别名。
+- `--offset`：翻页游标，来自上一次响应的 `offset` 字段。**首次请求不要传**。
+- 响应里 `has_more=true` 表示还有下一页，把响应的 `offset` 原样传给下一次 `--offset`。`has_more=false` 或 `offset` 为空字符串表示没有更多。
+
+`--offset` 是服务端返回的不透明游标，不要解析它、不要自己拼造。
+
+```bash
+lark-cli base +template-search --keyword "AI" --limit 10 --offset <上一页返回的 offset> --as user
+```
+
+## 数据结构
+
+### TemplateCategory（分类对象）
+
+`+template-categories` 返回 `categories[]`，每个元素：
+
+| 字段 | 类型 | 含义 |
+|---|---|---|
+| `key` | string | 分类唯一标识，形如 `template_center_tab_ai`（`template_center_tab_` 前缀 + 类目名）。传给 `+template-list --category-key` 用的就是它 |
+| `name` | string | 分类展示名，如 `AI 应用` / `办公通用`。AI 匹配用户意图时看这个 |
+
+### Template（模板对象）
+
+`+template-list` / `+template-search` 返回 `templates[]`，每个元素：
+
+| 字段 | 类型 | 含义 |
+|---|---|---|
+| `token` | string | 模板的 Base token，是模板的唯一标识。基于模板创建时作为 `+base-copy --base-token` 的入参 |
+| `name` | string | 模板名称，如 `工作汇报` |
+| `introduction` | string | 模板介绍，说明模板用途、内容结构和适用方向。AI 判断模板是否契合用户需求主要看它 |
+| `scenarios` | string[] | 适用场景列表，如 `["工作汇报","月报","项目进展"]`，用于快速判断场景匹配度 |
+| `developer` | string | 模板开发者，如 `飞书` |
+| `link` | string | 模板预览链接，可展示给用户，但复制模板用 `token` 而不是 `link` |
+| `created_at` / `updated_at` | string | 创建 / 更新时间 |
+
+列表 / 搜索响应还带分页字段：
+
+| 字段 | 类型 | 含义 |
+|---|---|---|
+| `has_more` | boolean | 是否还有下一页 |
+| `offset` | string | 下一页游标；无更多时为空字符串 |
+
+**约定**：模板的唯一标识就叫 `token`（模板 Base token），不要在输出或转述里改名成 `id` 或 `key`；`key` 是分类的标识（`category_key`）。
+
+### 模板列表/模版搜索-响应示例
+
+```json
+{
+  "code": 0,
+  "data": {
+    "has_more": true,
+    "offset": "1",
+    "templates": [
+      {
+        "created_at": "2025-12-03T02:53:34Z",
+        "developer": "Base Team",
+        "introduction": "📊 品牌调研问卷  \n高效收集用户反馈，助力品牌优化决策  \n\n核心功能点  \n1 预设多维度调研问题模板  \n2 支持自定义问题类型与逻辑跳转  \n3 实时数据统计与可视化分析  \n\n适合场景  \n1 新品上市前市场需求调研  \n2 品牌形象与用户满意度评估  \n3 竞品对比与消费者偏好分析",
+        "link": "https://example.com/base/<template_token>",
+        "name": "品牌调研问卷",
+        "scenarios": ["运营管理", "市场营销"],
+        "token": "<template_token>",
+        "updated_at": "2026-06-22T08:18:58Z"
+      }
+    ]
+  },
+  "msg": ""
+}
+```
+
+读取模板列表时重点看：
+
+- `templates[].name`：模板名称；基于模板创建 Base 且用户没有指定新名称时，直接作为 `+base-copy --name`。
+- `templates[].token`：模板 Base token；复制时传给 `+base-copy --base-token`。
+- `templates[].link`：模板预览链接；可以展示给用户帮助确认，但复制时不要用 link 代替 token。若链接包含 `/app/`，这是应用模板预览，只能展示，不能复制创建。
+- `templates[].introduction` / `templates[].scenarios`：用于判断模板是否匹配用户业务场景。
+- `data.offset`：下一页游标；只有 `has_more=true` 时才继续传给 `--offset`。
+
+## 基于模板创建 Base
+
+模板中心只负责“找到模板”，它本身不创建 Base。选定模板后，用模板的 `token` 复制出用户自己的新 Base：
+
+```bash
+lark-cli base +base-copy --base-token <模板 token> --name "<新 Base 名>" --as user
+```
+
+- `--name` 用用户想要的新 Base 名；不传则沿用模板名。
+- 只有用户明确说“只要结构 / 不要内容”时，才加 `--without-content`。
+- `+base-copy` 的返回和权限说明见 SKILL.md 中 `+base-copy` 的相关规则。
+- 如果选中的模板 `link` 包含 `/app/`，不要调用 `+base-copy`。这类应用模板当前仅支持展示给用户，不支持复制创建；用户要求基于应用模板创建时应拒绝并说明能力边界。
+
+## 注意事项
+
+- 三个命令都是只读，默认 `--as user`，所需权限 `base:template:read`。
+- 模板中心是公开数据集，不能用 `drive +search` 找到；用户要“我的/最近访问/已有 Base”不要走这里。
+- 分类先于列表：`+template-list` 的 `--category-key` 必须来自 `+template-categories` 的返回，不要凭空猜类目 key。
+- `+template-search` 不支持空关键词，会被拒绝；用户只有大方向、无具体检索词时改走分类浏览。
+- 模板的唯一标识是 `token`（模板 Base token），不要改名成 `id` 或 `key`。
+- `--offset` 是服务端返回的不透明游标，翻页时原样回传，不要解析或自行构造。
+- 模板中心只查模板、不创建 Base；创建一律走 `+base-copy --base-token <token>`，不要用模板 token 去调 `+base-get` 之类的当前用户 Base 命令。
+- 应用模板链接包含 `/app/`，仅用于预览展示，不支持 `+base-copy`；不要承诺可基于应用模板创建。

package/skills/lark-calendar/SKILL.md

@@ -1,7 +1,7 @@
 ---
 name: lark-calendar
 version: 1.0.0
-description: "飞书日历：管理日历日程和会议室。查看/搜索日程、创建/更新日程、管理参会人、查询忙闲和推荐时段、预定会议室。当用户需要查看日程安排、创建/修改会议、查询/预定会议室时使用。不负责：查询过去的视频会议记录（走 lark-vc）、待办任务（走 lark-task）。"
+description: "飞书日历：管理日历日程和会议室。查看/搜索日程、创建/更新日程、管理参会人、查询忙闲和推荐时段、预定会议室。当用户需要查看日程安排、创建/修改会议、查询/预定会议室时使用。不负责：查询过去的视频会议记录（走 lark-meeting）、待办任务（走 lark-task）。"
 metadata:
   requires:
     bins: ["lark-cli"]
@@ -41,7 +41,9 @@ lark-cli calendar +agenda --as bot
 | `+freebusy` | 查询用户主日历的忙闲信息和 RSVP 状态（纯查询场景；预约场景走 `+suggestion`） |
 | [`+room-find`](references/lark-calendar-room-find.md) | 针对一个或多个**明确的**时间块查找可用会议室（无明确时间时禁止直接调用，需先走 +suggestion） |
 | [`+rsvp`](references/lark-calendar-rsvp.md) | 回复日程（接受/拒绝/待定） |
+| [`+join-event`](references/lark-calendar-join-event.md) | 凭分享 token 加入日程（分享链接/二维码/分享卡片/RSVP 卡片） |
 | [`+suggestion`](references/lark-calendar-suggestion.md) | 根据非明确时间或一段时间范围，推荐多个可用时间块方案 |
+| [`+transfer`](references/lark-calendar-transfer.md) | 把日程组织者转让给另一个用户或机器人；不可逆，需 `--yes` |
 
 ### `+get` — 单日程详情
 
@@ -127,14 +129,17 @@ lark-cli calendar +freebusy --start 2026-03-11 --end 2026-03-12 --user-id ou_xxx
 
 | 用户意图 | 路由到 |
 |----------|--------|
-| 查询过去的会议（"昨天的会议""上周的会"） | [`../lark-vc/SKILL.md`](../lark-vc/SKILL.md)（会议数据含即时会议，仅查日程会遗漏） |
+| 查询过去的会议（"昨天的会议""上周的会"） | [`../lark-meeting/SKILL.md`](../lark-meeting/SKILL.md)（会议数据含即时会议，仅查日程会遗漏） |
+| 今天有哪些会议| 需要合并两部分内容：[`../lark-meeting/SKILL.md`](../lark-meeting/SKILL.md) 中的 `vc +search` 查询今天已结束的会议， `calendar +agenda` 查询进行中或未开始的日程。|
 | 查询日历/日程或未来时间的会议 | 本 skill |
 | 按关键词搜索日程 | 本 skill（`+search-event`） |
 | 从日程获取关联的视频会议 ID 或用户绑定的会议纪要文档 | 本 skill（`+meeting`） |
-| 从日程进一步拿 AI 智能纪要 / 逐字稿 / 妙记产物 | 先 `+meeting` 取 `meeting_id`，再 [`vc +detail`](../lark-vc/references/lark-vc-detail.md) → [`note +detail`](../lark-note/references/lark-note-detail.md) / [`minutes +detail`](../lark-minutes/references/lark-minutes-detail.md) |
+| 把日程分享给某人 / 群 | 本 skill：先 `calendar events share_info` 取**日程分享链接**，再走 [lark-im](../lark-im/SKILL.md) 发送该链接；分享链接不是 applink，不要自己拼接或用 applink 代替 |
+| 从日程进一步拿 AI 智能纪要 / 逐字稿 / 妙记产物 | 先 `+meeting` 取 `meeting_id`，再进入 [`lark-meeting`](../lark-meeting/SKILL.md)：[`vc +detail`](../lark-meeting/references/lark-vc-detail.md) → [`note +detail`](../lark-meeting/references/lark-note-detail.md) / [`minutes +detail`](../lark-meeting/references/lark-minutes-detail.md) |
 | 预约/改约日程、调整时间、添加/更换会议室、查会议室 | 先判断新建 vs 编辑，再进入 [schedule-meeting 工作流](references/lark-calendar-schedule-meeting.md) |
 | 仅编辑日程字段（标题/描述）或增删参会人（不涉及时间和会议室） | 先定位 `event_id`，再读 [+update](references/lark-calendar-update.md) 执行变更 |
 | 编辑/删除重复性日程（「改这个重复日程」「删掉后面的」「全部取消」等） | 先读 [重复性日程操作规范](references/lark-calendar-recurring.md)，确认操作范围后执行 |
+| 转让日程组织者（「把这个日程交给 XX」「组织者改成 XX」「这个会转给我」「bot 建完还给我」） | 读 [+transfer](references/lark-calendar-transfer.md)；`--as` 用**当前组织者**身份，`--to-user-id` 传接收人，用户和机器人任意互转 |
 
 ## 任务类型分流
 
@@ -165,7 +170,11 @@ lark-cli calendar <resource> <method> [flags]
 # 查询用户主日历
 lark-cli calendar calendars primary
 
-# 获取日程分享链接
+# 获取日程详情及 app_link
+lark-cli calendar events get --calendar-id <calendar_id> --event-id <event_id>
+
+# 获取日程分享链接（分享给他人/群前必须先拿到）
+# 返回形如 {{domain}}/calendar/share?token=<token> 的分享链接，不是 applink；直接把该链接发给对方（对方可凭链接中的 token 走 +join-event 加入）
 lark-cli calendar events share_info --calendar-id <calendar_id> --event-id <event_id>
 
 # 删除日程
@@ -196,7 +205,7 @@ lark-cli im +chat-search --query <query> --as user
 
 ## 不在本 skill 范围
 
-- 查询过去的视频会议记录 → [lark-vc](../lark-vc/SKILL.md)
+- 查询过去的视频会议记录 → [lark-meeting](../lark-meeting/SKILL.md)
 - 待办任务管理 → [lark-task](../lark-task/SKILL.md)
 - 通讯录 → [lark-contact](../lark-contact/SKILL.md)
 - 即时通讯 → [lark-im](../lark-im/SKILL.md)