@social-data/social-neuron-subscription 1.0.0-beta.2 → 1.0.0-beta.21
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/bin/cli.js +72 -8
- package/bin/install-skills.js +1 -1
- package/manifest.json +929 -81
- package/package.json +1 -1
- package/skills/social-neuron-subscription/SKILL.md +415 -31
package/package.json
CHANGED
|
@@ -1,6 +1,6 @@
|
|
|
1
1
|
{
|
|
2
2
|
"name": "@social-data/social-neuron-subscription",
|
|
3
|
-
"version": "1.0.0-beta.
|
|
3
|
+
"version": "1.0.0-beta.21",
|
|
4
4
|
"description": "Social Neuron subscription 能力 CLI —— 一能力一命令(social-neuron-subscription),薄客户端直达 /subscription/{op}。",
|
|
5
5
|
"bin": {
|
|
6
6
|
"social-neuron-subscription": "bin/cli.js"
|
|
@@ -1,6 +1,6 @@
|
|
|
1
1
|
---
|
|
2
2
|
name: social-neuron-subscription
|
|
3
|
-
description: "使用场景:定时导出/订阅推送/定期拉数/大批量出文件——需异步产出文件并下载时用能力:按魔方规则、定时 cron 或手动触发,把大库数据异步导出为文件,上传 octo/sftp,产出下载 url 供调用方轮询拉取;可创建/修改/列出/删除/触发订阅 job、翻页查询 task。概念:job=订阅定义(数据范围+频率+投递方式,系统按频率生成 cron);task=job 的一次执行,产物与下载地址落在 file_info。边界:①每 token 生效 job 默认≤10
|
|
3
|
+
description: "使用场景:定时导出/订阅推送/定期拉数/大批量出文件——需异步产出文件并下载时用能力:按魔方规则、定时 cron 或手动触发,把大库数据异步导出为文件,上传 octo/sftp,产出下载 url 供调用方轮询拉取;可创建/修改/列出/删除/触发订阅 job、翻页查询 task;另有三个只读发现接口:list_sites / list_fields 用于建 job 前对齐站点与字段取值;get_field_values 给出枚举值 / 编码值的中文字典,仅在用户明确要求把导出的码值换成中文时按需取用(换值由调用方拿到数据后自行完成,系统不自动回显)。概念:job=订阅定义(数据范围+频率+投递方式,系统按频率生成 cron);task=job 的一次执行,产物与下载地址落在 file_info。边界:①每 token 生效 job 默认≤10;②两种取数模式二选一:**默认**给命中条件的全部数据、size 默认且最大 50 万、多规则各自拉(同时命中多条规则的数据会重复出现);传 **top** 则不改筛选条件、只在同一批命中里按指定字段跨全部日期/站点/规则排序后取前 N 条、size 默认 1000 最大 10000、多规则 OR 合并(同时命中多条的只出一份),排序字段只能是 keyword/long/double/date 类型;这与平台自身的热搜/热门榜单无关;③导出数据的 kw_ruleId 字段**恒为数组**(列出本行命中的 rule_id;此前是字符串,按老格式解析的下游需改);④投递仅 octo/sftp(kafka 规划中,暂不支持),无主动通知、须轮询 task 取结果。⑤如果拉取不到数据则不会产生文件上传，也就没有文件url信息"
|
|
4
4
|
metadata:
|
|
5
5
|
openclaw:
|
|
6
6
|
requires: { bins: ['social-neuron-subscription'], skills: [] }
|
|
@@ -10,10 +10,293 @@ metadata:
|
|
|
10
10
|
|
|
11
11
|
> ⚠️ 本技能随该能力 CLI 版本更新。若刚升级过 CLI、重装过 skill,或调用返回 426(版本过旧需升级),请**重新加载本 SKILL.md 与 manifest** 再用——以最新文件为准。
|
|
12
12
|
|
|
13
|
-
> 命令为一能力一命令:`social-neuron-subscription <action> --flags`(无子命令层)
|
|
13
|
+
> 命令为一能力一命令:`social-neuron-subscription <action> --flags`(无子命令层)。
|
|
14
|
+
> **取值写法**:标量直接写(`--size 20`);**数组和对象一律写成一个 JSON 串**,与 MCP/HTTP 入参完全同形:`--platforms '["video"]'`、`--where '{...}'`。数组**不能**用逗号分隔,单个取值也要写成数组(`'["video"]'` 而不是 `video`)。
|
|
15
|
+
|
|
16
|
+
## 怎么用(操作手册)
|
|
17
|
+
|
|
18
|
+
这是**异步导出**:创建 job → 系统按 cron 或你手动触发 → 产出 task → **轮询 task 拿文件 url**。
|
|
19
|
+
没有主动通知,不轮询就拿不到结果。
|
|
20
|
+
|
|
21
|
+
### 一、写法约定
|
|
22
|
+
|
|
23
|
+
**看 flag 的类型决定怎么写**,参数表里每个 flag 都标了类型:
|
|
24
|
+
|
|
25
|
+
| flag 类型 | 怎么写 | 例子 |
|
|
26
|
+
|---|---|---|
|
|
27
|
+
| `list[...]` / 对象 | **JSON 串**(和 MCP 入参同形),**单个取值也要写成数组** | `--source '["小红书"]'`、`--rule-ids '["r1","r2"]'`、`--target '{...}'` |
|
|
28
|
+
| `string` / `integer` | **直接写值**,不要加方括号 | `--field kw_docType`、`--keyword 品牌`、`--name 每日舆情`、`--size 1000` |
|
|
29
|
+
|
|
30
|
+
数组不能用逗号分隔。JSON 写坏报 `BAD_JSON` 并回显原值;给标量 flag 套上方括号(如
|
|
31
|
+
`--field '["kw_docType"]'`)不会报格式错 —— 它会被**原样当成字段名**去查,最后报"没有这个字段",
|
|
32
|
+
所以这类错看起来会很迷惑,写的时候对一下参数表的类型列。
|
|
33
|
+
|
|
34
|
+
### 二、两个概念
|
|
35
|
+
|
|
36
|
+
| | 是什么 | 谁创建 |
|
|
37
|
+
|---|---|---|
|
|
38
|
+
| **job** | 订阅定义:数据范围 + 频率 + 投递方式 | 你 `job-create` |
|
|
39
|
+
| **task** | job 的**一次执行**,产物和下载地址落在 `file_info` | 系统按 cron,或你 `job-trigger` |
|
|
40
|
+
|
|
41
|
+
### 三、标准流程
|
|
42
|
+
|
|
43
|
+
```
|
|
44
|
+
list-sites / list-fields → 先对齐 --source 与 --fields 的合法取值(见四)
|
|
45
|
+
job-create → 拿到 job_id
|
|
46
|
+
job-trigger → 立刻跑一次(不等 cron);返回 task_id
|
|
47
|
+
task-list → 轮询该 task,status 变终态后读 file_info 里的下载 url
|
|
48
|
+
```
|
|
49
|
+
|
|
50
|
+
建 job 时先想清楚:同样的筛选条件,要**全部命中的数据**,还是**只要排在前面的若干条**。
|
|
51
|
+
默认是全部;用户明确限定了条数(「只要 1000 条」「按点赞取前 500」「挑互动最多的那批」)
|
|
52
|
+
才加 `--top`(见七,两种模式的 size 上限与多规则语义都不同)。
|
|
53
|
+
|
|
54
|
+
到这里订阅就做完了。**码值换中文不在这条流程里** —— 只有用户明确要求时才做,见六。
|
|
55
|
+
|
|
56
|
+
改配置用 `job-update`(只传要改的字段);不想再跑就 `job-update --active false`,
|
|
57
|
+
彻底不要才 `job-delete`。
|
|
58
|
+
|
|
59
|
+
### 四、建 job 前先对齐取值(站点 / 字段)
|
|
60
|
+
|
|
61
|
+
`--source` 和 `--fields` 不能凭感觉写,两个发现接口给的就是合法取值:
|
|
62
|
+
|
|
63
|
+
| 命令 | 给什么 | 怎么用 |
|
|
64
|
+
|---|---|---|
|
|
65
|
+
| `list-sites` | 可订阅站点(**中文站点名**,如「抖音」「微博」) | 原样填 `--source` |
|
|
66
|
+
| `list-fields --source '["抖音"]'` | 该站点下可导出的字段 | `name_en` 填 `--fields`;`name` 是中文名,用来把用户说法对齐到 `name_en` |
|
|
67
|
+
|
|
68
|
+
`--source` 填的是**中文站点名**,不是域名 —— `douyin.com` 这类是大库内部的过滤值,填进去会被拒。
|
|
69
|
+
字段近千,按需用 `list-fields --keyword 情感` 收窄。
|
|
70
|
+
|
|
71
|
+
### 五、三个时间口径别搞混
|
|
72
|
+
|
|
73
|
+
- `--published` **发布时间,必填**:它同时决定查哪个月的索引,所以不能缺省。
|
|
74
|
+
- `--idate` 入库时间、`--udate` 更新时间:**选填**,是在发布时间窗**之内**再 AND 一层收窄;
|
|
75
|
+
不传 = 该维度不过滤。
|
|
76
|
+
- 相对时间支持按天 `T-M~T-N` 和按分钟 `T-M@HH:mm~T-N@HH:mm`,均包含首尾;
|
|
77
|
+
如 `T-1@07:00~T-0@06:59` 表示昨天 07:00:00 至今天 06:59:59。
|
|
78
|
+
|
|
79
|
+
### 六、(可选)用户明确要求把码值换成中文时
|
|
80
|
+
|
|
81
|
+
**默认不做翻译**:导出文件按大库原值交付,`get-field-values` **不是标准流程的一步**,
|
|
82
|
+
不要为了"看起来完整"主动去翻。只有用户明确提出这个要求(如「品牌码换成品牌名」
|
|
83
|
+
「文件里要中文」)时才做下面这件事 —— 而且这是**你拿到数据之后自己的加工**:
|
|
84
|
+
订阅能力不自动回显,也不接受"把文件给我翻一遍"。
|
|
85
|
+
|
|
86
|
+
`list-fields` 出参里 `is_enum` / `is_code` 为真的字段,导出列存的可能是码:
|
|
87
|
+
|
|
88
|
+
| 标记 | 值来自 | 举例 |
|
|
89
|
+
|---|---|---|
|
|
90
|
+
| `is_enum: true` | 内置枚举 | `kw_docType`(数据类型):`1`=帖子、`2`=原创帖、`5`=评论 |
|
|
91
|
+
| `is_code: true` | 编码字段(品牌、品类标签…) | `kw_tag_brand`(品牌标签):`V200500020023`=苏格兰百富 |
|
|
92
|
+
| 两者都 false | 明文字段 | 原值,不用翻 |
|
|
93
|
+
|
|
94
|
+
做法:对这些字段调 `get-field-values` 拿**全量字典** `[{code, value}]`,按 `code` 把导出列的值
|
|
95
|
+
换成 `value`,字典拉一次就能换整列。
|
|
96
|
+
|
|
97
|
+
**先看字典再决定要不要换**:有些枚举字段的 `code` 与 `value` 本就相同(如 `kw_commonSentimentV2`
|
|
98
|
+
通用情感V2标签,字典是 `负面/负面`、`正面/正面`),导出的已是中文、无需转换;两者不同的才要换。
|
|
99
|
+
|
|
100
|
+
```bash
|
|
101
|
+
social-neuron-subscription get-field-values --field kw_docType
|
|
102
|
+
# → items: [{"code":"1","value":"帖子"}, {"code":"2","value":"原创帖"}, {"code":"5","value":"评论"}, ...]
|
|
103
|
+
# 导出文件里 kw_docType=1 的行 → 帖子
|
|
104
|
+
```
|
|
105
|
+
|
|
106
|
+
编码类字段取值上千(品牌标签约 7700 条),务必带 `--keyword` 收窄:
|
|
107
|
+
|
|
108
|
+
```bash
|
|
109
|
+
social-neuron-subscription get-field-values --field kw_tag_brand --keyword 兰
|
|
110
|
+
# → 命中约百条,如 [{"code":"V200500020023","value":"苏格兰百富"}, ...]
|
|
111
|
+
```
|
|
112
|
+
|
|
113
|
+
**返回空列表**说明该字段没有值字典(明文字段,或元数据侧还没配值来源)—— 空不等于出错,
|
|
114
|
+
别把 code 当中文直接发出去。
|
|
115
|
+
|
|
116
|
+
> 以上示例值实查自元数据(2026-10-12);字典由元数据侧维护、会变 —— **以 `get-field-values`
|
|
117
|
+
> 现查为准**,不要把这里的示例当权威映射。
|
|
118
|
+
|
|
119
|
+
### 七、两种取数模式:全部命中 vs 取前 N 条
|
|
120
|
+
|
|
121
|
+
**默认取全部命中的数据**(不传 `--top`)。`--top` **不改变筛选条件**,只是在同一批命中结果里
|
|
122
|
+
按某字段排序、只取前 N 条 —— 用户明确限定了条数时才用。
|
|
123
|
+
|
|
124
|
+
> 这不是"榜单数据" —— 跟平台自己的热搜榜/热门榜没有关系,数据源与筛选条件完全不变,
|
|
125
|
+
> 变的只是"给你全部"还是"给你排在前面的那几条"。
|
|
126
|
+
|
|
127
|
+
| | 默认(不传 `--top`) | 传 `--top` |
|
|
128
|
+
|---|---|---|
|
|
129
|
+
| 给什么 | 命中条件的**全部**数据 | 同一批命中里,排序后的**前 N 条** |
|
|
130
|
+
| `--size` | 默认/最大 **50 万**,到顶截断 | 默认 **1000**、最大 **10000** |
|
|
131
|
+
| 多条规则 | **各规则分别拉、结果拼接** | **OR 合并:命中任一规则即可** |
|
|
132
|
+
| 同时命中多条规则的数据 | **出现多次**(每条规则各一份) | **只出现一次** |
|
|
133
|
+
| 导出的 `kw_ruleId` | `["r1"]`(该份属哪条规则) | `["r1","r2"]`(命中的全部规则) |
|
|
134
|
+
| 取不满 size | 正常,有多少给多少 | 正常,说明命中数本来就少 |
|
|
135
|
+
|
|
136
|
+
排序**全局有效**:跨发布窗内所有日期、所有站点、所有规则排完再取前 N —— 不是每天各取 N,
|
|
137
|
+
也不是每个站点各取 N。
|
|
138
|
+
|
|
139
|
+
```bash
|
|
140
|
+
# 近 7 天抖音命中该规则的数据里,按点赞数取最高的 1000 条
|
|
141
|
+
social-neuron-subscription job-create --name 抖音高互动采样 --rule-ids '["12345"]' --source '["抖音"]' --published 'T-7~T-1' --top '[{"field":"kw_likeCount","order":"desc"}]' --size 1000 --frequency '每天早上8点' -y
|
|
142
|
+
```
|
|
143
|
+
|
|
144
|
+
`--top` 是 JSON 数组,多个字段按顺序作排序优先级(前者相同时比后者):
|
|
145
|
+
|
|
146
|
+
```bash
|
|
147
|
+
--top '[{"field":"kw_likeCount","order":"desc"},{"field":"date_publishedAt","order":"desc"}]'
|
|
148
|
+
# 先按点赞降序;点赞一样多的,新的排前面
|
|
149
|
+
```
|
|
150
|
+
|
|
151
|
+
**排序字段有类型限制** —— 只能用 `list-fields` 里 `data_type` 为
|
|
152
|
+
`keyword` / `long` / `double` / `date` 的字段。`text`(正文这类分词字段)、`boolean`、
|
|
153
|
+
`object`、`nested` 建 job 时直接拒。`order` 省略默认 `desc`。
|
|
154
|
+
|
|
155
|
+
想改回取全部:`job-update --top '[]'`。
|
|
156
|
+
|
|
157
|
+
**为什么取前 N 条的 size 反而小这么多**:它要让搜索引擎在全部索引上做一次全局排序,
|
|
158
|
+
深度排序的开销随 N 线性涨,默认那个 50 万放上去会拖垮集群。真要大批量高互动数据,
|
|
159
|
+
用默认模式 + 在魔方规则里加互动量阈值过滤,比用 `--top` 取 50 万健康得多。
|
|
160
|
+
|
|
161
|
+
### 八、导出文件里的 `kw_ruleId`(⚠️ 契约已变更)
|
|
162
|
+
|
|
163
|
+
导出的每条数据除了业务字段,还带一个 `kw_ruleId`,标明这条数据是被**哪条魔方规则**命中的。
|
|
164
|
+
|
|
165
|
+
> ⚠️ **它现在恒为数组**。此前是字符串(`"12345"`),现已统一成数组(`["12345"]`) ——
|
|
166
|
+
> 两种取数模式同形。按老格式解析的下游(直接当字符串比较 / 拼接 / 分组)**必须改**,
|
|
167
|
+
> 否则会拿到 `['12345']` 这样的字面量或整串 JSON。
|
|
168
|
+
|
|
169
|
+
```jsonc
|
|
170
|
+
// 默认模式:一片一规则,所以恒为单元素
|
|
171
|
+
{"_id": "abc", "kw_ruleId": ["12345"], "_source": {...}}
|
|
172
|
+
|
|
173
|
+
// 传了 --top:OR 合并,同时命中多条规则的数据只出一份,但把命中的都记下
|
|
174
|
+
{"_id": "abc", "kw_ruleId": ["12345", "67890"], "_source": {...}}
|
|
175
|
+
{"_id": "def", "kw_ruleId": ["67890"], "_source": {...}}
|
|
176
|
+
```
|
|
177
|
+
|
|
178
|
+
json 格式下就是 JSON 数组;csv / excel 下这一列落成紧凑 JSON 字符串(如 `["12345"]`),
|
|
179
|
+
按需自行解析。
|
|
180
|
+
|
|
181
|
+
### 九、容易踩的
|
|
182
|
+
|
|
183
|
+
- **拉不到数据就不会有文件**,`file_info` 里也就没有 url —— 这不是失败,是没命中。
|
|
184
|
+
- 单次导出 `--size`:默认模式下默认且最大 **50 万行**;传了 `--top` 则默认 **1000**、最大 **10000**,超出报错。
|
|
185
|
+
- 每个 token 生效的 job 默认 **≤10 个**,满了要先 `job-delete` 或停用。
|
|
186
|
+
- `--source` 只能填**已配置站点的中文名**(用 `list-sites` 查);写 `douyin.com` 这类域名会被拒。
|
|
187
|
+
- 投递目标本期只支持 **octo / sftp**(kafka 规划中);省略 `--target` 默认 octo。
|
|
188
|
+
- 传了 `--top` 时同时命中多条规则的数据只出现一份(`kw_ruleId` 里列出全部命中的规则);
|
|
189
|
+
不传时每条规则各出一份。按规则分组统计前先想清楚要哪种。
|
|
190
|
+
- `kw_ruleId` **恒为数组**(契约已变更,见八),别再当字符串用。
|
|
191
|
+
|
|
192
|
+
## 示例
|
|
193
|
+
|
|
194
|
+
### 建一个每天跑的订阅,并立刻先跑一次看看
|
|
195
|
+
|
|
196
|
+
```bash
|
|
197
|
+
# 1) 先看有哪些站点可订阅(--source 填的是中文站点名)
|
|
198
|
+
social-neuron-subscription list-sites
|
|
199
|
+
|
|
200
|
+
# 2) 再看该站点有哪些字段可导出(name_en 填 --fields)
|
|
201
|
+
social-neuron-subscription list-fields --source '["抖音"]' --keyword 情感
|
|
202
|
+
|
|
203
|
+
# 3) 建 job(频率用自然语言,系统转 cron)
|
|
204
|
+
social-neuron-subscription job-create --name 每日舆情 \
|
|
205
|
+
--rule-ids '["12345"]' --source '["抖音"]' \
|
|
206
|
+
--published 'T-7~T-1' --frequency '每天早上8点' -y
|
|
207
|
+
|
|
208
|
+
# 4) 不等 cron,手动触发一次
|
|
209
|
+
social-neuron-subscription job-trigger --job-id 1001 -y
|
|
210
|
+
```
|
|
211
|
+
|
|
212
|
+
> 站点与字段先查后填,别凭感觉写。写操作要加 -y;job-trigger 返回 task_id,拿它去轮询。
|
|
213
|
+
|
|
214
|
+
### 轮询拿下载地址
|
|
215
|
+
|
|
216
|
+
```bash
|
|
217
|
+
social-neuron-subscription task-list --job-id 1001 --page 1 --page-size 10
|
|
218
|
+
```
|
|
219
|
+
|
|
220
|
+
> status 到终态后读 file_info 里的 url;没命中数据时不会有文件,这不是失败。
|
|
221
|
+
|
|
222
|
+
### (用户要求中文时)把导出文件里的码值换成中文
|
|
223
|
+
|
|
224
|
+
```bash
|
|
225
|
+
# 0) 前提:用户明确要求要中文。否则按原值交付,不做这一步
|
|
226
|
+
# 1) 先看哪些字段的值是码(看 is_enum / is_code)
|
|
227
|
+
social-neuron-subscription list-fields --source '["抖音"]' --keyword 品牌
|
|
228
|
+
# → {"name_en":"kw_tag_brand","name":"品牌标签","data_type":"keyword","is_code":true}
|
|
229
|
+
|
|
230
|
+
# 2) 取该字段的值字典(品牌标签约 7700 条,带 keyword 收窄)
|
|
231
|
+
social-neuron-subscription get-field-values --field kw_tag_brand --keyword 兰
|
|
232
|
+
# → items: [{"code":"V200500020023","value":"苏格兰百富"}, ...]
|
|
233
|
+
|
|
234
|
+
# 3) 按 code 把导出文件里这一列换成 value(翻译在调用方做)
|
|
235
|
+
```
|
|
236
|
+
|
|
237
|
+
> 仅在用户要求时做,且由你在拿到数据后自己换 —— 系统不自动回显。is_enum / is_code 为真也不等于要换:先看字典,code 与 value 相同(如情感标签)就无需转换。
|
|
238
|
+
|
|
239
|
+
### 只要符合条件的前 N 条(按指定字段排序)
|
|
240
|
+
|
|
241
|
+
```bash
|
|
242
|
+
# 传了 --top 就从「给全部命中数据」改成「只给排序后的前 N 条」,筛选条件不变
|
|
243
|
+
social-neuron-subscription job-create --name 抖音高互动采样 \
|
|
244
|
+
--rule-ids '["12345"]' --source '["抖音"]' --published 'T-7~T-1' \
|
|
245
|
+
--top '[{"field":"kw_likeCount","order":"desc"}]' --size 1000 \
|
|
246
|
+
--frequency '每天早上8点' -y
|
|
247
|
+
```
|
|
248
|
+
|
|
249
|
+
> 排序跨发布窗内所有日期/站点/规则全局生效,不是每天各取 1000。排序字段只能是 keyword/long/double/date(用 list-fields 看 data_type);size 最大 10000。多规则在这个模式下是 OR 合并:同时命中多条的数据只出一份,kw_ruleId 里列出命中的全部规则。与平台自己的热搜/热门榜无关,数据源和筛选条件都没变。
|
|
250
|
+
|
|
251
|
+
### 临时停用一个订阅(保留定义)
|
|
252
|
+
|
|
253
|
+
```bash
|
|
254
|
+
social-neuron-subscription job-update --job-id 1001 --active false -y
|
|
255
|
+
```
|
|
256
|
+
|
|
257
|
+
> 只传要改的字段即可;彻底不要才用 job-delete。
|
|
14
258
|
|
|
15
259
|
## 命令
|
|
16
260
|
|
|
261
|
+
### social-neuron-subscription get-field-values
|
|
262
|
+
取字段值字典 [{code, value}];**仅在需要把导出的码值换成中文时按需取用**。
|
|
263
|
+
|
|
264
|
+
枚举字段与编码字段统一走这里(值从哪来是元数据内部的事,对外只有"有没有字典"之分)。
|
|
265
|
+
|
|
266
|
+
换值**不是订阅的标准步骤**:导出文件默认按大库原值交付,只有调用方(或其用户)明确要求
|
|
267
|
+
中文时才用这份字典自行替换 —— 系统不做出参自动回显,也不读产出的文件。
|
|
268
|
+
|
|
269
|
+
**空列表原样返回**:不在出参里猜原因 —— "该字段真是明文(本就无字典)"与"元数据侧没配值来源"
|
|
270
|
+
在出参上无法区分,猜错反而误导(说成"直接当原值用"会让调用方把一列 code 当中文发出去)。
|
|
271
|
+
|
|
272
|
+
**入参**
|
|
273
|
+
|
|
274
|
+
| flag | 字段 | 类型 | 必填 | 约束 | 说明 |
|
|
275
|
+
|---|---|---|---|---|---|
|
|
276
|
+
| --field | field | string | 是 | - | 字段 name_en(取自 list_fields);仅 is_enum / is_code 为真的字段有值字典(按需取用:只有要把导出的码值换成中文时才需要) |
|
|
277
|
+
| --keyword | keyword | string | 否 | maxLen=64 | 按中文值 / code 模糊过滤(如品牌搜「兰」);不传=全量,编码类字段(品牌/品类标签)可上千条,建议带 |
|
|
278
|
+
|
|
279
|
+
**出参 `SubFieldValueList`**
|
|
280
|
+
|
|
281
|
+
| 字段 | 类型 | 必填 | 约束 | 说明 |
|
|
282
|
+
|---|---|---|---|---|
|
|
283
|
+
| field | string | 是 | - | 字段 name_en(回显入参) |
|
|
284
|
+
| items | list[SubFieldValue] | 是 | - | 值字典 [{code, value}]:code 是导出列里存的值,value 是对应中文;明文字段无字典,返回空列表 |
|
|
285
|
+
| total | integer | 是 | - | 值总数 |
|
|
286
|
+
|
|
287
|
+
**对象 `SubFieldValue`** —— 值字典的一项。
|
|
288
|
+
|
|
289
|
+
刻意**不复用** ``commons.metadata.schemas.values.FieldValue``:那是元数据面的内部契约,
|
|
290
|
+
字段说明里带着上游系统的字段名(``tagCode`` / ``tagName`` 之类),对外没有意义也不该暴露。
|
|
291
|
+
这里只说调用方需要知道的两件事:导出列里存的是什么、对应的中文是什么。
|
|
292
|
+
|
|
293
|
+
| 键 | 类型 | 必填 | 约束 | 说明 |
|
|
294
|
+
|---|---|---|---|---|
|
|
295
|
+
| code | string | 是 | - | 编码值 —— 导出列里实际存的那个值(如 1、V200500020023) |
|
|
296
|
+
| value | string | 是 | - | 该编码值对应的中文 |
|
|
297
|
+
|
|
298
|
+
示例:social-neuron-subscription get-field-values --field <v>
|
|
299
|
+
|
|
17
300
|
### social-neuron-subscription job-create
|
|
18
301
|
创建订阅 job:数据范围 + 频率 + 投递 target(默认 octo);系统生成 job_id/cron。
|
|
19
302
|
|
|
@@ -21,13 +304,17 @@ metadata:
|
|
|
21
304
|
|
|
22
305
|
| flag | 字段 | 类型 | 必填 | 约束 | 说明 |
|
|
23
306
|
|---|---|---|---|---|---|
|
|
24
|
-
| --name | name | string | 是 | minLen=1, maxLen=128 | job
|
|
307
|
+
| --name | name | string | 是 | minLen=1, maxLen=128 | job 名称,同一凭证(token)下唯一 |
|
|
25
308
|
| --rule-ids | rule_ids | list[string] | 是 | minItems=1, minLen=1 | 魔方规则ID数组,至少 1 个 |
|
|
26
309
|
| --source | source | list[string] | 是 | minItems=1, minLen=1 | 站点数组,至少 1 个;只能取已配置站点 |
|
|
27
|
-
| --published | published |
|
|
310
|
+
| --published | published | string | 是 | - | **发布时间**口径(必填,主口径 —— 它同时决定查哪个月的索引、怎么拆分片,所以不能缺省)。支持两种相对时间口径:**按天 T-M~T-N** 与**按分钟 T-M@HH:mm~T-N@HH:mm**。M/N 是相对基准日的天数偏移,HH:mm 使用 24 小时制(00:00–23:59);基准时间取本次触发的 cron 槽位时间(东八区),手动触发取触发时间。**两个端点都必须写全且精度必须一致**:不接受 T-1 单值简写,也不允许T-1@07:00~T-0 这类按天、按分钟混用。所有口径均为左闭右闭区间 [start,end],即起止端点都包含。按天格式包含首尾自然日,查询时起始日补 00:00:00、结束日补 23:59:59。例如:T-0~T-0=今天;T-1~T-1=昨天;T-2~T-1=前天到昨天;T-7~T-1=近7天到昨天。按分钟格式包含首尾分钟,查询时起始分钟补 :00、结束分钟补 :59。例如:T-1@07:00~T-0@06:59=昨天07:00:00至今天06:59:59,完整覆盖昨天7点到今天6点时段;T-0@09:30~T-0@10:45=今天09:30:00至10:45:59。起点不得晚于终点;跨度最多 731 天(两年)、偏移最多 915 天(30个月),超限直接报错(不会静默回落)。 |
|
|
311
|
+
| --idate | idate | string | 否 | - | **入库时间**口径(选填,不传=该维度不过滤)。在发布时间窗**之内**再 AND 一层:入库时间落在本区间的数据。支持两种相对时间口径:**按天 T-M~T-N** 与**按分钟 T-M@HH:mm~T-N@HH:mm**。M/N 是相对基准日的天数偏移,HH:mm 使用 24 小时制(00:00–23:59);基准时间取本次触发的 cron 槽位时间(东八区),手动触发取触发时间。**两个端点都必须写全且精度必须一致**:不接受 T-1 单值简写,也不允许T-1@07:00~T-0 这类按天、按分钟混用。所有口径均为左闭右闭区间 [start,end],即起止端点都包含。按天格式包含首尾自然日,查询时起始日补 00:00:00、结束日补 23:59:59。例如:T-0~T-0=今天;T-1~T-1=昨天;T-2~T-1=前天到昨天;T-7~T-1=近7天到昨天。按分钟格式包含首尾分钟,查询时起始分钟补 :00、结束分钟补 :59。例如:T-1@07:00~T-0@06:59=昨天07:00:00至今天06:59:59,完整覆盖昨天7点到今天6点时段;T-0@09:30~T-0@10:45=今天09:30:00至10:45:59。起点不得晚于终点;跨度最多 731 天(两年)、偏移最多 915 天(30个月),超限直接报错(不会静默回落)。 |
|
|
312
|
+
| --udate | udate | string | 否 | - | **更新时间**口径(选填,不传=该维度不过滤)。在发布时间窗**之内**再 AND 一层:更新时间落在本区间的数据。支持两种相对时间口径:**按天 T-M~T-N** 与**按分钟 T-M@HH:mm~T-N@HH:mm**。M/N 是相对基准日的天数偏移,HH:mm 使用 24 小时制(00:00–23:59);基准时间取本次触发的 cron 槽位时间(东八区),手动触发取触发时间。**两个端点都必须写全且精度必须一致**:不接受 T-1 单值简写,也不允许T-1@07:00~T-0 这类按天、按分钟混用。所有口径均为左闭右闭区间 [start,end],即起止端点都包含。按天格式包含首尾自然日,查询时起始日补 00:00:00、结束日补 23:59:59。例如:T-0~T-0=今天;T-1~T-1=昨天;T-2~T-1=前天到昨天;T-7~T-1=近7天到昨天。按分钟格式包含首尾分钟,查询时起始分钟补 :00、结束分钟补 :59。例如:T-1@07:00~T-0@06:59=昨天07:00:00至今天06:59:59,完整覆盖昨天7点到今天6点时段;T-0@09:30~T-0@10:45=今天09:30:00至10:45:59。起点不得晚于终点;跨度最多 731 天(两年)、偏移最多 915 天(30个月),超限直接报错(不会静默回落)。 |
|
|
28
313
|
| --frequency | frequency | string | 是 | minLen=1, maxLen=64 | 自然语言同步频率,系统转 cron(东八区)。可指定具体时间、并**支持一天多次**:如「每天9点」「每天9点和15点」(一天跑两次)「每周一9点」「每小时」「每30分钟」。无法解析为 cron 会被拒绝。 |
|
|
29
314
|
| --fields | fields | list[string] | 否 | minLen=1 | 拉取/导出字段;不填拉全量 |
|
|
30
|
-
| --
|
|
315
|
+
| --size | size | integer | 否 | min=1, max=500000 | 每次执行最多导出的记录行数。省略则按模式取默认:取全部命中 500,000(同时是上限);传了 top(只取前 N 条)则默认 1,000、上限 10,000 |
|
|
316
|
+
| --target | target | OctoTarget、SftpTarget、KafkaTarget | 否 | - | 投递目标;省略默认 octo(json)。本期支持 octo(上传存储→CDN url)与 sftp(账密上传远端,路径/文件名可用日期变量);kafka: 暂未实现。 |
|
|
317
|
+
| --top | top | list[TopSpec] | 否 | - | 只取前 N 条(可选)。**不改变筛选条件** —— 省略时给命中条件的全部数据,传了则在同一批命中结果里按指定字段排序、只取前 size 条。排序跨发布窗内所有日期 / 站点 / 规则**全局生效**(不是每天各取 N)。多字段按顺序作排序优先级(前者相同时比后者)。字段必须是可排序类型(keyword / long / double / date)。该模式下 size 默认 1,000、最大 10,000;且多条规则改为 OR 合并并去重,导出的 kw_ruleId 恒为 topN、无法区分来源规则 |
|
|
31
318
|
|
|
32
319
|
**对象 `KafkaTarget`** —— kafka(规划):把记录流投送到 topic(无文件)。
|
|
33
320
|
|
|
@@ -46,6 +333,8 @@ metadata:
|
|
|
46
333
|
| format | enum(csv、excel、json) | 否 | - | 文件格式:csv/excel/json(默认 json) |
|
|
47
334
|
|
|
48
335
|
**对象 `SftpTarget`** —— sftp(本期):把导出文件上传到 SFTP 远端目录。
|
|
336
|
+
目录与文件名都支持日期变量 ``yyyyMMdd`` / ``yyyyMM`` / ``yyyy``,同一个 task
|
|
337
|
+
重跑多少次,远端路径与文件名都不变。
|
|
49
338
|
|
|
50
339
|
| 键 | 类型 | 必填 | 约束 | 说明 |
|
|
51
340
|
|---|---|---|---|---|
|
|
@@ -54,28 +343,40 @@ metadata:
|
|
|
54
343
|
| port | integer | 否 | - | 端口,默认 22 |
|
|
55
344
|
| username | string | 是 | - | 登录用户名 |
|
|
56
345
|
| password | string | 是 | - | 登录密码 |
|
|
57
|
-
| remote_path | string | 是 | - |
|
|
346
|
+
| remote_path | string | 是 | - | 远端目录/路径。可在**任意一层**用日期变量,但变量必须**独占一层**:`/data/sub/yyyyMM/yyyyMMdd` 合法,`/data/sub_yyyyMMdd` 非法。只认 yyyyMMdd / yyyyMM / yyyy 三种;不允许 '..'、空目录层。 |
|
|
347
|
+
| filename_template | string | 否 | - | 自定义文件名模板(不含扩展名)。只允许字母、数字、'_'、'-' 与日期变量,且变量前后必须是 '_' 或首尾:`daily_yyyyMMdd_export`、`yyyyMM_summary` 合法,`dailyyyyyMMdd`、`report-yyyyMMdd-x` 非法。系统统一追加 `_<task_id>` 与扩展名。不传=沿用默认 `<job_id>_<task_id>.<ext>`。 |
|
|
58
348
|
| format | enum(csv、excel、json) | 否 | - | 文件格式:csv/excel/json(默认 json) |
|
|
59
349
|
|
|
350
|
+
**对象 `TopSpec`** —— 全局TopN排序规格(subscription专用)。
|
|
351
|
+
|
|
352
|
+
| 键 | 类型 | 必填 | 约束 | 说明 |
|
|
353
|
+
|---|---|---|---|---|
|
|
354
|
+
| field | string | 是 | - | 排序字段(name_en);仅支持可排序类型(keyword/long/double/date) |
|
|
355
|
+
| order | enum(asc、desc) | 否 | - | 排序方向:desc降序(取最大的N个)/asc升序(取最小的N个) |
|
|
356
|
+
|
|
60
357
|
**出参 `SubJob`**
|
|
61
358
|
|
|
62
359
|
| 字段 | 类型 | 必填 | 约束 | 说明 |
|
|
63
360
|
|---|---|---|---|---|
|
|
64
|
-
| job_id | integer | 是 | - | job ID
|
|
65
|
-
| name | string | 是 | - | job
|
|
361
|
+
| job_id | integer | 是 | - | job ID |
|
|
362
|
+
| name | string | 是 | - | job 名称,同一凭证(token)下唯一 |
|
|
66
363
|
| rule_ids | list[string] | 是 | - | 魔方规则ID数组 |
|
|
67
364
|
| source | list[string] | 是 | - | 站点数组 |
|
|
68
|
-
| published | string | 是 | - |
|
|
365
|
+
| published | string | 是 | - | 发布时间口径(相对,支持按天或按分钟);触发时按 task_time 折算成绝对时间区间 |
|
|
366
|
+
| idate | string | 是 | - | 入库时间口径(相对,按天或按分钟);null=该维度不过滤 |
|
|
367
|
+
| udate | string | 是 | - | 更新时间口径(相对,按天或按分钟);null=该维度不过滤 |
|
|
69
368
|
| fields | list[string] | 是 | - | 拉取/导出字段(空=全量) |
|
|
369
|
+
| size | integer | 是 | - | 每次执行最多导出的记录行数;取全部命中时上限 500000,只取前 N 条时上限 10000 |
|
|
370
|
+
| top | list[object] | 否 | - | 只取前 N 条的排序定义 [{field, order}];null = 给命中条件的全部数据。非 null 时每次执行只取按该排序排在前 size 条的数据 |
|
|
70
371
|
| frequency | string | 是 | - | 自然语言频率 |
|
|
71
372
|
| cron | string | 是 | - | 系统由 frequency 转换的 cron |
|
|
72
|
-
| target_type | string | 是 | - | 投递类型:octo(
|
|
373
|
+
| target_type | string | 是 | - | 投递类型:octo、sftp、kafka(暂不支持) |
|
|
73
374
|
| target_info | object | 是 | - | 投递配置 |
|
|
74
375
|
| active | integer | 是 | - | 1 生效 / 0 停用 |
|
|
75
376
|
| created_at | string | 是 | - | 创建时间(ISO8601,UTC+8) |
|
|
76
377
|
| updated_at | string | 是 | - | 更新时间(ISO8601,UTC+8) |
|
|
77
378
|
|
|
78
|
-
示例:social-neuron-subscription job-create --name <v> --rule-ids
|
|
379
|
+
示例:social-neuron-subscription job-create --name <v> --rule-ids '["a","b"]' --source '["a","b"]' --published <v> --frequency <v>
|
|
79
380
|
|
|
80
381
|
### social-neuron-subscription job-delete
|
|
81
382
|
软删除本人 job:置 active=0(记录保留,可 job_update 恢复)。
|
|
@@ -111,30 +412,35 @@ metadata:
|
|
|
111
412
|
| items | list[SubJob] | 是 | - | 本人 job 列表,按创建时间倒序(全量) |
|
|
112
413
|
| total | integer | 是 | - | 命中总数 |
|
|
113
414
|
|
|
114
|
-
**对象 `SubJob`** —— 订阅 job
|
|
415
|
+
**对象 `SubJob`** —— 订阅 job 出参对象。
|
|
115
416
|
|
|
116
417
|
| 键 | 类型 | 必填 | 约束 | 说明 |
|
|
117
418
|
|---|---|---|---|---|
|
|
118
|
-
| job_id | integer | 是 | - | job ID
|
|
119
|
-
| name | string | 是 | - | job
|
|
419
|
+
| job_id | integer | 是 | - | job ID |
|
|
420
|
+
| name | string | 是 | - | job 名称,同一凭证(token)下唯一 |
|
|
120
421
|
| rule_ids | list[string] | 是 | - | 魔方规则ID数组 |
|
|
121
422
|
| source | list[string] | 是 | - | 站点数组 |
|
|
122
|
-
| published | string | 是 | - |
|
|
423
|
+
| published | string | 是 | - | 发布时间口径(相对,支持按天或按分钟);触发时按 task_time 折算成绝对时间区间 |
|
|
424
|
+
| idate | string | 是 | - | 入库时间口径(相对,按天或按分钟);null=该维度不过滤 |
|
|
425
|
+
| udate | string | 是 | - | 更新时间口径(相对,按天或按分钟);null=该维度不过滤 |
|
|
123
426
|
| fields | list[string] | 是 | - | 拉取/导出字段(空=全量) |
|
|
427
|
+
| size | integer | 是 | - | 每次执行最多导出的记录行数;取全部命中时上限 500000,只取前 N 条时上限 10000 |
|
|
428
|
+
| top | list[object] | 否 | - | 只取前 N 条的排序定义 [{field, order}];null = 给命中条件的全部数据。非 null 时每次执行只取按该排序排在前 size 条的数据 |
|
|
124
429
|
| frequency | string | 是 | - | 自然语言频率 |
|
|
125
430
|
| cron | string | 是 | - | 系统由 frequency 转换的 cron |
|
|
126
|
-
| target_type | string | 是 | - | 投递类型:octo(
|
|
431
|
+
| target_type | string | 是 | - | 投递类型:octo、sftp、kafka(暂不支持) |
|
|
127
432
|
| target_info | object | 是 | - | 投递配置 |
|
|
128
433
|
| active | integer | 是 | - | 1 生效 / 0 停用 |
|
|
129
434
|
| created_at | string | 是 | - | 创建时间(ISO8601,UTC+8) |
|
|
130
435
|
| updated_at | string | 是 | - | 更新时间(ISO8601,UTC+8) |
|
|
131
436
|
|
|
132
|
-
示例:social-neuron-subscription job-list
|
|
437
|
+
示例:social-neuron-subscription job-list
|
|
133
438
|
|
|
134
439
|
### social-neuron-subscription job-trigger
|
|
135
|
-
临时触发一次本人 job,落一条
|
|
440
|
+
临时触发一次本人 job,落一条 ik_subscription_task(manual);默认用 job 存的 target,可覆盖。
|
|
136
441
|
|
|
137
|
-
落 pending task 后触发 Airflow DAG(``
|
|
442
|
+
落 pending task 后触发 Airflow DAG(``social_capability_subscription``)
|
|
443
|
+
跑取数→组装→投递(上传取 url);
|
|
138
444
|
未配 airflow_base_url 时(本地/测试)触发被跳过,仅留 pending task。**无通知**:结果落
|
|
139
445
|
``file_info.url``,调用方轮询 ``task-list`` 拉取。
|
|
140
446
|
|
|
@@ -143,9 +449,14 @@ metadata:
|
|
|
143
449
|
| flag | 字段 | 类型 | 必填 | 约束 | 说明 |
|
|
144
450
|
|---|---|---|---|---|---|
|
|
145
451
|
| --job-id | job_id | integer | 是 | - | 目标 job |
|
|
146
|
-
| --start-time | start_time | string | 否 | - |
|
|
147
|
-
| --end-time | end_time | string | 否 | - |
|
|
452
|
+
| --start-time | start_time | string | 否 | - | **发布时间**闭区间下界(东八区)。支持 yyyy-MM-dd(整日)、yyyy-MM-ddTHH:mm(整分钟);与 end_time 同传同不传;不传则按 job 上的 published 相对口径折算 |
|
|
453
|
+
| --end-time | end_time | string | 否 | - | **发布时间**闭区间上界(东八区,精度须与下界一致);日期包含整日,分钟包含整分钟 |
|
|
454
|
+
| --idate-start | idate_start | string | 否 | - | **入库时间**闭区间下界(东八区,支持日期/分钟);与 idate_end 同传同不传;不传则按 job 上的 idate 相对口径折算,job 也没配=该维度不过滤 |
|
|
455
|
+
| --idate-end | idate_end | string | 否 | - | 本次**入库时间**闭区间上界(东八区,精度须与下界一致) |
|
|
456
|
+
| --udate-start | udate_start | string | 否 | - | **更新时间**闭区间下界(东八区,支持日期/分钟);与 udate_end 同传同不传;不传则按 job 上的 udate 相对口径折算,job 也没配=该维度不过滤 |
|
|
457
|
+
| --udate-end | udate_end | string | 否 | - | **更新时间**闭区间上界(东八区,精度须与下界一致) |
|
|
148
458
|
| --target | target | OctoTarget、SftpTarget、KafkaTarget | 否 | - | 覆盖本次投递目标 |
|
|
459
|
+
| --size | size | integer | 否 | min=1, max=500000 | 覆盖本次导出行数;不传则继承 job 的 size,最大 500000 |
|
|
149
460
|
|
|
150
461
|
**对象 `KafkaTarget`** —— kafka(规划):把记录流投送到 topic(无文件)。
|
|
151
462
|
|
|
@@ -164,6 +475,8 @@ metadata:
|
|
|
164
475
|
| format | enum(csv、excel、json) | 否 | - | 文件格式:csv/excel/json(默认 json) |
|
|
165
476
|
|
|
166
477
|
**对象 `SftpTarget`** —— sftp(本期):把导出文件上传到 SFTP 远端目录。
|
|
478
|
+
目录与文件名都支持日期变量 ``yyyyMMdd`` / ``yyyyMM`` / ``yyyy``,同一个 task
|
|
479
|
+
重跑多少次,远端路径与文件名都不变。
|
|
167
480
|
|
|
168
481
|
| 键 | 类型 | 必填 | 约束 | 说明 |
|
|
169
482
|
|---|---|---|---|---|
|
|
@@ -172,7 +485,8 @@ metadata:
|
|
|
172
485
|
| port | integer | 否 | - | 端口,默认 22 |
|
|
173
486
|
| username | string | 是 | - | 登录用户名 |
|
|
174
487
|
| password | string | 是 | - | 登录密码 |
|
|
175
|
-
| remote_path | string | 是 | - |
|
|
488
|
+
| remote_path | string | 是 | - | 远端目录/路径。可在**任意一层**用日期变量,但变量必须**独占一层**:`/data/sub/yyyyMM/yyyyMMdd` 合法,`/data/sub_yyyyMMdd` 非法。只认 yyyyMMdd / yyyyMM / yyyy 三种;不允许 '..'、空目录层。 |
|
|
489
|
+
| filename_template | string | 否 | - | 自定义文件名模板(不含扩展名)。只允许字母、数字、'_'、'-' 与日期变量,且变量前后必须是 '_' 或首尾:`daily_yyyyMMdd_export`、`yyyyMM_summary` 合法,`dailyyyyyMMdd`、`report-yyyyMMdd-x` 非法。系统统一追加 `_<task_id>` 与扩展名。不传=沿用默认 `<job_id>_<task_id>.<ext>`。 |
|
|
176
490
|
| format | enum(csv、excel、json) | 否 | - | 文件格式:csv/excel/json(默认 json) |
|
|
177
491
|
|
|
178
492
|
**出参 `SubJobTriggerResult`**
|
|
@@ -192,13 +506,17 @@ metadata:
|
|
|
192
506
|
| flag | 字段 | 类型 | 必填 | 约束 | 说明 |
|
|
193
507
|
|---|---|---|---|---|---|
|
|
194
508
|
| --job-id | job_id | integer | 是 | - | 目标 job |
|
|
195
|
-
| --name | name | string | 否 | minLen=1, maxLen=128 | 新名称(
|
|
509
|
+
| --name | name | string | 否 | minLen=1, maxLen=128 | 新名称(同一凭证下唯一) |
|
|
196
510
|
| --rule-ids | rule_ids | list[string] | 否 | minItems=1, minLen=1 | 整组全量覆盖 |
|
|
197
511
|
| --source | source | list[string] | 否 | minItems=1, minLen=1 | 整组全量覆盖 |
|
|
198
|
-
| --published | published |
|
|
512
|
+
| --published | published | string | 否 | - | **发布时间**口径(必填字段,只能改不能清)。支持两种相对时间口径:**按天 T-M~T-N** 与**按分钟 T-M@HH:mm~T-N@HH:mm**。M/N 是相对基准日的天数偏移,HH:mm 使用 24 小时制(00:00–23:59);基准时间取本次触发的 cron 槽位时间(东八区),手动触发取触发时间。**两个端点都必须写全且精度必须一致**:不接受 T-1 单值简写,也不允许T-1@07:00~T-0 这类按天、按分钟混用。所有口径均为左闭右闭区间 [start,end],即起止端点都包含。按天格式包含首尾自然日,查询时起始日补 00:00:00、结束日补 23:59:59。例如:T-0~T-0=今天;T-1~T-1=昨天;T-2~T-1=前天到昨天;T-7~T-1=近7天到昨天。按分钟格式包含首尾分钟,查询时起始分钟补 :00、结束分钟补 :59。例如:T-1@07:00~T-0@06:59=昨天07:00:00至今天06:59:59,完整覆盖昨天7点到今天6点时段;T-0@09:30~T-0@10:45=今天09:30:00至10:45:59。起点不得晚于终点;跨度最多 731 天(两年)、偏移最多 915 天(30个月),超限直接报错(不会静默回落)。 |
|
|
513
|
+
| --idate | idate | string | 否 | - | **入库时间**口径。不传=不改;传空串 ""=**清除**该维度(恢复成不过滤)。支持两种相对时间口径:**按天 T-M~T-N** 与**按分钟 T-M@HH:mm~T-N@HH:mm**。M/N 是相对基准日的天数偏移,HH:mm 使用 24 小时制(00:00–23:59);基准时间取本次触发的 cron 槽位时间(东八区),手动触发取触发时间。**两个端点都必须写全且精度必须一致**:不接受 T-1 单值简写,也不允许T-1@07:00~T-0 这类按天、按分钟混用。所有口径均为左闭右闭区间 [start,end],即起止端点都包含。按天格式包含首尾自然日,查询时起始日补 00:00:00、结束日补 23:59:59。例如:T-0~T-0=今天;T-1~T-1=昨天;T-2~T-1=前天到昨天;T-7~T-1=近7天到昨天。按分钟格式包含首尾分钟,查询时起始分钟补 :00、结束分钟补 :59。例如:T-1@07:00~T-0@06:59=昨天07:00:00至今天06:59:59,完整覆盖昨天7点到今天6点时段;T-0@09:30~T-0@10:45=今天09:30:00至10:45:59。起点不得晚于终点;跨度最多 731 天(两年)、偏移最多 915 天(30个月),超限直接报错(不会静默回落)。 |
|
|
514
|
+
| --udate | udate | string | 否 | - | **更新时间**口径。不传=不改;传空串 ""=**清除**该维度(恢复成不过滤)。支持两种相对时间口径:**按天 T-M~T-N** 与**按分钟 T-M@HH:mm~T-N@HH:mm**。M/N 是相对基准日的天数偏移,HH:mm 使用 24 小时制(00:00–23:59);基准时间取本次触发的 cron 槽位时间(东八区),手动触发取触发时间。**两个端点都必须写全且精度必须一致**:不接受 T-1 单值简写,也不允许T-1@07:00~T-0 这类按天、按分钟混用。所有口径均为左闭右闭区间 [start,end],即起止端点都包含。按天格式包含首尾自然日,查询时起始日补 00:00:00、结束日补 23:59:59。例如:T-0~T-0=今天;T-1~T-1=昨天;T-2~T-1=前天到昨天;T-7~T-1=近7天到昨天。按分钟格式包含首尾分钟,查询时起始分钟补 :00、结束分钟补 :59。例如:T-1@07:00~T-0@06:59=昨天07:00:00至今天06:59:59,完整覆盖昨天7点到今天6点时段;T-0@09:30~T-0@10:45=今天09:30:00至10:45:59。起点不得晚于终点;跨度最多 731 天(两年)、偏移最多 915 天(30个月),超限直接报错(不会静默回落)。 |
|
|
199
515
|
| --fields | fields | list[string] | 否 | minLen=1 | 整组全量覆盖 |
|
|
516
|
+
| --size | size | integer | 否 | min=1, max=500000 | 每次执行最多导出的记录行数;不传则不修改,最大 500000 |
|
|
200
517
|
| --frequency | frequency | string | 否 | minLen=1, maxLen=64 | 传入则按新频率重算 cron(用法同创建;支持一天多次,如「每天9点和15点」);无法解析为 cron 会被拒绝 |
|
|
201
518
|
| --target | target | OctoTarget、SftpTarget、KafkaTarget | 否 | - | 整体替换投递目标 |
|
|
519
|
+
| --top | top | list[TopSpec] | 否 | - | 只取前 N 条的排序规格:传入则整组替换,不传则不修改。切到该模式后 size 最大 10,000;传空数组 [] 表示改回「给全部命中数据」 |
|
|
202
520
|
| --active | active | enum(0、1) | 否 | - | 启停:1 / 0 |
|
|
203
521
|
|
|
204
522
|
**对象 `KafkaTarget`** —— kafka(规划):把记录流投送到 topic(无文件)。
|
|
@@ -218,6 +536,8 @@ metadata:
|
|
|
218
536
|
| format | enum(csv、excel、json) | 否 | - | 文件格式:csv/excel/json(默认 json) |
|
|
219
537
|
|
|
220
538
|
**对象 `SftpTarget`** —— sftp(本期):把导出文件上传到 SFTP 远端目录。
|
|
539
|
+
目录与文件名都支持日期变量 ``yyyyMMdd`` / ``yyyyMM`` / ``yyyy``,同一个 task
|
|
540
|
+
重跑多少次,远端路径与文件名都不变。
|
|
221
541
|
|
|
222
542
|
| 键 | 类型 | 必填 | 约束 | 说明 |
|
|
223
543
|
|---|---|---|---|---|
|
|
@@ -226,22 +546,34 @@ metadata:
|
|
|
226
546
|
| port | integer | 否 | - | 端口,默认 22 |
|
|
227
547
|
| username | string | 是 | - | 登录用户名 |
|
|
228
548
|
| password | string | 是 | - | 登录密码 |
|
|
229
|
-
| remote_path | string | 是 | - |
|
|
549
|
+
| remote_path | string | 是 | - | 远端目录/路径。可在**任意一层**用日期变量,但变量必须**独占一层**:`/data/sub/yyyyMM/yyyyMMdd` 合法,`/data/sub_yyyyMMdd` 非法。只认 yyyyMMdd / yyyyMM / yyyy 三种;不允许 '..'、空目录层。 |
|
|
550
|
+
| filename_template | string | 否 | - | 自定义文件名模板(不含扩展名)。只允许字母、数字、'_'、'-' 与日期变量,且变量前后必须是 '_' 或首尾:`daily_yyyyMMdd_export`、`yyyyMM_summary` 合法,`dailyyyyyMMdd`、`report-yyyyMMdd-x` 非法。系统统一追加 `_<task_id>` 与扩展名。不传=沿用默认 `<job_id>_<task_id>.<ext>`。 |
|
|
230
551
|
| format | enum(csv、excel、json) | 否 | - | 文件格式:csv/excel/json(默认 json) |
|
|
231
552
|
|
|
553
|
+
**对象 `TopSpec`** —— 全局TopN排序规格(subscription专用)。
|
|
554
|
+
|
|
555
|
+
| 键 | 类型 | 必填 | 约束 | 说明 |
|
|
556
|
+
|---|---|---|---|---|
|
|
557
|
+
| field | string | 是 | - | 排序字段(name_en);仅支持可排序类型(keyword/long/double/date) |
|
|
558
|
+
| order | enum(asc、desc) | 否 | - | 排序方向:desc降序(取最大的N个)/asc升序(取最小的N个) |
|
|
559
|
+
|
|
232
560
|
**出参 `SubJob`**
|
|
233
561
|
|
|
234
562
|
| 字段 | 类型 | 必填 | 约束 | 说明 |
|
|
235
563
|
|---|---|---|---|---|
|
|
236
|
-
| job_id | integer | 是 | - | job ID
|
|
237
|
-
| name | string | 是 | - | job
|
|
564
|
+
| job_id | integer | 是 | - | job ID |
|
|
565
|
+
| name | string | 是 | - | job 名称,同一凭证(token)下唯一 |
|
|
238
566
|
| rule_ids | list[string] | 是 | - | 魔方规则ID数组 |
|
|
239
567
|
| source | list[string] | 是 | - | 站点数组 |
|
|
240
|
-
| published | string | 是 | - |
|
|
568
|
+
| published | string | 是 | - | 发布时间口径(相对,支持按天或按分钟);触发时按 task_time 折算成绝对时间区间 |
|
|
569
|
+
| idate | string | 是 | - | 入库时间口径(相对,按天或按分钟);null=该维度不过滤 |
|
|
570
|
+
| udate | string | 是 | - | 更新时间口径(相对,按天或按分钟);null=该维度不过滤 |
|
|
241
571
|
| fields | list[string] | 是 | - | 拉取/导出字段(空=全量) |
|
|
572
|
+
| size | integer | 是 | - | 每次执行最多导出的记录行数;取全部命中时上限 500000,只取前 N 条时上限 10000 |
|
|
573
|
+
| top | list[object] | 否 | - | 只取前 N 条的排序定义 [{field, order}];null = 给命中条件的全部数据。非 null 时每次执行只取按该排序排在前 size 条的数据 |
|
|
242
574
|
| frequency | string | 是 | - | 自然语言频率 |
|
|
243
575
|
| cron | string | 是 | - | 系统由 frequency 转换的 cron |
|
|
244
|
-
| target_type | string | 是 | - | 投递类型:octo(
|
|
576
|
+
| target_type | string | 是 | - | 投递类型:octo、sftp、kafka(暂不支持) |
|
|
245
577
|
| target_info | object | 是 | - | 投递配置 |
|
|
246
578
|
| active | integer | 是 | - | 1 生效 / 0 停用 |
|
|
247
579
|
| created_at | string | 是 | - | 创建时间(ISO8601,UTC+8) |
|
|
@@ -249,6 +581,56 @@ metadata:
|
|
|
249
581
|
|
|
250
582
|
示例:social-neuron-subscription job-update --job-id <v>
|
|
251
583
|
|
|
584
|
+
### social-neuron-subscription list-fields
|
|
585
|
+
列出所选站点下可导出的字段:name_en(填 fields 用)、中文名、类型、是否枚举 / code。
|
|
586
|
+
|
|
587
|
+
``is_enum`` / ``is_code`` 为真的字段,导出文件里存的是枚举码 / 编码值;
|
|
588
|
+
**若**调用方要把它们换成中文,再调 ``get_field_values`` 取字典自行替换(按需,非必经步骤)。
|
|
589
|
+
|
|
590
|
+
**入参**
|
|
591
|
+
|
|
592
|
+
| flag | 字段 | 类型 | 必填 | 约束 | 说明 |
|
|
593
|
+
|---|---|---|---|---|---|
|
|
594
|
+
| --source | source | list[string] | 是 | minItems=1, minLen=1 | 站点数组(中文站点名,取自 list_sites),至少 1 个;返回这些站点下字段的并集 |
|
|
595
|
+
| --keyword | keyword | string | 否 | maxLen=64 | 按字段中文名 / name_en 模糊过滤(如「情感」「互动」);不传=该站点全部字段 |
|
|
596
|
+
|
|
597
|
+
**出参 `SubFieldList`**
|
|
598
|
+
|
|
599
|
+
| 字段 | 类型 | 必填 | 约束 | 说明 |
|
|
600
|
+
|---|---|---|---|---|
|
|
601
|
+
| items | list[SubField] | 是 | - | 字段列表(所选站点的并集,按 name_en 排序) |
|
|
602
|
+
| total | integer | 是 | - | 字段总数 |
|
|
603
|
+
|
|
604
|
+
**对象 `SubField`** —— 一个可导出字段(**订阅口径**:只给填 ``fields`` 与翻译列值要用的信息)。
|
|
605
|
+
|
|
606
|
+
| 键 | 类型 | 必填 | 约束 | 说明 |
|
|
607
|
+
|---|---|---|---|---|
|
|
608
|
+
| name_en | string | 是 | - | 字段标识(ES 字段名),即 job_create / job_update 的 fields 该填的值 |
|
|
609
|
+
| name | string | 是 | - | 字段中文名 —— 把用户说法对齐到 name_en 用 |
|
|
610
|
+
| data_type | string | 是 | - | 语义类型:keyword / text / long / double / date / boolean / object / nested |
|
|
611
|
+
| description | string | 否 | - | 字段描述;元数据未登记描述时为空串 |
|
|
612
|
+
| is_enum | boolean | 是 | - | 值来自内置枚举(如数据类型、情感):导出列存的是枚举码;如需换成中文,再按需调 get_field_values 取字典自行替换 |
|
|
613
|
+
| is_code | boolean | 是 | - | 值是编码值(如品牌标签、品类标签):导出列存的是 code 而非中文;如需换成中文,再按需调 get_field_values 取字典自行替换 |
|
|
614
|
+
|
|
615
|
+
示例:social-neuron-subscription list-fields --source '["a","b"]'
|
|
616
|
+
|
|
617
|
+
### social-neuron-subscription list-sites
|
|
618
|
+
列出可订阅站点(中文站点名)—— job_create / job_update 的 source 只能取这里的值。
|
|
619
|
+
|
|
620
|
+
**入参**
|
|
621
|
+
|
|
622
|
+
| flag | 字段 | 类型 | 必填 | 约束 | 说明 |
|
|
623
|
+
|---|---|---|---|---|---|
|
|
624
|
+
|
|
625
|
+
**出参 `SubSiteList`**
|
|
626
|
+
|
|
627
|
+
| 字段 | 类型 | 必填 | 约束 | 说明 |
|
|
628
|
+
|---|---|---|---|---|
|
|
629
|
+
| items | list[string] | 是 | - | 中文站点名列表,即 job_create / job_update 的 source 该填的值(按配置顺序) |
|
|
630
|
+
| total | integer | 是 | - | 站点总数 |
|
|
631
|
+
|
|
632
|
+
示例:social-neuron-subscription list-sites
|
|
633
|
+
|
|
252
634
|
### social-neuron-subscription task-list
|
|
253
635
|
列出某本人 job 的执行 task(翻页),可按 task_id 查单条、status/创建时间过滤,按创建时间排序。
|
|
254
636
|
|
|
@@ -272,12 +654,14 @@ metadata:
|
|
|
272
654
|
| items | list[SubTask] | 是 | - | task 列表,按 created_at 排序(方向由 sort 定,默认倒序) |
|
|
273
655
|
| total | integer | 是 | - | 命中总数 |
|
|
274
656
|
|
|
275
|
-
**对象 `SubTask`** —— 订阅 task 出参对象(
|
|
657
|
+
**对象 `SubTask`** —— 订阅 task 出参对象(**对外精简**:只给调用方轮询/下载所需)。
|
|
276
658
|
|
|
277
659
|
| 键 | 类型 | 必填 | 约束 | 说明 |
|
|
278
660
|
|---|---|---|---|---|
|
|
279
|
-
| task_id | integer | 是 | - | task ID
|
|
661
|
+
| task_id | integer | 是 | - | task ID |
|
|
280
662
|
| job_id | integer | 是 | - | 所属 job |
|
|
663
|
+
| size | integer | 是 | - | 本次执行最多导出的记录行数;取全部命中时上限 500000,只取前 N 条时上限 10000 |
|
|
664
|
+
| top | list[object] | 否 | - | 本次生效的排序快照 [{field, order}];null = 取了命中条件的全部数据。非 null 时本次只取按该排序排在前 size 条的数据 |
|
|
281
665
|
| status | string | 是 | - | pending/running/success/failed/terminated |
|
|
282
666
|
| file_info | object | 否 | - | 产物 + 下载入口,含 type 标识:octo→{type,name,format,rows,url};sftp→{...,url,path};kafka→{type,brokers,topic} |
|
|
283
667
|
| error_msg | string | 否 | - | 失败原因(status=failed 时给出;成功/进行中为空) |
|