tencentcloud-sdk-nodejs-dlc 4.0.348 → 4.0.349

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
@@ -76,6 +76,19 @@ export interface DeleteUserRequest {
76
76
  */
77
77
  UserIds: Array<string>;
78
78
  }
79
+ /**
80
+ * DescribeSparkAppJob请求参数结构体
81
+ */
82
+ export interface DescribeSparkAppJobRequest {
83
+ /**
84
+ * spark作业Id,与JobName同时存在时,JobName无效
85
+ */
86
+ JobId?: string;
87
+ /**
88
+ * spark作业名
89
+ */
90
+ JobName?: string;
91
+ }
79
92
  /**
80
93
  * CreateStoreLocation返回参数结构体
81
94
  */
@@ -129,44 +142,124 @@ export interface DescribeTablesResponse {
129
142
  RequestId?: string;
130
143
  }
131
144
  /**
132
- * 工作组信息
145
+ * spark作业详情
133
146
  */
134
- export interface WorkGroupInfo {
147
+ export interface SparkJobInfo {
135
148
  /**
136
- * 查询到的工作组唯一Id
149
+ * spark作业ID
137
150
  */
138
- WorkGroupId: number;
151
+ JobId: string;
139
152
  /**
140
- * 工作组名称
153
+ * spark作业名
141
154
  */
142
- WorkGroupName: string;
155
+ JobName: string;
143
156
  /**
144
- * 工作组描述
145
- 注意:此字段可能返回 null,表示取不到有效值。
146
- */
147
- WorkGroupDescription: string;
157
+ * spark作业类型,可去1或者2,1表示batch作业, 2表示streaming作业
158
+ */
159
+ JobType: number;
148
160
  /**
149
- * 工作组关联的用户数量
161
+ * 引擎名
150
162
  */
151
- UserNum: number;
163
+ DataEngine: string;
152
164
  /**
153
- * 工作组关联的用户集合
165
+ * 该字段已下线,请使用字段Datasource
166
+ */
167
+ Eni: string;
168
+ /**
169
+ * 程序包是否本地上传,cos或者lakefs
170
+ */
171
+ IsLocal: string;
172
+ /**
173
+ * 程序包路径
174
+ */
175
+ JobFile: string;
176
+ /**
177
+ * 角色ID
178
+ */
179
+ RoleArn: number;
180
+ /**
181
+ * spark作业运行主类
182
+ */
183
+ MainClass: string;
184
+ /**
185
+ * 命令行参数,spark作业命令行参数,空格分隔
186
+ */
187
+ CmdArgs: string;
188
+ /**
189
+ * spark原生配置,换行符分隔
190
+ */
191
+ JobConf: string;
192
+ /**
193
+ * 依赖jars是否本地上传,cos或者lakefs
194
+ */
195
+ IsLocalJars: string;
196
+ /**
197
+ * spark作业依赖jars,逗号分隔
198
+ */
199
+ JobJars: string;
200
+ /**
201
+ * 依赖文件是否本地上传,cos或者lakefs
202
+ */
203
+ IsLocalFiles: string;
204
+ /**
205
+ * spark作业依赖文件,逗号分隔
206
+ */
207
+ JobFiles: string;
208
+ /**
209
+ * spark作业driver资源大小
210
+ */
211
+ JobDriverSize: string;
212
+ /**
213
+ * spark作业executor资源大小
214
+ */
215
+ JobExecutorSize: string;
216
+ /**
217
+ * spark作业executor个数
218
+ */
219
+ JobExecutorNums: number;
220
+ /**
221
+ * spark流任务最大重试次数
222
+ */
223
+ JobMaxAttempts: number;
224
+ /**
225
+ * spark作业创建者
226
+ */
227
+ JobCreator: string;
228
+ /**
229
+ * spark作业创建时间
230
+ */
231
+ JobCreateTime: number;
232
+ /**
233
+ * spark作业更新时间
234
+ */
235
+ JobUpdateTime: number;
236
+ /**
237
+ * spark作业最近任务ID
238
+ */
239
+ CurrentTaskId: string;
240
+ /**
241
+ * spark作业最近运行状态
242
+ */
243
+ JobStatus: number;
244
+ /**
245
+ * spark流作业统计
154
246
  注意:此字段可能返回 null,表示取不到有效值。
155
247
  */
156
- UserSet: Array<UserMessage>;
248
+ StreamingStat: StreamingStatistics;
157
249
  /**
158
- * 工作组绑定的权限集合
250
+ * 数据源名
159
251
  注意:此字段可能返回 null,表示取不到有效值。
160
252
  */
161
- PolicySet: Array<Policy>;
162
- /**
163
- * 工作组的创建人
164
- */
165
- Creator: string;
253
+ DataSource: string;
254
+ }
255
+ /**
256
+ * DeleteSparkApp请求参数结构体
257
+ */
258
+ export interface DeleteSparkAppRequest {
166
259
  /**
167
- * 工作组的创建时间,形如2021-07-28 16:19:32
260
+ * spark应用名
168
261
  */
169
- CreateTime: string;
262
+ AppName: string;
170
263
  }
171
264
  /**
172
265
  * ModifyUser返回参数结构体
@@ -190,6 +283,31 @@ export interface DeleteScriptResponse {
190
283
  */
191
284
  RequestId?: string;
192
285
  }
286
+ /**
287
+ * 返回数据表的相关信息。
288
+ */
289
+ export interface TableInfo {
290
+ /**
291
+ * 数据表配置信息。
292
+ */
293
+ TableBaseInfo: TableBaseInfo;
294
+ /**
295
+ * 数据表格式。每次入参可选如下其一的KV结构,[TextFile,CSV,Json, Parquet, ORC, AVRD]。
296
+ */
297
+ DataFormat: DataFormat;
298
+ /**
299
+ * 数据表列信息。
300
+ */
301
+ Columns: Array<Column>;
302
+ /**
303
+ * 数据表分块信息。
304
+ */
305
+ Partitions: Array<Partition>;
306
+ /**
307
+ * 数据存储路径。当前仅支持cos路径,格式如下:cosn://bucket-name/filepath。
308
+ */
309
+ Location: string;
310
+ }
193
311
  /**
194
312
  * 任务类型,任务如SQL查询等。
195
313
  */
@@ -217,29 +335,22 @@ export interface DetachUserPolicyRequest {
217
335
  PolicySet?: Array<Policy>;
218
336
  }
219
337
  /**
220
- * 返回数据表的相关信息。
338
+ * DescribeSparkAppTasks返回参数结构体
221
339
  */
222
- export interface TableInfo {
340
+ export interface DescribeSparkAppTasksResponse {
223
341
  /**
224
- * 数据表配置信息。
225
- */
226
- TableBaseInfo: TableBaseInfo;
227
- /**
228
- * 数据表格式。每次入参可选如下其一的KV结构,[TextFile,CSV,Json, Parquet, ORC, AVRD]。
229
- */
230
- DataFormat: DataFormat;
231
- /**
232
- * 数据表列信息。
233
- */
234
- Columns: Array<Column>;
342
+ * 任务列表
343
+ 注意:此字段可能返回 null,表示取不到有效值。
344
+ */
345
+ Tasks: TaskResponseInfo;
235
346
  /**
236
- * 数据表分块信息。
347
+ * 任务总数
237
348
  */
238
- Partitions: Array<Partition>;
349
+ TotalCount: number;
239
350
  /**
240
- * 数据存储路径。当前仅支持cos路径,格式如下:cosn://bucket-name/filepath
351
+ * 唯一请求 ID,每次请求都会返回。定位问题时需要提供该次请求的 RequestId
241
352
  */
242
- Location: string;
353
+ RequestId?: string;
243
354
  }
244
355
  /**
245
356
  * DescribeTasks返回参数结构体
@@ -284,41 +395,6 @@ export interface DetachWorkGroupPolicyResponse {
284
395
  */
285
396
  RequestId?: string;
286
397
  }
287
- /**
288
- * 数据表数据格式。
289
- */
290
- export interface DataFormat {
291
- /**
292
- * 文本格式,TextFile。
293
- 注意:此字段可能返回 null,表示取不到有效值。
294
- */
295
- TextFile: TextFile;
296
- /**
297
- * 文本格式,CSV。
298
- 注意:此字段可能返回 null,表示取不到有效值。
299
- */
300
- CSV: CSV;
301
- /**
302
- * 文本格式,Json。
303
- 注意:此字段可能返回 null,表示取不到有效值。
304
- */
305
- Json: Other;
306
- /**
307
- * Parquet格式
308
- 注意:此字段可能返回 null,表示取不到有效值。
309
- */
310
- Parquet: Other;
311
- /**
312
- * ORC格式
313
- 注意:此字段可能返回 null,表示取不到有效值。
314
- */
315
- ORC: Other;
316
- /**
317
- * AVRO格式
318
- 注意:此字段可能返回 null,表示取不到有效值。
319
- */
320
- AVRO: Other;
321
- }
322
398
  /**
323
399
  * CSV序列化及反序列化数据结构
324
400
  */
@@ -336,6 +412,91 @@ export interface CSVSerde {
336
412
  */
337
413
  Separator?: string;
338
414
  }
415
+ /**
416
+ * ModifySparkApp请求参数结构体
417
+ */
418
+ export interface ModifySparkAppRequest {
419
+ /**
420
+ * spark应用名
421
+ */
422
+ AppName: string;
423
+ /**
424
+ * 1代表spark jar应用,2代表spark streaming应用
425
+ */
426
+ AppType: number;
427
+ /**
428
+ * 执行spark作业的数据引擎
429
+ */
430
+ DataEngine: string;
431
+ /**
432
+ * spark应用的执行入口
433
+ */
434
+ AppFile: string;
435
+ /**
436
+ * 执行spark作业的角色ID
437
+ */
438
+ RoleArn: number;
439
+ /**
440
+ * spark作业driver资源规格大小, 可取small,medium,large,xlarge
441
+ */
442
+ AppDriverSize: string;
443
+ /**
444
+ * spark作业executor资源规格大小, 可取small,medium,large,xlarge
445
+ */
446
+ AppExecutorSize: string;
447
+ /**
448
+ * spark作业executor个数
449
+ */
450
+ AppExecutorNums: number;
451
+ /**
452
+ * spark应用Id
453
+ */
454
+ SparkAppId: string;
455
+ /**
456
+ * 该字段已下线,请使用字段Datasource
457
+ */
458
+ Eni?: string;
459
+ /**
460
+ * 是否本地上传,可取cos,lakefs
461
+ */
462
+ IsLocal?: string;
463
+ /**
464
+ * spark jar作业时的主类
465
+ */
466
+ MainClass?: string;
467
+ /**
468
+ * spark配置,以换行符分隔
469
+ */
470
+ AppConf?: string;
471
+ /**
472
+ * 是否本地上传,可去cos,lakefs
473
+ */
474
+ IsLocalJars?: string;
475
+ /**
476
+ * spark jar作业依赖jars,以逗号分隔
477
+ */
478
+ AppJars?: string;
479
+ /**
480
+ * 是否本地上传,可去cos,lakefs
481
+ */
482
+ IsLocalFiles?: string;
483
+ /**
484
+ * spark作业依赖资源,以逗号分隔
485
+ */
486
+ AppFiles?: string;
487
+ /**
488
+ * spark作业命令行参数
489
+ */
490
+ CmdArgs?: string;
491
+ /**
492
+ * 只对spark流任务生效
493
+ */
494
+ MaxRetries?: number;
495
+ /**
496
+ * 数据源名
497
+ */
498
+ DataSource?: string;
499
+ }
339
500
  /**
340
501
  * CreateDatabase请求参数结构体
341
502
  */
@@ -431,39 +592,17 @@ export interface DescribeTasksRequest {
431
592
  DataEngineName?: string;
432
593
  }
433
594
  /**
434
- * script实例。
595
+ * CreateSparkAppTask请求参数结构体
435
596
  */
436
- export interface Script {
597
+ export interface CreateSparkAppTaskRequest {
437
598
  /**
438
- * 脚本Id,长度36字节。
439
- 注意:此字段可能返回 null,表示取不到有效值。
440
- */
441
- ScriptId: string;
442
- /**
443
- * 脚本名称,长度0-25。
444
- 注意:此字段可能返回 null,表示取不到有效值。
445
- */
446
- ScriptName: string;
447
- /**
448
- * 脚本描述,长度0-50。
449
- 注意:此字段可能返回 null,表示取不到有效值。
450
- */
451
- ScriptDesc: string;
452
- /**
453
- * 默认关联数据库。
454
- 注意:此字段可能返回 null,表示取不到有效值。
455
- */
456
- DatabaseName: string;
457
- /**
458
- * SQL描述,长度0-10000。
459
- 注意:此字段可能返回 null,表示取不到有效值。
460
- */
461
- SQLStatement: string;
599
+ * spark作业名
600
+ */
601
+ JobName: string;
462
602
  /**
463
- * 更新时间戳, 单位:ms。
464
- 注意:此字段可能返回 null,表示取不到有效值。
465
- */
466
- UpdateTime: number;
603
+ * spark作业的命令行参数,以空格分隔;一般用于周期性调用使用
604
+ */
605
+ CmdArgs?: string;
467
606
  }
468
607
  /**
469
608
  * DeleteWorkGroup请求参数结构体
@@ -522,6 +661,19 @@ export interface TableBaseInfo {
522
661
  */
523
662
  TableFormat?: string;
524
663
  }
664
+ /**
665
+ * AttachUserPolicy请求参数结构体
666
+ */
667
+ export interface AttachUserPolicyRequest {
668
+ /**
669
+ * 用户Id,和子用户uin相同,需要先使用CreateUser接口创建用户。可以使用DescribeUsers接口查看。
670
+ */
671
+ UserId: string;
672
+ /**
673
+ * 鉴权策略集合
674
+ */
675
+ PolicySet?: Array<Policy>;
676
+ }
525
677
  /**
526
678
  * 批量顺序执行任务集合
527
679
  */
@@ -587,6 +739,39 @@ export interface CreateStoreLocationRequest {
587
739
  */
588
740
  StoreLocation: string;
589
741
  }
742
+ /**
743
+ * DescribeSparkAppJobs请求参数结构体
744
+ */
745
+ export interface DescribeSparkAppJobsRequest {
746
+ /**
747
+ * 返回结果按照该字段排序
748
+ */
749
+ SortBy?: string;
750
+ /**
751
+ * 正序或者倒序,例如:desc
752
+ */
753
+ Sorting?: string;
754
+ /**
755
+ * 按照该参数过滤
756
+ */
757
+ Filters?: Array<Filter>;
758
+ /**
759
+ * 更新时间起始点
760
+ */
761
+ StartTime?: string;
762
+ /**
763
+ * 更新时间截止点
764
+ */
765
+ EndTime?: string;
766
+ /**
767
+ * 查询列表偏移量
768
+ */
769
+ Offset?: number;
770
+ /**
771
+ * 查询列表限制数量
772
+ */
773
+ Limit?: number;
774
+ }
590
775
  /**
591
776
  * 数据表分块信息。
592
777
  */
@@ -641,17 +826,36 @@ export interface CreateTaskRequest {
641
826
  DataEngineName?: string;
642
827
  }
643
828
  /**
644
- * 数据库和数据表属性信息
829
+ * ModifySparkApp返回参数结构体
645
830
  */
646
- export interface Property {
831
+ export interface ModifySparkAppResponse {
647
832
  /**
648
- * 属性key名称。
833
+ * 唯一请求 ID,每次请求都会返回。定位问题时需要提供该次请求的 RequestId。
649
834
  */
650
- Key: string;
835
+ RequestId?: string;
836
+ }
837
+ /**
838
+ * CSV类型数据格式
839
+ */
840
+ export interface CSV {
651
841
  /**
652
- * 属性key对应的value
842
+ * 压缩格式,["Snappy", "Gzip", "None"选一]
653
843
  */
654
- Value: string;
844
+ CodeCompress?: string;
845
+ /**
846
+ * CSV序列化及反序列化数据结构。
847
+ */
848
+ CSVSerde?: CSVSerde;
849
+ /**
850
+ * 标题行,默认为0。
851
+ 注意:此字段可能返回 null,表示取不到有效值。
852
+ */
853
+ HeadLines?: number;
854
+ /**
855
+ * 格式,默认值为CSV
856
+ 注意:此字段可能返回 null,表示取不到有效值。
857
+ */
858
+ Format?: string;
655
859
  }
656
860
  /**
657
861
  * CreateTable请求参数结构体
@@ -735,6 +939,24 @@ export interface DescribeScriptsRequest {
735
939
  */
736
940
  Filters?: Array<Filter>;
737
941
  }
942
+ /**
943
+ * DescribeSparkAppJob返回参数结构体
944
+ */
945
+ export interface DescribeSparkAppJobResponse {
946
+ /**
947
+ * spark作业详情
948
+ 注意:此字段可能返回 null,表示取不到有效值。
949
+ */
950
+ Job: SparkJobInfo;
951
+ /**
952
+ * 查询的spark作业是否存在
953
+ */
954
+ IsExists: boolean;
955
+ /**
956
+ * 唯一请求 ID,每次请求都会返回。定位问题时需要提供该次请求的 RequestId。
957
+ */
958
+ RequestId?: string;
959
+ }
738
960
  /**
739
961
  * DeleteUsersFromWorkGroup返回参数结构体
740
962
  */
@@ -887,17 +1109,83 @@ export interface ModifyWorkGroupResponse {
887
1109
  RequestId?: string;
888
1110
  }
889
1111
  /**
890
- * AttachUserPolicy请求参数结构体
1112
+ * ModifyUser请求参数结构体
891
1113
  */
892
- export interface AttachUserPolicyRequest {
1114
+ export interface ModifyUserRequest {
893
1115
  /**
894
- * 用户Id,和子用户uin相同,需要先使用CreateUser接口创建用户。可以使用DescribeUsers接口查看。
1116
+ * 用户Id,和CAM侧Uin匹配
895
1117
  */
896
1118
  UserId: string;
897
1119
  /**
898
- * 鉴权策略集合
1120
+ * 用户描述
899
1121
  */
900
- PolicySet?: Array<Policy>;
1122
+ UserDescription: string;
1123
+ }
1124
+ /**
1125
+ * spark流任务统计信息
1126
+ */
1127
+ export interface StreamingStatistics {
1128
+ /**
1129
+ * 任务开始时间
1130
+ */
1131
+ StartTime: string;
1132
+ /**
1133
+ * 数据接收器数
1134
+ */
1135
+ Receivers: number;
1136
+ /**
1137
+ * 运行中的接收器数
1138
+ */
1139
+ NumActiveReceivers: number;
1140
+ /**
1141
+ * 不活跃的接收器数
1142
+ */
1143
+ NumInactiveReceivers: number;
1144
+ /**
1145
+ * 运行中的批数
1146
+ */
1147
+ NumActiveBatches: number;
1148
+ /**
1149
+ * 待处理的批数
1150
+ */
1151
+ NumRetainedCompletedBatches: number;
1152
+ /**
1153
+ * 已完成的批数
1154
+ */
1155
+ NumTotalCompletedBatches: number;
1156
+ /**
1157
+ * 平均输入速率
1158
+ */
1159
+ AverageInputRate: number;
1160
+ /**
1161
+ * 平均等待时长
1162
+ */
1163
+ AverageSchedulingDelay: number;
1164
+ /**
1165
+ * 平均处理时长
1166
+ */
1167
+ AverageProcessingTime: number;
1168
+ /**
1169
+ * 平均延时
1170
+ */
1171
+ AverageTotalDelay: number;
1172
+ }
1173
+ /**
1174
+ * CreateSparkAppTask返回参数结构体
1175
+ */
1176
+ export interface CreateSparkAppTaskResponse {
1177
+ /**
1178
+ * 批Id
1179
+ */
1180
+ BatchId: string;
1181
+ /**
1182
+ * 任务Id
1183
+ */
1184
+ TaskId: string;
1185
+ /**
1186
+ * 唯一请求 ID,每次请求都会返回。定位问题时需要提供该次请求的 RequestId。
1187
+ */
1188
+ RequestId?: string;
901
1189
  }
902
1190
  /**
903
1191
  * CancelTask请求参数结构体
@@ -1094,6 +1382,41 @@ export interface DeleteScriptRequest {
1094
1382
  */
1095
1383
  ScriptIds: Array<string>;
1096
1384
  }
1385
+ /**
1386
+ * script实例。
1387
+ */
1388
+ export interface Script {
1389
+ /**
1390
+ * 脚本Id,长度36字节。
1391
+ 注意:此字段可能返回 null,表示取不到有效值。
1392
+ */
1393
+ ScriptId: string;
1394
+ /**
1395
+ * 脚本名称,长度0-25。
1396
+ 注意:此字段可能返回 null,表示取不到有效值。
1397
+ */
1398
+ ScriptName: string;
1399
+ /**
1400
+ * 脚本描述,长度0-50。
1401
+ 注意:此字段可能返回 null,表示取不到有效值。
1402
+ */
1403
+ ScriptDesc: string;
1404
+ /**
1405
+ * 默认关联数据库。
1406
+ 注意:此字段可能返回 null,表示取不到有效值。
1407
+ */
1408
+ DatabaseName: string;
1409
+ /**
1410
+ * SQL描述,长度0-10000。
1411
+ 注意:此字段可能返回 null,表示取不到有效值。
1412
+ */
1413
+ SQLStatement: string;
1414
+ /**
1415
+ * 更新时间戳, 单位:ms。
1416
+ 注意:此字段可能返回 null,表示取不到有效值。
1417
+ */
1418
+ UpdateTime: number;
1419
+ }
1097
1420
  /**
1098
1421
  * CreateImportTask返回参数结构体
1099
1422
  */
@@ -1129,6 +1452,46 @@ export interface CreateTableResponse {
1129
1452
  */
1130
1453
  RequestId?: string;
1131
1454
  }
1455
+ /**
1456
+ * 工作组信息
1457
+ */
1458
+ export interface WorkGroupInfo {
1459
+ /**
1460
+ * 查询到的工作组唯一Id
1461
+ */
1462
+ WorkGroupId: number;
1463
+ /**
1464
+ * 工作组名称
1465
+ */
1466
+ WorkGroupName: string;
1467
+ /**
1468
+ * 工作组描述
1469
+ 注意:此字段可能返回 null,表示取不到有效值。
1470
+ */
1471
+ WorkGroupDescription: string;
1472
+ /**
1473
+ * 工作组关联的用户数量
1474
+ */
1475
+ UserNum: number;
1476
+ /**
1477
+ * 工作组关联的用户集合
1478
+ 注意:此字段可能返回 null,表示取不到有效值。
1479
+ */
1480
+ UserSet: Array<UserMessage>;
1481
+ /**
1482
+ * 工作组绑定的权限集合
1483
+ 注意:此字段可能返回 null,表示取不到有效值。
1484
+ */
1485
+ PolicySet: Array<Policy>;
1486
+ /**
1487
+ * 工作组的创建人
1488
+ */
1489
+ Creator: string;
1490
+ /**
1491
+ * 工作组的创建时间,形如2021-07-28 16:19:32
1492
+ */
1493
+ CreateTime: string;
1494
+ }
1132
1495
  /**
1133
1496
  * CreateScript请求参数结构体
1134
1497
  */
@@ -1628,29 +1991,6 @@ export interface Other {
1628
1991
  */
1629
1992
  Format: string;
1630
1993
  }
1631
- /**
1632
- * CSV类型数据格式
1633
- */
1634
- export interface CSV {
1635
- /**
1636
- * 压缩格式,["Snappy", "Gzip", "None"选一]。
1637
- */
1638
- CodeCompress?: string;
1639
- /**
1640
- * CSV序列化及反序列化数据结构。
1641
- */
1642
- CSVSerde?: CSVSerde;
1643
- /**
1644
- * 标题行,默认为0。
1645
- 注意:此字段可能返回 null,表示取不到有效值。
1646
- */
1647
- HeadLines?: number;
1648
- /**
1649
- * 格式,默认值为CSV
1650
- 注意:此字段可能返回 null,表示取不到有效值。
1651
- */
1652
- Format?: string;
1653
- }
1654
1994
  /**
1655
1995
  * DeleteUsersFromWorkGroup请求参数结构体
1656
1996
  */
@@ -1741,25 +2081,13 @@ export interface Policy {
1741
2081
  SourceName?: string;
1742
2082
  }
1743
2083
  /**
1744
- * CreateTasks请求参数结构体
2084
+ * CreateSparkApp返回参数结构体
1745
2085
  */
1746
- export interface CreateTasksRequest {
1747
- /**
1748
- * 数据库名称。如果SQL语句中有数据库名称,优先使用SQL语句中的数据库,否则使用该参数指定的数据库(注:当提交建库sql时,该字段传空字符串)。
1749
- */
1750
- DatabaseName: string;
1751
- /**
1752
- * SQL任务信息
1753
- */
1754
- Tasks: TasksInfo;
1755
- /**
1756
- * 数据源名称,默认为DataLakeCatalog
1757
- */
1758
- DatasourceConnectionName?: string;
2086
+ export interface CreateSparkAppResponse {
1759
2087
  /**
1760
- * 计算引擎名称,不填任务提交到默认集群
2088
+ * 唯一请求 ID,每次请求都会返回。定位问题时需要提供该次请求的 RequestId。
1761
2089
  */
1762
- DataEngineName?: string;
2090
+ RequestId?: string;
1763
2091
  }
1764
2092
  /**
1765
2093
  * CreateTask返回参数结构体
@@ -1776,33 +2104,34 @@ export interface CreateTaskResponse {
1776
2104
  RequestId?: string;
1777
2105
  }
1778
2106
  /**
1779
- * DescribeWorkGroups请求参数结构体
2107
+ * DeleteSparkApp返回参数结构体
1780
2108
  */
1781
- export interface DescribeWorkGroupsRequest {
1782
- /**
1783
- * 查询的工作组Id,不填或填0表示不过滤。
1784
- */
1785
- WorkGroupId?: number;
2109
+ export interface DeleteSparkAppResponse {
1786
2110
  /**
1787
- * 过滤条件,当前仅支持按照工作组名称进行模糊搜索。Key为workgroup-name
2111
+ * 唯一请求 ID,每次请求都会返回。定位问题时需要提供该次请求的 RequestId。
1788
2112
  */
1789
- Filters?: Array<Filter>;
2113
+ RequestId?: string;
2114
+ }
2115
+ /**
2116
+ * CreateTasks请求参数结构体
2117
+ */
2118
+ export interface CreateTasksRequest {
1790
2119
  /**
1791
- * 偏移量,默认为0
2120
+ * 数据库名称。如果SQL语句中有数据库名称,优先使用SQL语句中的数据库,否则使用该参数指定的数据库(注:当提交建库sql时,该字段传空字符串)。
1792
2121
  */
1793
- Offset?: number;
2122
+ DatabaseName: string;
1794
2123
  /**
1795
- * 返回数量,默认20,最大值100
2124
+ * SQL任务信息
1796
2125
  */
1797
- Limit?: number;
2126
+ Tasks: TasksInfo;
1798
2127
  /**
1799
- * 排序字段,支持如下字段类型,create-time
2128
+ * 数据源名称,默认为DataLakeCatalog
1800
2129
  */
1801
- SortBy?: string;
2130
+ DatasourceConnectionName?: string;
1802
2131
  /**
1803
- * 排序方式,desc表示正序,asc表示反序, 默认为asc
2132
+ * 计算引擎名称,不填任务提交到默认集群
1804
2133
  */
1805
- Sorting?: string;
2134
+ DataEngineName?: string;
1806
2135
  }
1807
2136
  /**
1808
2137
  * DescribeTable返回参数结构体
@@ -1817,6 +2146,23 @@ export interface DescribeTableResponse {
1817
2146
  */
1818
2147
  RequestId?: string;
1819
2148
  }
2149
+ /**
2150
+ * DescribeSparkAppJobs返回参数结构体
2151
+ */
2152
+ export interface DescribeSparkAppJobsResponse {
2153
+ /**
2154
+ * spark作业列表详情
2155
+ */
2156
+ SparkAppJobs: Array<SparkJobInfo>;
2157
+ /**
2158
+ * spark作业总数
2159
+ */
2160
+ TotalCount: number;
2161
+ /**
2162
+ * 唯一请求 ID,每次请求都会返回。定位问题时需要提供该次请求的 RequestId。
2163
+ */
2164
+ RequestId?: string;
2165
+ }
1820
2166
  /**
1821
2167
  * 查询表信息对象
1822
2168
  */
@@ -1889,6 +2235,35 @@ export interface DetachUserPolicyResponse {
1889
2235
  */
1890
2236
  RequestId?: string;
1891
2237
  }
2238
+ /**
2239
+ * DescribeWorkGroups请求参数结构体
2240
+ */
2241
+ export interface DescribeWorkGroupsRequest {
2242
+ /**
2243
+ * 查询的工作组Id,不填或填0表示不过滤。
2244
+ */
2245
+ WorkGroupId?: number;
2246
+ /**
2247
+ * 过滤条件,当前仅支持按照工作组名称进行模糊搜索。Key为workgroup-name
2248
+ */
2249
+ Filters?: Array<Filter>;
2250
+ /**
2251
+ * 偏移量,默认为0
2252
+ */
2253
+ Offset?: number;
2254
+ /**
2255
+ * 返回数量,默认20,最大值100
2256
+ */
2257
+ Limit?: number;
2258
+ /**
2259
+ * 排序字段,支持如下字段类型,create-time
2260
+ */
2261
+ SortBy?: string;
2262
+ /**
2263
+ * 排序方式,desc表示正序,asc表示反序, 默认为asc
2264
+ */
2265
+ Sorting?: string;
2266
+ }
1892
2267
  /**
1893
2268
  * CreateTasks返回参数结构体
1894
2269
  */
@@ -1906,6 +2281,87 @@ export interface CreateTasksResponse {
1906
2281
  */
1907
2282
  RequestId?: string;
1908
2283
  }
2284
+ /**
2285
+ * CreateSparkApp请求参数结构体
2286
+ */
2287
+ export interface CreateSparkAppRequest {
2288
+ /**
2289
+ * spark应用名
2290
+ */
2291
+ AppName: string;
2292
+ /**
2293
+ * 1代表spark jar应用,2代表spark streaming应用
2294
+ */
2295
+ AppType: number;
2296
+ /**
2297
+ * 执行spark作业的数据引擎
2298
+ */
2299
+ DataEngine: string;
2300
+ /**
2301
+ * spark应用的执行入口
2302
+ */
2303
+ AppFile: string;
2304
+ /**
2305
+ * 执行spark作业的角色ID
2306
+ */
2307
+ RoleArn: number;
2308
+ /**
2309
+ * spark作业driver资源规格大小, 可取small,medium,large,xlarge
2310
+ */
2311
+ AppDriverSize: string;
2312
+ /**
2313
+ * spark作业executor资源规格大小, 可取small,medium,large,xlarge
2314
+ */
2315
+ AppExecutorSize: string;
2316
+ /**
2317
+ * spark作业executor个数
2318
+ */
2319
+ AppExecutorNums: number;
2320
+ /**
2321
+ * 该字段已下线,请使用字段Datasource
2322
+ */
2323
+ Eni?: string;
2324
+ /**
2325
+ * 是否本地上传,可去cos,lakefs
2326
+ */
2327
+ IsLocal?: string;
2328
+ /**
2329
+ * spark jar作业时的主类
2330
+ */
2331
+ MainClass?: string;
2332
+ /**
2333
+ * spark配置,以换行符分隔
2334
+ */
2335
+ AppConf?: string;
2336
+ /**
2337
+ * 是否本地上传,包含cos,lakefs
2338
+ */
2339
+ IsLocalJars?: string;
2340
+ /**
2341
+ * spark jar作业依赖jars,以逗号分隔
2342
+ */
2343
+ AppJars?: string;
2344
+ /**
2345
+ * 是否本地上传,包含cos,lakefs
2346
+ */
2347
+ IsLocalFiles?: string;
2348
+ /**
2349
+ * spark作业依赖资源,以逗号分隔
2350
+ */
2351
+ AppFiles?: string;
2352
+ /**
2353
+ * spark作业命令行参数
2354
+ */
2355
+ CmdArgs?: string;
2356
+ /**
2357
+ * 只对spark流任务生效
2358
+ */
2359
+ MaxRetries?: number;
2360
+ /**
2361
+ * 数据源名
2362
+ */
2363
+ DataSource?: string;
2364
+ }
1909
2365
  /**
1910
2366
  * UnbindWorkGroupsFromUser返回参数结构体
1911
2367
  */
@@ -1936,6 +2392,23 @@ export interface CreateWorkGroupRequest {
1936
2392
  */
1937
2393
  UserIds?: Array<string>;
1938
2394
  }
2395
+ /**
2396
+ * DescribeSparkAppTasks请求参数结构体
2397
+ */
2398
+ export interface DescribeSparkAppTasksRequest {
2399
+ /**
2400
+ * spark作业Id
2401
+ */
2402
+ JobId: string;
2403
+ /**
2404
+ * 分页查询偏移量
2405
+ */
2406
+ Offset?: number;
2407
+ /**
2408
+ * 分页查询Limit
2409
+ */
2410
+ Limit?: number;
2411
+ }
1939
2412
  /**
1940
2413
  * SQL查询任务
1941
2414
  */
@@ -1975,6 +2448,19 @@ export interface UserMessage {
1975
2448
  */
1976
2449
  UserAlias: string;
1977
2450
  }
2451
+ /**
2452
+ * 数据库和数据表属性信息
2453
+ */
2454
+ export interface Property {
2455
+ /**
2456
+ * 属性key名称。
2457
+ */
2458
+ Key: string;
2459
+ /**
2460
+ * 属性key对应的value。
2461
+ */
2462
+ Value: string;
2463
+ }
1978
2464
  /**
1979
2465
  * AttachUserPolicy返回参数结构体
1980
2466
  */
@@ -2015,17 +2501,39 @@ export interface DescribeViewsResponse {
2015
2501
  RequestId?: string;
2016
2502
  }
2017
2503
  /**
2018
- * ModifyUser请求参数结构体
2504
+ * 数据表数据格式。
2019
2505
  */
2020
- export interface ModifyUserRequest {
2506
+ export interface DataFormat {
2021
2507
  /**
2022
- * 用户Id,和CAM侧Uin匹配
2023
- */
2024
- UserId: string;
2508
+ * 文本格式,TextFile。
2509
+ 注意:此字段可能返回 null,表示取不到有效值。
2510
+ */
2511
+ TextFile: TextFile;
2025
2512
  /**
2026
- * 用户描述
2027
- */
2028
- UserDescription: string;
2513
+ * 文本格式,CSV。
2514
+ 注意:此字段可能返回 null,表示取不到有效值。
2515
+ */
2516
+ CSV: CSV;
2517
+ /**
2518
+ * 文本格式,Json。
2519
+ 注意:此字段可能返回 null,表示取不到有效值。
2520
+ */
2521
+ Json: Other;
2522
+ /**
2523
+ * Parquet格式
2524
+ 注意:此字段可能返回 null,表示取不到有效值。
2525
+ */
2526
+ Parquet: Other;
2527
+ /**
2528
+ * ORC格式
2529
+ 注意:此字段可能返回 null,表示取不到有效值。
2530
+ */
2531
+ ORC: Other;
2532
+ /**
2533
+ * AVRO格式
2534
+ 注意:此字段可能返回 null,表示取不到有效值。
2535
+ */
2536
+ AVRO: Other;
2029
2537
  }
2030
2538
  /**
2031
2539
  * 数据库对象