Spark作业模板相关API-华为云

数据湖探索 DLI-查询作业模板列表:响应示例

响应示例 { "is_success": true, "message": "", "templates": [ { "name": "test2", "body": { "auto_recovery": false, "max_retry_times": 20, }, "group": "", "description": "", "type": "SPARK", "id": "3c92c202-b17c-4ed7-b353-ea08629dd671" } ], "count": 1 }

数据湖探索 DLI Spark作业模板相关API

数据湖探索 DLI-查询作业模板列表:响应参数

响应参数表3 响应参数参数参数类型说明 is_success Boolean 执行请求是否成功。“true”表示请求执行成功。 message String 系统提示信息，执行成功时，信息可能为空。 count Integer 返回的模板个数。 templates Array of Objects 模板信息列表。请参考表4。表4 templates参数说明参数参数类型说明 type String 模板类型。 id String 模板ID。 name String 模板名字。 body Object 模板内容，请参考表5。 group String 模板所在分组名。 description String 模板描述信息。 language String 语言。 owner String 模板的创建者。表5 body参数说明参数参数类型说明 file String 用户已上传到 DLI 资源管理系统的类型为jar或pyFile的程序包名。也支持指定OBS路径，例如：obs://桶名/包名。 className String 模板的Java/Spark主类。 cluster_name String 用于指定队列，填写已创建DLI队列的队列名称。说明：推荐使用“queue”参数，“queue”参数与“cluster_name”参数两者不能同时存在。 args Array of Strings 传入主类的参数，即应用程序参数。 sc_type String 计算资源类型，目前可接受参数A, B, C。如果不指定，则按最小类型创建。具体资源类型请参见表3。 jars Array of Strings 用户已上传到DLI资源管理系统的类型为jar的程序包名。也支持指定OBS路径，例如：obs://桶名/包名。 pyFiles Array of Strings 用户已上传到DLI资源管理系统的类型为pyFile的资源包名。也支持指定OBS路径，例如：obs://桶名/包名。 files Array of Strings 用户已上传到DLI资源管理系统的类型为file的资源包名。也支持指定OBS路径，例如：obs://桶名/包名。 modules Array of Strings 依赖的系统资源模块名，具体模块名可通过查询组内资源包（废弃）接口查看。 DLI系统提供了用于执行跨源作业的依赖模块，各个不同的服务对应的模块列表如下： CloudTable/ MRS HBase: sys.datasource.hbase CloudTable/MRS OpenTSDB: sys.datasource.opentsdb RDS MySQL: sys.datasource.rds RDS PostGre: 不需要选 DWS: 不需要选 CSS : sys.datasource.css resources Array of Objects JSON对象列表，填写用户已上传到队列的类型为JSON的资源包名和类型。具体请见表4。 groups Array of Objects JSON对象列表，填写用户组类型资源，格式详见请求示例。如果“resources”中的“name”未进行type校验，只要此分组中存在这个名字的包即可。具体请见表5。 conf Object batch配置项，参考Spark Configuration。 name String 创建时用户指定的批处理名称，不能超过128个字符。 driverMemory String Spark应用的Driver内存，参数配置例如2G, 2048M。该配置项会替换“sc_type”中对应的默认参数，使用时必需带单位，否则会启动失败。 driverCores Integer Spark应用Driver的CPU核数。该配置项会替换sc_type中对应的默认参数。 executorMemory String Spark应用的Executor内存，参数配置例如2G, 2048M。该配置项会替换“sc_type”中对应的默认参数，使用时必需带单位，否则会启动失败。 executorCores Integer Spark应用每个Executor的CPU核数。该配置项会替换sc_type中对应的默认参数。 numExecutors Integer Spark应用Executor的个数。该配置项会替换sc_type中对应的默认参数。 obs_bucket String 保存Spark作业的obs桶，需要保存作业时配置该参数。 auto_recovery Boolean 是否开启重试功能，如果开启，可在Spark作业异常失败后自动重试。默认值为“false”。 max_retry_times Integer 最大重试次数。最大值为“100”，默认值为“20”。 feature String 作业特性。表示用户作业使用的Spark镜像类型。 basic：表示使用DLI提供的基础Spark镜像。 custom：表示使用用户自定义的Spark镜像。 ai：表示使用DLI提供的AI镜像。 spark_version String 作业使用Spark组件的版本号。如果当前Spark组件版本为2.3.2，则不填写该参数。如果当前Spark组件版本为2.3.3，则在“feature”为“basic”或“ai”时填写。若不填写，则使用默认的Spark组件版本号2.3.2。 image String 自定义镜像。格式为：组织名/镜像名:镜像版本。 queue String 用于指定队列，填写已创建DLI的队列名。必须为通用类型的队列。说明：兼容“cluster_name”参数，即如果使用“cluster_name”指定队列仍然有效。推荐使用“queue”参数，“queue”参数与“cluster_name”参数两者不能同时存在。 catalog_name String 访问元数据时，需要将该参数配置为dli。

数据湖探索 DLI Spark作业模板相关API

数据湖探索 DLI-查询作业模板列表:URI

URI URI格式： GET /v3/{project_id}/templates?type=spark 参数说明表1 URI参数说明参数是否必选参数类型描述 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。表2 query参数说明参数是否必选参数类型说明 type 是 String 模板类型。取值范围： SPARK：Spark模板。当前只支持配置Spark类型的模板。 keyword 否 String 模板名过滤关键字，模糊匹配，获取模板名含有该关键字的所有模板。 page-size 否 Integer 每页显示的最大结果行数，范围: [1, 100]。默认值为：50。 current-page 否 Integer 当前页码，默认为第一页。

数据湖探索 DLI Spark作业模板相关API

云服务器内容精选

Spark作业模板相关API

7*24

备案

专业服务

退订

建议反馈

售前咨询热线