检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
提交SQL作业时,返回“unsupported media Type”信息 在DLI提供的REST API中,可以在请求URI中附加请求消息头,例如:Content-Type。 “Content-Type”为消息体的类型(格式),默认取值为“application/json”。 提交SQL作业的URI为:POST
创建IEF消息通道(废弃) 功能介绍 该API用于创建IEF消息通道。 DLI不再支持边缘作业场景的API调用。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1/{project_id}/edgesrv/message-channel 参数说明
IEF系统事件上报(废弃) 功能介绍 该API用于处理IEF系统事件上报。 DLI不再支持边缘作业场景的API调用。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1/{project_id}/edgesrv/system-events 参数说明
获取跨源认证列表(废弃) 功能介绍 该API用于查看某个project下跨源认证列表。 当前接口已废弃,不推荐使用。推荐使用获取跨源认证列表。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v2.0/{project_id}/datasource/auth-infos
内置的Connector。 例如,如果您在注册其他类型的Connector结果表时报错,但您不确定是系统问题还是结果表WITH参数错误,您可以将WITH参数修改为'connector' = 'blackhole'后,单击运行。如果不再报错,则证明系统没有问题,您需要排查确认修改WITH参数是否正确。
内置的Connector。 例如,如果您在注册其他类型的Connector结果表时报错,但您不确定是系统问题还是结果表WITH参数错误,您可以将WITH参数修改为'connector' = 'blackhole'后,单击运行。如果不再报错,则证明系统没有问题,您需要排查确认修改WITH参数是否正确。
前提条件 已参考Java SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化。 样例代码 用户可以使用OBS授权操作的接口,将OBS桶的操作权限授权给DLI, 用于保存用户作业的数据和作业的运行日志等。 示例代码如下: 1 2 3 4 5
删除组内资源包(废弃) 功能介绍 该API用于删除某个project某个分组下的资源包。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: DELETE /v2.0/{project_id}/resources/{resource_name}
导入Flink作业 功能介绍 该API用于导入Flink作业数据。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1.0/{project_id}/streaming/jobs/import 参数说明 表1 URI参数说明 参数名称 是否必选
弹性资源池扩缩容历史记录 功能介绍 该API用于查询当前弹性资源池扩缩容历史记录。 调试 您可以在API Explorer中调试该接口。 URI GET /v3/{project_id}/elastic-resource-pools/{elastic_resource_pool_name}/scale-records
更新跨源认证(废弃) 功能介绍 该API用于更新认证信息。 当前接口已废弃,不推荐使用。推荐使用更新跨源认证。 调试 您可以在API Explorer中调试该接口。 URI URI格式: PUT /v2.0/{project_id}/datasource/auth-infos 参数说明
修改作业模板 功能介绍 该API用于修改作业模板。 调试 您可以在API Explorer中调试该接口。 URI URI格式: PUT /v3/{project_id}/templates/{template_id} 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述
DLI支持存储哪些格式的数据? DLI支持如下数据格式: Parquet CSV ORC Json Avro DLI服务的数据可以存储在哪些地方? OBS:SQL作业,Spark作业,Flink作业使用的数据均可以存储在OBS服务中,降低存储成本。 DLI:DLI内部使用的是列存的Parquet格式,即数据以Parquet格式存储。存储成本较高。
Spark作业在执行shuffle类语句,包括group by、join等场景时,常常会出现数据倾斜的问题,导致作业任务执行缓慢。 该问题可以通过设置spark.sql.shuffle.partitions提高shuffle read task的并行度来进行解决。 设置spark
用户主动授权OBS桶的操作权限给DLI服务,用于保存用户作业的checkpoint、作业的运行日志等。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1.0/{project_id}/dli/obs-authorize
标签的键的最大长度为128个字符,标签的键可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格,不能以_sys_开头。 value 是 String 标签的值。 说明: 标签值的最大长度为255个字符,标签的值可以包含任意语种字母、数字、空格和_ . : =+-@
查询所有弹性资源池 功能介绍 查询所有弹性资源池。 调试 您可以在API Explorer中调试该接口。 URI URI格式 GET /v3/{project_id}/elastic-resource-pools 参数说明 表1 路径参数 参数 是否必选 参数类型 描述 project_id
删除SQL模板 功能介绍 该接口用于批量删除SQL模板。 调试 您可以在API Explorer中调试该接口。 URI URI格式: POST /v1.0/{project_id}/sqls-deletion 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id
创建作业模板 功能介绍 该API用于创建作业模板。 调试 您可以在API Explorer中调试该接口。 URI URI格式: POST /v3/{project_id}/templates 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id 是
更新SQL模板 功能介绍 该接口用于更新SQL模板。 调试 您可以在API Explorer中调试该接口。 URI URI格式: PUT /v1.0/{project_id}/sqls/{sql_id} 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id