检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI支持在队列创建完成后设置队列的属性。 当前支持设置队列的Spark driver的相关参数:通过设置队列的Spark driver,以提升队列资源的调度效率。 本节操作介绍在管理控制台设置队列属性的操作步骤。 约束与限制 仅Spark引擎的SQL队列支持配置队列属性。 仅在队列创建完成后支持设置队列属性。
在实际作业运行中,由于作业的重要程度以及紧急程度不同,需要重点保障重要和紧急的作业正常运行,因此需要满足它们正常运行所需的计算资源。 DLI提供的设置作业优先级功能,可以对每个Spark作业设置作业优先级,当资源不充足时,可以优先满足优先级较高的作业的计算资源。 Spark 2.4
该API用于与其他用户共享指定的队列,可以给用户赋使用指定的队列的权限或者收回使用权限。 用户所属的用户组需要在所属区域内具有Tenant Guest权限。 关于Tenant Guest权限的介绍和开通方法,详细参见权限策略和《统一身份认证服务 用户指南》中的创建用户组。 当前接口已废弃,不推荐使用。
公共参数 状态码 错误码 获取项目ID 获取账号ID
产品公告 DLI Spark 3.1.1版本停止服务(EOS)公告 DLI“包年/包月”和“按需计费”计费模式队列和“队列CU时套餐包”下线(EOL)公告 DLI经典型跨源连接下线(EOL)公告 DLI Flink 1.10、Flink 1.11版本停止服务(EOS)公告 DLI
Objects 返回的响应消息组。具体请参考表4。 表4 数组元素参数说明 参数名称 是否必选 参数类型 说明 is_success 否 String 执行请求是否成功。“true”表示请求执行成功。 message 否 String 消息内容。 请求示例 停止运行ID为128和137的作业。
运行Spark作业,作业运行失败,作业日志中提示java server connection或container启动失败。 解决方案 确认是否已修改跨源连接的主机信息,如果没有,请参考DLI跨源连接中配置MRS主机信息修改主机信息。重新创建和提交Spark作业。 问题2:运行Spark作业,作业运
DLI提供了一个通用接口,可用于获取用户在启动Flink作业时设置的委托的临时凭证。该接口将获取到的该作业委托的临时凭证封装到com.huaweicloud.sdk.core.auth.BasicCredentials类中。 获取到的委托的临时认证封装到com.huaweicloud.sdk.core
对接Mongo scala样例代码 pyspark样例代码 java样例代码 父主题: 使用Spark作业跨源访问数据源
网配置。客户的DWS子网关联了网络ACL。网络ACL是一个子网级别的可选安全层,通过与子网关联的出方向/入方向规则控制出入子网的数据流。关联子网后,网络ACL默认拒绝所有出入子网的流量,直至添加放通规则。通过检查,发现其DWS所在子网关联的ACL是空值。 因此,问题的原因是:客户
输入长度不能超过64个字符。 dest_vpc_id 是 String 对应服务的vpc的ID。具体请参考《虚拟私有云API参考》。 dest_network_id 是 String 对应服务的子网网络ID,即为需要建立连接的服务所在的子网。具体请参考《虚拟私有云API参考》。 elastic_resource_pools
权限管理 权限管理概述 DLI自定义策略 DLI资源 DLI请求条件 常用操作与系统权限关系
使用Dockerfile将作业运行需要的依赖(文件、jar包或者软件)打包到镜像中,生成自定义镜像。 将镜像发布到SWR(容器镜像服务)中。 在DLI服务作业编辑页面选择自己生成的镜像,运行作业。 查看作业执行情况。 获取DLI基础镜像 请根据队列的架构类型选择相同类型的基础镜像。 查看队列的CPU架构类型请参考查看队列的基本信息。
表相关API(废弃) 创建表(废弃) 删除表(废弃) 查询所有表(废弃) 描述表信息(废弃) 预览表内容(废弃) 获取分区信息列表(废弃) 父主题: 资源相关API(废弃)
管理队列 查看队列的基本信息 队列权限管理 分配队列至项目 创建消息通知主题 队列标签管理 队列属性设置 测试地址连通性 删除队列 变更普通队列规格 普通队列弹性扩缩容 设置普通队列的弹性扩缩容定时任务 修改普通队列的网段 父主题: 创建弹性资源池和队列
关联队列到弹性资源池 功能介绍 关联队列到弹性资源池。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v3/{project_id}/elastic-resource-pools/{elastic_resource_pool_name}/queues
管理弹性资源池 查看弹性资源池的基本信息 弹性资源池权限管理 弹性资源池关联队列 弹性资源池CU设置 弹性资源池规格变更 弹性资源池标签管理 调整弹性资源池中队列的扩缩容策略 查看弹性资源池扩缩容历史 分配弹性资源池至项目 父主题: 创建弹性资源池和队列
对接HBase MRS配置 scala样例代码 pyspark样例代码 java样例代码 故障处理 父主题: 使用Spark作业跨源访问数据源
对接CSS CSS安全集群配置 scala样例代码 pyspark样例代码 java样例代码 父主题: 使用Spark作业跨源访问数据源
准备工作 配置DLI云服务委托权限 创建IAM用户并授权使用DLI 配置DLI作业桶