检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建弹性资源池和队列 DLI弹性资源池与队列简介 创建弹性资源池并添加队列 管理弹性资源池 管理队列 典型场景示例:创建弹性资源池并运行作业 典型场景示例:配置弹性资源池队列扩缩容策略 创建非弹性资源池队列(废弃,不推荐使用)
musicTable(表管理和使用权限) userTable(表管理和使用权限) userTable(表查询权限) 队列的使用权限包括提交作业和终止作业两个权限。 父主题: 权限管理
"last_access_time":1517364268000, "location":"obs://DLI/sqldata/data.txt", "owner":"test", "partition_columns": ["a0"]
功能名称 功能描述 阶段 相关文档 1 支持Flink流作业 DLI上线Flink流作业,完全兼容Apache Flink和Spark API,即时执行Stream SQL或自定义作业,提供实时处理流式大数据的全栈能力。 商用 Flink作业管理概述 2019年10月 序号 功能名称 功能描述
Spark作业访问OBS数据时报ResponseCode: 403和ResponseStatus: Forbidden错误 问题现象 Spark程序访问OBS数据时上报如下错误。 Caused by: com.obs.services.exception.ObsException:
jar flink-sql-avro-1.12.2-ei-313001-dli-2022011002.jar luxor-fs3-2.0.0-20220405.072025-195.jar deeplearning4j-nlp-0.9.1.jar flink-sql-avro-confluent-registry-1
String 用于建立跨源关联表时,需要使用到的连接url。 cluster_name 否 String Serverless Spark队列名称。SQL队列模式下建立的跨源连接,该字段为空。 service 否 String 创建连接时,用户指定的对端服务(CloudTable/CloudTable
DLI“包年/包月”和“按需计费”计费模式队列和“队列CU时套餐包”计划于2024年3月31日 00:00(北京时间)停止销售(EOM)。 DLI“包年/包月”和“按需计费”计费模式队列和“队列CU时套餐包”计划于2025年6月30日 00:00(北京时间)下线(EOL)。 影响
String 用于建立跨源关联表时,需要使用到的连接url。 cluster_name 否 String Serverless Spark队列名称。SQL队列模式下建立的跨源连接,该字段为空。 service 否 String 创建连接时,用户指定的对端服务(CloudTable/CloudTable
、CSV、JSON、Avro格式。 说明: 只有OBS表有该参数。 data_location 是 String 数据存储位置,分为DLI和OBS。 last_access_time 是 Long 最近更新时间。是单位为“毫秒”的时间戳。 location 否 String OBS表的存储路径。
db940d6409d1/queues {endpoint}信息请从地区和终端节点获取。 Body: { "queue_name": "queue1", "queue_type": "sql", "description": "test", "cu_count":
测试地址连通性 删除队列 变更普通队列规格 普通队列弹性扩缩容 设置普通队列的弹性扩缩容定时任务 修改普通队列的网段 父主题: 创建弹性资源池和队列
Spark作业配置 表1 作业配置参数说明 参数名称 参数描述 作业名称(--name) 设置作业名称。 应用程序 选择需要执行的程序包。包括“.jar”和“.py”两种类型。 Jar包的管理方式: 上传OBS管理程序包:提前将对应的jar包上传至OBS桶中。并在此处选择对应的OBS路径。 上传
队列权限管理 管理员用户和队列的所有者拥有队列的所有操作权限,且根据业务需求对其他用户分配队列的操作权限,确保用户之间的作业互不影响,保障作业的执行性能。本节操作介绍队列权限管理的相关操作。 操作须知 管理员用户和队列的所有者拥有所有权限,不需要进行权限设置且其他用户无法修改其队列权限。
队列标签管理 标签管理 标签是用户自定义的、用于标识云资源的键值对,它可以帮助用户对云资源进行分类和搜索。标签由标签“键”和标签“值”组成。 如果用户在其他云服务中使用了标签,建议用户为同一个业务所使用的云资源创建相同的标签键值对以保持一致性。 DLI支持以下两类标签: 资源标签:在DLI中创建的非全局的标签。
db940d6409d1/queues {endpoint}信息请从地区和终端节点获取。 Body: { "queue_name": "queue1", "queue_type": "sql", "description": "test", "cu_count":
弹性资源池规格变更 弹性资源池标签管理 调整弹性资源池中队列的扩缩容策略 查看弹性资源池扩缩容历史 分配弹性资源池至项目 父主题: 创建弹性资源池和队列
在“队列管理”页面,选择需要测试地址连通性的队列,单击操作列下的“更多 > 测试地址连通性”。 在“测试地址连通性”页面填写需要测试的地址。支持域名和IP,可指定端口。 数据源地址支持以下输入格式:IPv4地址、IPv4+端口号、域名、域名+端口号。 · IPv4地址:192.168.x.x
在“分配至项目”页面,选择企业项目。 您还可以单击“新建企业项目”,前往企业项目管理控制台,新建企业项目和查看已有的企业项目。 弹性资源池中的队列不计费,弹性资源池下队列切换的企业项目和计费无关。即不支持按企业项目查看弹性资源池中的队列资源计费信息。 修改完成后,单击“确定”,保存队列的企业项目信息。
删除队列 根据实际使用情况,您可以通过删除操作释放队列。 如果待删除的队列中有正在提交或正在运行的作业,将不支持删除操作。 删除队列不会导致您数据库中的表数据丢失。 删除队列步骤 在DLI管理控制台左侧,选择“资源管理 > 队列管理”。 选择待删除的队列,单击“操作”列的“删除”删除。