检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
怎样管理在DLI上运行的作业 管理大量的DLI作业时您可以采用以下方案: 作业分组: 将几万个作业根据不同的类型分组,不同类型的作业通过不同的队列运行。 创建IAM子用户 或者创建IAM子用户,将不同类型的作业通过不同的用户执行。 具体请参考《数据湖探索用户指南》。 此外DLI还
在DLI管理控制台左侧,选择“资源管理 > 队列管理”。 选择待删除的队列,单击“操作”列的“删除”删除。 图1 删除队列 如果“操作”列的“删除”为灰色,表示当前用户没有删除队列的权限。您可以向管理员申请删除队列的权限。 在弹出的确认对话框中,单击“是”。 父主题: 管理队列
操作步骤 Flink作业动态扩缩容适用于Flink Opensource SQL作业和Flink Jar作业。 登录DLI管理控制台。 单击“作业管理 > Flink作业”。 选择要开启动态扩缩容的作业,单击操作列下的编辑。 Flink Opensource SQL作业单击“自定义配置”,配置动态扩缩容参数。
在DLI控制台管理表资源 在DLI控制台配置表权限 在DLI控制台删除表 在DLI控制台修改表所有者 将OBS数据导入至DLI 导出DLI表数据至OBS中 在DLI控制台预览表数据 父主题: 创建数据库和表
面和“队列管理”页面。 单击总览页面右上角“购买队列”进行创建队列。 在“队列管理”页面创建队列。 在DLI管理控制台的左侧导航栏中,选择“资源管理 > 队列管理”。 单击“队列管理”页面右上角“购买队列”进行创建队列。 在“SQL编辑器”页面创建队列。 在DLI管理控制台的左侧导航栏中,选择“SQL编辑器”。
“队列管理”页面,对比“规格”和“实际CUs”大小是否一致来判断是否扩容成功。或者在“作业管理”页面,查看“SCALE_QUEUE”类型SQL作业的状态,如果作业状态为“规格变更中”,表示队列正在扩容中。 操作步骤如下: 在DLI管理控制台左侧,选择“资源管理 > 队列管理”。
Workshop,DEW)、云凭据管理服务(Cloud Secret Management Service,CSMS),提供一种安全、可靠、简单易用隐私数据加解密方案。 用户或应用程序通过凭据管理服务,创建、检索、更新、删除凭据,轻松实现对敏感凭据的全生命周期的统一管理,有效避免程序硬编码或
创建消息通知主题后,只有在订阅队列上创建的Spark作业失败时才会收到消息通知。 图2 创建主题成功 单击图2中“主题管理”,跳转至消息通知服务“主题管理”页面。 图3 主题管理 在对应主题的“操作”列中,单击“添加订阅”,选择“协议”,确定订阅方式。 如果选择“短信”协议,需要在“订阅终端”中填写接收确认短信的手机号码。
登录SWR管理控制台。 选择左侧导航栏的“总览”,单击页面右上角的“登录指令”,在弹出的页面中单击复制登录指令。 在安装容器引擎的虚拟机中执行上一步复制的登录指令。 创建容器镜像组织。如果已创建组织则本步骤可以忽略。 登录SWR管理控制台。 选择左侧导航栏的“组织管理”,单击页面右上角的“创建组织”。
已经配置DLI作业桶,且完成Flink桶授权后在提交作业时仍然提示桶未授权怎么办? 根因分析 使用DLI作业桶需要确保已完成DLI作业桶的权限配置。 您需要在OBS管理控制台中检查DLI作业桶的桶策略,确保策略中包含了允许DLI服务进行必要操作的授权信息。 确保没有任何策略明确拒绝了DLI服务对桶的访问。
LIFECYCLE 'disable'; 当设置禁止分区表的生命周期功能后,该表的所有分区的生命周期功能都会被禁止。 父主题: 表生命周期管理
前弹性资源池的规格。 注意事项 当前仅支持包年包月计费模式的弹性资源池进行规格(包周期CU)变更。 弹性资源池扩容 在DLI管理控制台左侧,选择“资源管理 > 弹性资源池”。 选择需要扩容的弹性资源池,单击“操作”列“更多”中的“包周期CU变更”。 在“包周期CU变更”页面,“变
指定解析CSV时的模式,有三种模式。默认值:PERMISSIVE PERMISSIVE:宽容模式,遇到错误的字段时,设置该字段为Null DROPMALFORMED: 遇到错误的字段时,丢弃整行。 FAILFAST:报错模式,遇到错误的字段时直接报错。 header 否 CSV是否包含表头信息,true表示包含表头信息,false为不包含。
备Table1的查询表权限。 解决措施 请在DLI赋予用户B Table1的查询表权限后,用户C重试查询View1。 父主题: DLI权限管理类
本节操作仅适用于普通队列,不适用于弹性资源池队列。 修改队列网段步骤 目前只支持计费模式为“包年包月”和“按需/专属资源模式”的队列修改网段。 在DLI管理控制台左侧,选择“资源管理 > 队列管理”。 选择待修改的队列,单击“操作”列“更多”中的“修改网段”。 图1 修改网段 填写需要的网段后,单击“确定”。队列
创建表时指定表的生命周期 功能描述 DLI提供了表生命周期管理功能,在创建表时指定表的生命周期。DLI会根据每张表的最后修改时间和表的生命周期来判断是否要回收此表。通过设置表的生命周期,可以帮助您更好的管理数目众多的表,自动清理长期不再使用的数据表,简化数据表的回收流程。同时支持数据恢复设置,避免因误操作丢失数据。
重新对A用户赋予该权限。 查看表权限 在管理控制台左侧,单击“数据管理”>“库表管理”。 单击需要设置权限的表所在的数据库名,进入该数据库的“表管理”页面。 单击所选表“操作”栏中的“权限管理”,将显示该表对应的权限信息。 图1 表权限管理 表权限设置有3种场景:为新用户或项目赋
算时,值首先被强制转换为公共超类型。对于接近于最大可表示精度 (38) 的类型,当一个操作数不符合公共超类型时,这可能会导致“值超出范围”错误。例如:decimal(38, 0) 和decimal(38, 1) 的公共超类型是decimal(38, 1),但某些符合decimal(38
"UPDATE_RESOURCE'." 解决方案 需要给执行作业的用户赋程序包的操作权限,具体操作参考如下: 在DLI管理控制台左侧,单击“数据管理 > 程序包管理”。 在“程序包管理”页面,单击程序包“操作”列中的“权限管理”,进入“用户权限信息”页面。 在单击页面右上角“授权”可对用户进行程序包组/程序包授权,勾选“更新组”权限。
数据。 查看表的创建时间: 查看表是否被他人删除重建,删除表后重建的相同表名并不视作同一张表,不会继承删除表的权限。 父主题: DLI权限管理类