检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DESCRIBE_TABLE 显示表信息 √ × √ √ 弹性资源池 DROP 删除弹性资源池 √ × √ √ RESOURCE_MANAGEMENT 弹性资源池资源管理 √ × √ √ SCALE 扩缩容弹性资源池 √ × √ √ UPDATE 更新弹性资源池 √ × √ √ CREATE 创建弹性资源池
ReadOnlyAccess”。 创建用户并加入用户组 在IAM控制台创建用户,并将其加入1中创建的用户组。 用户登录并验证权限 使用新创建的用户登录控制台,切换至授权区域,验证权限: 在“服务列表”中选择数据湖探索,进入DLI主界面。如果在“队列管理”页面可以查看队列列表,但是单击右上角“购买队列
随后执行SQL,当Timeline中有10个以上的Instant记录时,会触发clean run clean on ${table_name} 父主题: 数据管理维护
DATA_MIGRATION:数据迁移。 RESTART_QUEUE:重启队列。 SCALE_QUEUE: 队列规格变更(扩容/缩容)。 状态 作业的状态信息,包括如下。 提交中 运行中 已成功 已取消 已失败 规格变更中 执行语句 作业的具体SQL语句以及导出、建表的操作,此处展示操作的描述。 单击可复制对应的语句。
} 状态码 状态码 描述 200 修改成功。 400 请求错误。 500 内部服务器错误。 错误码 请参见错误码。 父主题: Flink作业管理相关API
如果存在未完成的Clustering计划,后续写入触发生成Compaction调度计划时会报错失败,需要及时执行Clustering计划。 父主题: 数据管理维护
Flink作业执行计划 了解运行中的作业的算子流向。 查看Flink作业执行计划 查看Flink作业基本信息 单击“作业管理 > Flink作业”,进入Flink作业管理页面。Flink作业管理页面显示所有的Flink作业,通过Flink作业列表可以了解Flink作业的基本信息。 表2 Flink作业基本信息
已经预先支付了资源费用,因此在账户出现欠费的情况下,已有的包年/包月资源仍可正常使用。然而,对于涉及费用的操作,如新购资源、弹性资源池规格变更、续费订单等,用户将无法正常进行。 按需计费 当您的账号因按需DLI资源自动扣费导致欠费后,账号将变成欠费状态。欠费后,资源进入宽限期,不
Hudi数据表管理操作规范 Hudi数据表Compaction规范 Hudi数据表Clean规范 Hudi数据表Archive规范 父主题: DLI Hudi开发规范
怎样管理在DLI上运行的作业 管理大量的DLI作业时您可以采用以下方案: 作业分组: 将几万个作业根据不同的类型分组,不同类型的作业通过不同的队列运行。 创建IAM子用户 或者创建IAM子用户,将不同类型的作业通过不同的用户执行。 具体请参考《数据湖探索用户指南》。 此外DLI还
在DLI管理控制台左侧,选择“资源管理 > 队列管理”。 选择待删除的队列,单击“操作”列的“删除”删除。 图1 删除队列 如果“操作”列的“删除”为灰色,表示当前用户没有删除队列的权限。您可以向管理员申请删除队列的权限。 在弹出的确认对话框中,单击“是”。 父主题: 管理队列
操作步骤 Flink作业动态扩缩容适用于Flink Opensource SQL作业和Flink Jar作业。 登录DLI管理控制台。 单击“作业管理 > Flink作业”。 选择要开启动态扩缩容的作业,单击操作列下的编辑。 Flink Opensource SQL作业单击“自定义配置”,配置动态扩缩容参数。
在DLI控制台管理表资源 在DLI控制台配置表权限 在DLI控制台删除表 在DLI控制台修改表所有者 将OBS数据导入至DLI 导出DLI表数据至OBS中 在DLI控制台预览表数据 父主题: 创建数据库和表
本做了安全加固。为了避免依赖包兼容性问题或日志输出及转储问题,打包时请注意排除以下文件: 系统内置的依赖包,或者在Maven或者Sbt构建工具中将scope设为provided 日志配置文件(例如:“log4j.properties”或者“logback.xml”等) 日志输出实现类JAR包(例如:log4j等)
据库和表数据,则可以通过以下命令获取Hive的数据库和表信息。 在Hive客户端执行如下命令获取数据库信息 show databases 切换到需要迁移的Hive数据库 use Hive数据库名 显示当前数据库下所有的表信息 show tables 查询Hive表的建表语句 show
non-strict模式,对主键表采用insert处理。 upsert模式,对于主键表的重复值进行更新操作。 在提交Spark SQL作业时,用户可以在设置中配置以下参数,切换bulk insert作为Insert语句的写入方式。 hoodie.sql.bulk.insert.enable = true hoodie
创建消息通知主题后,只有在订阅队列上创建的Spark作业失败时才会收到消息通知。 图2 创建主题成功 单击图2中“主题管理”,跳转至消息通知服务“主题管理”页面。 图3 主题管理 在对应主题的“操作”列中,单击“添加订阅”,选择“协议”,确定订阅方式。 如果选择“短信”协议,需要在“订阅终端”中填写接收确认短信的手机号码。
登录SWR管理控制台。 选择左侧导航栏的“总览”,单击页面右上角的“登录指令”,在弹出的页面中单击复制登录指令。 在安装容器引擎的虚拟机中执行上一步复制的登录指令。 创建容器镜像组织。如果已创建组织则本步骤可以忽略。 登录SWR管理控制台。 选择左侧导航栏的“组织管理”,单击页面右上角的“创建组织”。
REVOKE_PRIVILEGE:权限回收 SHOW_PRIVILEGES:查看其它用户具备的权限 RESTART:重启队列 SCALE_QUEUE:规格变更 说明: 若需更新的权限列表为空,则表示回收用户在该队列的所有权限。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明 is_success
”队列管理”。在队列管理的界面筛选并选中需要查询的队列,随后点击窗口底部的窗格,展开隐藏的队列详情页面,在支持版本即可查看可用的计算引擎版本。对于SQL队列,无法切换版本,查看默认版本即可判断当前使用的计算引擎版本。 父主题: Hudi表概述