检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
e的互操作性,并减少用户需要在Flink和Hive之间切换来执行不同语句的情况。详情可参考:Apache Flink Hive 方言 功能描述 Flink目前支持两种SQL 方言: default 和 hive。你需要先切换到Hive 方言,然后才能使用Hive语法编写。下面介绍如何使用SQL设置方言。
12升级指导。 切换至新版本计算引擎对DLI资源价格是否有影响? DLI按作业运行所需的计算资源和存储资源计费,与计算引擎版本无关。 如何升级到Flink 1.15版本? 在DLI管理控制台,购买弹性资源池和队列资源,用于提供执行作业所需的计算资源。 在DLI管理控制台,单击“作业管理
仅提供开源connector。 开发与运维 监控、告警 支持对接华为云CES监控平台,支持对接华为云SMN告警系统,用户可通过邮件、短信、电话、第三方办公工具(webhook模式) 支持对接企业内部统一监控告警系统(prometheus)。 支持Flink作业速率、输入输出数据量、作业算子反压值
应用程序 选择Jar作业程序包。 Jar包的管理方式: 上传OBS管理程序包:提前将对应的jar包上传至OBS桶中。并在此处选择对应的OBS路径。 上传DLI管理程序包:提前将对应的jar包上传至OBS桶中,并在DLI管理控制台的“数据管理>程序包管理”中创建程序包,具体操作请参考创建程序包。
月30日 00:00:00(北京时间)前,您可以最大续订1年队列或者变更队列。 2024年6月30日 00:00:00(北京时间)之后将无法续订、变更队列。 EOL后,队列资源将无法继续使用,请务必在下线前更换使用“弹性资源池”或“default队列”。推荐您购买弹性资源池,并在
创建IAM用户并授权使用DLI 如果您需要对您所拥有的DLI资源进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),具体IAM使用场景可以参考权限管理概述。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户
Flink 1.12版本说明 数据湖探索(DLI)遵循开源Flink计算引擎的发布一致性。本文介绍Flink 1.12版本所做的变更说明。 更多Flink 1.12版本说明请参考Release Notes - Flink 1.12。 Flink 1.12版本发布时间 版本名称 发布时间
将对应的Jar包上传至OBS桶中,并在“数据管理>程序包管理”中创建程序包,包类型选择“jar”,具体请参考创建程序包。 其他依赖文件 用户自定义的依赖文件。在选择依赖文件之前需要将对应的文件上传至OBS桶中,并在“数据管理>程序包管理”中创建程序包,包类型没有限制,具体请参考创建程序包。
Flink 1.15依赖包 请在FLink作业的日志中获取Flink 1.15相关依赖包信息: 查看Flink日志。 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击作业名称,选择“运行日志”。 控制台只展示最新的运行日志,更多日志信息请查看保存日志的OBS桶。 在日志中搜索依赖包信息。
Spark 3.1.1版本说明 数据湖探索(DLI)遵循开源Spark计算引擎的发布一致性。本文介绍Spark 3.1.1版本所做的变更说明。 更多Spark 3.1.1版本说明请参考Spark Release Notes。 Spark 3.1.1版本发布时间 版本名称 发布时间
SQL升级指导。 切换至新版本对DLI资源价格是否有影响? DLI按作业运行所需的计算资源和存储资源计费,与计算引擎版本无关。 如何升级到DLI Spark 2.4.5版本? 在DLI管理控制台,购买弹性资源池和队列资源,用于提供执行作业所需的计算资源。 单击“作业管理 > Spark作业”,新建Spark作业。
Spark 2.4.5版本说明 数据湖探索(DLI)遵循开源Spark计算引擎的发布一致性。本文介绍Spark 2.4.5版本所做的变更说明。 更多Spark 2.4.5版本说明请参考Spark Release Notes。 Spark 2.4.5版本发布时间 版本名称 发布时间
Spark 3.3.1版本说明 数据湖探索(DLI)遵循开源Spark计算引擎的发布一致性。本文介绍Spark 3.3.1版本所做的变更说明。 更多Spark 3.3.1版本说明请参考Spark Release Notes。 Spark 3.3.1版本发布时间 版本名称 发布时间
运行Spark作业报java.lang.AbstractMethodError Spark 2.3对内部接口Logging做了行为变更,如果用户代码里直接继承了该Logging,且编译时使用的是低版本的Spark,那么应用程序在Spark 2.3的环境中运行将会报java.lang
程序包标签管理 标签是用户自定义的、用于标识云资源的键值对,它可以帮助用户对云资源进行分类和搜索。标签由标签“键”和标签“值”组成。 DLI支持对程序包组或程序包添加标签。 在DLI管理控制台单击“数据管理 > 程序包管理”。 选择程序包,单击操作列的“更多 > 标签”,显示当前程序包组或程序包的标签信息。
上传至OBS桶中,并在DLI管理控制台的“数据管理>程序包管理”中创建程序包,在作业配置时选择对应的DLI程序包。 DLI控制台提供的程序包管理功能可以帮助您管理多种类型的Jar作业程序包,本节操作介绍在DLI管理控制台上传并管理程序包的方式。 Flink1.15及以上版本在配置
如果所建弹性资源池属于企业项目,可选择对应的企业项目。 企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。 关于如何设置企业项目请参考《企业管理用户指南》。 说明: 只有开通了企业管理服务的用户才显示该参数。 购买时长 选择“包年/包月”计费
队列B(队列使用权限) 数据(表) gameTable(表管理和使用权限) musicTable(表管理和使用权限) userTable(表管理和使用权限) userTable(表查询权限) 队列的使用权限包括提交作业和终止作业两个权限。 父主题: 权限管理
本节操作介绍如何为数据库和数据表添加标签、修改标签和删除标签。 数据库标签管理 在DLI管理控制台的左侧导航栏中,单击“数据管理> 库表管理”。 在对应数据库的操作列,选择“更多> 标签”。 进入标签管理页面,显示当前数据库的标签信息。 单击“添加/编辑标签”,弹出“添加/编辑标签”对话框,配置参数。
管理DLI资源配额 什么是配额? 为防止资源滥用,平台限定了各服务资源的配额,对用户的资源数量和容量做了限制。 如果当前资源配额限制无法满足使用需要,您可以申请扩大配额。 怎样查看我的配额 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。 在页面右上角,选择“资源 > 我的配额”。