检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
order_id = '202103241000000001'; 按照如下方式查看taskmanager.out文件中的数据结果: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。
查看队列定时扩缩容计划(废弃) 功能介绍 该API用于查看队列定时扩缩容计划,列出指定队列定时规格变更计划。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v1/{project_id}/queues/{queue_name}/plans
相关文档 1 计算队列支持跨AZ双活 DLI跨AZ队列能够为用户提供跨区域容灾的能力,提高计算的可靠性。 商用 队列管理概述 2 支持Spark作业开发者模式 用户可以在DLI管理控制台采用API接口模式设置参数及参数值。 商用 创建批处理作业API 2020年5月 序号 功能名称 功能描述
创建队列定时扩缩容计划(废弃) 功能介绍 该API用于创建队列定时扩缩容计划,对指定的队列创建定时规格变更计划。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: POST /v1/{project_id}/queues/{queue_name}/plans
e的互操作性,并减少用户需要在Flink和Hive之间切换来执行不同语句的情况。详情可参考:Apache Flink Hive 方言 功能描述 Flink目前支持两种SQL 方言: default 和 hive。您需要先切换到Hive 方言,然后才能使用Hive语法编写。下面介绍如何使用SQL设置方言。
仅提供开源connector。 开发与运维 监控、告警 支持对接华为云CES监控平台,支持对接华为云SMN告警系统,用户可通过邮件、短信、电话、第三方办公工具(webhook模式) 支持对接企业内部统一监控告警系统(prometheus)。 支持Flink作业速率、输入输出数据量、作业算子反压值
月30日 00:00:00(北京时间)前,您可以最大续订1年队列或者变更队列。 2024年6月30日 00:00:00(北京时间)之后将无法续订、变更队列。 EOL后,队列资源将无法继续使用,请务必在下线前更换使用“弹性资源池”或“default队列”。推荐您购买弹性资源池,并在
12升级指导。 切换至新版本计算引擎对DLI资源价格是否有影响? DLI按作业运行所需的计算资源和存储资源计费,与计算引擎版本无关。 如何升级到Flink 1.15版本? 在DLI管理控制台,购买弹性资源池和队列资源,用于提供执行作业所需的计算资源。 在DLI管理控制台,单击“作业管理
创建IAM用户并授权使用DLI 如果您需要对您所拥有的DLI资源进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),具体IAM使用场景可以参考权限管理概述。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户
将对应的Jar包上传至OBS桶中,并在“数据管理>程序包管理”中创建程序包,包类型选择“jar”,具体请参考创建程序包。 其他依赖文件 用户自定义的依赖文件。在选择依赖文件之前需要将对应的文件上传至OBS桶中,并在“数据管理>程序包管理”中创建程序包,包类型没有限制,具体请参考创建程序包。
Spark 3.1.1版本说明 数据湖探索(DLI)遵循开源Spark计算引擎的发布一致性。本文介绍Spark 3.1.1版本所做的变更说明。 更多Spark 3.1.1版本说明请参考Spark Release Notes。 Spark 3.1.1版本发布时间 版本名称 发布时间
Flink 1.12版本说明 数据湖探索(DLI)遵循开源Flink计算引擎的发布一致性。本文介绍Flink 1.12版本所做的变更说明。 更多Flink 1.12版本说明请参考Release Notes - Flink 1.12。 Flink 1.12版本发布时间 版本名称 发布时间
Multi-INSERT语句查询性能提升。 切换至新版本对DLI资源价格是否有影响? DLI按作业运行所需的计算资源和存储资源计费,与计算引擎版本无关。 如何升级到DLI Spark 2.4.5版本? 在DLI管理控制台,购买弹性资源池和队列资源,用于提供执行作业所需的计算资源。 单击“作业管理 > Spark作业”,新建Spark作业。
Spark 2.4.5版本说明 数据湖探索(DLI)遵循开源Spark计算引擎的发布一致性。本文介绍Spark 2.4.5版本所做的变更说明。 更多Spark 2.4.5版本说明请参考Spark Release Notes。 Spark 2.4.5版本发布时间 版本名称 发布时间
Spark 3.3.1版本说明 数据湖探索(DLI)遵循开源Spark计算引擎的发布一致性。本文介绍Spark 3.3.1版本所做的变更说明。 更多Spark 3.3.1版本说明请参考Spark Release Notes。 Spark 3.3.1版本发布时间 版本名称 发布时间
运行Spark作业报java.lang.AbstractMethodError Spark 2.3对内部接口Logging做了行为变更,如果用户代码里直接继承了该Logging,且编译时使用的是低版本的Spark,那么应用程序在Spark 2.3的环境中运行将会报java.lang
(DLI程序包功能即将停用)上传至DLI管理程序包:提前将对应的jar包上传至OBS桶中,并在DLI管理控制台的“数据管理>程序包管理”中创建程序包,在作业配置时选择对应的DLI程序包。 本节操作介绍在DLI管理控制台上传并管理程序包的方式。 DLI程序包功能即将停用,使用Spark3.3.1及以上版本、和Flink1
如果所建弹性资源池属于企业项目,可选择对应的企业项目。 企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。 关于如何设置企业项目请参考《企业管理用户指南》。 说明: 只有开通了企业管理服务的用户才显示该参数。 购买时长 选择“包年/包月”计费
DLI程序包标签管理 标签是用户自定义的、用于标识云资源的键值对,它可以帮助用户对云资源进行分类和搜索。标签由标签“键”和标签“值”组成。 DLI支持对程序包组或程序包添加标签。 在DLI管理控制台单击“数据管理 > 程序包管理”。 选择程序包,单击操作列的“更多 > 标签”,显示当前程序包组或程序包的标签信息。
本节操作介绍如何为数据库和数据表添加标签、修改标签和删除标签。 数据库标签管理 在DLI管理控制台的左侧导航栏中,单击“数据管理> 库表管理”。 在对应数据库的操作列,选择“更多> 标签”。 进入标签管理页面,显示当前数据库的标签信息。 单击“添加/编辑标签”,弹出“添加/编辑标签”对话框,配置参数。