检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。 如果选择spark版本为2
队列相关 约束限制 当前使用SDK创建的作业不支持在default队列上运行。 查询所有队列 DLI提供查询队列列表接口，您可以使用该接口并选择相应的队列来执行作业。示例代码如下： 1 2 3 4 5 6 7 8 9 def list_all_queues(dli_client):
为变更日志提供了统一的格式结构，并支持使用 JSON 和 Apache Avro 序列化消息。 Flink 支持将 Debezium JSON 和 Avro 消息解析为 INSERT / UPDATE / DELETE 消息到 Flink SQL 系统中。在很多情况下，利用这个特性非常的有用，例如：
控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。 如果选择spark版本为2
SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化。 创建队列 DLI提供创建队列的接口，您可以使用该接口创建队列。示例代码如下： 1 2 3 4 5 6 7 8 9 private static void createQueue(DLIClient
隐私安全。 数据加密服务（Data Encryption Workshop，DEW）、云凭据管理服务（Cloud Secret Management Service，CSMS），提供一种安全、可靠、简单易用隐私数据加解密方案。 用户或应用程序通过凭据管理服务，创建、检索、更新、删
控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。 如果选择spark版本为2
单击右上角的“创建作业”，在Spark作业编辑窗口，可以选择使用“表单模式”或者“API模式”进行参数设置。 以下以“表单模式”页面进行说明，“API模式”即采用API接口模式设置参数及参数值，具体请参考《数据湖探索API参考》。 选择运行队列。 在下拉列表中选择要使用的队列。 选择Spar
Jar作业并的输出数据写入到OBS时，需要配置AKSK访问OBS，为了确保AKSK数据安全，您可以用过数据加密服务（Data Encryption Workshop，DEW）、云凭据管理服务（Cloud Secret Management Service，CSMS），对AKSK统一管理，有
策略：IAM最新提供的一种细粒度授权的能力，可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式，能够满足企业对权限最小化的安全管控要求。例如：针对DLI服务，管理员能够控制IAM用户仅能对某一类云服务器资源进行指定的管理操作。DLI支持的API授权项请参见《权限策略和授权项》。
使用CTS审计DLI服务 通过云审计服务，您可以记录与DLI服务相关的操作事件，便于日后的查询、审计和回溯。 表1 云审计服务支持的DLI操作列表 操作名称 资源类型 事件名称 创建数据库 database createDatabase 删除数据库 database deleteDatabase
driverID, carNumber, sum(isRapidlySpeedup) as rapidlySpeedupTimes, sum(isRapidlySlowdown) as rapidlySlowdownTimes, sum(isNeutralSlide)
Spark 2.4.5版本说明 数据湖探索（DLI）遵循开源Spark计算引擎的发布一致性。本文介绍Spark 2.4.5版本所做的变更说明。 更多Spark 2.4.5版本说明请参考Spark Release Notes。 Spark 2.4.5版本发布时间 版本名称 发布时间
Flink 1.12版本说明 数据湖探索（DLI）遵循开源Flink计算引擎的发布一致性。本文介绍Flink 1.12版本所做的变更说明。 更多Flink 1.12版本说明请参考Release Notes - Flink 1.12。 Flink 1.12版本发布时间 版本名称 发布时间
储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region，通用Region指面向公共租户提供通用云服务的Region；专属Region指只承载同一类业务或只面向特定租户提供业务服务的专用Region。 可用区（AZ，Availability
Spark 3.1.1版本说明 数据湖探索（DLI）遵循开源Spark计算引擎的发布一致性。本文介绍Spark 3.1.1版本所做的变更说明。 更多Spark 3.1.1版本说明请参考Spark Release Notes。 Spark 3.1.1版本发布时间 版本名称 发布时间
的完善云服务安全保障体系。 安全性是华为云与您的共同责任，如图1所示。 华为云：负责云服务自身的安全，提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全，涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅
streaming.api.datastream.DataStream; import org.apache.flink.streaming.api.environment.CheckpointConfig; import org.apache.flink.streaming.api.environment
Jar使用DEW获取访问凭证读写OBS的操作指导。 用户获取Flink作业委托临时凭证 DLI提供了一个通用接口，可用于获取用户在启动Flink作业时设置的委托的临时凭证。该接口将获取到的该作业委托的临时凭证封装到com.huaweicloud.sdk.core.auth.BasicCredentials类中。
元数据访问性能提升 提升Spark在处理大数据时的元数据访问性能，提高数据处理流程效率。 提升OBS committer小文件写性能 提升对象存储服务（OBS）在处理小文件写入时的性能，提高数据传输效率。 动态Executor shuffle数据优化 提升资源扩缩容的稳定性，当shuffle文件不需要时清理Executor。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
