检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Flink Jar读写DIS开发指南 概述 本节操作介绍基于Flink 1.12版本的Flink Jar作业读写DIS数据的操作方法。 Flink 1.12版本Flink Opensource SQL作业不支持使用DLI提供的connector读写DIS，因此推荐您使用本节操作提供的方法
使用CES监控DLI服务 功能说明 本章节定义了数据湖探索服务上报云监控的监控指标的命名空间，监控指标列表和维度定义，用户可以通过云监控服务提供的管理控制台或API接口来检索数据湖探索服务产生的监控指标和告警信息。 命名空间 SYS.DLI 监控指标 表1 数据湖探索服务支持的监控指标
使用DLI提交Flink OpenSource SQL作业查询RDS MySQL数据 操作场景 DLI Flink作业支持使用其他服务作为数据源和数据输出通道进行数据实时计算操作。 本例采用Kafka服务作为数据源通道，以RDS作为数据输出通道，介绍创建并提交Flink OpenSource
权限管理 在华为云上购买DLI资源后，如果您需要给企业中的员工设置不同的访问权限，以达到不同员工之间的权限隔离，可以使用统一身份认证服务（Identity and Access Management，简称IAM）进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能，
基本概念 弹性资源池 专属的计算资源，不同弹性资源上的计算资源完全隔离，弹性资源池内的不同队列资源可以共享，并可以根据队列资源负载配置策略进行分时弹性扩缩容，满足不同的业务需求。 DLI存储资源 DLI存储资源是DLI服务内部存储的资源，用于存储数据库和DLI表，是向DLI导入数据的必备条件
DLI datasourceV1表和datasourceV2表 什么是DLI datasourcev1表和DLI datasourcev2表？ DLI datasource v1表（以下简称V1表）：DLI的Datasource表格式，建表/插入/truncate命令使用DLI自定义的
JDBC 功能描述 JDBC连接器是Flink内置的Connector，提供了对MySQL、PostgreSQL等常见数据库的读写支持。表类型支持源表、结果表和维表。 表1 支持类别 类别 详情 支持表类型 源表、维表、结果表 前提条件 要与实例建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则
Hudi查询类型 快照查询 快照查询（Snapshot Queries）可以读到最新的commit/compaction产生的快照。对于MOR表，还会在查询中合并最新的delta log文件的内容，使读取的数据近实时。 增量查询 增量查询（Incremental Queries）只会查询到给定的
自定义函数 概述 DLI支持三种自定义函数： UDF：自定义函数，支持一个或多个输入参数，返回一个结果值。 UDTF：自定义表值函数，支持一个或多个输入参数，可返回多行多列。 UDAF：自定义聚合函数，将多条记录聚合成一个值。 暂不支持通过python写UDF、UDTF、UDAF自定义函数
自定义函数 概述 DLI支持三种自定义函数： UDF：自定义函数，支持一个或多个输入参数，返回一个结果值。 UDTF：自定义表值函数，支持一个或多个输入参数，可返回多行多列。 UDAF：自定义聚合函数，将多条记录聚合成一个值。 暂不支持通过python写UDF、UDTF、UDAF自定义函数
自定义函数 概述 DLI支持三种自定义函数： UDF：自定义函数，支持一个或多个输入参数，返回一个结果值。 UDTF：自定义表值函数，支持一个或多个输入参数，可返回多行多列。 UDAF：自定义聚合函数，将多条记录聚合成一个值。 POM依赖 <dependency>
创建Spark作业 DLI Spark作业为用户提供全托管式的Spark计算服务。 在总览页面，单击Spark作业右上角的“创建作业”，或在Spark作业管理页面，单击右上角的“创建作业”，均可进入Spark作业编辑页面。 进入Spark作业编辑页面，页面会提示系统将创建DLI临时数据桶
使用CDM迁移数据至DLI CDM提供了可视化的迁移任务配置页面，支持多种数据源到数据湖的迁移能力。 本节操作介绍使用CDM迁移工具将数据从数据源迁移至DLI的操作步骤。 图1 使用CDM迁移数据至DLI操作流程 步骤1：创建CDM集群 CDM集群用于执行数据迁移作业，将数据从数据源迁移至
Redis结果表 功能描述 DLI将Flink作业的输出数据输出到Redis中。Redis是一种支持Key-Value等多种数据结构的存储系统。可用于缓存、事件发布或订阅、高速队列等场景，提供字符串、哈希、列表、队列、集合结构直接存取，基于内存，可持久化。有关Redis的详细信息，
Elasticsearch结果表 功能描述 DLI将Flink作业的输出数据输出到云搜索服务CSS的Elasticsearch中。Elasticsearch是基于Lucene的当前流行的企业级搜索服务器，具备分布式多用户的能力。其主要功能包括全文检索、结构化搜索、分析、聚合、高亮显示等
Elasticsearch 功能描述 DLI将Flink作业的输出数据输出到云搜索服务CSS的Elasticsearch 引擎的索引中。 Elasticsearch是基于Lucene的当前流行的企业级搜索服务器，具备分布式多用户的能力。其主要功能包括全文检索、结构化搜索、分析、聚合
Redis结果表 功能描述 DLI将Flink作业的输出数据输出到Redis中。Redis是一种支持Key-Value等多种数据结构的存储系统。可用于缓存、事件发布或订阅、高速队列等场景，提供字符串、哈希、列表、队列、集合结构直接存取，基于内存，可持久化。有关Redis的详细信息，
初始化DLI客户端 使用DLI SDK工具访问DLI，需要用户初始化DLI客户端。用户可以使用AK/SK(Access Key ID/Secret Access Key)或Token两种认证方式初始化客户端，示例代码如下： 前提条件 已参考Java SDK概述配置Java SDK环境
区域和可用区 什么是区域、可用区？ 区域和可用区用于描述数据中心的位置，您可以在特定的区域、可用区创建资源。 区域（Region）：从地理位置和网络时延维度划分，同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region
初始化DLI客户端 使用DLI Python SDK工具访问DLI，需要用户初始化DLI客户端。用户可以使用AK/SK(Access Key ID/Secret Access Key)或Token两种认证方式初始化客户端，示例代码如下。完整样例代码和依赖包说明请参考：Python
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
