检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据保护技术 数据存储安全 为了确保您的个人敏感数据（例如用户名、密码、手机号码等）不被未经过认证、授权的实体或者个人获取，DLI对用户数据的存储和传输进行加密保护，以防止个人数据泄露，保证您的个人数据安全。 数据销毁机制 用户删除DLI队列后，存储在集群上的用户个人敏感数据会随之删除
创建Flink Jar作业 Flink Jar作业是基于Flink能力进行二次开发的场景，即构建自定义应用Jar包并提交到DLI的队列运行。 Flink Jar作业场景需要用户自行编写并构建应用Jar包，适用于对流计算处理复杂度要求较高的用户场景，且用户可以熟练掌握Flink二次开发能力
Redis结果表 功能描述 DLI将Flink作业的输出数据输出到Redis中。Redis是一种支持Key-Value等多种数据结构的存储系统。可用于缓存、事件发布或订阅、高速队列等场景，提供字符串、哈希、列表、队列、集合结构直接存取，基于内存，可持久化。有关Redis的详细信息，
ClickHouse结果表 功能描述 DLI将Flink作业数据输出到ClickHouse中。 ClickHouse是面向联机分析处理的列式数据库，支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级。详细请参考ClickHouse
CSS Elasticsearch输出流 功能描述 DLI将Flink作业的输出数据输出到云搜索服务CSS的Elasticsearch中。Elasticsearch是基于Lucene的当前流行的企业级搜索服务器，具备分布式多用户的能力。其主要功能包括全文检索、结构化搜索、分析、聚合
创建队列 功能介绍 该API用于创建队列，该队列将会绑定用户指定的计算资源。 新队列第一次运行作业时，需要一定的时间，通常为5~15分钟。 调试 您可以在API Explorer中调试该接口。 URI URI格式： POST /v1.0/{project_id}/queues 参数说明
使用DLI提交Flink Jar作业 操作场景 Flink Jar作业适用于需要自定义流处理逻辑、复杂的状态管理或特定库集成的数据分析场景。需要用户自行编写并构建Jar作业程序包，在提交Flink Jar作业前，将Jar作业程序包上传至OBS，并将程序包与数据和作业参数一起提交以运行作业
Redis结果表 功能描述 DLI将Flink作业的输出数据输出到Redis中。Redis是一种支持Key-Value等多种数据结构的存储系统。可用于缓存、事件发布或订阅、高速队列等场景，提供字符串、哈希、列表、队列、集合结构直接存取，基于内存，可持久化。有关Redis的详细信息，
查询所有队列 功能介绍 该API用于列出该project下所有的队列。 调试 您可以在API Explorer中调试该接口。 URI URI格式： GET/v1.0/{project_id}/queues 参数说明 表1 URI参数 参数名称 是否必选 参数类型 说明 project_id
创建Flink OpenSource SQL作业 本章节介绍如何新建Flink OpenSource SQL作业。 DLI Flink OpenSource SQL类型作业完全兼容社区Flink版本，并在社区connector基础之上，新增了Redis、DWS(GaussDB)数据源类型
开源Kafka输入流 功能描述 创建source流从Kafka获取数据，作为作业的输入数据。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka
功能总览 功能总览 全部 数据湖探索 权限管理 弹性资源池 DLI元数据 DLI SQL作业 DLI Spark作业 DLI Flink作业 跨源连接 DLI自定义委托 自定义镜像 OBS 2.0支持数据湖探索 数据湖探索（Data Lake Insight，以下简称DLI）是完全兼容
ClickHouse结果表 功能描述 DLI支持将Flink作业数据输出到ClickHouse数据库中。ClickHouse是面向联机分析处理的列式数据库，支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级。详细请参考ClickHouse
ClickHouse结果表 功能描述 DLI支持将Flink作业数据输出到ClickHouse数据库中。ClickHouse是面向联机分析处理的列式数据库，支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级。详细请参考ClickHouse
Postgres CDC源表 功能描述 Postgres的CDC源表，即Postgres的流式源表，用于依次读取PostgreSQL数据库全量快照数据和变更数据，保证不多读一条也不少读一条数据。即使发生故障，也能采用Exactly Once方式处理。 前提条件 PostgreSQL
Upsert Kafka结果表 功能描述 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。DLI将Flink作业的输出数据以upsert的模式输出到Kafka中。
Postgres CDC源表 功能描述 Postgres的CDC源表，即Postgres的流式源表，用于依次读取PostgreSQL数据库全量快照数据和变更数据，保证不多读一条也不少读一条数据。即使发生故障，也能采用Exactly Once方式处理。 前提条件 PostgreSQL
配置DLI云服务委托权限 使用DLI服务前请先配置DLI云服务权限。 本节操作适用于以下场景： 首次使用DLI服务，请参考本节操作按需配置DLI云服务委托权限。 使用DLI的过程中需要与其他云服务协同工作，因此需要您将部分服务的操作权限委托给DLI服务，确保DLI具备基本使用的权限
约束与限制 作业相关约束限制 DLI支持的作业类型：Spark SQL、SparkJar、Flink SQL、Flink Jar DLI支持的Spark版本：Spark 3.3.1、Spark 3.1.1（EOM）、Spark 2.4.5（EOM）、Spark 2.3（EOS） DLI
MySQL CDC源表 功能描述 MySQL的CDC源表，即MySQL的流式源表，会先读取数据库的历史全量数据，并平滑切换到Binlog读取上，保证数据的完整读取。 前提条件 MySQL CDC要求MySQL版本为5.7或8.0.x。 该场景作业需要DLI与MySQL建立增强型跨源连接
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
