检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Redis源表 功能描述 创建source流从Redis获取数据，作为作业的输入数据。 前提条件 要建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南
使用前必读 使用须知 DLI HetuEngine功能为白名单功能，如需使用，请在管理控制台右上角，选择“工单 > 新建工单”，提交申请。 使用前您需要先创建一个HetuEngine类型的SQL队列，具体操作请参考创建弹性资源池并添加队列。 HetuEngine SQL需搭配lakeformation
创建增强型跨源连接 操作场景 使用DLI访问其他数据源的数据前，首先要通过建立增强型跨源连接打通DLI和数据源之间的网络，DLI才能够访问、导入、查询、分析其他数据源的数据。 例如：DLI连接MRS、RDS、CSS、Kafka、DWS时，需要打通DLI和对应数据源VPC之间的网络，
创建弹性资源池并添加队列 弹性资源池为DLI作业运行提供所需的计算资源（CPU和内存），用于灵活应对业务对计算资源变化的需求。 创建弹性资源池后，您可以在弹性资源池中创建多个队列，队列关联到具体的作业和数据处理任务，是资源池中资源被实际使用和分配的基本单元，即队列是执行作业所需的具体的计算资源
应用场景 DLI服务适用于海量日志分析、异构数据源联邦分析、大数据ETL处理。 海量日志分析 游戏运营数据分析 游戏公司不同部门日常通过游戏数据分析平台，分析每日新增日志获取所需指标，通过数据来辅助决策。例如：运营部门通过平台获取新增玩家、活跃玩家、留存率、流失率、付费率等，了解游戏当前状态及后续响应活动措施
JDBC源表 功能描述 JDBC连接器是Flink内置的Connector，用于从数据库读取相应的数据。 前提条件 要与实例建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则
Hbase结果表 功能描述 DLI将作业的输出数据输出到HBase中。HBase是一个稳定可靠，性能卓越、可伸缩、面向列的分布式云存储系统，适用于海量数据存储以及分布式计算的场景，用户可以利用HBase搭建起TB至PB级数据规模的存储系统，对数据轻松进行过滤分析，毫秒级得到响应，快速发现数据价值
Hbase源表 功能描述 创建source流从HBase中获取数据，作为作业的输入数据。HBase是一个稳定可靠，性能卓越、可伸缩、面向列的分布式云存储系统，适用于海量数据存储以及分布式计算的场景，用户可以利用HBase搭建起TB至PB级数据规模的存储系统，对数据轻松进行过滤分析，
Hbase结果表 功能描述 DLI将作业的输出数据输出到HBase中。HBase是一个稳定可靠，性能卓越、可伸缩、面向列的分布式云存储系统，适用于海量数据存储以及分布式计算的场景，用户可以利用HBase搭建起TB至PB级数据规模的存储系统，对数据轻松进行过滤分析，毫秒级得到响应，快速发现数据价值
Hbase源表 功能描述 创建source流从HBase中获取数据，作为作业的输入数据。HBase是一个稳定可靠，性能卓越、可伸缩、面向列的分布式云存储系统，适用于海量数据存储以及分布式计算的场景，用户可以利用HBase搭建起TB至PB级数据规模的存储系统，对数据轻松进行过滤分析，
Redis源表 功能描述 创建source流从Redis获取数据，作为作业的输入数据。 前提条件 创建该作业前，需要建立DLI和Redis的增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则
跨源认证概述 什么是跨源认证？ 跨源分析场景中，如果在作业中直接配置认证信息会触发密码泄露的风险，因此推荐您使用“数据加密服务DEW”或“DLI提供的跨源认证方式”来存储数据源的认证信息。 数据加密服务（Data Encryption Workshop, DEW）是一个综合的云上数据加密服务
JDBC结果表 功能描述 DLI将Flink作业的输出数据输出到关系型数据库中。 前提条件 要与实例建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南
JDBC源表 功能描述 JDBC连接器是Flink内置的Connector，用于从数据库读取相应的数据。 前提条件 要与实例建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则
Redis源表 功能描述 创建source流从Redis获取数据，作为作业的输入数据。 前提条件 创建该作业前，需要建立DLI和Redis的增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则
查询增强型跨源连接列表 功能介绍 该API用于查询该用户已创建的增强型跨源连接列表。 调试 您可以在API Explorer中调试该接口。 URI URI格式 GET /v2.0/{project_id}/datasource/enhanced-connections 参数说明 表
JDBC 功能描述 JDBC连接器是Flink内置的Connector，提供了对MySQL、PostgreSQL等常见数据库的读写支持。表类型支持源表、结果表和维表。 表1 支持类别 类别 详情 支持表类型 源表、维表、结果表 前提条件 要与实例建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则
使用CDM迁移数据至DLI CDM提供了可视化的迁移任务配置页面，支持多种数据源到数据湖的迁移能力。 本节操作介绍使用CDM迁移工具将数据从数据源迁移至DLI的操作步骤。 图1 使用CDM迁移数据至DLI操作流程 步骤1：创建CDM集群 CDM集群用于执行数据迁移作业，将数据从数据源迁移至
概述 欢迎使用数据湖探索。 数据湖探索（Data Lake Insight，简称DLI）是完全兼容Apache Spark、Apache Flink、trino生态，提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。用户不需要管理任何服务器，即开即用。支持标准
流生态作业开发指引 流生态系统基于Flink和Spark双引擎，完全兼容Flink/Storm/Spark开源社区版本接口，并且在此基础上做了特性增强和性能提升，为用户提供易用、低时延、高吞吐的数据湖探索。 数据湖探索的流生态开发包括云服务生态、开源生态和自拓展生态： 云服务生态
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
