数据湖探索 DLI

专家咨询

数据湖探索 DLI

{"_id":"pep-solution-page-navigate-v2_1690800752634","context":{"bg":"white","btnList":[{"btnUrl":"https://www.huaweicloud.com/intl/zh-cn/contact-sales.html","btnText":"专家咨询","btnStyle":"por-btn-primary"}],"moreText":"更多","actionInfo":{"title":"数据湖探索 DLI","titleUrl":"","actionList":[{"isBlank":false,"actionUrl":"","isChecked":true,"actionName":"概览","selectMenu":{"selectList":[{"url":"https://www.huaweicloud.com","name":"<p>开发者资源开发者资源开发者资源</p>","isBlank":false},{"url":"https://www.huaweicloud.com","name":"<p>客户案例</p>","isBlank":false},{"url":"https://www.huaweicloud.com","name":"<p>最佳实践</p>","isBlank":false}]},"isShowSelect":false},{"isBlank":true,"actionUrl":"https://www.huaweicloud.com/intl/zh-cn/pricing/calculator.html#/dli","isChecked":false,"actionName":"定价","selectMenu":{"selectList":[{"url":"","name":"","isBlank":false},{"url":"","name":"","isBlank":false}]},"isShowSelect":false},{"isBlank":true,"actionUrl":"https://support.huaweicloud.com/intl/zh-cn/bestpractice-dli/dli_05_0043.html","isChecked":false,"actionName":"最佳实践","selectMenu":{"selectList":[{"url":"https://www.huaweicloud.com","name":"<p>开发者资源开发者资源开发者资源</p>","isBlank":false},{"url":"https://www.huaweicloud.com","name":"<p>客户案例</p>","isBlank":false},{"url":"https://www.huaweicloud.com","name":"<p>最佳实践</p>","isBlank":false}]},"isShowSelect":false},{"isBlank":true,"actionUrl":"https://www.huaweicloud.com/intl/zh-cn/solution/","isChecked":false,"actionName":"解决方案","selectMenu":{"selectList":[{"url":"https://www.huaweicloud.com","name":"<p>开发者资源</p>","isBlank":false},{"url":"https://www.huaweicloud.com","name":"<p>客户案例</p>","isBlank":false},{"url":"https://www.huaweicloud.com","name":"<p>最佳实践</p>","isBlank":false}]},"isShowSelect":false}],"mobileSelectText":""},"columnNumberMB":"2"},"advancedInfo":{"isShowBtn":true,"isShowTitle":true}}

数据湖探索 DLI

提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务，支持数据入湖、数据仓库、BI、AI融合等能力

提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务，支持数据入湖、数据仓库、BI、AI融合等能力

简单易用

TB级数据秒级返回结果，标准SQL开发简单，免运维，低人力投入

一站式分析

融合Spark、Flink、Trino生态，提供批流交互式一体的分析体验

极致性价比

存算分离，成本更低，弹性资源，分时复用、优先级弹性

开源开放

支持主流开源数据格式、对接主流BI产品，提供跨源分析能力

为什么选择华为云数据湖探索 DLI

All in SQL

多模引擎，无需大数据背景，会SQL就会大数据分析；完全兼容Apache Spark、Apache Flink、Trino生态和接口，线下应用可无缝平滑迁移上云；一份资源支持流处理、批处理、交互式分析多种计算

弹性资源池

弹性资源池

支持三种资源（离线、实时、交互式）秒级弹性，实时根据业务峰谷变化来分配资源；支持作业级别的优先级，结合DataArts Studio基线运维从而保障核心业务按时完成

湖仓一体

集成对数据湖格式（Hudi）的访问分析，支持多模引擎（Spark、Flink）的统一湖仓解决方案，支持SQL化实时入湖、湖仓分析

跨源分析

支持多种数据格式，云上多种数据源、ECS自建数据库以及线下数据库，数据无需搬迁，即可实现对云上多个数据源进行分析，构建企业的统一视图，帮助企业快速完成业务创新和数据价值探索

覆盖海量应用场景，满足不同业务的数据湖探索需求

数据库分析
电商行业
游戏行业
大企业
基因行业
金融行业
政府行业

数据库分析

数据库分析

应用的数据（如：注册信息）存在关系型数据库中，想对数据库内的数据进行分析

优势

熟悉的SQL体验

DLI的SQL语法全兼容关系型数据库的标准ANSI SQL 2003，0学习成本，使用习惯保持一致

极致性能

DLI采用分布式内存计算模型，轻松处理海量数据

解决痛点

数据量日益增多，复杂查询关系型数据库查不出来

数据分库分表存在多个关系型数据库中，无法做全量分析

不想因为分析业务影响在线业务

搭配使用

云数据迁移 CDM

精准营销

电商行业需要获取多个途径的信息做关联分析，以便更好地做精准营销，提高转化率。如：关联【页面广告点击事件数据】和【用户注册数据】，获取不同年龄段喜欢的广告类型，以便对不同年龄段用户投放更精准的广告

优势

跨源分析

数据免搬迁，就可以关联分析存在OBS中的【页面广告点击事件数据】和RDS中【用户注册数据】

纯SQL操作

DLI已对接多个数据源，直接通过SQL建表就可以完成数据源的映射

搭配使用

对象存储服务 OBS

数据接入服务 DIS

日志分析

游戏公司日常通过数据分析平台，借助数据力量突破行业瓶颈。例如：寻找优质的投放渠道、提高新手期玩家留存、优化运营活动提升玩家活跃、数据驱动产品迭代等

优势

按量计费

DLI按量计费只在使用期间收费，成本较独占集群降低50%以上

融合分析

DLI三大引擎间元数据互通，数据实时清洗后入库进行离线ETL处理，处理结果直接可用交互式分析进行数据探索

解决痛点

日志分析通常是按周期进行调度，每次调度之间存在大量空闲期

搭配使用

数据接入服务 DIS

云数据库 RDS for MySQL

日志分析

大企业的部门比较多，不同部门在使用云服务时，需要对不同部门的员工的权限进行管理，包括计算资源的创建、删除、使用、隔离等。同时，也需要对不同部门的数据进行管理，包括数据的隔离、共享等

优势

细粒度权限控制

列级别权限控制；INSERT INTO/OVERWRITE单独权限控制；表元数据只读权限控制

统一的管理机制

使用统一的IAM管理用户（无需单独创建DLI用户），支持IAM细粒度授权

搭配使用

MapReduce服务 MRS

基因数据处理

现在基因行业有很多基于Spark分布式框架的第三方分析库，如ADAM、Hail等

优势

支持自定义镜像

支持基于基础镜像打包ADAM、Hail等第三方分析库，直接上传到容器镜像服务SWR，在DLI中运行作业时会自动拉取SWR中的自定义镜像

内置多个基础镜像

内置华为增强版Spark/Flink多版本基础镜像，开源Tensorflow、Keras、PyTorch的AI镜像

搭配使用

容器镜像服务 SWR

实时风控

为了提高消灭或减少风险事件发生的各种可能性，需要使用风控系统对典型的场景包括：注册风控、登录风控、交易分控等进行风控

优势

高吞吐、低延时

采用Apache Flink的Dataflow模型，完全的实时计算框架。采用高性能计算资源，单CPU每秒吞吐1千~2万条消息

丰富的云生态

使用SQL就可以将处理后的数据流式写入CloudTable、SMN等多个云服务

搭配使用

数据接入服务 DIS

消息通知服务 SMN

实时大屏

为了更好地做好新冠疫情的管控，各地政府需要通过实时大屏掌握新冠疫情的现存确诊、累计确诊、境外输入等关键数据，为下一步疫情调控提供数据支撑

优势

毫秒级查询性能

内置的openLooKeng引擎在内存计算框架的基础上，还利用许多查询优化技术来满足高性能毫秒级的交互式分析的需要

简单易用

纯SQL开发方式，SQL语法全兼容标准ANSI SQL 2003

搭配使用

云数据迁移 CDM

云数据库 RDS for MySQL

数据可视化 DLV

携手数万客户持续业务创新

客户案例

梦饷集团点触科技龙渊网络

帮助梦饷集团应对电商促销的流量洪峰

随着业务的发展及用户数十倍的增长，华为云DLI+DGC批流一体化数据治理解决方案为梦饷提供一个弹性的架构和高性能的数据湖来应对电商特有的促销带来的流量洪峰，保证业务稳定、不受影响

支撑点触科技建立数据分析平台

点触科技基于华为云智能数据湖平台DLI + DGC，建立了游戏数据分析平台，对游戏的营收、玩家的留存率、付费率等指标进行实时分析，帮助运营人员进行活动策划，助力发行人员进行精准投放，支撑管理层快速进行核心业务决策

DLI助力龙渊网络提升整体效益

龙渊网络携手华为云，实现高效、经济的查询分析海量数据，助力运营、策划、推广部门快速响应业务落地，实现数据应用一体化，DLI提供大数据分析工具助力企业提升整体效益

文档与学习成长

新手入门

新手入门

购买指南

用户指南

Spark SQL语法参考

Flink SQL语法参考

查看更多
高手进阶

高手进阶

Flink作业

Serverless Spark作业

最佳实践

API参考

查看更多
常见问题

常见问题

Flink作业相关问题

SQL作业相关问题

Spark作业相关问题

跨源连接常见问题

查看更多

即刻开启
云上

数据湖探索

之旅

开始使用

您可能感兴趣的产品

您可能感兴趣的产品

MapReduce服务 MRS

企业级大数据集群云服务

云搜索服务 CSS

提供多条件检索与分析能力

云数据仓库 GaussDB(DWS)

极致性能、稳定、按需扩展的数据仓库