数据湖探索功能简介

提供基本的数据查询功能和分析功能:

SQL查询功能:使用标准的SQL语句查询分析数据。

Flink SQL在线分析功能:支持Window、Join等聚合函数、地理函数、CEP函数等,用SQL表达业务逻辑,简便快捷实现业务。

Spark计算特性:用户可通过交互式会话(session)和批处理(batch)方式提交计算任务,在全托管Spark队列上进行数据分析。


支持多数据源分析:

Spark跨源连接:可通过DLI访问CloudTable,DWS,RDS和CSS等数据源。

Flink跨源支持与多种云服务连通,形成丰富的流生态圈。数据湖探索的流生态分为云服务生态和开源生态:

开源生态:通过增强型跨源连接建立与其他VPC的网络连接后,用户可以在数据湖探索的租户独享队列中访问所有Flink和Spark支持的数据源与输出源,如Kafka、Hbase、ElasticSearch等。


数据湖探索应用场景

  • 车联网场景驾驶行为数据分析

    在车联网领域,云计算与大数据为企业提供了强大的分析挖掘能力,可以帮助企业和车队管理者更加科学、便捷地进行车辆数据管理与分析。

    在车联网领域,云计算与大数据为企业提供了强大的分析挖掘能力,可以帮助企业和车队管理者更加科学、便捷地进行车辆数据管理与分析。

  • 电商BI报表分析

    利用华为云数据湖探索、数据仓库服务以及永洪BI来分析用户和商品的各种数据特征,可为营销决策、广告推荐、信用评级、品牌监控、用户行为预测提供高质量的信息。

    利用华为云数据湖探索、数据仓库服务以及永洪BI来分析用户和商品的各种数据特征,可为营销决策、广告推荐、信用评级、品牌监控、用户行为预测提供高质量的信息。

  • 电商实时业务数据分析

    使用DLI帮助电商平台统计实时访问数据量、订单数、人数等指标,从而在显示大屏上实时展示相关数据,及时了解数据变化,调整营销策略。

    使用DLI帮助电商平台统计实时访问数据量、订单数、人数等指标,从而在显示大屏上实时展示相关数据,及时了解数据变化,调整营销策略。

数据湖探索优势

支持SQL操作:

DLI提供标准SQL接口,用户仅需使用SQL便可实现海量数据查询分析。SQL语法全兼容标准ANSI SQL 2003。

跨源分析:

支持多种数据格式,云上多种数据源、ECS自建数据库以及线下数据库,数据无需搬迁,即可实现对云上多个数据源进行分析,构建企业的统一视图,帮助企业快速完成业务创新和数据价值探索。

Serverless DLI:

DLI完全兼容Apache Spark、Apache Flink生态和接口,是集实时分析、离线分析、交互式分析为一体的Serverless大数据计算分析服务。线下应用可无缝平滑迁移上云,减少迁移工作量。

数据湖探索开发指南

  • Spark SQL作业开发指南

    提供Spark SQL作业开发指导,包括作业分析、UDF、使用JDBC或ODBC提交Spark SQL作业等操作指导。

    提供Spark SQL作业开发指导,包括作业分析、UDF、使用JDBC或ODBC提交Spark SQL作业等操作指导。

  • Flink OpenSource SQL作业开发指南

    常见场景的数据源连接及使用 Flink OpenSource SQL作业分析数据操作指导。

    常见场景的数据源连接及使用 Flink OpenSource SQL作业分析数据操作指导。

  • Flink Jar作业开发指南

    提供Flink Jar作业开发基础样例与使用方法。

    提供Flink Jar作业开发基础样例与使用方法。

  • Spark Jar作业开发指南

    介绍使用Spark Jar作业的完整的操作步骤,帮助您在DLI上进行作业开发。

    介绍使用Spark Jar作业的完整的操作步骤,帮助您在DLI上进行作业开发。