数据湖探索功能简介
提供基本的数据查询功能和分析功能:
SQL查询功能:使用标准的SQL语句查询分析数据。
Flink SQL在线分析功能:支持Window、Join等聚合函数、地理函数、CEP函数等,用SQL表达业务逻辑,简便快捷实现业务。
Spark计算特性:用户可通过交互式会话(session)和批处理(batch)方式提交计算任务,在全托管Spark队列上进行数据分析。
支持多数据源分析:
Spark跨源连接:可通过DLI访问CloudTable,DWS,RDS和CSS等数据源。
Flink跨源支持与多种云服务连通,形成丰富的流生态圈。数据湖探索的流生态分为云服务生态和开源生态:
开源生态:通过增强型跨源连接建立与其他VPC的网络连接后,用户可以在数据湖探索的租户独享队列中访问所有Flink和Spark支持的数据源与输出源,如Kafka、Hbase、ElasticSearch等。
数据湖探索应用场景
-
在车联网领域,云计算与大数据为企业提供了强大的分析挖掘能力,可以帮助企业和车队管理者更加科学、便捷地进行车辆数据管理与分析。
在车联网领域,云计算与大数据为企业提供了强大的分析挖掘能力,可以帮助企业和车队管理者更加科学、便捷地进行车辆数据管理与分析。
-
利用华为云数据湖探索、数据仓库服务以及永洪BI来分析用户和商品的各种数据特征,可为营销决策、广告推荐、信用评级、品牌监控、用户行为预测提供高质量的信息。
利用华为云数据湖探索、数据仓库服务以及永洪BI来分析用户和商品的各种数据特征,可为营销决策、广告推荐、信用评级、品牌监控、用户行为预测提供高质量的信息。
-
使用DLI帮助电商平台统计实时访问数据量、订单数、人数等指标,从而在显示大屏上实时展示相关数据,及时了解数据变化,调整营销策略。
使用DLI帮助电商平台统计实时访问数据量、订单数、人数等指标,从而在显示大屏上实时展示相关数据,及时了解数据变化,调整营销策略。
数据湖探索优势
支持SQL操作:
DLI提供标准SQL接口,用户仅需使用SQL便可实现海量数据查询分析。SQL语法全兼容标准ANSI SQL 2003。
跨源分析:
支持多种数据格式,云上多种数据源、ECS自建数据库以及线下数据库,数据无需搬迁,即可实现对云上多个数据源进行分析,构建企业的统一视图,帮助企业快速完成业务创新和数据价值探索。
Serverless DLI:
DLI完全兼容Apache Spark、Apache Flink生态和接口,是集实时分析、离线分析、交互式分析为一体的Serverless大数据计算分析服务。线下应用可无缝平滑迁移上云,减少迁移工作量。
数据湖探索开发指南
-
提供Spark SQL作业开发指导,包括作业分析、UDF、使用JDBC或ODBC提交Spark SQL作业等操作指导。
提供Spark SQL作业开发指导,包括作业分析、UDF、使用JDBC或ODBC提交Spark SQL作业等操作指导。
-
常见场景的数据源连接及使用 Flink OpenSource SQL作业分析数据操作指导。
常见场景的数据源连接及使用 Flink OpenSource SQL作业分析数据操作指导。
精选文章推荐
更多相关文章精选推荐,带您了解更多华为云数据湖探索