[快速入门]数据湖探索
实时流计算服务

实时流计算CS已与数据湖探索DLI进行了合并,同SPU资源下 数据湖探索DLI 价格下降30%,请前往体验> 进入DLI控制台 立即购买 [退市通知] 华为云实时流计算服务于2020年11月1日00:00:00(北京时间)退市,原有功能已合并到DLI [进入DLI] 数据湖探索DLI主页

表格存储服务

零改动 极致性能 数据实时查询性能远高于传统数据仓库 安全可靠 用户集群独立部署,网络支持VPC隔离,数据访问通道安全加密 搭配使用 数据湖探索 DLI 云数据迁移 CDM 消息日志类数据存储和查询 消息日志类数据存储和查询 CloudTable(HBase)满足消息或日志类数据

数据接入服务 DIS

业务系统随时随地发送数据到DIS 高并发、低延时 支持百万并发消息,端到端时延低至毫秒级 生态完善 支持对接各分析平台,数据传输、计算一站式处理 建议搭配使用 数据湖探索 DLI MapReduce 服务 实时文件传输 实时检测客户应用系统中产生的日志文件,并采集上传到云上,进行离线分析、存储查询及

对象存储服务 OBS功能-BigData Pro

高可靠 分布式存储跨可用区容灾技术,数据持久度高达12个9,优良数据可靠性 推荐产品 对象存储服务 OBS MapReduce服务 MRS 数据湖探索 DLI 云搜索服务 CSS BigData Pro解决方案存储优势 华为云OBS服务为BigData Pro解决方案提供存储资源,业务连续稳定、资源利用率高、数据复用率高

湖仓构建

细粒度访问控制:实现针对数据湖的库、表、列级元数据的细粒度访问控制,为业务数据的安全性提供有力保障。 建议搭配服务 MapReduce服务 数据湖探索 DLI 云数据仓库 GaussDB 数据治理中心 DataArts Studio AI开发平台 ModelArts 多计算引擎共享元数据

数据可视化

放设备分辨率,自由定制大屏尺寸 多种数据源支持 无缝集成华为云数据仓库服务、数据湖探索、关系型数据库、对象存储服务等,支持本地CSV、在线API及企业内部私有云数据 无缝集成华为云数据仓库服务、数据湖探索、关系型数据库、对象存储服务等,支持本地CSV、在线API及企业内部私有云数据

数据仓库服务 GaussDB(DWS)

统一的数据决策平台,多维分析企业经营数据,有效支撑企业的经营决策 多场景展现 搭配BI工具多终端数据展现PC端/移动端/大屏,满足业务部门各种报表诉求 搭配使用 数据湖探索 DLI MapReduce服务 MRS 数据湖治理中心 DataArts Studio 数据湖分析 数据湖分析 整合数据资源,构建大数

云数据迁移 CDM

高效同步 基于数据源特点采取并发拆分增强迁移性能 建议搭配使用 云专线 DC MapReduce服务 表格存储服务CloudTable 数据湖探索 DLI 产品特性 支持多种数据源批量入湖 支持近20种数据源之间的数据迁移 支持近20种数据源之间的数据迁移 简单易用 全向导式任务管理界面,轻松应对复杂迁移场景

智能数据湖_FusionInsight_数据湖应用场景_大数据-华为云

类别 场景 服务 优势 多元分析 一站式大数据平台 云原生数据湖 MRS 全球累计交付30万+节点,30%性价比提升 全托管大数据服务 数据湖探索 DLI 流、批、交互式一体,AIl in SQL,秒级扩缩容 数据仓库 云数据仓库 GaussDB(DWS) 软硬协同性能提升30%,兼容标准SQL

[相似文章]数据湖探索
什么是数据湖探索服务_数据湖探索DLI用途与特点

Jar作业的完整的操作步骤,帮助您在DLI上进行作业开发。 介绍使用Spark Jar作业的完整的操作步骤,帮助您在DLI上进行作业开发。 Spark Jar作业开发指南 精选文章推荐 更多相关文章精选推荐,带您了解更多华为云数据湖探索 了解数据湖探索 图解数据湖探索 什么是数据湖弹性资源池 数据湖探索使用约束限制

什么是跨源连接-数据湖探索DLI跨源连接

,能够通过SQL语句、Spark作业或者Flink作业访问其他数据存储服务并导入、查询、分析处理其中的数据,数据湖探索跨源连接的功能是打通数据源之间的网络连接。 数据湖探索跨源连接的功能是打通数据源之间的网络连接,目前DLI支持跨源连接访问的数据源包括:CloudTable HBase,CloudTable

什么是Spark SQL作业_数据湖探索DLISpark SQL作业

SQL作业的特点与功能 数据湖探索DLI是完全兼容Apache Spark,也支持标准的Spark SQL作业,DLI在开源Spark基础上进行了大量的性能优化与服务化改造,不仅兼容Apache Spark生态和接口,性能较开源提升了2.5倍,在小时级即可实现EB级数据查询分析。 数据湖探索DLI是完全兼容Apache

什么是弹性资源池_数据湖探索DLI弹性资源池

可以根据不同队列计算资源使用量的波峰和波谷和优先级来配置要扩缩容的CU数。 弹性资源池队列管理 精选文章推荐 更多相关文章精选推荐,带您了解更多华为云数据湖探索的弹性资源池 弹性资源池相关的API 创建弹性资源池 查询所有弹性资源池 删除弹性资源池 修改弹性资源池信息 查询弹性资源池所属队列 Flink

什么是Flink OpenSource SQL_数据湖探索_Flink OpenSource SQL

OpenSource SQL的特点与功能 数据湖探索DLI是完全兼容Apache Flink,也支持标准Flink OpenSource SQL作业,DLI在开源Flink基础上进行了特性增强和安全增强,提供了数据处理所必须的Stream SQL特性。 数据湖探索DLI是完全兼容Apache Flink,也支持标准Flink

华为云内容审核服务_内容审核有什么作用_华为云内容审核的优势

什么是跨源连接-数据湖探索DLI跨源连接 什么是数据湖探索服务_数据湖探索DLI用途与特点 什么是Spark SQL作业_数据湖探索DLISpark SQL作业 什么是弹性资源池_数据湖探索DLI弹性资源池 什么是Flink OpenSource SQL_数据湖探索_Flink OpenSource

大数据可视化平台是什么_大数据可视化平台有什么优势

拖拽即可完成组件自由配置与布局、所见即所得,无需编程就能轻松搭建可视化大屏,并且依据投放设备分辨率,自由定制大屏尺寸。 多种数据源支持 无缝集成华为云数据仓库服务、数据湖探索、关系型数据库、对象存储服务等,支持本地CSV、在线API及企业内部私有云数据。 大数据可视化平台的架构 DLV的产品架构如图1所示: 图1

免费专题

定制模板OCR免费试用 证件类文字识别OCR免费体验 票据类文字识别OCR 通用文字识别OCR免费体验 04 大数据 免费MySQL云数据库 数据湖探索DLI免费试用 数据湖治理中心DGC免费试用 区块链服务BCS免费试用 数据加密服务DEW免费试用 数据可视化DLV免费试用 应用性能管理APM免费体验

大数据应用范围有哪些_大数据技术与应用要学习什么课程

SQL或自定义作业。无需关心计算集群, 无需学习编程技能。完全兼容Apache Flink和Spark API 数据湖探索 数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark、Apache Flink、openLooKeng(基于Apache

数据湖探索

应用场景

该解决方案基于华为云数据湖探索 DLI Spark作业构建,通过对驾驶人驾驶行为的分析,帮助您快速的进行车辆 数据管理 与分析。DLI 是一个强大的大数据处理平台,它可以帮助您轻松地管理和分析车辆数据。通过使用标准 SQL 和 Spark 程序,您可以在云上进行多数据源的联合计算分析,从而挖掘和探索数据价值。适用于以下场景:

1、智能驾驶: 通过分析车辆数据,可以提供有关驾驶行为的深入见解,以改善驾驶体验、提高道路安全,并优化交通流量。

2、自动驾驶: 通过分析车辆数据,可以训练自动驾驶模型,以提高自动驾驶的准确性和效率。

3、安全预警: 通过分析车辆数据,可以预测和识别潜在的安全问题,提前采取措施,防止事故发生。

4、用户行为分析: 通过分析车辆数据,可以了解用户的驾驶习惯和行为,以提供更好的服务和产品。

方案架构

该解决方案基于数据湖探索 DLI构建,一键部署驾驶行为分析系统,帮您进行车辆数据管理与分析。架构如下图所示:
图1 方案架构

该解决方案会部署如下资源:

  • 创建一台 云数据库 RDS for MySQL 实例,用于存储统计的驾驶行为数据。
  • 创建数据湖探索 DLI增强型跨源队列,并创建SQL作业,用于分析和处理驾驶行为数据。
  • 创建数据湖探索 DLI跨源认证,用于DLI访问RDS for MySQL同步写入驾驶行为数据。
  • 创建两个 对象存储 服务 OBS 桶,一个用于用户上传驾驶行为数据,另一个用于上传连接RDS的SQL文件。
  • 使用 函数工作流 FunctionGraph 创建两个函数,一个用于自动创建DLI 数据库 表并将用户上传的驾驶行为数据自动写入,另一个用于自动在RDS创建数据表模板。

方案优势

  • 数据免搬迁

    数据湖探索 DLI支持与多种数据源的对接,直接通过SQL建表就可以完成数据源的映射。

  • 开源和定制化

    该解决方案是开源的,用户可以免费用于商业用途,并且还可以在源码基础上进行定制化开发,搭建属于自己的驾驶行为分析系统。

  • 一键部署

    一键轻松部署,即可完成数据湖探索 DLI,函数工作流 FunctionGraph,云数据库 RDS等资源发放,帮助用户轻松搭建驾驶行为分析解决方案。

约束与限制

  • 部署该解决方案之前,您需注册华为账号并开通华为云,完成实名认证,且账号不能处于欠费或冻结状态,如使用包周期部署确保余额充足。
  • 如果选用 IAM 委托权限部署资源,请确保使用的华为云账号有IAM的足够权限,具体请参考创建rf_admin_trust委托(可选);如果使用华为主账号或admin用户组下的IAM子账户可不选委托,将采用当前登录用户的权限进行部署。
  • 第一次使用数据湖数据湖 DLI时需要登录DLI控制台,如果使用IAM子账户部署该解决方案,请参考部署指南确保该账号已经有DLI的相关授权,第一次使用DLI时候也需要用子账号登录一次控制台。具体请参考数据湖探索 DLI帮助文档

数据湖探索常见问题

更多常见问题 >>
  • SFS的常见问题解答。

  • 数据湖探索的计费包括存储计费和计算计费。数据湖探索的计费详情及样例,请参见以下说明。数据湖探索服务目前支持三种作业:SQL作业,Flink作业和Spark作业。 SQL作业的计费包括存储计费和计算计费,其中计算计费包括包年包月计费和按需计费两种。 包年包月计费根据购买周期进行扣费,推荐使用包年包月模式,价格优惠且在周期内独享计算资源。

  • 数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark、Apache Flink、Trino生态,提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。用户不需要管理任何服务器,即开即用。

  • 预热的任务一直在处理中的可能原因有如下几种:可能当前CDN处于预热高峰期,您的预热任务正在排队中。缓存预热的时候CDN要回源请求资源,会占用源站带宽。当您要执行大批量文件预热时,可能会导致您的源站带宽资源被占满,建议:预热时请尽量分批次执行。您可以在访问量低的时间(如夜间)进行预热。升级您的源站带宽。

  • 本文为您解答华为云云市场按需付费镜像常见问题。

  • 包年包月镜像是基于按需镜像包装出的预付费套餐,一个包年包月镜像同一时间只能用于一台云服务器。包年包月镜像支持续费,在到期前用户可以选择续费继续使用。如果到期不对镜像续费,而云服务器继续使用,请在到期前及时更换系统,否则镜像将以按需的方式开始计费。