华为云计算 云知识 一文读懂华为云IoT数据分析服务
一文读懂华为云IoT数据分析服务

华为云针对物联网领域业务提供了一系列专业的 云服务 ,如设备接入、IoT数据分析服务等;其中IoT数据分析服务是专为IoT数据分析业务场景特征做了深度优化的云服务,基于物联网资产模型、整合物联网 数据集 成、清洗、存储、分析、可视化等能力,为开发者提供一站式的IoT数据分析能力,降低开发门槛,缩短开发周期,快速实现物联网数据价值变现。那么为什么要进行数据分析如下图所示。

大量的数据需要数据分析

物联网数据的特点

如何做好IoT数据分析

资产模型

资产模型是IoT数据分析服务充分理解物联网数据的基础。构建资产模型,就是构建物与物,物与空间,物与人等复杂关系,将物联网数据置于模型的上下文中去理解。资产模型就是物理世界的资产在数字世界中的映射,两边的数据准实时同步,实现数字孪生。IoT数据分析服务基于资产模型抽象,将不同的设备上报数据统一为业务可理解的数据格式。如下图所示。

物联网数据处理的关键是对时序数据的处理写入功能:怎样满足海量设备高并发,实时写入的要求?

压缩比例:某些物联网设备可能产生巨量数据,最大限度的压缩是减少成本的直接手段。

查询效率:面对长时间积累的物联网数据,如何满足高性能查询,特别是经常做时间维度的聚合查询。

 

按数据时效性分层处理,获得综合处理效率最大化

高效的数据清洗,为数据分析输入高质量的数据

相比将设备数据转发至通用数据分析服务进行分析的方案,IoT数据分析服务是专为物联网场景设计的。

IoT数据分析服务支持设备接入管理服务和多种第三方服务作为数据源,将数据集成、归档、存储后进行分析,分析引擎基于资产模型理解数据,支持实时分析、时序分析和离线分析。此外,针对行业用户,IoT数据分析后还提供了行业分析套件,包括智慧物流行业、新能源车分析行业等。分析后的数据,可以协同 AI平台 利用,也可以开发给第三方应用或华为云其他服务。数据分析的架构如下图所示。

离线分析

帮助物联网数据开发者快速构建物联网 数据湖 ,开发者可通过标准SQL开发IoT数据分析任务,并轻松处理TB-EB级别物联网 大数据

数据湖:提供成本低廉的海量数据存储能力,与物联网 设备接入服务 无缝对接,快速接入物联网数据源,并基于物联网资产模型,对物联网数据进行预处理,为数据分析做好准备

大数据分析:使用大数据高可用,可水平扩展框架,基于内存计算模型,DAG调度框架、高效的优化器,综合性能是传统MapReduce模型的百倍以上,帮助开发者轻松完成物联网数据批分析

标准SQL作业:提供标准的SQL接口,物联网数据开发者无需关心SQL处理引擎的部署和运维,只需聚焦物联网业务,开发分析作业,并支持丰富的作业调度策略配置。如下图所示。

实时分析

基于物联网大数据流计算引擎,提供物联网实时分析能力。为了降低开发者开发物联网流分析作业门槛,IoT数据分析服务提供图形化流编排能力,开发者可以通过拖拽方式快速开发上线。

图形化流编排能力:可视化流编排IDE,无需写SQL,通过简单拖拽完成物联网流分析作业定义

物联网流编排算子:基于典型物联网应用场景,封装常用算子,比如数据接入,数据过滤,数据转换等等。如下图所示。

时序分析

物联网的数据具备时间序列特性,如下图所示。

专为物联网时序数据处理优化的服务,包括高压缩比的时序数据存储,高效的时序查询效率,海量时间线能力;

海量接入:海量时间线能力,最大可达亿级。

时序存储:列式存储及专用压缩算法,高压缩率。

高效查询:基于时间多维度聚合,近实时分析查询。

数据可视化 :提供时序洞察工具,方便物联网数据分析师进行时序数据探索。

 

上一篇:如何成为一个合格的堡垒机系统管理员 下一篇:什么情况下需要视频点播加速?视频点播加速有哪些优势?

华为云

面向未来的智能世界,数字化是企业发展的必由之路。数字化成功的关键是以云原生的思维践行云原生,全数字化、全云化、AI驱动,一切皆服务。

华为云将持续创新,携手客户、合作伙伴和开发者,致力于让云无处不在,让智能无所不及,共建智能世界云底座。