在这个全民直播的时代

一个不会直播的 云服务 架构师

 不是一个好的攻城狮

3月23日15:00-15:50，华为云IoT数据分析服务架构师周仕鹏老师，开启了他人生中的第一场直播。在历经了直播小白都会遇到的紧张、认真筹备、期待、再度紧张的一系列过程后，周老师终于站在了直播间，与大家侃侃而谈“以数字资产模型为核心驱动的一站式IoT数据分析实践”，并在直播过程中演示了IoT数据分析Demo开发流程。

直播结束后，小编在后台悄悄问了下周老师：“您的首次直播都可以做到这么自信和游刃有余，秘笈是啥？”

正准备离开的周老师停下脚步，回眸一笑：“谈技术，没有人比我更懂IoT数据分析，谈直播，每个人都有第一次。在这个全民直播的时代，一个不会直播的云服务架构师不是一个好的攻城狮。”

小编：…….（回味中）

下面就让小编带你一起回顾和探秘周老师在直播间聊到的IoT数据分析那些事儿~

IoT数据分析面临的问题与挑战

随着物联网设备接入数量的快速增长，IoT数据量也急速增长，快捷有效的数据分析的价值越来越重要。然而，当前IoT数据分析面临着诸多关键挑战，贯穿着数据分析的整个过程：

• 数据接入阶段：数据质量参差不齐、且面临多种异构数据源接入

• 数据准备阶段：缺少统一数据模型，需要进行大量的数据抽取、转换等处理

• 数据存储阶段：海量数据查询效率低下，数据多份存储、 数据管理 成本高昂

• 数据分析阶段：不同类型数据分析数据源不同，形成数据孤岛、存在大量数据搬迁；并且数据分析门槛高，缺少简单易用的数据分析工具

• 数据可视化 阶段：缺少交互式查询能力、缺少基于时间维度的洞察分析能力                          

华为云IoT数据分析开放架构介绍

基于以上IoT数据分析面临的挑战，华为推出以资产模型为核心驱动的一站式IoT数据分析服务：基于物联网资产模型，整合 大数据 分析领域的最佳实践，以及IoT 数据集 成、清洗、存储、分析、可视化，为开发者打造一站式数据开发体验，并且跟华为云物联网相关云服务（比如设备接入）无缝对接，降低开发门槛，缩短开发周期，快速实现物联网数据价值变现。

下面我们将从资产建模、高效存储、时序分析三个方面进行展开介绍：

资产模型

构建资产模型是充分“理解”物联网数据的基础。现实世界的设备不是离散的，而是具有空间、组织、人等复杂关系与上下文存在的。如何打通物理世界与数字世界的关联，如何更好的理解设备从而快捷高效地分析数据，成为物联网企业急需的基础业务。

不同于通用型大数据分析相关产品，华为云IoT数据分析服务与资产模型深度整合，以DigitalTwins资产模型为中心驱动数据分析，开发者可以直接使用统一的物联网模型数据，大大提升数据分析的效率。通过构建物与物，物与空间，物与人等复杂关系，将物联网数据置于模型的“上下文”中去理解；通过“IoT+资产模型”，在数字世界中构建与物理世界准实时同步的数字孪生；基于模型抽象，为数据分析提供面向业务的接口封装。下图举例，将一栋楼映射成数字孪生，通过资产模型创建了大楼内部的组成关系。

在建模过程中，IoT数据分析服务提供图形化可拖拽方式的开发环境，简化复杂资产模型的开发过程，对于相同的资产可以采用模板方式批量创建。支持UDF（用户自定义函数）能力，用户在创建虚测点过程中可使用比如四则运算，科学计数法，三角函数，滑窗，流计算等函数。

高效存储

数据量大且具有时效性是物联网数据的典型特点，随着时间推移数据价值会逐渐降低。在不同场景下，数据处理时效性的要求也不同。比如：车联网行业的地理围栏、工业领域的生产线异常检测、园区火警告警等，都需要时效性，数据需实时处理，一般都在毫秒级别。而对于报表、统计类等分析，是对较长时间段的数据进行分析，对时间要求不高，一般是分钟级别。

华为云IoT数据分析服务针对不同场景下的数据特点采用不同的存储策略，提供温冷数据分层存储，在满足数据处理要求的同时，降低存储成本。

同时，针对物联网数据具备的显著时序特征，华为云IoT数据分析服务在数据存储及数据分析上做了大量的优化，提供高性能、高压缩比的时序数据处理。比如按时间线做Hash Partition，所有Shard节点并行写入，单实例支持超10万时间线，最大亿级时间线；通过采用列式存储布局，不同数据类型（如时间类型，浮点型）采用不同压缩算法，相比 开源 OpenTSDB压缩率提升10倍，获得极致压缩率；支持多维倒排索引、向量化查询等，相对开源OpenTSDB查询效率提升10倍以上。

时序分析

物联网数据具备的显著时序特征：按照时间维度上报、存储、查询数据。基于物联网数据的这些特征，华为云IoT数据分析服务提供时序数据洞察工具explorer，提供了开箱即用的时序洞察能力，无需任何开发。

• 基于统一的资产模型进行洞察探索，无需编码或数据准备，提升洞察效率；

• 基于高效的时序存储，可在海量历史数据中秒级快速交互分析查询，可基于任意资产、任意时间点 做准实时的探索查询；

• 基于资产模型环境上下文可视化效果，可通过丰富图表呈现，快速洞察时序数据特征。

针对实时性要求高的场景，物联网数据分析服务还提供基于算子的编排开发实时分析作业系统：

• 预置IoT行业实时处理的算子，行业开发者通过连接算子来编排出实时作业处理流程，无需专业算法知识；

• 面向行业开发者提供简单易用的化开发IDE，快速开发流处理实时分析作业，降低开发者的学习门槛，提高开发效率。 

典型应用场景

为了让大家更好地理解和熟悉华为云IoT数据分析服务开发流程，周仕鹏老师在直播间演示了如下两个物联网数据分析典型应用场景：

智慧楼宇 分析系统

在实际应用开发中，由于每个楼宇、楼层的设备为离散的物理设备，如果需要按照楼宇、楼层等为单位进行统计并监控设备，就需要对楼宇、设备之间的关系进行标注关联，并且后续的数据分析阶段还需要重新理解实际设备以及关联关系，开发效率低。

通过华为云IoT数据分析服务可以对楼宇进行快速资产建模，并基于统一模型做设备监控、实时分析、时序分析，降低开发门槛，提升数据分析开发效率。

智慧仓储中的实时分析

华为云IoT数据分析服务的资产建模能力，可帮助行业开发者快速构建资产模型并便捷管理。在仓库的进出库管理中，基于数据分析服务的实时分析，结合AI推理计算，对异常RFID数据流进行识别检测，可实现秒级判断出货物在进出库过程中的进出方向，继而可自动与货单进行校对，实时告知仓库管理人员进出货物的情况。