IoT数据分析面临的问题与挑战
随着物联网设备接入数量的快速增长，IoT数据量也急速增长，快捷有效的数据分析的价值越来越重要。然而，当前IoT数据分析面临着诸多关键挑战，贯穿着数据分析的整个过程：
-
数据接入阶段：数据质量参差不齐、且面临多种异构数据源接入
-
数据准备阶段：缺少统一数据模型，需要进行大量的数据抽取、转换等处理
-
数据存储阶段：海量数据查询效率低下，数据多份存储、 数据管理 成本高昂
-
数据分析阶段：不同类型数据分析数据源不同，形成数据孤岛、存在大量数据搬迁；并且数据分析门槛高，缺少简单易用的数据分析工具
-
数据可视化 阶段：缺少交互式查询能力、缺少基于时间维度的洞察分析能力
华为云IoT数据分析开放架构介绍
基于以上IoT数据分析面临的挑战，华为推出以资产模型为核心驱动的一站式IoT数据分析服务：基于物联网资产模型，整合 大数据 分析领域的最佳实践，以及IoT 数据集 成、清洗、存储、分析、可视化，为开发者打造一站式数据开发体验，并且跟华为云物联网相关 云服务 （比如设备接入）无缝对接，降低开发门槛，缩短开发周期，快速实现物联网数据价值变现。
下面我们将从资产建模、高效存储、时序分析三个方面进行展开介绍：
资产模型
构建资产模型是充分“理解”物联网数据的基础。现实世界的设备不是离散的，而是具有空间、组织、人等复杂关系与上下文存在的。如何打通物理世界与数字世界的关联，如何更好的理解设备从而快捷高效地分析数据，成为物联网企业急需的基础业务。
不同于通用型大数据分析相关产品，华为云IoT数据分析服务与资产模型深度整合，以DigitalTwins资产模型为中心驱动数据分析，开发者可以直接使用统一的物联网模型数据，大大提升数据分析的效率。通过构建物与物，物与空间，物与人等复杂关系，将物联网数据置于模型的“上下文”中去理解；通过“IoT+资产模型”，在数字世界中构建与物理世界准实时同步的数字孪生；基于模型抽象，为数据分析提供面向业务的接口封装。下图举例，将一栋楼映射成数字孪生，通过资产模型创建了大楼内部的组成关系。
在建模过程中，IoT数据分析服务提供图形化可拖拽方式的开发环境，简化复杂资产模型的开发过程，对于相同的资产可以采用模板方式批量创建。支持UDF（用户自定义函数）能力，用户在创建虚测点过程中可使用比如四则运算，科学计数法，三角函数，滑窗，流计算等函数。
高效存储
数据量大且具有时效性是物联网数据的典型特点，随着时间推移数据价值会逐渐降低。在不同场景下，数据处理时效性的要求也不同。比如：车联网行业的地理围栏、工业领域的生产线异常检测、园区火警告警等，都需要时效性，数据需实时处理，一般都在毫秒级别。而对于报表、统计类等分析，是对较长时间段的数据进行分析，对时间要求不高，一般是分钟级别。
华为云IoT数据分析服务针对不同场景下的数据特点采用不同的存储策略，提供温冷数据分层存储，在满足数据处理要求的同时，降低存储成本。
同时，针对物联网数据具备的显著时序特征，华为云IoT数据分析服务在数据存储及数据分析上做了大量的优化，提供高性能、高压缩比的时序数据处理。比如按时间线做Hash Partition，所有Shard节点并行写入，单实例支持超10万时间线，最大亿级时间线；通过采用列式存储布局，不同数据类型（如时间类型，浮点型）采用不同压缩算法，相比 开源 OpenTSDB压缩率提升10倍，获得极致压缩率；支持多维倒排索引、向量化查询等，相对开源OpenTSDB查询效率提升10倍以上。
时序分析
物联网数据具备的显著时序特征：按照时间维度上报、存储、查询数据。基于物联网数据的这些特征，华为云IoT数据分析服务提供时序数据洞察工具explorer，提供了开箱即用的时序洞察能力，无需任何开发。
-
基于统一的资产模型进行洞察探索，无需编码或数据准备，提升洞察效率；
-
基于高效的时序存储，可在海量历史数据中秒级快速交互分析查询，可基于任意资产、任意时间点 做准实时的探索查询；
-
基于资产模型环境上下文可视化效果，可通过丰富图表呈现，快速洞察时序数据特征。
物联网数据分析服务还提供基于算子的开发实时分析作业系统：
-
预置IoT行业实时处理的算子，行业人员通过连接算子来编排出实时作业处理流程，无需专业算法知识；
典型应用场景
为了让大家更好地理解和熟悉华为云IoT数据分析服务开发流程，周仕鹏老师在直播间演示了如下两个物联网数据分析典型应用场景：
智慧楼宇 分析系统
在实际应用开发中，由于每个楼宇、楼层的设备为离散的物理设备，如果需要按照楼宇、楼层等为单位进行统计并管理设备，就需要对楼宇、设备之间的关系进行标注关联，并且后续的数据分析阶段还需要重新理解实际设备以及关联关系，开发效率低。
通过华为云IoT数据分析服务可以对楼宇进行快速资产建模，并基于统一模型做设备管理、实时分析、时序分析，降低开发门槛，提升数据分析开发效率。
智慧仓储中的实时分析
华为云IoT数据分析服务的资产建模能力，可帮助行业开发者快速构建资产模型并便捷管理。在仓库的进出库管理中，基于数据分析服务的实时分析，结合AI推理计算，对异常RFID数据流进行识别检测，可实现秒级判断出货物在进出库过程中的进出方向，继而可自动与货单进行校对，实时告知仓库管理人员进出货物的情况。
