IoT数据分析 IoTA-华为云

IoT数据分析 IoTA-使用IoTDA数据源:操作步骤

操作步骤访问“IoT数据分析”服务产品页，点击“立即使用”进入"IoT数据分析"服务控制台。在左侧导航栏选择“数据管理”，进入数据管道页面，在“管理列表”点击“创建数据管道”。弹出“创建数据管道”对话框，您可自行填写“作业名称”（注意：同一用户所创建的作业名称不可重复）、“描述”，并选择数据源（若列表为空，请跳转到“创建数据源”链接创建数据源，详见数据源章节），如下图所示。使用IoTDA数据源时，系统会自动读取该数据源的相关信息及相关的产品信息，生成作业执行流程，如图所示。上图所示示例中，所选择的IoTDA数据源包含两种设备：烟感设备与水表，系统自动生成了两个处理分支，分别用于处理这两种设备上报的数据。这两个分支各自以一个“产品过滤”算子作为起始点，分别过滤出这两种设备的数据，以便于后续处理流程仅处理某一种产品的数据，如图所示。系统还自动根据这两种设备的产品信息（该产品信息以安全的方式从IoTDA获取），生成了默认的输出配置。请用户自行选择存储组，并填写存储名称，补齐配置内容即可保存，如图所示。

IoT数据分析 IoTA

IoT数据分析 IoTA-预览列表展示:预览列表控制属性分析操作

预览列表控制属性分析操作在预览列表区，支持对所选属性做勾选、分析、移除操作，以控制该属性在图表分析区的展示，其中分析操作包含如下内容：聚合类型：对所选属性的时序数据按采样间隔进行聚合计算，当前支持的聚类操作包括AVG、MIN、MAX、SUM、COUNT共计5种；时间偏移：对所选属性按时间做偏移，会在预览列表新增一条记录，常用于同一测点不同时间的对比分析；显示类型：支持阶梯图，最小/最大范围，显示数据点，仅对折线图有效。图3 预览列表分析操作

IoT数据分析 IoTA 时序洞察

IoT数据分析 IoTA-界面介绍

界面介绍启动按钮启动调试任务任务状态栏查看任务状态。表1 状态说明状态名称描述就绪任务完成编辑后，无错误配置，等待启动。提交中任务提交后台服务中，此时任务处于初始化中，无法处理上报的测试数据运行中任务已完成初始化，等待或正在处理上报测试数据，除当任务异常或人为停止，否则将一直正常运行。停止中当任务异常或人为停止任务时，任务将停止处理测试数据。停止任务正常停止，可编辑。输入输出上报测试数据的控制页面。用户可在数据源类型选择对应数据源；下载对应数据源的测试数据模板文本并修改数据内容；最后上传测试数据文本。数据监控数据监控也是查看数据处理结果的查询页面。页面查看方式包括单算子查询和多算子查询。单算子查询下拉“算子”下拉框选择查看“数据过滤”。点击搜索输入框按钮搜索查询，搜索框支持以消息id或data内容匹配查询。和分别显示“数据过滤”算子结果。多算子查询下拉“算子1（上游）”下拉框选择查看“管道数据输入A”的“输出”；下拉“算子2（下游）”下拉框选择查看“DIS输出”的“输入”。点击搜索输入框按钮搜索查询，搜索框支持以消息id或data内容匹配查询。显示“管道数据输入A”的“输出”结果。显示“DIS输出”的“输入”结果。父主题：作业调试

IoT数据分析 IoTA

IoT数据分析 IoTA-数据源配置概述

数据源配置概述 IoT数据分析服务支持多种数据源类型，用户可选择合适的数据源并进行配置： IoTDA实时数据源：将IoT 设备接入服务（IoTDA）作为数据源，IoT设备接入服务将转发设备上报的数据到IoT数据分析服务，之后您可以通过IoT数据分析服务分析设备上报数据。 DIS数据源：将华为云DIS服务作为数据源，您可以通过将IoT数据实时推送到DIS服务，然后IoT数据分析服务会从DIS中获取该数据。 API数据源：IoT数据分析服务提供API接口，您可以通过调用API直接向IoT数据分析服务发送数据。父主题：数据源配置

IoT数据分析 IoTA

IoT数据分析 IoTA-服务控制台总览:流程介绍

流程介绍图1 流程介绍配置数据源数据分析服务会将数据源的数据存储并进行后续分析。点击图标即可进入数据源配置界面。创建数据管道数据管道是数据分析的基础功能，对进入数据分析的数据进行格式标准化、清洗等数据预处理。点击图标即可进入数据管道配置界面。配置存储数据的存储是数据分析的基础，点击图标即可进入存储配置界面。资产建模根据您的业务场景创建相应的数字资产模型，并基于该模型进行后续的数据分析，点击图标即可进入资产建模界面。数据分析可以结合业务数据进行针对性的业务洞察，发现业务价值。点击图标即可进入分析界面。结果导出您可以根据需要导出所需的原始以及分析后的数据。

IoT数据分析 IoTA

IoT数据分析 IoTA-删除属性

删除属性算子简介名称：删除属性功能说明：从数据中删除指定的属性。约束：下游不允许对接数据源及产品过滤算子。算子配置基础配置项算子名称：配置项英文名：name 说明：算子名称，对算子进行个性化的命名，以辅助增加可读性。支持中文、英文、数字、中划线、下划线，长度小于等于64个字符。类型：STRING 必选：否约束：需要符合正则表达式： ^[\u4E00-\u9FA5A-Za-z0-9_-]{1,64}$ 属性：配置项英文名：properties 说明：属性，以JSON Path格式来指定删除的属性。可以允许设置多个属性，表示删除多个属性。类型：STRING 必选：是约束：需要符合正则表达式： ^.{1,1000}$。高级配置项并行数：配置项英文名：parallelism 说明：并行数，指定算子执行时的并行任务个数。对于性能要求越高的算子，可以设置较高的并行数，但是占用资源越多。如果此参数不设置，那么作业运行时本算子使用作业的并行数设置。类型：INTEGER 必选：否约束：最小值1，最大值 1024。父主题：转换类算子

IoT数据分析 IoTA

IoT数据分析 IoTA-数据存储输出

数据存储输出算子简介名称：数据存储输出功能说明：数据输出到指定的数据存储。约束：下游不允许接任何算子。算子配置基础配置项算子名称：配置项英文名：name 说明：算子名称，对算子进行个性化的命名，以辅助增加可读性。支持中文、英文、数字、中划线、下划线，长度小于等于64个字符。类型： STRING 必选：否约束：需要符合正则表达式： ^[\u4E00-\u9FA5A-Za-z0-9_-]{1,64}$ 数据存储：配置项英文名：dataStore 说明：数据存储，如果需要把管道输出数据保存，则需要指定存储。如果没有指定存储，管道输出数据则不保存。必选：是子配置项：数据存储配置包含如下子配置项：存储组ID、存储组名称、数据存储ID、数据存储名称、数据存储属性。存储组ID：配置项英文名：dataStorageGroupId 说明：指定输出到数据存储的存储组ID，当使用Console进行操作时，该选项会自动填充，因此Console中不显示存储组ID配置项；当使用API时，需要用户自行输入。类型： STRING 必选：是约束：需要符合正则表达式： ^[a-zA-Z0-9_-][\w-]{0,256}$ 存储组名称：配置项英文名：dataStorageGroupName 说明：指定存储组的名称。类型： STRING 必选：是约束：需要符合正则表达式： ^[-a-zA-Z0-9_\u4E00-\u9FA5 ]{1,64}$ 数据存储ID：配置项英文名：dataStoreId 说明：指定某个数据存储，当使用Console进行操作时，该选项会自动填充，因此Console中不显示存储ID配置项；当使用API时，需要用户自行输入。类型： STRING 必选：是约束：需要符合正则表达式： ^[a-zA-Z0-9_-][\w-]{0,256}$ 数据存储名称：配置项英文名：dataStoreName 说明：指定数据存储的名称，若存储ID不存在，则使用该名称创建新的存储。类型： STRING 必选：是约束：需要符合正则表达式： ^[-a-zA-Z0-9_\u4E00-\u9FA5 ]{1,64}$ 数据存储属性：配置项英文名：dataStoreProperty 说明：数据存储属性，这些属性即为管道的输出数据。必选：是子配置项：数据存储属性配置包含如下子配置项：设备ID来源、属性。设备ID来源：配置项英文名：deviceId 说明：设备id来源，以JSON Path格式来指定设备ID的获取来源。类型： STRING 必选：是约束：需要符合正则表达式： ^.{1,1000}$ 属性：配置项英文名：properties 说明：管道输出的属性列表，仅在此列表的属性才能输出。必选：是子配置项：属性配置包含如下子配置项：属性名称、属性类型、源属性、标签、单位。属性名称：配置项英文名：name 说明：属性名称，对输出属性进行命名。属性名称不允许为deviceId, eventTime, time和sys_前缀,列名不能重复，只能包含数字、字母和下划线，不能以下划线或数字开头，长度为1~64。类型： STRING 必选：是约束：需要符合正则表达式： ^[a-zA-Z0-9_]{1,64}$。属性类型：配置项英文名：type 说明：属性类型，指定属性的格式类型。类型转换失败时，字段不输出。类型： STRING 必选：是约束：只支持4种数据类型INTEGER、DOUBLE、STRING、OBJECT。源属性：配置项英文名：existingProperty 说明：源属性，以JSON Path格式来指定源属性，以作为输出属性的取值。类型： STRING 必选：是约束：需要符合正则表达式： ^.{1,1000}$ 标签：配置项英文名：tag 说明：是否作为时序分析的标签。其对应属性的类型必须为STRING，如果属性的类型不STRING，此配置忽略。类型： STRING 必选：否，默认为FALSE，即不作为标签。约束：只可以是TRUE或FALSE。单位：配置项英文名：unit 说明：指定属性的的单位，仅用于用户填写后传给存储创建DataStore用。类型： STRING 必选：否。约束：需要符合正则表达式： ^.{1,50}$ 父主题：输出类算子

IoT数据分析 IoTA

IoT数据分析 IoTA-新建作业:新建作业

新建作业图1 进入实时分析图2 查看作业图3 新建作业参数说明参数名称描述示例接收数据类型接收数据类型有“管道数据”、“资产数据”。管道数据：直接使用数据管道清洗后的数据进行实时分析，当您无需资产建模，直接使用设备数据进行实时分析时，可使用这种接收数据类型。资产数据：使用资产模型的数据进行实时分析，当您需要在资产模型中使用“分析任务”时，可使用这种接收数据类型。作业名称对作业进行命名火警实时检测描述描述作业的业务实时检测房间火灾告警图4 新建作业

IoT数据分析 IoTA 作业开发

IoT数据分析 IoTA-输入参数

输入参数在定义“分析任务”时，首先需要定义分析任务的输入参数，该输入参数是用于定义计算公式中的形式参数，它的实际参数是对应于某个属性、或某些属性的值（即可能是单值或数组），通过3种属性引用类型来约定输入参数如何引用属性的值，详细解释如下：引用本资产属性利用资产模型对资产进行实例化时，该参数实际上是引用该资产实例自身的属性，此时入参对应的属性是单值，如下图示例。引用其他资产属性利用资产模型对资产进行实例化时，该参数实际上是引用其他资产模型下某一个资产的属性，此时入参对应的属性是单值，如下图示例。引用子资产属性利用资产模型对资产进行实例化时，该参数实际上是引用该资产实例的下一层子资产中，符合指定资产模型的那一些子资产的属性，此时入参对应的属性是个数组，如下图示例。参数限制同一个“分析任务”中不能有名称相同的参数。当参数类型为”引用子资产属性“时，要求对应的资产实例下面，必须有至少一个匹配的子资产。聚合计算的输入参数所引用的属性不能直接或间接来源于聚合计算。父主题：分析任务定义

IoT数据分析 IoTA

IoT数据分析 IoTA-数据清洗配置

数据清洗配置目前提供了产品过滤、增改属性类、删除属性类、过滤消息类、增加消息类、规约消息类几个类型的数据清洗算子。增加清洗步骤的操作方式为，在算子节点上点击右键，可以看到”向前”、”向后”两个菜单，如图所示：部分算子上仅显示”向前”或”向后”菜单，则说明该算子上仅可”向前”添加或”向后”添加算子。接下来，以产品过滤、数据计算、选择属性、数据过滤、超时插补、数据聚合为例，分别介绍一下不同类型的算子配置。各个算子配置的详细说明请参考”算子使用指南”。产品过滤 “产品过滤”仅可添加在“IoT设备接入数据源”算子后，因此，仅在“IoT设备接入数据源”算子上点击右键时，可以看到“产品过滤”算子。添加好算子节点后，在算子节点上点击鼠标左键，即可打开右侧的算子配置面板，如图：系统会根据所选择的产品，自动生成该算子的输出内容：数据计算按照表达式进行数值计算，计算的结果可以赋值给源属性，也可以自定义属性名称及路径。添加好算子节点后，在算子节点上点击鼠标左键，即可打开右侧的算子配置面板，如图：选择属性在输入数据中选择保留的属性，未选择的属性被删除。当数据字段较多时，用户可使用该功能筛选出业务所关系的字段。添加好算子节点后，在算子节点上点击鼠标左键，即可打开右侧的算子配置面板，如图：使用该配置筛选出batteryLevel与batteryVoltage两个字段，因为后续处理流程仅使用这两个字段。数据过滤根据设置的条件过滤数据，满足条件的数据则输出，不满足条件的数据将被丢弃。添加好算子节点后，在算子节点上点击鼠标左键，即可打开右侧的算子配置面板，如图：使用该配置过滤出batteryLevel不等于0且batteryVoltage大于100的数据。数据过滤算子不会修改数据输出，用户可展开“输出”项检查输出内容。超时插补提供基于时间的数据插补功能。时间支持延迟等待时长，以及指定固定时间点。插补数据为上一条实际数据，但是事件时间为插补计算出的时间。添加好算子节点后，在算子节点上点击鼠标左键，即可打开右侧的算子配置面板，如图：数据聚合数据聚合算子,对数据流中的数据根据窗口周期进行汇聚计算。添加好算子节点后，在算子节点上点击鼠标左键，即可打开右侧的算子配置面板，如图：父主题：编辑处理流程

IoT数据分析 IoTA

IoT数据分析 IoTA-分析任务类型

分析任务类型分析任务有三种类型，“转换计算”和“聚合计算”这两种类型的计算公式在资产建模模块进行定义，而“流分析”类分析任务的计算过程通过编辑对应的实时分析作业来定义。表1 分析任务的类型和功能类型功能说明转换计算转换计算表达式含义：对单个或多个参数的属性值进行常规数学计算，表达式中不能使用时间聚合。转换计算执行策略：当参数所引用的属性值发生变化时，系统就会执行一次转换计算，当定义了多个参数时，系统取变化参数的值和未变化参数历史5分钟内的最新值进行计算。聚合计算聚合计算表达式含义：对单个或多个属性进行周期性的时间聚合计算或空间聚合计算，表达式中可以使用时间聚合算子。聚合计算执行策略：每隔一定周期，系统对整个公式进行一次计算，输入参数值的变化不会触发运算。流分析每当输入参数的属性值变化时，系统就会将该输入参数的属性值（不包含其他未变化的参数值）转发到实时分析作业、触发一次实时分析作业计算。父主题：分析任务定义

IoT数据分析 IoTA 分析任务定义

IoT数据分析 IoTA-数据源--添加DIS数据源:操作步骤

操作步骤点击IoT数据分析服务控制台左侧导航栏的数据源，进入数据源页面，点击“实时数据源”。实时点击“添加数据源”，在弹出的页面中输入消息通知服务的连接参数，各参数说明详见表1。表1 添加实时数据源参数说明参数名说明取值样例数据源名称数据源的名称 DISNotify 项目ID 项目ID 根据实际值填写通道名称 DIS通道根据实际值填写访问密钥(AK) 访问密钥的KEY 根据实际值填写私有访问密钥(SK) 访问密钥的密码根据实际值填写点击“连接测试”按钮，测试数据源是否可访问。如果测试失败，请确认项目ID、访问密钥、私有访问密钥是否正确，修改后请重新测试。点击“确定”按钮，完成数据接入服务数据源的添加。

IoT数据分析 IoTA

IoT数据分析 IoTA-DIS数据源

DIS数据源算子简介名称： DIS数据源，IoT数据分析服务仅在华为云部署形态支持DIS数据源。功能说明：使用DIS云服务作为pipeline的数据源，从DIS中获取数据。约束：下游不允许对接数据源，目前有：IoT设备接入数据源、DIS数据源，及产品过滤算子。算子配置基础配置项算子名称：配置项英文名：name 说明：算子名称，对算子进行个性化的命名，以辅助增加可读性。支持中文、英文、数字、中划线、下划线，长度小于等于64个字符。类型： STRING 必选：否约束：需要符合正则表达式： ^[\u4E00-\u9FA5A-Za-z0-9_-]{1,64}$ 数据源ID：配置项英文名：datasSourceId 说明：数据源ID，指定Pipeline作业的IoTDA数据源ID。数据源ID可以通过数据源接口： /v1/${project_id}/datasources?type=DIS获取。类型： STRING 必选：否约束：需要符合正则表达式： ^[\u4E00-\u9FA5A-Za-z0-9_-]{1,64}$ 事件时间：配置项英文名：eventTime 说明：事件时间，以JSON Path格式来指定事件时间的获取来源。如果没有指定，则使用接受消息时的系统时间作为消息产生的事件时间。必选：是子配置项：事件时间包括如下子配置项：JSON路径、时间样式、时区。 JSON路径：配置项英文名：jsonPath 说明：事件时间字段的Json路径，以JSON Path格式来指定事件时间的获取位置。类型： STRING 必选：是约束：需要符合正则表达式： ^.{1,100}$ 时间样式：配置项英文名：pattern 说明：时间格式，事件事件的样例格式，如yyyyMMdd'T'HHmmss'Z'、MM/dd/yyyy hh:mm等。类型： STRING 必选：是约束：需要符合正则表达式： ^.{1,100}$ 时区：配置项英文名：timeZone 说明：时区，以UTC偏移量表示，请填写-12 ~ 12的数字；若不填写，则默认为UTC时间。。类型： INTEGER 必选：否，默认为0时区。约束：最小值-12，最大值12。高级配置项分配时间戳提取器和水印：配置项英文名：assignerWithPeriodicWatermarksType 说明：时间戳分配器，目前提供3种方式，BoundedOutOfOrdernessTimestampExtractor、AscendingTimestampExtractor、IngestionTimeExtractor。 BoundedOutOfOrdernessTimestampExtractor：允许固定时间延迟的分配器，适用于乱序但预先知道或只允许在流中将会遇到的最大延迟的场景。 AscendingTimestampExtractor：递增时间戳的分配器，适用于每个元素(elements)的时间在每个并行任务(parallel task)里是单调递增的场景。 IngestionTimeExtractor：根据获取到数据时的系统时间分配时间戳，适用于无事件时间的场景。类型： STRING 必选：否，默认采用 BoundedOutOfOrdernessTimestampExtractor 。约束：必须为BoundedOutOfOrdernessTimestampExtractor、AscendingTimestampExtractor、IngestionTimeExtractor 之一。允许的最大延迟时间：配置项英文名：maxOutOfOrdernessInSeconds 说明：允许的最大延迟时间，该配置仅作用于BoundedOutOfOrdernessTimestampExtractor，具体是在EventTime类型窗口中使用。类型： STRING 必选：否，默认为300秒。约束：最小值0，最大值3600秒。启动配置：配置项英文名：startup 说明：启动方式，用于配置启动时的配置参数。必选：否。子配置项：启动配置包括如下子配置项：启动模式。启动模式：配置项英文名：startupMode 说明： Pipeline启动时数据消费模式，GROUP_OFFSETS表示从上次读取到的位置继续读取，LATEST表示读取最新数据，EARLIEST表示读取最旧的数据。类型： STRING 必选：否，默认为 GROUP_OFFSETS。约束：仅可填写GROUP_OFFSETS、 LASTEST 与 EARLIEST 。父主题：输入类算子

IoT数据分析 IoTA

IoT数据分析 IoTA-调试概述

调试概述为什么实时分析任务没能输出期望的结果？实时分析任务中哪个算子环节出错了？算子处理后的数据结果是什么样的？以上问题是我们在开发阶段经常遇到的问题。为了解决以上问题，我们提供了调试实时分析工具。用户可以上报测试数据对实时分析业务流程进行测试，用户可直观查看测试数据在每个算子输入和输出的内容。工作原理：启动测试模式后，输入类算子从数据源读取数据，将数据发送到下游的转化类算子，最终专递到输出类算子。调试工具会在每个算子的输入输出端监听数据流，最终将监听收集到的数据在页面进行展示。我们可以根据算子的输入输出数据定位以上我们所遇到的问题。界面介绍启动按钮任务状态栏输入输出数据监控输入输出创建任务启动测试任务下载数据模板修改数据模板上传数据文本查看测试结果结束测试任务数据模板资产数据输入管道数据输入资产数据输入（旧）数据存储数据源（旧）表1 算子类别算子中文名称算子英文名称是否支持调试是否展示输入数据是否展示输出数据输入算子资产数据输入 AssetDataSource 是否是 AssetJobSource 是否是数据存储数据源（旧） DataStoreSource 是否是资产数据输入（旧） IoTSource 是否是管道数据输入 PipelineSource 是否是转化算子数据聚合 Aggregate 是是是数据去重 Deduplicate 是是是去噪 Denoise 是是是数据过滤 Filter 是是是数据扁平 Flat 是是是数据计算 Map 是是是数据嵌套 Nest 是是是数据选择 SelectFields 是是是数据状态计算 StateCondition 是是是输出算子资产输出 AssetDataSink 是是否 DIS输出 DISSink 是是否资产输出（老） IoTSink 是是否不同的输入算子的测试模板内容格式会不一样，建议在模板的基础上添加测试数据。父主题：作业调试

IoT数据分析 IoTA

IoT数据分析 IoTA-操作指导

操作指导使用测试功能主要包含启动测试任务，上报数据，查看测试结果，停止测试任务。其中上报数据，查看测试结果可重复执行，不必反复启停任务。创建任务创建并编辑任务。保存任务。确保任务为“就绪”态。启动测试任务点击测试按钮，等待测试状态为“运行中”。目前部分算子暂不支持测试功能(见算子支持表)，测试按钮将不可点击。自动跳转测试页面，当前状态为提交中，需要耐心等待。状态包含：“就绪”、“提交中”、“运行中”、“停止中”、“停止”。当调测状态为“运行中”时，完成启动测试任务操作。下载数据模板点击下载测试模板。不同的输入算子的测试模板内容格式会不一样，建议在模板的基础上添加测试数据。修改数据模板删除多余不需要的数据，写入业务数据内容，参考数据模板章节。测试数据文本支持UTF-8编码。测试数据必须是合法Json格式，且不换行。测试数据文本可写多条数据，每条数据以换行符分隔，即一条数据必须写在一行文本里。每条数据大小不能超过5kb。一个文本里不能超过100条测试数据。测试数据文本中必填项不能缺损、错误，建议参考测试模板内容。注释内容不会上报上传数据文本当调测状态为“就绪”或“提交中”时，暂不能添加上传测试数据。当调测状态为“运行中”时，才能添加上传测试数据。上传成功查看测试结果切换到数据监控页签选择查看模式选择目标算子点击查询按钮结束测试任务点击右上角“结束并返回编辑”按钮如果需要重复测试，可重复步骤5、步骤6。调试数据管道需要占用计算资源。一小时内算子没有新增测试数据，测试数据将会被老化。重启测试任务后，测试数据也不会保留。同一个任务只能处于调测状态或正常运行态。父主题：调试数据管道

IoT数据分析 IoTA

云服务器内容精选

IoT数据分析 IoTA

7*24

备案

专业服务

退订

建议反馈

售前咨询热线