检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是“与”或“或”的关系。当需要按单条数据本身的字段取值来决定是否过滤数据时使用本算子。 数据扁平 把数据流中的嵌套Json字段转换为多个独立字段。如果测点类型是Object,那么是一个嵌套结构,需要把结构中的每个字段提取出来,成为数据流中的独立字段,这样数据流的所有字段都是字符串、数字等简单数据类型。
物联网数据的数据体量大、价值密度小、数据时效性高、质量低。针对物联网数据的这些特点,在海量历史数据中提供近实时的高效探索分析能力,及时发现物联网数据中的隐含规律则显得尤为重要。IoT数据分析服务的时序分析,提供基于模型驱动的海量历史数据时序分析洞察能力,让物联网数据的规律清晰可见。
周期: 15min; 流计算类分析任务是指,以资产模型中的属性作为输入、调用IoT数据分析服务的实时分析作业进行计算、输出结果返回到资产模型的属性值,数据流示意图如下。 资产(Asset) 资产是指物理世界中需要被管理的、具有唯一标识的事物或业务对象,如一个资产可以对应一个物理设备(如
ion) = ∑[产出数量 * 一个产品在设备应有状态下加工的周期时间)] / ∑实际运行时间 * 100% 用来评价生产速度上的损失。包括任何导致生产不能以最大速度运行的因素,例如设备的磨损,材料的不合格以及操作人员的失误等 合格率 (qualificationRatio) =
在IoT数据分析服务时序分析功能中,核心功能之一就是图形化方式查看资产数据、或者设备数据的历史曲线。以查看资产数据历史曲线为例,在时序探索导航栏中选择“资产时序探索”页签,然后选择您所关注的资产属性,在图标分析区中选择“原始数据”,即可展示出资产属性数据的历史曲线,如下图所示。 图1 选择原始数据、查看历史数据曲线
在数据存储中下拉选择“Printing”存储名称,勾选所有导入的属性,然后单击“确定”保存。 导入后效果如下 通过存储导入的设备属性类型为:“测量数据”,此时模型还不完整,需要增加静态类型和分析类型的属性,同时还要为分析类型的属性配置相应该的分析任务,比如本例子中,我们通过分析任务定义各种O
别用于处理这两种设备上报的数据。 这两个分支各自以一个“产品过滤”算子作为起始点,分别过滤出这两种设备的数据,以便于后续处理流程仅处理某一种产品的数据,如图所示。 系统还自动根据这两种设备的产品信息(该产品信息以安全的方式从IoTDA获取),生成了默认的输出配置。 请用户自行选择
并行数: 配置项英文名:parallelism 说明:并行数,指定算子执行时的并行任务个数。对于性能要求越高的算子,可以设置较高的并行数,但是占用资源越多。如果此参数不设置,那么作业运行时本算子使用作业的并行数设置。 类型:INTEGER 必选:否 约束:最小值1, 最大值 1024。
型;jobInputType:支持PIPELINE_DATA、ASSET_DATA类型。实时分析作业的详细配置。(实时分析作业详细配置,每个作业可选择不同的算子进行组合,各算子的使用方法详见:实时分析->作业开发->编排作业->表2:算子说明。) 响应参数 状态码: 201 表5
ype:支持PIPELINE_DATA、ASSET_DATA类型。实时分析作业详细配置(实时分析作业详细配置,每个作业可选择不同的算子进行组合,各算子的使用方法详见:实时分析->作业开发->编排作业->表2:算子说明。) 响应参数 状态码: 200 表5 响应Body参数 参数 参数类型
型;jobInputType:支持PIPELINE_DATA、ASSET_DATA类型。实时分析作业详细配置,每个作业可选择不同的算子进行组合,各算子的使用方法详见:实时分析->作业开发->编排作业->表2:算子说明。 job_info StreamingJobInfoDto object
分区键,用于作为消息分区/分组的标识,具体填入的内容为消息中获取的JSON Path,比如可以选择消息中设备ID所在的JSON Path。 设置后,拥有该分区键数值相同的所有消息会进入一个分区,比如分区键选择了设备ID后,所有相同设备ID的消息进入一个分区。当选择多个字段时,按指定字段顺序组合成的字符作
下拉“算子1(上游)”下拉框选择查看“API接入数据源”的“输出”;下拉“算子2(下游)”下拉框选择查看“DIS输出”的“输入”。 点击搜索输入框 按钮搜索查询,搜索框支持以消息id或data内容匹配查询。 显示“API接入数据源”的“输出”结果。 显示“DIS输出”的“输入”结果。 父主题: 调试数据管道
下拉“算子1(上游)”下拉框选择查看“管道数据输入A”的“输出”;下拉“算子2(下游)”下拉框选择查看“DIS输出”的“输入”。 点击搜索输入框 按钮搜索查询,搜索框支持以消息id或data内容匹配查询。 显示“管道数据输入A”的“输出”结果。 显示“DIS输出”的“输入”结果。 父主题: 作业调试
点击IoT数据分析服务控制台左侧导航栏的数据源,进入数据源页面,点击“实时数据源”。 实时点击“添加数据源”,在弹出的页面中输入消息通知服务的连接参数,各参数说明详见表1。 表1 添加实时数据源参数说明 参数名 说明 取值样例 数据源名称 数据源的名称 DISNotify 项目ID 项目ID
T数据分析服务的消息,按请求消息体除以1KB计算。 API消息:调用IoT数据分析服务API产生的消息,包括使用IoT数据分析服务控制台产生的消息和调用开放接口产生的消息,按请求消息体和响应消息体字节数之和除以1KB计算。 资产分析任务输出消息:包含转换计算类型的输出值和聚合计算
物联网流编排算子 基于典型物联网应用场景,封装常用算子,比如数据接入,数据过滤,数据转换等等。 时序分析:专为物联网时序数据处理优化的服务,包括高压缩比的时序数据存储,高效的时序查询效率,海量时间线能力。 表2 时序分析 特点 描述 海量接入 海量时间线能力,最大可达亿级 时序存储 列式存储及专用压缩算法,高压缩率
一般情况用于计划生产的工厂日历,生产排班信息来自己于外部MES系统,为了减少本实践的复杂度,采用直接通过设备消息中带的时间戳信息,并结合表达式中配置的班次时间点信息来判断当前时间点是哪个班次,是否在计划生产时间 范围内。 此算子的作用: 转换时间格式,将String类型的时间格式转换为