检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
接收数据类型不同的作业可使用的算子有何区别? 实时分析目前有两种接收数据类型:管道数据和资产数据。管道数据表示使用来自“数据管道”的数据进行实时分析,资产数据表示使用经过“资产建模”之后的数据进行实时分析。 可使用的算子区别在于输入、输出部分:当接收数据类型为“管道数据”时,输入
对每个分区中的消息单独作用;举例:1)选择将设备ID作为分区键,那么本算子会将相同设备ID的消息进行分区,然后进行单独插补。比如设备ID为1的所有消息会进入一个分区,设备ID为2的所有消息会进入另一个分区,插补策略会审视每一个分区中的消息进行单独插补; 2)选择消息中的设备ID与设备状态为分区键,那么
相邻消息计算 算子简介 名称:相邻消息计算 功能说明:基于前一消息和当前消息,按照表达式进行数值计算,计算的结果赋值给当前输入消息的属性。 举例:消息中有上报机器的产品总产量,但没有相对上一个上报周期的增量产量。通过相邻消息计算算子,可以用本消息中的产品总量减去上一个消息中的产品
error_msg String 错误消息 最小长度:0 最大长度:1024 状态码: 401 表6 响应Body参数 参数 参数类型 描述 error_code String 错误码 最小长度:1 最大长度:100 error_msg String 错误消息 最小长度:0 最大长度:1024
error_msg String 错误消息 最小长度:0 最大长度:1024 状态码: 401 表6 响应Body参数 参数 参数类型 描述 error_code String 错误码 最小长度:1 最大长度:100 error_msg String 错误消息 最小长度:0 最大长度:1024
从这里开始 开通服务 用户首次进入IoT数据分析服务控制台后,将会自动开通IoT数据分析服务。 图1 总览页面 基础配置 为了能够开始正常使用IoT数据分析服务,需要用户完成如下基础配置: 1. 配置数据源:通过配置数据源,将待分析的数据注入IoT数据分析服务。用户可以根据自己的
数据清洗配置 目前提供了产品过滤、增改属性类、删除属性类、过滤消息类、增加消息类、规约消息类几个类型的数据清洗算子。增加清洗步骤的操作方式为,在算子节点上点击右键,可以看到”向前”、”向后”两个菜单,如图所示: 部分算子上仅显示”向前”或”向后”菜单,则说明该算子上仅可”向前”添加或”向后”添加算子。
配置设备ID 点击目标属性“设备ID”字段下的修改图标进行修改(只有测量数据类型属性需要配置设备ID),在该资产发布到监控台后,当指定的设备ID上报消息后该属性值即会发生刷新。 图1 配置设备ID 父主题: 工作台
实时分析常见问题 接收数据类型不同的作业可使用的算子有何区别? 作业数量有何限制? 一个作业允许配置的算子数量有何限制? 父主题: 数据分析常见问题
实时分析作业类型不匹配或者作业不存在 错误码描述 实时分析作业类型不匹配或者作业不存在。 可能原因 资产模型中“流计算”类型的分析任务属性,只能调用实时分析中接收数据类型为“资产数据”的作业。 处理建议 请在资产模型的“流计算”类型分析任务配置中,选择正确的实时分析作业。“资产数据”输入的实时分析作业如下:
项目ID 最小长度:1 最大长度:128 表2 Query参数 参数 是否必选 参数类型 描述 job_input_type 否 String 接收数据类型。 最小长度:1 最大长度:100 枚举值: ASSET_DATA PIPELINE_DATA offset 否 Long 偏移量
数据源--添加DIS数据源 前提条件 您已购买华为云DIS服务。 操作步骤 点击IoT数据分析服务控制台左侧导航栏的数据源,进入数据源页面,点击“实时数据源”。 实时点击“添加数据源”,在弹出的页面中输入消息通知服务的连接参数,各参数说明详见表1。 表1 添加实时数据源参数说明 参数名
过滤掉非工作时间段的数据,即如果设备上报消息中包括非计划开机的时间段的消息,将非计划开机时间段的所有消息抛弃掉。 过滤条件说明如下: 判断上游算子新加的属性:is_plan_work_period 是否在设备计划开机时间段内,如果为true则消息会输出到下游继续处理。 重复步骤6~步
务诉求创建实时分析作业。 IoT数据分析服务实时分析可使用数据管道与资产模型作为数据源,请您先确认已创建数据管道或资产模型,相关操作请参考数据管道、资产模型。 如果您所要求的实时任务需要发送数据到你申请的DIS云服务,请先进行DIS云服务授权配置,相关操作请参考数据源--添加DIS数据源。
配置项英文名:messageLimit 说明: 最大消息数,窗口内消息数据限制,取值范围1~2147483647。当时间窗口内接收数据数达到限制,则会触发一次统计并清除当前接收数据缓存(不纳入下次计算),窗口内可触发多次统计;当窗口大小满足且消息数据不满足最大消息数时,会触发一次统计并结束当前窗口计算。
DIS数据源 算子简介 名称: DIS数据源,IoT数据分析服务仅在华为云部署形态支持DIS数据源。 功能说明: 使用DIS云服务作为pipeline的数据源,从DIS中获取数据。 约束: 下游不允许对接数据源,目前有:IoT设备接入数据源、DIS数据源,及产品过滤算子。 算子配置
分区字段:指定用于窗口中数据分区的字段列表。当选择多个字段时,按指定字段顺序的组合成字符作为算子并行处理的分区的Key。如果是接收资产数据,那么不填写分区字段,则默认以资产作为分区。如果是接收管道数据,默认只有一个分区,请务必指定字段作为分权键。 窗口类型:指定使用窗口的类型,TumblingTim
参数 参数类型 描述 inputs Array of InputModel objects 输入参数,最多支持10个;流计算的输入参数名需要在接收数据类型为资产数据的实时分析作业中定义,模型中必须与其保持一致 job_id String 实时分析作业ID 最大长度:128 outputs
参数类型 描述 inputs 是 Array of InputModel objects 输入参数,最多支持10个;流计算的输入参数名需要在接收数据类型为资产数据的实时分析作业中定义,模型中必须与其保持一致 job_id 是 String 实时分析作业ID 最大长度:128 outputs
参数类型 描述 inputs 是 Array of InputModel objects 输入参数,最多支持10个;流计算的输入参数名需要在接收数据类型为资产数据的实时分析作业中定义,模型中必须与其保持一致 job_id 是 String 实时分析作业ID 最大长度:128 outputs