检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
接收数据类型不同的作业可使用的算子有何区别? 实时分析目前有两种接收数据类型:管道数据和资产数据。管道数据表示使用来自“数据管道”的数据进行实时分析,资产数据表示使用经过“资产建模”之后的数据进行实时分析。 可使用的算子区别在于输入、输出部分:当接收数据类型为“管道数据”时,输入
物联网设备运营分析场景 物联网设备运营是一个广泛应用的场景,企业有大量联网的智能设备,设备会持续产生数据。作为设备的运营方,企业需要具备多种维度的统计分析能力,真实掌握设备运营数据,比如设备增长趋势统计,设备激活趋势统计,设备活跃时间段分布,设备告警统计等等。 优势 IoT数据分析服务已与物联网接入服
启动实时作业 功能介绍 提交作业到运行环境,实时接收数据并按用户定义的业务逻辑对数据进行处理。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{p
启动管道作业 功能介绍 提交管道作业到运行环境,实时接收数据源的数据并按用户定义的数据清洗逻辑对数据进行处理。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST
100}$ 绝对周期的等待时长: 配置项英文名:delay 说明: 绝对周期的等待时长,单位秒。即在绝对时间等待一段后再插补消息,避免由于真实消息传送延迟,在插补时间类型为“绝对时间”时有效。 类型: INTEGER 必选: 否 约束: 最小值0,最大值为2147483647。 存活时长:
实时分析作业类型不匹配或者作业不存在 错误码描述 实时分析作业类型不匹配或者作业不存在。 可能原因 资产模型中“流计算”类型的分析任务属性,只能调用实时分析中接收数据类型为“资产数据”的作业。 处理建议 请在资产模型的“流计算”类型分析任务配置中,选择正确的实时分析作业。“资产数据”输入的实时分析作业如下:
项目ID 最小长度:1 最大长度:128 表2 Query参数 参数 是否必选 参数类型 描述 job_input_type 否 String 接收数据类型。 最小长度:1 最大长度:100 枚举值: ASSET_DATA PIPELINE_DATA offset 否 Long 偏移量
查看作业 图3 新建作业 参数说明 参数名称 描述 示例 接收数据类型 接收数据类型有“管道数据”、“资产数据”。 管道数据:直接使用数据管道清洗后的数据进行实时分析,当您无需资产建模,直接使用设备数据进行实时分析时,可使用这种接收数据类型。 资产数据:使用资产模型的数据进行实时分析,
实时分析常见问题 接收数据类型不同的作业可使用的算子有何区别? 作业数量有何限制? 一个作业允许配置的算子数量有何限制? 父主题: 数据分析常见问题
配置存储:通过配置存储,用户可指定存储管理的策略,比如设置温存储各自的老化周期。 具体内容可参考存储管理 完成上述3步后,最基础的配置就完成,IoT数据分析服务已经准备好接收用户的数据了。 用户后续可根据数据分析的需要,再逐步配置更多的内容,比如资产模型或者实时流作业等。
配置项英文名:messageLimit 说明: 最大消息数,窗口内消息数据限制,取值范围1~2147483647。当时间窗口内接收数据数达到限制,则会触发一次统计并清除当前接收数据缓存(不纳入下次计算),窗口内可触发多次统计;当窗口大小满足且消息数据不满足最大消息数时,会触发一次统计并结束当前窗口计算。
参数类型 描述 inputs 是 Array of InputModel objects 输入参数,最多支持10个;流计算的输入参数名需要在接收数据类型为资产数据的实时分析作业中定义,模型中必须与其保持一致 job_id 是 String 实时分析作业ID 最大长度:128 outputs
参数类型 描述 inputs 是 Array of InputModel objects 输入参数,最多支持10个;流计算的输入参数名需要在接收数据类型为资产数据的实时分析作业中定义,模型中必须与其保持一致 job_id 是 String 实时分析作业ID 最大长度:128 outputs
参数 参数类型 描述 inputs Array of InputModel objects 输入参数,最多支持10个;流计算的输入参数名需要在接收数据类型为资产数据的实时分析作业中定义,模型中必须与其保持一致 job_id String 实时分析作业ID 最大长度:128 outputs
参数 参数类型 描述 inputs Array of InputModel objects 输入参数,最多支持10个;流计算的输入参数名需要在接收数据类型为资产数据的实时分析作业中定义,模型中必须与其保持一致 job_id String 实时分析作业ID 最大长度:128 outputs
分区字段:指定用于窗口中数据分区的字段列表。当选择多个字段时,按指定字段顺序的组合成字符作为算子并行处理的分区的Key。如果是接收资产数据,那么不填写分区字段,则默认以资产作为分区。如果是接收管道数据,默认只有一个分区,请务必指定字段作为分权键。 窗口类型:指定使用窗口的类型,TumblingTim
最小长度:1 最大长度:100 job_name String 作业名称 最小长度:1 最大长度:20 job_input_type String 接收数据类型 最小长度:1 最大长度:100 job_description String 作业描述 最小长度:1 最大长度:100 job_state
说明:存活时长,配置前一变量的存活时长。如果超过此时长没有接收到新的消息更新前一变量取值,则前一变量将被老化清除。存活时长的单位为秒,最小清除时间为1s,最大清除时间为30天,如果不设置此参数表示永远不清除。当算子每次接收了消息,更新延长存活时长。 类型:INTEGER 必选:否
在管道处理时在消息中增加output属性。 部分设备本身会上报result字段,比如AOI,SPI会上报类似产品质量结果字段,为了更接近于真实情况(模拟部分产品为次品的场景),增加了一个判断逻辑,上报的result属性值在1~9内表示产品质量合格,其它为不合格,因此在消息中增加了代表产品判断质量的quality属性。
引用的资产ID,修改资产时携带null表示置空 表18 StreamOutput 参数 参数类型 描述 name String 输出参数名称,必须是接收数据类型为资产数据的实时分析作业中已定义的 最大长度:128 output_property String 输出属性名,必须是本模型分析任务类别的属性的属性名