检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
接收数据类型不同的作业可使用的算子有何区别? 实时分析目前有两种接收数据类型:管道数据和资产数据。管道数据表示使用来自“数据管道”的数据进行实时分析,资产数据表示使用经过“资产建模”之后的数据进行实时分析。 可使用的算子区别在于输入、输出部分:当接收数据类型为“管道数据”时,输入
启动实时作业 功能介绍 提交作业到运行环境,实时接收数据并按用户定义的业务逻辑对数据进行处理。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{p
支持云审计的关键操作 操作场景 平台提供了云审计服务。通过云审计服务,您可以记录与云服务器相关的操作事件,便于日后的查询、审计和回溯。 前提条件 已开通云审计服务。 支持审计的关键操作列表 表1 数据源支持审计的关键操作列表 操作名称 资源类型 事件名称 创建数据源 datasource
启动管道作业 功能介绍 提交管道作业到运行环境,实时接收数据源的数据并按用户定义的数据清洗逻辑对数据进行处理。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST
实时分析作业类型不匹配或者作业不存在 错误码描述 实时分析作业类型不匹配或者作业不存在。 可能原因 资产模型中“流计算”类型的分析任务属性,只能调用实时分析中接收数据类型为“资产数据”的作业。 处理建议 请在资产模型的“流计算”类型分析任务配置中,选择正确的实时分析作业。“资产数据”输入的实时分析作业如下:
项目ID 最小长度:1 最大长度:128 表2 Query参数 参数 是否必选 参数类型 描述 job_input_type 否 String 接收数据类型。 最小长度:1 最大长度:100 枚举值: ASSET_DATA PIPELINE_DATA offset 否 Long 偏移量
查看作业 图3 新建作业 参数说明 参数名称 描述 示例 接收数据类型 接收数据类型有“管道数据”、“资产数据”。 管道数据:直接使用数据管道清洗后的数据进行实时分析,当您无需资产建模,直接使用设备数据进行实时分析时,可使用这种接收数据类型。 资产数据:使用资产模型的数据进行实时分析,
题。通过使用IoT数据分析服务,可以帮助企业快速搭建新能源车大数据分析平台。 优势 IoT数据分析服务作为整合了数据集成,数据清洗,数据存储,数据分析的一站式IoT数据分析平台,无论是对接车企已有的车联网平台数据还是车联网服务的数据,IoT数据分析服务都能够轻松应对,大大降低车企开发者的开发门槛,缩短开发周期。
实时分析常见问题 接收数据类型不同的作业可使用的算子有何区别? 作业数量有何限制? 一个作业允许配置的算子数量有何限制? 父主题: 数据分析常见问题
配置存储:通过配置存储,用户可指定存储管理的策略,比如设置温存储各自的老化周期。 具体内容可参考存储管理 完成上述3步后,最基础的配置就完成,IoT数据分析服务已经准备好接收用户的数据了。 用户后续可根据数据分析的需要,再逐步配置更多的内容,比如资产模型或者实时流作业等。
参数类型 描述 inputs 是 Array of InputModel objects 输入参数,最多支持10个;流计算的输入参数名需要在接收数据类型为资产数据的实时分析作业中定义,模型中必须与其保持一致 job_id 是 String 实时分析作业ID 最大长度:128 outputs
参数类型 描述 inputs 是 Array of InputModel objects 输入参数,最多支持10个;流计算的输入参数名需要在接收数据类型为资产数据的实时分析作业中定义,模型中必须与其保持一致 job_id 是 String 实时分析作业ID 最大长度:128 outputs
配置项英文名:messageLimit 说明: 最大消息数,窗口内消息数据限制,取值范围1~2147483647。当时间窗口内接收数据数达到限制,则会触发一次统计并清除当前接收数据缓存(不纳入下次计算),窗口内可触发多次统计;当窗口大小满足且消息数据不满足最大消息数时,会触发一次统计并结束当前窗口计算。
参数 参数类型 描述 inputs Array of InputModel objects 输入参数,最多支持10个;流计算的输入参数名需要在接收数据类型为资产数据的实时分析作业中定义,模型中必须与其保持一致 job_id String 实时分析作业ID 最大长度:128 outputs
参数 参数类型 描述 inputs Array of InputModel objects 输入参数,最多支持10个;流计算的输入参数名需要在接收数据类型为资产数据的实时分析作业中定义,模型中必须与其保持一致 job_id String 实时分析作业ID 最大长度:128 outputs
分区字段:指定用于窗口中数据分区的字段列表。当选择多个字段时,按指定字段顺序的组合成字符作为算子并行处理的分区的Key。如果是接收资产数据,那么不填写分区字段,则默认以资产作为分区。如果是接收管道数据,默认只有一个分区,请务必指定字段作为分权键。 窗口类型:指定使用窗口的类型,TumblingTim
最小长度:1 最大长度:100 job_name String 作业名称 最小长度:1 最大长度:20 job_input_type String 接收数据类型 最小长度:1 最大长度:100 job_description String 作业描述 最小长度:1 最大长度:100 job_state
说明:存活时长,配置前一变量的存活时长。如果超过此时长没有接收到新的消息更新前一变量取值,则前一变量将被老化清除。存活时长的单位为秒,最小清除时间为1s,最大清除时间为30天,如果不设置此参数表示永远不清除。当算子每次接收了消息,更新延长存活时长。 类型:INTEGER 必选:否
要停止上一个上报消息的插补定时器。存活时长的单位为秒,最小清除时间为1s,最大清除时间为30天,如果不设置此参数表示永远不清除。当算子每次接收了消息,更新延长存活时长。 类型: INTEGER 必选: 否 约束: 最小值1,最大值为2592000。 高级配置项 并行数: 配置项英文名:parallelism
引用的资产ID,修改资产时携带null表示置空 表18 StreamOutput 参数 参数类型 描述 name String 输出参数名称,必须是接收数据类型为资产数据的实时分析作业中已定义的 最大长度:128 output_property String 输出属性名,必须是本模型分析任务类别的属性的属性名