检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
> 用户指南> 数据管道> 创建数据管道”配置管道。 3、IoTDA 实时数据源中未配置对应的产品,请勾选对应的产品,并点击确定保存。 4、数据管道中未配置对应的产品过滤算子,请添加“产品过滤”算子以及“数据存储输出”算子。 5、设备未上报数据,请检查设备是否成功上报数据。 父主题:
][\w_-]{1,64}$ 高级配置项 并行数: 配置项英文名:parallelism 说明:并行数,指定算子执行时的并行任务个数。对于性能要求越高的算子,可以设置较高的并行数,但是占用资源越多。如果此参数不设置,那么作业运行时本算子使用作业的并行数设置。 类型:INTEGER
删除属性 算子简介 名称:删除属性 功能说明:从数据中删除指定的属性。 约束:下游不允许对接数据源及产品过滤算子。 算子配置 基础配置项 算子名称: 配置项英文名:name 说明:算子名称,对算子进行个性化的命名,以辅助增加可读性。支持中文、英文、数字、中划线、下划线,长度小于等于64个字符。
默认为300秒。 约束: 最小值0,最大值3600秒。 启动配置: 配置项英文名:startup 说明: 启动方式,用于配置启动时的配置参数。 必选: 否。 子配置项: 启动配置包括如下子配置项: 启动模式。 启动模式: 配置项英文名:startupMode 说明: Pipeline
{0,1000}$ 计算配置: 配置项英文名:calculates 说明:计算配置,配置属性的计算表达式。 必选:是 子配置项:计算配置包括如下子配置项:属性、表达式。 属性: 配置项英文名:property 说明:属性名,表示计算表达式所计算的结果赋予的对象。 用户可以选择消息
将经过数据管道清洗后的数据输出到实时分析,作为实时分析的数据来源。 算子配置 算子配置项如图所示: 算子名称:用户指定这个算子的名称。 管道输出数据名称:用户声明这个输出的名称,以便在实时分析作业的“管道数据输入”算子中使用。 属性:用户选择需要将哪些属性输出给实时分析进行后续的分析任务。
启动作业。 启动作业 启动运行 资源配置 表1 参数说明 参数名称 描述 示例 RTU 作业运行RTU个数,当使用独享资源运行时,每个作业至少使用2个RTU,最多可使用1024个RTU。 2 并发数 作业运行的并发数据,RTU越多时,支持更高的并发数。并发数不得超过(RTU个数 -
型;jobInputType:支持PIPELINE_DATA、ASSET_DATA类型。实时分析作业详细配置(实时分析作业详细配置,每个作业可选择不同的算子进行组合,各算子的使用方法详见:实时分析->作业开发->编排作业->表2:算子说明。) 响应参数 状态码: 200 表5 响应Body参数
数据管道作业已保存成功为什么无法启动? 数据管道作业中存在错误,请结合保存时的返回信息,检查各个算子配置。 当保存作业后,看到提示:“保存成功,作业已处于就绪态,可启动运行。”即可启动运行。 父主题: 管道作业常见问题
IoTA.01020304 分析任务输出的属性在模型中不存在 错误码描述 分析任务输出的属性在模型中不存在。 可能原因 分析任务输出的属性在模型中不存在,可能是该属性已经被删除。 处理建议 请刷新网页,再分析任务的输出属性配置中选择正确的属性。 父主题: 资产建模相关错误码
作业定义错误。 可能原因 创建实时分析作业时,作业定义配置内容不符合如下格式要求,作业定义格式为: {"jobName":"xxx","jobDescription":"","jobType":"IDE"} 处理建议 请参考作业定义格式要求进行配置。 父主题: 实时分析相关错误码
作业定义错误。 可能原因 创建管道数作业时,作业定义配置内容不符合如下格式要求: {"jobName":"xxx","jobDescription":"","jobType":"IDE"} 处理建议 请参考作业定义格式要求进行配置,作业定义格式为: {"jobName":"xxx"
实时分析作业类型不匹配或者作业不存在。 可能原因 资产模型中“流计算”类型的分析任务属性,只能调用实时分析中接收数据类型为“资产数据”的作业。 处理建议 请在资产模型的“流计算”类型分析任务配置中,选择正确的实时分析作业。“资产数据”输入的实时分析作业如下: 父主题: 资产建模相关错误码
为什么无法添加产品过滤算子? 仅当数据源为“IoT设备接入数据源”时,必须先使用“产品过滤”算子,将同一个IoT设备接入数据源的不同产品分开,才可进行后续配置。当数据源为其他数据源时,则不需要使用“产品过滤”算子。 父主题: 管道作业常见问题
当作业处于草稿态时,只允许编辑操作(如修改名称、描述、类型、算子配置),不允许运行操作(如:启动、停止)。 当作业处于运行态时,只允许运行操作(如:启动、停止),不允许编辑操作(如修改名称、描述、类型、算子配置)。 处理建议 请参考如下状态图对作业进行操作: 父主题: 数据管道相关错误码
当作业处于草稿态时,只允许编辑操作(如修改名称、描述、类型、算子配置),不允许运行操作(如:启动、停止)。 当作业处于运行态时,只允许运行操作(如:启动、停止),不允许编辑操作(如修改名称、描述、类型、算子配置)。 处理建议 请参考如下状态图对作业进行操作: 父主题: 实时分析相关错误码
用户自行选择: 计算资源:一个计算资源对应的物理资源为:1核CPU、4G内存,可实时清洗的数据量为1000条/S(仅供参考,请结合各自的业务场景与数据大小进行评估)。 并行数:管道作业运行时的实际并发能力,不得超过“计算资源 - 1”的4倍。 父主题: 运行数据管道
产模型作为数据源,请您先确认已创建数据管道或资产模型,相关操作请参考数据管道、资产模型。 如果您所要求的实时任务需要发送数据到你申请的DIS云服务,请先进行DIS云服务授权配置,相关操作请参考数据源--添加DIS数据源。 新建作业 图1 进入实时分析 图2 查看作业 图3 新建作业
前业务资源的使用情况。 流程介绍 图1 流程介绍 配置数据源 数据分析服务会将数据源的数据存储并进行后续分析。点击图标即可进入数据源配置界面。 创建数据管道 数据管道是数据分析的基础功能,对进入数据分析的数据进行格式标准化、清洗等数据预处理。点击图标即可进入数据管道配置界面。 配置存储
下拉“算子1(上游)”下拉框选择查看“API接入数据源”的“输出”;下拉“算子2(下游)”下拉框选择查看“DIS输出”的“输入”。 点击搜索输入框 按钮搜索查询,搜索框支持以消息id或data内容匹配查询。 显示“API接入数据源”的“输出”结果。 显示“DIS输出”的“输入”结果。 父主题: 调试数据管道