检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为什么无法添加产品过滤算子? 仅当数据源为“IoT设备接入数据源”时,必须先使用“产品过滤”算子,将同一个IoT设备接入数据源的不同产品分开,才可进行后续配置。当数据源为其他数据源时,则不需要使用“产品过滤”算子。 父主题: 管道作业常见问题
一个作业允许配置的算子数量有何限制? 每个作业最多可添加100个算子。 父主题: 实时分析常见问题
可使用的算子区别在于输入、输出部分:当接收数据类型为“管道数据”时,输入算子为“管道输入数据”,输出算子为“DIS输出”;当接收数据类型为“资产数据”时,输入算子为“资产数据输入”,输出算子为“资产数据输出”、“DIS输出”。 父主题: 实时分析常见问题
“数据流”表示在算子之间的传递数据,数据有明确的字段和格式,在编排界面,数据流以算子之间的连线表示。 算子分成3类,输入算子、转换算子和输出算子。一个完整的作业必须包含输入算子、转换算子和输出算子,否则不能正常执行。 输入算子:负责实时作业数据的输入,是作业的属性类型。
添加好算子节点后,在算子节点上点击鼠标左键,即可打开右侧的算子配置面板,如图: 数据聚合 数据聚合算子,对数据流中的数据根据窗口周期进行汇聚计算。 添加好算子节点后,在算子节点上点击鼠标左键,即可打开右侧的算子配置面板,如图: 父主题: 编辑处理流程
创建存储 在数据管道中配置存储输出算子时,如果未选择已有存储,则将创建新的存储。在数据管道中通过存储输出算子创建的存储将会展示在存储管理中的对应的存储组之下。数据管道的数据存储输出算子配置详见数据存储输出。 父主题: 存储
工作原理: 启动测试模式后,输入类算子从数据源读取数据,将数据发送到下游的转化类算子,最终专递到输出类算子。调试工具会在每个算子的输入输出端监听数据流,最终将监听收集到的数据在页面进行展示。我们可以根据算子的输入输出数据定位以上我们所遇到的问题。
DIS数据源配置 在画布上选中“DIS数据源”算子,在右侧配置面板处,可修改算子名称、选择数据源、填写事件时间字段路径、时间格式、时区,如图。 父主题: 编辑处理流程
如何创建和修改存储 在数据管道编辑中,添加“数据存储输出”算子,可以创建存储管理中的存储。修改存储也是在数据管道中,通过编辑“数据存储输出”算子,可以修改存储的字段。如下图: 父主题: 时序分析常见问题
工作原理: 启动测试模式后,输入类算子从数据源读取数据,将数据发送到下游的转化类算子,最终专递到输出类算子。调试工具会在每个算子的输入输出端监听数据流,最终将监听收集到的数据在页面进行展示。我们可以根据算子的输入输出数据定位以上我们所遇到的问题。
管道作业详细配置(管道作业详细配置,每个作业可选择不同的算子进行组合,各算子的使用方法详见:数据管道算子使用指南。)
删除存储 删除存储前,需要先在数据管道删除对应的存储输出算子,或者修改对应的存储输出算子使其输出到其它存储中,然后点击存储管理页面上的“删除存储”按钮。 父主题: 存储
目前部分算子暂不支持测试功能(见算子支持表),测试按钮将不可点击。 自动跳转测试页面,当前状态为提交中,需要耐心等待。状态包含:“就绪”、“提交中”、“运行中”、“停止中”、“停止”。 当调测状态为“运行中”时,完成启动测试任务操作。 下载数据模板 点击下载测试模板。
目前部分算子暂不支持测试功能(见算子支持表),测试按钮将不可点击。 自动跳转测试页面,当前状态为提交中,需要耐心等待。状态包含:“就绪”、“提交中”、“运行中”、“停止中”、“停止”。 当调测状态为“运行中”时,完成启动测试任务操作。 下载数据模板 点击下载测试模板。
当作业处于草稿态时,只允许编辑操作(如修改名称、描述、类型、算子配置),不允许运行操作(如:启动、停止)。 当作业处于运行态时,只允许运行操作(如:启动、停止),不允许编辑操作(如修改名称、描述、类型、算子配置)。
当作业处于草稿态时,只允许编辑操作(如修改名称、描述、类型、算子配置),不允许运行操作(如:启动、停止)。 当作业处于运行态时,只允许运行操作(如:启动、停止),不允许编辑操作(如修改名称、描述、类型、算子配置)。
管道作业详细配置(管道作业详细配置,每个作业可选择不同的算子进行组合,各算子的使用方法详见:数据管道算子使用指南。)
用户在“数据源”页面配置好数据源后,在该算子配置处选择即可,如图所示: 父主题: 编辑处理流程
数据管道作业中存在错误,请结合保存时的返回信息,检查各个算子配置。 当保存作业后,看到提示:“保存成功,作业已处于就绪态,可启动运行。”即可启动运行。 父主题: 管道作业常见问题
为了节约用户成本,在启动作业时,系统自行对作业的复杂度进行了检查,如果作业仅包含“IoT设备接入数据源”、“产品过滤 ”、“数据存储输出”3种算子时,不需要单独的计算资源。 父主题: 管道作业常见问题