检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据拆分 “数据拆分”组件将传入该节点的数据按照指定的表达式进行拆分,并将拆分的结果通过节点变量传递给后续节点。通常“数据拆分”组件后续会连接“数据筛选”组件以配合使用。 “数据拆分”为异步处理组件,如果一个任务中存在“数据拆分”节点,最终开放的API将返回传入“数据拆分”节点时的数据。
2:创建成功 3:创建失败 4:初始化中 5:注册中 6:运行中 7:初始化失败 8:注册失败 10:安装中 11:安装失败 12:升级中 13:升级失败 20:回滚中 21:回滚成功 22:回滚失败 23:删除中 24:删除失败 25:注销中 26:注销失败 27:创建超时 28:初始化超时
PI的具体实现将由“Open API”组件的后续组件完成。因此“Open API”组件只能作为组合应用的触发事件,且后续必须连接其它节点。 流任务启动成功后,用户可以在对应ROMA Connect实例的“服务集成 APIC > API列表”中查看并编辑该发布的API。 支持的动作
实例的相关对接地址,包括: ROMA Connect连接地址 设备集成LINK连接地址 服务集成APIC连接地址 服务集成 APIC内网连接地址(自定义后端组件和网关组件) 数据集成 FDI内网出口地址 消息集成 MQS内网连接地址 消息集成 MQS公网连接地址(仅绑定弹性IP地址时展示) 消息集成 MQS
向DWS写入数据时越来越慢怎么解决 原因分析 查看界面上的采集数据,如果写入数据耗时在秒级,属于正常的情况。如果写入几千条数据超过5秒,一般是性能劣化的表现。 解决方案 如果对DWS的某个表频繁访问,会导致写入性能逐渐降低,需要对DWS进行调优,例如,定时使用analyze规划表、VACUUM
脚本处理 “脚本处理”组件用于处理数据。用户可使用指定的编程语言编写脚本,对传入“脚本处理”组件的数据进行处理,生成新的数据供后续步骤使用。 配置参数 参数 说明 语言 选择编写脚本使用的编程语言,当前只支持ES5版本的JavaScript语言。 内容 编写脚本内容。 可通过变量
配置参数提供了实例内组件的公共参数配置,通过修改配置参数,可以调整组件的相关功能配置。 约束与限制 修改实例配置参数会引起APIC业务中断,建议在无业务运行或业务低峰时修改配置参数。 子服务中包含“服务集成 APIC”的实例才可以在“实例信息”页面显示“配置参数”页签,如果实例中仅包括“消息集成
数据筛选 “数据筛选”组件对传入该组件的数据按照指定的表达式进行筛选,并将筛选出的结果通过节点变量传递给后续节点。通常“数据筛选”组件会作为“数据拆分”组件的后续步骤以配合使用。 配置参数 参数 说明 表达式 数据筛选的表达式。 使用表达式对数据进行筛选,并传递给后续节点。例如数
id、kibana_image_id和python_image_id为4中查询到的对应组件的镜像ID。 把导出的镜像文件上传到服务器中。 把镜像文件filebeat_image.tar上传到SHUBAO组件所在节点,步骤1查询到的所有SHUBAO所在的节点都要上传。 把镜像文件logstash_image
捕获异常包含错误信息。只有当捕获的异常信息中包含指定错误信息时,会进行异常处理步骤。 重试次数 发生异常时对监控部分流程的最大重试次数。 重试间隔(秒) 发生异常时对监控部分流程的重试间隔,单位为秒。 配置示例 图中配置对mysql组件获取记录操作进行异常监控。若出现运行异常且错误消息中包含test,将对
取该目录中的内容(如registry),并在收集数据时更新该目录,这样可确保Filebeat只收集新的日志数据,避免将已经发送过的数据再次发送。 执行以下命令为log目录配置权限。 chmod 777 /filebeat/log 编辑filebeat.yml文件,在文件中增加如下配置。
ELK对服务器的资源需求如表1所示。 表1 服务器资源需求 组件 日志文件数 CPU 内存 磁盘 Filebeat 5个 1核 256MB 当Filebeat已读取日志,但尚未发送至其它组件前,会把日志数据缓存到磁盘中,因此磁盘占用为已读取日志文件总大小,最大值为200MB*日志文件数。
"status":401} 执行以下命令修改logstash.conf文件中user和password的值,修改为与步骤4.c中设置的用户名密码一致。 vim /ELK/logstash/logstash.conf 执行以下命令修改kibana.yml文件中elasticsearch.username和elasticsearch
数据集成组合任务 目标表中配置的RowId字段类型不正确导致写入数据失败 读取MySQL的binlog时报“binlog probably contains events generated with statement or mixed based replication forma”错误
生产者、消费者和代理服务器。生产者将数据发布到Kafka集群,消费者从Kafka集群订阅数据并进行处理,代理服务器则是Kafka集群中的核心组件,负责处理消息的存储和转发。Kafka的主要优点是可扩展性、高吞吐量、低延迟、可靠性和持久性。它被广泛应用于大数据处理、实时数据流处理、日志收集等领域。
生产者、消费者和代理服务器。生产者将数据发布到Kafka集群,消费者从Kafka集群订阅数据并进行处理,代理服务器则是Kafka集群中的核心组件,负责处理消息的存储和转发。Kafka的主要优点是可扩展性、高吞吐量、低延迟、可靠性和持久性。它被广泛应用于大数据处理、实时数据流处理、日志收集等领域。
OBS源端的CSV文件解析到关系型数据库时,列的值不对怎么办? 任务配置时源端OBS的元数据填写顺序必须与CSV文件中列的顺序一致,需修改任务配置,按照文件中列的顺序填写元数据。 父主题: 数据集成普通任务
业务使用介绍 功能简介 设备集成LINK是ROMA Connect的设备集成组件,使用标准MQTT协议连接设备,实现设备快速上云管理。使用ROMA Connect进行设备集成,有如下优势: 支持标准的MQTT协议 使用开源的标准MQTT设备端SDK将设备轻松接入云端,进行消息的发布和订阅。
业务使用介绍 功能简介 服务集成APIC是ROMA Connect的API集成组件,支持将已有后端服务、数据源和自定义函数封装成标准的RESTful API,并对外开放。使用ROMA Connect进行服务集成,有如下优势: 支持便捷的API生命周期管理 ROMA Connect
业务使用介绍 功能简介 服务集成APIC是ROMA Connect的API集成组件,支持将已有后端服务、数据源和自定义函数封装成标准的RESTful API,并对外开放。使用ROMA Connect进行服务集成,有如下优势: 支持便捷的API生命周期管理 ROMA Connect