检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
KafkaProducer类说明 路径 com.roma.apic.livedata.client.v1.KafkaProducer 说明 生产Kafka消息。 使用示例 importClass(com.roma.apic.livedata.client.v1.KafkaProducer); importClass(com
KafkaConsumer类说明 路径 com.roma.apic.livedata.client.v1.KafkaConsumer 说明 消费Kafka消息。 使用示例 importClass(com.roma.apic.livedata.client.v1.KafkaConsumer); importClass(com
目标端数据源为公网Kafka时,定时任务目标端报“The task executes failed.Writer data to kafka failed”错误 原因分析 目标端数据源为公网Kafka时,由于网络原因导致定时任务报“The task executes failed
获取MQS连接信息 获取连接地址与端口 在ROMA Connect实例控制台的“实例信息”页面,在“基本信息”页签查看MQS连接地址。 使用Kafka客户端内网连接MQS:在“连接地址”下查看消息集成 MQS内网连接地址。 使用Kafka客户端公网连接MQS:在“连接地址”下查看消息集成
MQS连接开发(RESTful API) Java Demo使用说明 生产消息接口说明 消费消息接口说明 消费确认接口说明 父主题: 消息集成开发指导
连接器 创建连接器 发布连接器 父主题: 数据集成指导
Connect上创建连接器,定义连接器的对接参数。 操作步骤 登录ROMA Connect控制台,在左侧的导航栏选择“资产管理”。 单击页面右上角的“创建连接器”。 在创建连接器页面中填写连接器的相关配置信息。 表1 连接器配置 参数 配置说明 连接器名称 填写连接器的名称,根据规划
MQS连接开发(开源客户端) Java客户端使用说明 Python客户端使用说明 Go客户端使用说明 C#客户端使用说明 其他语言客户端使用说明 附录:如何提高消息处理效率 附录:spring-kafka对接限制 父主题: 消息集成开发指导
使用MQTTBox客户端连接ROMA Connect失败 原因分析 可能是以下两种原因导致,请逐一排查: 连接配置信息MQTT Client Id、Host、Username和Password有误。 “Appendtimestamp to MQTT client id?”选项被勾选。
机制,提供跨网络访问的安全、标准化消息通道。使用ROMA Connect进行消息集成,有如下优势: 支持原生Kafka特性 兼容社区版Kafka的API,具备原生Kafka的所有消息处理特性。 支持安全的消息传输 独有的安全加固体系,提供业务操作云端审计,消息传输加密等有效安全措
单击“保存”,完成OpenAPI连接器的创建。 创建OpenAPI连接 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”,在连接器页面单击“自定义连接”页签。 单击一个OpenAPI连接器的“新建连接”。 在“新建连接”弹窗中配置信息。 表5 新建连接参数说明(Basic鉴权)
客户端参数配置建议 Kafka客户端的配置参数很多,以下提供Producer和Consumer几个常用参数配置。 表1 Producer参数 参数 默认值 推荐值 说明 acks 1 高可靠:all 高吞吐:1 收到Server端确认信号个数,表示procuder需要收到多少个这
0时填写,不填写默认为client_id。 缺省值:client_id 最小长度:0 最大长度:256 client_secret 否 String 访问API服务的客户端密钥。 认证方式为oauth2.0时填写。 最小长度:0 最大长度:256 client_secret_key 否 String
Kafka集到Mysql目标端报“cannot find record mapping field”错误 原因分析 查看任务mapping配置,源端字段类型的长度超出目标端字段类型的长度限制,或者配置的映射字段中某个字段在源端的数据中不存在。 解决方案 检查字段映射配置的字段类型
配置任务完成后执行(可选) 概述 定时数据集成任务执行成功后,根据配置发送消息至Kafka或MRS Kafka。第三方平台(比如DataArts Studio)可以通过订阅Kafka或MRS Kafka获取消息,并根据实际需要选择是否执行数据抽取任务。 本章节介绍任务执行完成后,如
数据源连接测试失败排查操作 请检查数据源相关配置是否正确,例如数据库名及密码是否填写错误。 请检查数据源IP与FDI是否在同一个VPC内,若不在请先创建对等连接。 如何创建VPC对等连接请参考VPC对等连接。 请检查数据源服务器端防火墙是否开放连接端口。 请检查数据源服务器端IP白名单限制是否添加FDI数据面IP。
自定义连接器 OpenAPI连接器 父主题: 连接器
连接器 触发器 HTTP 数据库 华为云服务 SaaS应用 邮箱 其他 消息系统 自定义连接器
消息系统 ActiveMQ ArtemisMQ IBM MQ Kafka 父主题: 连接器
Software 定时器 ArtemisMQ RabbitMQ 事件网格 QQ邮箱 IBM MQ Kafka MySQL Oracle PostgreSQL Sql Server 父主题: 连接器