检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Java客户端使用说明 操作场景 本文介绍Java版本的Kafka客户端连接指导,并完成客户端连接以及消息生产与消费的相关示例。 前提条件 已获取MQS连接信息,具体请参见开发准备。 已安装开发工具和Java开发语言环境,具体请参见开发准备。 引入Kafka客户端 MQS基于Kafka社区版本1
1.0、2.7版本。因此在Spring Boot项目工程中使用spring-kafka连接ROMA Connect时,请确保客户端与服务端的Kafka版本一致。 若spring-kafka连接的ROMA Connect实例为Kafka 1.1.0版本时,大部分的功能可以正常使用,
示例代码中的参数说明,可参考获取MQS连接信息获取参数值。 brokers:MQS连接地址和端口。 group:消费组名称。根据业务需要,自定义消费组名称,如果设置的消费组不存在,系统会自动创建。 topics:要消费消息的Topic名称。 父主题: MQS连接开发(开源客户端)
"content": "ImhlbGxvIGh1YXdlaWNsb3VkLTIi" } } ] 父主题: MQS连接开发(RESTful API)
示例代码中的参数说明,可参考获取MQS连接信息获取参数值。 BootstrapServers:MQS连接地址和端口。 GroupId:消费组名称。根据业务需要,自定义消费组名称,如果设置的消费组不存在,系统会自动创建。 topic:要消费消息的Topic名称。 父主题: MQS连接开发(开源客户端)
roma:tasks:get - √ √ 创建连接器 - roma:connectors:create - √ √ 更新连接器 - roma:connectors:update - √ √ 删除连接器 - roma:connectors:delete - √ √ 发布连接器 - roma:connectors:release
fail Integer 确认消费失败的数目。 响应示例 { "success": 1, "fail": 0 } 父主题: MQS连接开发(RESTful API)
同一台服务器,除非该云服务器不可用。 配置通道内服务器。 选择“服务器添加方式”,访问子公司实例的API时需要选择“指定服务器地址”。 单击“创建服务器分组”,在创建服务器分组弹窗中配置分组信息,完成后单击“确定”。 您可以根据需要把服务器划分到多个分组中。 表4 服务器分组配置
MQS完全兼容Kafka开源客户端。 如果您使用其他语言,也可以从Kafka官网获取客户端,按照Kafka官网提供的连接说明,与MQS对接。 获取客户端的地址请参考Kafka官网。 父主题: MQS连接开发(开源客户端)
对于实时数据源,当前自定义连接器不支持直接接入,只能通过消息中转的方式进行接入。本章节以MQS数据源类型为例进行开发,示例使用Java语言进行开发,Demo代码参考RealtimeConnector.rar。 前提条件 准备装有1.8及以上版本JDK的Linux服务器。 IntelliJ
数据集成开发建议: ROMA Connect仅对连接器的RESTful接口做了规范定义,具体连接器对数据源的读写功能以及RESTful接口均需要您自行开发,您可以自行选择开发语言进行连接器开发。 连接器开发完成后,您需要自行部署连接器,并确保连接器所在网络与ROMA Connect所在网络互通。
图2 连接器配置2 发布连接器 连接器创建完成后,单击发布,可以发布连接器的实例。 连接器和连接器实例的关系,类似编程中的类和类对象实例。 连接器定义了针对某种数据源的规范,连接器实例则对应了具体的RESTful服务,所以需要指定RESTful连接地址 (由部署的用户服务器地址决定)。
持“选择云服务器”方式。 指定服务器地址:通过填写服务器IP地址的方式添加负载通道服务器。 单击“创建服务器分组”,在创建服务器分组弹窗中配置分组信息,完成后单击“确定”。 您可以根据需要把服务器划分到多个分组中。 表2 服务器分组配置 参数 说明 分组名称 填写服务器分组的名称
导入组合应用:支持导入JSON格式组合应用文件。 导出组合应用:支持导出JSON格式组合应用文件。 带有自定义连接器的组合应用导出后,暂不支持导入到其他环境使用。 连接器的连接实例信息不支持导出。 导出组合应用 登录新版ROMA Connect控制台。 在左侧导航栏选择“组合应用”,在组合应用页面找到要导出的组合应用。
获取MQS连接信息 获取连接地址与端口 在ROMA Connect实例控制台的“实例信息”页面,在“基本信息”页签查看MQS连接地址。 使用Kafka客户端内网连接MQS:在“连接地址”下查看消息集成 MQS内网连接地址。 使用Kafka客户端公网连接MQS:在“连接地址”下查看消息集成
创建Modbus连接点及策略: 单击设备名称,进入设备详情页,选择“Modbus配置”页签。 单击“创建连接点”按钮,配置连接点信息。 填写连接点名称。 选择连接点类型,支持TCP/IP和RS232。 配置请求超时时长,单位(ms)。 配置连接点IP地址。 配置连接点IP端口。 配置完成单击“确定”即可。
用的多次组装,形成新的组合应用,实现业务的快速复制创新,形成千人千面的集成体验。 连接器 iPaaS连接器是一种云服务,能够用于连接应用程序、数据和设备,以实现各种集成方案。连接器提供了预构建的连接点,以便将数据从一个应用程序或系统传输到另一个应用程序或系统。
添加云服务器。 单击“添加云服务器”。 在添加云服务器弹窗中,选择子网并勾选要添加的云服务器,完成后单击“添加”。 添加后端服务器地址。 单击“添加后端服务器地址”。 在页面中配置后端服务器信息。 表3 后端服务器配置 参数 配置说明 后端服务器地址 填写后端服务器的IP地址。
数据集成任务支持的数据源 表1中为数据集成所支持的全量数据源类型,具体每种数据源所支持的任务模式和集成模式请参见接入数据源。 连接数据源的用户需要有创建连接数据库会话的权限。 表1 数据集成支持的数据源 数据源类型 支持的版本 API 无版本号 ActiveMQ 5.15.9 ArtemisMQ
在独立服务器中。在搭建Filebeat+ELK系统前,需要对Filebeat和ELK所需的服务器资源进行评估,以准备相关服务器资源。 API调用日志文件最大为200MB,达到上限后会自动生成新的日志文件,以每天产生5个或10个新日志文件为例,Filebeat和ELK对服务器的资源需求如表1所示。