检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
（Partition），消息被分布式存储在不同分区中，实现Kafka的水平扩展与高可用。 副本 为了提高消息的可靠性，Kafka的每个分区会有多个副本，对消息进行冗余备份。分区在每个副本存储一份全量数据，副本之间的消息数据保持同步。分区挑选一个副本作为Leader，该分区所有消息
进行消费。 副本数 设置Topic的副本数，ROMA Connect会自动在每个副本上备份数据，当其中一个副本故障时数据依然可用，Topic的副本数越多，可靠性越高。 说明： 实例节点出现故障的情况下，单副本Topic查询消息时会出现内部错误问题，因此不建议使用单副本Topic。
能。 副本数 ROMA Connect会自动在每个副本上备份数据，当其中一个副本故障时数据依然可用，Topic的副本数越多，可靠性越高。 老化时间（小时） 超过老化时间后，Topic中存储的消息将会被删除。 同步复制 客户端向Topic生产消息时，是否把消息复制给所有副本，然后才向消息客户端返回响应，此处不启用。
之间的连接，并管理数据的传输。 GaussDB是华为自主创新研发的分布式关系型数据库。该产品具备企业级复杂事务混合负载能力，同时支持分布式事务，同城跨AZ部署，数据0丢失，支持1000+的扩展能力，PB级海量存储。同时拥有云上高可用，高可靠，高安全，弹性伸缩，一键部署，快速备份恢
Kafka Kafka是一个分布式流处理平台，最初由LinkedIn开发。它是一个高吞吐量、低延迟的平台，可以处理大量的实时数据流。Kafka主要由三个部分组成：生产者、消费者和代理服务器。生产者将数据发布到Kafka集群，消费者从Kafka集群订阅数据并进行处理，代理服务器则是
Kafka Kafka是一个分布式流处理平台，最初由LinkedIn开发。它是一个高吞吐量、低延迟的平台，可以处理大量的实时数据流。Kafka主要由三个部分组成：生产者、消费者和代理服务器。生产者将数据发布到Kafka集群，消费者从Kafka集群订阅数据并进行处理，代理服务器则是
存储过程调用 当前数据API不支持直接创建存储过程，但是可以执行MySQL、Oracle、PostgreSQL这三种数据源的存储过程，以Oracle数据库为例说明。 数据源说明 假设数据库里面有一张表，表结构如下建表语句所示： create table sp_test(id number
Connect实例的生产客户端，将原Kafka所有消息数据迁移到ROMA Connect实例。 若原Kafka的Topic为单副本存储，ROMA Connect实例中的Topic为3副本存储，则建议ROMA Connect实例存储空间为原Kafka的3倍。 父主题： 消息集成指导
RabbitMQ RabbitMQ是一个开源的消息队列系统，它实现了高效的消息传递机制，可以在分布式系统中进行消息的异步传递和处理。RabbitMQ基于AMQP（Advanced Message Queuing Protocol）协议，支持多种编程语言，包括Java、Python、Ruby、
和维护应用程序和Milvus数据库之间的连接，并管理数据的传输。 Milvus是一种高性能、高扩展性的向量数据库，可在从笔记本电脑到大型分布式系统等各种环境中高效运行。它既可以开源软件的形式提供，也可以云服务的形式提供。 创建Milvus连接 登录新版ROMA Connect控制台。
MQS消息堆积最佳实践 方案概述 Kafka将Topic划分为多个分区，消息被分布式存储在分区中。同一个消费组内，一个消费者可同时消费多个分区，但一个分区在同一时刻只能被一个消费者消费。 在消息处理过程中，如果客户端的消费速度跟不上服务端的发送速度，未处理的消息会越来越多，这部分
Repo连接器用于对接华为云CodeArts Repo服务。 代码托管（CodeArts Repo）是华为全栈自研的代码托管服务，基于Git提供分布式代码管理和协同开发能力，包括成员管理、权限控制、代码托管、代码检查、代码审核、代码追溯、持续集成等功能，助力不同规模企业的研发质量和效率提升。
S应用以标准化、中心化的方式接入事件网格，通过标准化的CloudEvents协议在这些应用之间以灵活方式路由事件，帮助您轻松构建松耦合、分布式的事件驱动架构。 事件网格触发器用于快速创建以华为云服务或自定义应用为事件源、组合应用流任务为事件目标的事件订阅，以便于在工作流中配置处理事件网格感知到的订阅事件。
ElasticSearch的磁盘空间需求取决于数据量、副本数： 一般场景：数据量*(1+副本数)*1.7 峰值场景：数据量*(1+副本数)*2.6 其中，数据量为存储的日志文件总大小，即200MB*日志文件数；本实践中，ElasticSearch的副本数为1。 ElasticSearch存储的数据，默认未设置过期
e和Kafka作为数据集成任务的源端和目标端。 对象存储服务 对象存储服务（Object Storage Service，简称OBS）是一个基于对象的海量存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力，可供用户存储任意类型和大小的数据。 ROMA Connect可以
IBM MQ IBM MQ是IBM提供的一个消息队列软件，它可以在分布式系统中进行异步通信，确保数据的可靠传输。MQ是一种基于消息的中间件，它提供了一种可靠、安全的方式来传输消息，可以在不同的应用程序、平台和系统之间进行通信。MQ可以确保消息在传输过程中不会丢失、重复或失序，并且
IBM MQ IBM MQ是IBM提供的一个消息队列软件，它可以在分布式系统中进行异步通信，确保数据的可靠传输。MQ是一种基于消息的中间件，它提供了一种可靠、安全的方式来传输消息，可以在不同的应用程序、平台和系统之间进行通信。MQ可以确保消息在传输过程中不会丢失、重复或失序，并且
Connect的高度可扩展性设计，支撑园区海量的数据传输与存储，提升数据传输效率。 融合IT、OT、AI，构建智能运营中心 由于ROMA Connect打通了数据集成与共享的通道，企业可以借助企业级人工智能、视频分析、大数据云服务等解决方案，打造真正的智慧园区大脑。 集中+分布式的架构支撑园区业务 大型园区管理企业往往涉及众多园区，ROMA
支持消息数据高可靠 支持消息持久化，多副本存储机制。副本间消息同步、异步复制，数据同步或异步落盘多种方式供您自由选择。 使用流程 使用ROMA Connect进行消息集成的流程如下图所示。 图1 业务使用流程 已创建实例和集成应用。 创建Topic 创建用于存储消息的Topic，供消息生产方发布消息和供消息消费方订阅消息。
发送优化：linger.ms=0 生产端的JVM内存要足够，避免内存不足导致发送阻塞 Topic使用建议 配置要求：推荐3副本。 单Topic最大分区数建议为20。 Topic副本数为3（当前版本限制，不可调整）。 其他建议 连接数限制：3000 消息大小：不能超过10MB 使用SASL_SSL协议访问ROMA
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
