检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
将集群数据同步备份在多个不同的数据中心。 集群迁移：当今很多企业将业务迁移上云，迁移过程中需要确保线下集群和云上集群的数据同步，保证业务的连续性。 方案架构 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。其原理如图1所示，MirrorMaker本质上也是
为什么offset不连续？ 在生产者客户端中开启幂等或事务，然后生产消息，此时您会在消费者客户端或Kafka控制台的“消息查询”中观察到消息offset不连续的现象。这是因为开启了幂等或事务后，在生产消息时会产生一些元数据控制消息，这些控制消息也会生产到该Topic中， 且它们对
cluster*3。因为该Kafka实例打算长期使用下去，于2023/03/20 10:30:00将Kafka实例转为包年/包月计费，购买时长为1个月。那么在3~4月份，该Kafka实例总共产生多少费用呢？ 计费构成分析 可以将Kafka实例的使用阶段按照计费模式分为两段：在2023/03/18 15:30:00
剩余周期 公式中的剩余周期为每个自然月的剩余天数/对应自然月的最大天数。本示例中，剩余周期=12（4月份剩余天数）/ 30（4月份最大天数）+ 8（5月份剩余天数）/ 31（5月份最大天数）=0.6581，代入公式可得升配费用=3780*0.6581-1890*0.6581=1243
消费者每次最多消费max.poll.records条消息，多数情况下客户端都会把一次消费到的数据处理完后才会开始下一次消费，如果单次消费的消息太多导致无法在max.poll.interval.ms时间内处理完或消息处理流程发生了异常（如需要写入后端数据库，后端数据库压力太大，慢SQL，时延增加等）导致消费时间增加，在max
使用客户端连接Kafka（关闭SASL） 本章节介绍如何使用开源的Kafka客户端访问关闭SASL的Kafka实例的方法。关闭SASL表示客户端访问Kafka实例时，无需进行认证，数据通过明文传输，性能更好。 约束与限制 2020年7月以及之后购买的实例，Kafka实例的每个代理
JVM堆内存使用率原始值如果连续3个周期>85%，触发紧急告警，每10分钟告警一次。 磁盘容量使用率原始值如果连续3个周期>85%，触发紧急告警，每10分钟告警一次。 CPU使用率原始值如果连续3个周期>85%，触发紧急告警，每10分钟告警一次。 节点存活状态原始值如果连续3个周期<1，触发紧急告警，每10分钟告警一次。
连接新Kafka，部分还涉及将持久化的消息文件迁移到新的Kafka。主要涉及到以下2类场景： 业务上云且不希望业务有中断。 在上云过程中，连续性要求高的业务，需要平滑迁移，不能有长时间的中断。 在云上变更业务部署。 单AZ部署的Kafka实例，不具备AZ之间的容灾能力。用户对可靠
续费”，跳转到“续费”页面。 单击Kafka实例名称，进入实例详情页面。单击右上角的“续费”，跳转到“续费”页面。 选择Kafka实例的续费时长，判断是否勾选“统一到期日”，将Kafka实例到期时间统一到各个月的某一天（详细介绍请参见统一包年/包月资源的到期日）。确认配置费用后单击“去支付”。
创建转储任务 功能介绍 创建转储任务。 当前页面API为历史版本API，未来可能停止维护。请使用开启Smart Connect（按需实例）。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/connectors/{connector_id}/sink-tasks
产品优势 分布式消息服务Kafka版完全兼容开源社区版本，旨在为用户提供便捷高效的消息队列。业务无需改动即可快速迁移上云，为您节省维护和使用成本。 一键式部署，免去集群搭建烦恼 您只需要在实例管理界面选好规格配置，提交订单。后台将自动创建部署完成一整套Kafka实例。 兼容开源，业务零改动迁移上云
Kafka集群实例 Kafka集群实例规格 Kafka集群实例由三个及以上代理组成，兼容开源Kafka 1.1.0、2.7和3.x。 TPS（Transaction per second），在Kafka场景中，指每秒能写入到Kafka实例的最大消息数量。下表中TPS性能，是指以1
端或Kafka控制台的“消息查询”中观察到消息offset不连续的现象。这是因为开启了幂等后，在生产消息时会产生一些元数据控制消息，这些控制消息也会生产到该Topic中， 且它们对消费者不可见，从而造成offset不连续的现象。 表2 Consumer参数 参数 默认值 推荐值 说明
使用客户端连接Kafka（开启SASL） 本章节介绍如何使用开源的Kafka客户端访问开启密文接入的Kafka实例的方法。密文接入表示客户端访问Kafka实例时，需要进行SASL认证。如果Kafka安全协议为“SASL_SSL”，客户端和Kafka实例进行通信时，数据使用加密传输，安全性更高。
Python 本文以Linux CentOS环境为例，介绍Python版本的Kafka客户端连接指导，包括Kafka客户端安装，以及生产、消费消息。 使用前请参考收集连接信息收集Kafka所需的连接信息。 准备环境 Python 一般系统预装了Python，您可以在命令行输入py
生产消息时，给消息Key加随机后缀，使消息均衡分布到不同分区上。 在实际业务场景中，为消息Key加随机后缀，会导致消息全局不保序，需根据实际业务判断是否适合给消息Key加随机后缀。 服务端 合理设置Topic的分区数，在不影响业务处理效率的情况下，调大Topic的分区数量。 当服务端出
使用VPCEP实现跨VPC访问Kafka Kafka客户端和Kafka实例在同一区域的不同VPC中，由于VPC之间逻辑隔离，Kafka客户端和Kafka实例不能直接通信。您可以通过以下任意一个方式实现跨VPC访问： 创建VPC对等连接，将两个VPC的网络打通，实现跨VPC访问。具体步骤请参考对等连接。
服务韧性 DMS for Kafka提供了3级可靠性架构，通过跨AZ容灾、AZ内实例容灾、实例数据多副本技术方案，保障服务的持久性和可靠性。 表1 DMS for Kafka可靠性架构 可靠性方案 简要说明 跨AZ容灾 DMS for Kafka提供跨AZ类型实例，支持跨AZ容灾
ConsumerRecords<String, String> records = receiver.receiveMessage(); Iterator<ConsumerRecord<String, String>> iter = records.iterator();
发送消息后，生产者需要根据分布式消息服务Kafka版的返回信息确认消息是否发送成功，如果返回失败需要重新发送。 生产消息时，生产者通过同步等待发送结果或异步回调函数，判断消息是否发送成功。在消息传递过程中，如果发生异常，生产者没有接收到发送成功的信号，生产者自己决策是否需要重复发送消息。如果接收到发送成功的
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
