检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Z中 测试场景三(副本数):相同的Kafka实例,不同的Topic副本数 测试场景四(同步/异步复制):相同的Kafka实例,不同复制机制的Topic 表1 测试参数 分区数 副本数 是否同步复制 batch.size 是否跨AZ生产 3 1 否 1KB 否 3 1 否 16KB
retention_time Integer 消息老化时间。 sync_replication Boolean 是否开启同步复制,开启后,客户端生产消息时相应的也要设置acks=-1,否则不生效。 默认关闭。 sync_message_flush Boolean 是否使用同步落盘。同步落盘会导致性能降低。
) sync_mode 否 String 同步类型,“RDB_ONLY”为全量同步,“CUSTOM_OFFSET”为全量同步+增量同步。(仅源端类型为Redis时需要填写) full_sync_wait_ms 否 Integer 全量同步重试间隔时间,单位:毫秒。(仅源端类型为Redis时需要填写)
署Kafka实例,或跨可用区(同城灾备)部署,也可以通过数据同步工具(MirrorMaker)进行跨实例的数据同步。 在单可用区或多可用区中部署实例 使用MirrorMaker跨实例数据同步 副本冗余 副本通过数据同步的方式保持数据一致,当网络发生异常或节点故障时,通过冗余副本自
Kafka支持的监控指标 功能说明 本章节定义了分布式消息服务Kafka版上报云监控服务的监控指标的命名空间,监控指标列表和维度定义,您可以通过云监控服务的管理控制台或API接口来检索Kafka实例产生的监控指标和告警信息,也可以通过分布式消息服务Kafka版控制台提供的“监控”页面来检索Kafka实例产生的监控指标。
会显示) sync_mode String 同步类型,“RDB_ONLY”为全量同步,“CUSTOM_OFFSET”为全量同步+增量同步。(仅源端类型为Redis时会显示) full_sync_wait_ms Integer 全量同步重试间隔时间,单位:毫秒。(仅源端类型为Redis时会显示)
如何选择Kafka实例存储容量阈值策略? Kafka服务端支持版本是多少? Kafka实例的ZK地址是什么? 创建的Kafka实例是集群模式么? Kafka实例是否支持修改访问端口? Kafka实例的SSL证书有效期多长? 如何将Kafka实例中的数据同步到另一个Kafka实例中? Kafka实例的SASL_SSL开关如何修改?
指首先通过Smart Connect同步两个Kafka的消息,其次将消费端迁移到新Kafka,最后将生产端迁移到新Kafka。 本方案依赖于Smart Connect,Smart Connect实时同步源端和目标端的数据,但是消费进度是通过批处理同步的,可能会导致源端和目标端每个分区
用幂等功能,请将“enable.idempotence”设置为“false”。 Topic使用建议 配置要求:推荐3副本,同步复制,最小同步副本数为2,且同步副本数不能等于Topic副本数,否则宕机1个副本会导致无法生产消息。 创建方式:支持选择是否开启Kafka自动创建Topi
Connect管理 分布式消息服务Kafka版通过开启Smart Connect,实现Kafka实例和其他云服务(如OBS)之间的数据同步,或者两个Kafka实例之间的数据同步。 支持区域: 全部 如何开启Smart Connect? 用户管理 分布式消息服务Kafka版支持对Top
消息老化时间。默认值为72。 取值范围1~720,单位小时。 sync_message_flush Boolean 否 是否使用同步落盘。默认值为false。同步落盘会导致性能降低。 请求示例 POST https://{dms_endpoint}/v1.0/{project_id}/
继续扣费。 您可以在“费用中心 > 总览”页面设置“可用额度预警”功能,当可用额度、通用代金券和现金券的总额度低于预警阈值时,系统自动发送短信和邮件提醒。当产生欠费后,请您及时充值使可用额度大于0。
华为云使用Kafka作为消息引擎,以下概念基于Kafka进行描述。 Topic 消息主题。消息的生产与消费,围绕消息主题进行生产、消费以及其他消息管理操作。 Topic也是消息队列的一种发布与订阅消息模型。生产者向消息主题发布消息,多个消费者订阅该消息主题的消息,生产者与消费者彼此并无直接关系。
如下: 分区数为5。 副本数为3。 老化时间为72小时。 不开启同步复制和同步落盘。 消息时间戳类型为CreateTime。 批处理消息最大值为10485760字节。 同步复制 Topic副本数为1时,不能选择同步复制功能。 副本数 集群实例不建议使用单副本。实例节点出现故障的情
Integer 消息老化时间。 sync_replication Boolean 是否开启同步复制,开启后,客户端生产消息时相应的也要设置acks=-1,否则不生效,默认关闭。 sync_message_flush Boolean 是否使用同步落盘。默认值为false。同步落盘会导致性能降低。
Smart Connect任务创建后,修改了源端或者目标端的参数,可能会导致重启失败。 重启Smart Connect任务会重置同步进度,并重新开始同步任务。 单击“确定”,完成Smart Connect任务的重启。 当页面左上方显示“成功重启任务xxx”时,表示成功重启Smart
数据。 带宽限制是指设定Topic进行副本同步的带宽上限,确保不会对该实例上的其他Topic造成流量冲击。但需要注意,带宽限制不会区分是正常的生产消息造成的副本同步还是分区平衡造成的副本同步,如果带宽限制设定过小,可能会影响正常的生产消息,且可能会造成分区平衡一直无法结束。如果分区平衡一直无法结束,请联系客服处理。
单机实例默认值 集群实例默认值 集群实例修改后的值 分区数 1 3 5 副本数 1 3 3 老化时间 72小时 72小时 72小时 同步复制 不开启 不开启 不开启 同步落盘 不开启 不开启 不开启 消息时间戳类型 CreateTime CreateTime CreateTime 批处理消息最大值
会显示) sync_mode String 同步类型,“RDB_ONLY”为全量同步,“CUSTOM_OFFSET”为全量同步+增量同步。(仅源端类型为Redis时会显示) full_sync_wait_ms Integer 全量同步重试间隔时间,单位:毫秒。(仅源端类型为Redis时会显示)
请参考查看Kafka监控数据。 带宽限制是指设定Topic进行副本同步的带宽上限,确保不会对该实例上的其他Topic造成流量冲击。但需要注意,带宽限制不会区分是正常的生产消息造成的副本同步还是分区平衡造成的副本同步,如果带宽限制设定过小,可能会影响正常的生产消息,且可能会造成分区