正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
发送阻塞。 时间戳设置为与当地时间一致,避免时间戳为未来时间导致消息无法老化。 Topic使用建议 配置要求:推荐3副本,同步复制,最小同步副本数为2,且同步副本数不能等于Topic副本数,否则宕机1个副本会导致无法生产消息。 创建方式:支持选择是否开启Kafka自动创建Topi
指首先通过Smart Connect同步两个Kafka的消息,其次将消费端迁移到新Kafka,最后将生产端迁移到新Kafka。 本方案依赖于Smart Connect,Smart Connect实时同步源端和目标端的数据,但是消费进度是通过批处理同步的,可能会导致源端和目标端每个分区
消息老化时间。默认值为72。 取值范围1~720,单位小时。 sync_message_flush Boolean 否 是否使用同步落盘。默认值为false。同步落盘会导致性能降低。 请求示例 POST https://{dms_endpoint}/v1.0/{project_id}/
sync_replication Boolean 是否开启同步复制,开启后,客户端生产消息时相应的也要设置acks=-1,否则不生效。 默认关闭。 sync_message_flush Boolean 是否使用同步落盘。同步落盘会导致性能降低。 external_configs Object
组内的所有消费者都同步完成新的消费组元数据,包括之前已经同步过的消费者,也需要重新同步。 消费组简单流程如下: 有新的消费者加入或退出,服务端记录的消费组元数据更新,服务端更新消费组进入REBALANCING状态。 服务端等待所有消费者(包含已有的消费者)同步最新的元数据。 所有
如下: 分区数为5。 副本数为3。 老化时间为72小时。 不开启同步复制和同步落盘。 消息时间戳类型为CreateTime。 批处理消息最大值为10485760字节。 同步复制 Topic副本数为1时,不能选择同步复制功能。 副本数 不建议使用单副本。实例节点出现故障的情况下,单
继续扣费。 您可以在“费用中心 > 总览”页面设置“可用额度预警”功能,当可用额度、通用代金券和现金券的总额度低于预警阈值时,系统自动发送短信和邮件提醒。当产生欠费后,请您及时充值使可用额度大于0。
Smart Connect任务创建后,修改了源端或者目标端的参数,可能会导致重启失败。 重启Smart Connect任务会重置同步进度,并重新开始同步任务。 单击“确定”,完成Smart Connect任务的重启。 当页面左上方显示“成功重启任务xxx”时,表示成功重启Smart
会显示) sync_mode String 同步类型,“RDB_ONLY”为全量同步,“CUSTOM_OFFSET”为全量同步+增量同步。(仅源端类型为Redis时会显示) full_sync_wait_ms Integer 全量同步重试间隔时间,单位:毫秒。(仅源端类型为Redis时会显示)
表1 Topic参数值 参数名称 默认参数值 修改后的参数值 分区数 3 5 副本数 3 3 老化时间 72小时 72小时 同步复制 不开启 不开启 同步落盘 不开启 不开启 消息时间戳类型 CreateTime CreateTime 批处理消息最大值 10485760字节 10485760字节
) sync_mode 否 String 同步类型,“RDB_ONLY”为全量同步,“CUSTOM_OFFSET”为全量同步+增量同步。(仅源端类型为Redis时需要填写) full_sync_wait_ms 否 Integer 全量同步重试间隔时间,单位:毫秒。(仅源端类型为Redis时需要填写)
会显示) sync_mode String 同步类型,“RDB_ONLY”为全量同步,“CUSTOM_OFFSET”为全量同步+增量同步。(仅源端类型为Redis时会显示) full_sync_wait_ms Integer 全量同步重试间隔时间,单位:毫秒。(仅源端类型为Redis时会显示)
kafka_wait_synchronize_data 待同步Kafka数据量 Kafka任务的待同步数据量。 单位:Count ≥ 0 Kafka实例的Smart Connect任务 1分钟 kafka_synchronize_rate Kafka每分钟同步数据量 Kafka任务每分钟同步的数据量。 单位:Count
请参考查看Kafka监控数据。 带宽限制是指设定Topic进行副本同步的带宽上限,确保不会对该实例上的其他Topic造成流量冲击。但需要注意,带宽限制不会区分是正常的生产消息造成的副本同步还是分区平衡造成的副本同步,如果带宽限制设定过小,可能会影响正常的生产消息,且可能会造成分区
消息生产 发送消息后,生产者需要根据分布式消息服务Kafka版的返回信息确认消息是否发送成功,如果返回失败需要重新发送。 生产消息时,生产者通过同步等待发送结果或异步回调函数,判断消息是否发送成功。在消息传递过程中,如果发生异常,生产者没有接收到发送成功的信号,生产者自己决策是否需要重
创建的Kafka实例是集群模式么? Kafka实例是否支持修改访问端口? Kafka实例的SSL证书有效期多长? 如何将Kafka实例中的数据同步到另一个Kafka实例中? Kafka实例的SASL_SSL开关如何修改? SASL认证机制如何修改? 如何修改安全协议? 修改企业项目,是否会导致Kafka重启?
Connect。 Smart Connect用于异构系统间的数据同步,开启Smart Connect后,设置Smart Connect任务可以实现Kafka实例和其他云服务之间的数据同步,或者两个Kafka实例之间的数据同步。 开启Smart Connect后,实例会另外创建2个用于Smart
Connect管理 分布式消息服务Kafka版通过开启Smart Connect,实现Kafka实例和其他云服务(如OBS)之间的数据同步,或者两个Kafka实例之间的数据同步。 支持区域: 全部 如何开启Smart Connect? 用户管理 分布式消息服务Kafka版支持对Topic进行AC
sync_replication Boolean 是否开启同步复制,开启后,客户端生产消息时相应的也要设置acks=-1,否则不生效,默认关闭。 sync_message_flush Boolean 是否使用同步落盘。默认值为false。同步落盘会导致性能降低。 external_configs
中选择1个或多个,对消息进行冗余存储。 Topic的所有消息分布式存储在各个分区上,分区在每个副本存储一份全量数据,副本之间的消息数据保持同步,任何一个副本不可用,数据都不会丢失。 每个分区都随机挑选一个副本作为Leader,该分区所有消息的生产与消费都在Leader副本上完成,