# 指定数据同步方向,可以单向同步也可互相同步 A->B.enabled = true # 指定同步的Topic,支持正则匹配,默认复制全部Topic,如:"foo-.*" A->B.topics = .* # 取消以下两个配置的注释表示A、B两个集群互相复制同步 #B->A
如何将Kafka实例中的数据同步到另一个Kafka实例中? Kafka实例支持创建Kafka数据复制类型的Smart Connect任务时,首先开启Smart Connect,然后创建Kafka数据复制类型的Smart Connect任务,实现两个Kafka实例数据的同步,具体步骤请参考创建Smart
eader”,防止循环复制。 同步消费进度 开启“同步消费进度”后,将消费者消费进度同步到目标Kafka实例。 开启“同步消费进度”后,您需要注意以下几点: 源端Kafka实例和目标端Kafka实例不能同时消费,否则会导致同步的消费进度异常。 同步消费进度的频率为每分钟一次,因此
"error_code": "AS.0001" } 其中,error_code表示错误码,error_msg表示错误描述信息。 父主题: 如何调用API
Connect任务以及重启已暂停或者运行中的Smart Connect任务。注意,重启Smart Connect任务将重置同步进度,并重新开始同步任务。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/kafka/instances/{instance
配置Kafka数据转储至OBS 本章节介绍如何创建转储的Smart Connect任务,通过Smart Connect任务可以将Kafka实例中的数据转储至OBS中,实现消息数据的备份。 源Kafka实例中的数据会实时同步到转储文件中。 约束与限制 单机实例不支持创建转储的Smart
Kafka Manager如何修改Topic的分区Leader? 在Kafka Manager中修改Topic的分区Leader的步骤如下: 登录Kafka Manager。 选择“Topic > List”,进入Topic列表页面。 单击待修改分区Leader的Topic名称(
与其他云服务的关系 云审计(Cloud Trace Service) 云审计为您提供云服务资源的操作记录,记录内容包括您从管理控制台或者开放API发起的云服务资源操作请求以及每次请求的结果,供您查询、审计和回溯使用。 当前CTS记录的操作,请参考云审计日志。 虚拟私有云(Virtual
Connect用于Kafka实例和其他云服务(如OBS)之间的数据同步,或者两个Kafka实例之间的数据同步,实现数据的备份或迁移。 Smart Connect的使用流程为: 开启Smart Connect。 创建Smart Connect任务。 本章节主要介绍如何开启Smart Connect。 约束与限制
如何调用API 构造请求 认证鉴权 返回结果
修改Kafka Topic配置 本章节指导您在控制台修改如表1所示Kafka Topic的配置。 修改同步复制、同步落盘、消息时间戳类型、批处理消息最大值和描述,不会重启实例。 表1 Kafka Topic的配置参数 参数名称 说明 分区数 Topic的分区数,修改方法请参见修改Kafka
否 Integer 老化时间,单位小时。 sync_replication 否 Boolean 是否同步复制。 sync_message_flush 否 Boolean 是否同步落盘。 new_partition_numbers 否 Integer 分区数。 new_partition_brokers
> 导出全部数据到XLSX”,导出全部Topic列表。 Topic列表中包含如下信息:Topic名称、分区数、副本数、老化时间、是否同步复制或同步落盘、消息时间戳类型、批处理消息最大值和描述信息。 父主题: Topic管理
图3 消息队列应对秒杀大流量场景 日志同步 在大型业务系统设计中,为了快速定位问题,全链路追踪日志,以及故障及时预警监控,通常需要将各系统应用的日志集中分析处理。 Kafka设计初衷就是为了应对大量日志传输场景,应用通过异步方式将日志消息同步到消息服务,再通过其他组件对日志做实时
分布式消息服务Kafka版通过开启Smart Connect,实现Kafka实例和其他云服务(如OBS)之间的数据同步,或者两个Kafka实例之间的数据同步。 支持区域: 全部 如何开启Smart Connect? 用户管理 分布式消息服务Kafka版支持对Topic进行ACL权限管理,
什么是分布式消息服务Kafka版 Kafka是一个拥有高吞吐、可持久化、可水平扩展,支持流式数据处理等多种特性的分布式消息流处理中间件,采用分布式消息发布与订阅机制,在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 华为云分布式消息服务Kafka版是一款
异步复制Topic的TPS高于同步复制Topic的TPS。 测试场景三(是否同步落盘):相同的实例(超高I/O、3个代理、未开启SASL),不同落盘机制的Topic,测试结果如下: 表5 测试结果 实例规格 是否同步复制 副本数 分区数 TPS(同步落盘) TPS(异步落盘) kafka
实例使用类接口 查询分区指定偏移量的消息 查询分区指定时间段的消息 查询分区最新消息的位置 查询分区最早消息的位置 查询Kafka集群元数据信息 查询消费组信息 重置消费组消费进度到指定位置 查询Kafka实例所有消费组对应的协调器信息 查询Kafka实例Topic详细信息 新增Kafka实例指定Topic分区
被消费。 取值范围:1~720 同步复制 表示后端收到生产消息请求并复制给所有副本后,才返回客户端。 开启同步复制后,需要在生产者客户端的配置文件或者生产代码中配置acks=all或者-1,否则无效。 当副本数为1时,不能选择同步复制功能。 同步落盘 表示生产的每条消息都会立即写
Kafka实例是否支持修改访问端口? Kafka实例的SSL证书有效期多长? 如何将Kafka实例中的数据同步到另一个Kafka实例中? Kafka实例的SASL_SSL开关如何修改? SASL认证机制如何修改? 如何修改安全协议? 修改企业项目,是否会导致Kafka重启? 100MB/s的带宽怎样开启公网访问?
您即将访问非华为云网站,请注意账号财产安全