-
使用MirrorMaker跨集群同步数据 - 分布式消息服务Kafka版
备份和容灾:企业存在多个数据中心,为了防止其中一个数据中心出现问题,导致业务不可用,会将集群数据同步备份在多个不同的数据中心。 集群迁移:当今很多企业将业务迁移上云,迁移过程中需要确保线下集群和云上集群的数据同步,保证业务的连续性。
-
责任共担 - 分布式消息服务Kafka版
华为云的安全责任在于保障其所提供的 IaaS、PaaS 和 SaaS 类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。
-
基本概念 - 分布式消息服务Kafka版
可用区(AZ,Availability Zone) 一个可用区是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。
-
如何将Kafka实例中的数据同步到另一个Kafka实例中? - 分布式消息服务Kafka版
如何将Kafka实例中的数据同步到另一个Kafka实例中? Kafka实例之间没有好的实时同步方案,如果需要做实例迁移,可以同时向两个实例生产消息,源实例中的消息可继续消费,待源实例的消息数据全部被消费完或老化后,业务可迁移到新的Kafka实例。具体请参考Kafka业务迁移。
-
查询消费组信息 - 分布式消息服务Kafka版
包含以下状态: Dead:消费组内没有任何成员,且没有任何元数据。 Empty:消费组内没有任何成员,存在元数据。 PreparingRebalance:准备开启rebalance。 CompletingRebalance:所有成员加入group。
-
创建转储任务 - 分布式消息服务Kafka版
deliver_time_interval 是 Integer 根据用户配置的时间,周期性的将数据导入OBS,若某个时间段内无数据,则此时间段不会生成打包文件。 取值范围:30~900 单位:秒。 说明: 使用OBS通道转储流式数据时该参数为必选配置。
-
为什么Kafka实例常常发生Rebalance,导致消息拉取失败? - 分布式消息服务Kafka版
消费者每次最多消费max.poll.records条消息,多数情况下客户端都会把一次消费到的数据处理完后才会开始下一次消费,如果单次消费的消息太多导致无法在max.poll.interval.ms时间内处理完或消息处理流程发生了异常(如需要写入后端数据库,后端数据库压力太大,时延增加等
-
产品优势 - 分布式消息服务Kafka版
数据高可靠 Kafka实例支持消息持久化,多副本存储机制。副本间消息同步、异步复制,数据同步或异步落盘多种方式供您自由选择。 集群架构与跨AZ部署,服务高可用 Kafka后台为多集群部署,支持故障自动迁移和容错,保证业务的可靠运行。
-
实例使用类接口 - 分布式消息服务Kafka版
实例使用类接口 查询分区指定偏移量的消息 查询分区指定时间段的消息 查询分区最新消息的位置 查询分区最早消息的位置 查询Kafka集群元数据信息 查询消费组信息 重置消费组消费进度到指定位置 查询Kafka实例所有消费组对应的协调器信息 查询Kafka实例Topic详细信息 新增Kafka
-
数据保护技术 - 分布式消息服务Kafka版
数据保护技术 DMS for Kafka通过多种数据保护手段和特性,保障DMS for Kafka的数据安全可靠。
-
迁移数据 - 分布式消息服务Kafka版
迁移数据 Kafka数据迁移概述 使用Smart Connect迁移数据
-
查看Kafka监控数据 - 分布式消息服务Kafka版
通过以下任意一种方法,查看监控数据。 在Kafka实例名称后,单击“查看监控数据”。跳转到云监控页面,查看实例、节点、主题和消费组的监控数据,数据更新周期为1分钟。 单击Kafka实例名称,进入实例详情页。
-
Kafka数据迁移概述 - 分布式消息服务Kafka版
父主题: 迁移数据
-
使用Smart Connect迁移数据 - 分布式消息服务Kafka版
使用Smart Connect迁移数据 开启Smart Connect 配置Kafka间的数据复制 配置Kafka数据转储至OBS 管理Smart Connect任务 关闭Smart Connect 父主题: 迁移数据
-
业务数据不均衡处理建议 - 分布式消息服务Kafka版
实施步骤 业务数据不均衡的处理措施: 优化业务中Topic的设计,对于数据量特别大的Topic,可对业务数据做进一步的细分,并分配到不同的Topic上。 生产者生产消息时,尽量把消息均衡发送到不同的分区上,确保分区间的数据均衡。
-
配置Kafka数据转储至OBS - 分布式消息服务Kafka版
表2 目标端参数说明 参数 参数说明 转储启动偏移量 支持以下两种转储启动偏移量: 最早:最小偏移量,即读取最早的数据。 最新:最大偏移量,即获取最新的数据。 数据转储周期 两次转储的时间间隔,单位:秒,默认配置为300秒。 若某个时间段内无数据,则此时间段不会生成打包文件。
-
查询Kafka集群元数据信息 - 分布式消息服务Kafka版
查询Kafka集群元数据信息 功能介绍 查询Kafka集群元数据信息。 调用方法 请参见如何调用API。
-
查询Kafka集群元数据信息 - 分布式消息服务Kafka版
查询Kafka集群元数据信息 当前页面API为历史版本API,未来可能停止维护。请使用查询Kafka集群元数据信息。 URI GET /v1.0/{project_id}/instances/{instance_id}/manage/cluster 参数说明如下表所示。
-
云监控无法展示Kafka监控数据 - 分布式消息服务Kafka版
云监控无法展示Kafka监控数据 Topic监控数据无法展示,可能原因如下: Topic名称开头包含特殊字符,例如#号“#”。 Kafka实例中没有创建Topic。 解决方法如下: 删除带特殊字符的Topic。 创建Topic。
-
配置Kafka间的数据复制 - 分布式消息服务Kafka版
这两个Topic用于存储内部数据,如果删除,会导致同步数据失败。 父主题: 使用Smart Connect迁移数据