检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
限分配、访问控制等功能，可以帮助您安全的控制华为云资源的访问。 通过IAM，您可以在账号中给员工创建IAM用户，并使用策略来控制他们对华为云资源的访问范围。例如您的员工中有负责软件开发的人员，您希望他们拥有DMS for Kafka的使用权限，但是不希望他们拥有删除Kafka实例
实例规格。 storage_space Integer 消息存储空间，单位：GB。 partition_num String Kafka实例的最大topic数。 used_storage_space Integer 已使用的消息存储空间，单位：GB。 connect_address String
业务数据不均衡处理建议 方案概述 Kafka将Topic划分为多个分区，所有消息分布式存储在各个分区上。每个分区有一个或多个副本，分布在不同的Broker节点上，每个副本存储一份全量数据，副本之间的消息数据保持同步。Kafka的Topic、分区、副本和代理的关系如下图所示： 在实
止其中一个数据中心出现问题，导致业务不可用，会将集群数据同步备份在多个不同的数据中心。 集群迁移：当今很多企业将业务迁移上云，迁移过程中需要确保线下集群和云上集群的数据同步，保证业务的连续性。 方案架构 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。其原
管理消费组 创建Kafka消费组 查看Kafka消费组信息 查看Kafka消费者信息 查看和重置Kafka消费进度 查看Kafka重平衡日志 修改Kafka消费组信息 导出Kafka消费组列表 删除Kafka消费组
管理消息 查看Kafka消息 修改Kafka消息老化时间 删除Kafka消息 诊断Kafka消息积压
字、下划线开头，且只能英文字母、 数字、句点、中划线、下划线组成，长度3~64个字符。 消费组名称开头包含特殊字符，例如#号“#”，会导致监控数据无法展示。 描述 消费组的描述信息，长度0~200个字符。 在消费组列表页面，查看新创建的消费组。 父主题： 管理消费组
查询分区最新消息的位置 查询分区最早消息的位置 查询Kafka集群元数据信息 查询消费组信息 重置消费组消费进度到指定位置 查询实例在CES的监控层级关系 查询Kafka实例所有消费组对应的协调器信息 新增Kafka实例指定Topic分区 调整Kafka实例Topic分区的副本 2019-06-04
审计与日志 云审计服务（Cloud Trace Service，简称CTS），是华为云安全解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后，CTS可记录DMS
消费组问题 Kafka实例是否需要创建消费组、生产者和消费者？ 如果消息组中没有在线的消费者（如empty状态），是否14天后会自动被删除？ 为什么删除消费组不生效？ 实例消费正常，为什么看不到消费者？ Kafka可以删除消费组下不用的Topic吗？
storage：存储空间扩容，代理数量不变。 horizontal：代理数量扩容，每个broker的存储空间不变。 vertical：垂直扩容，broker的底层虚机规格变更，代理数量和存储空间不变。 new_storage_space 否 Integer 扩容后的存储空间。 当op
为什么限制Topic的总分区数？ Kafka以分区为粒度管理消息，分区多导致生产、存储、消费都碎片化，影响性能稳定性。在使用过程中，当Topic的总分区数达到上限后，用户就无法继续创建Topic。 不同规格配置的Topic总分区数不同，如下表所示。 表1 Kafka集群实例规格 规格名称
storage_space 是 Integer 消息存储空间，单位GB。 Kafka实例规格为c6.2u4g.cluster时，存储空间取值范围300GB ~ 300000GB。 Kafka实例规格为c6.4u8g.cluster时，存储空间取值范围300GB ~ 600000GB。 Kafka实例规格为c6
Kafka业务使用流程 分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队列服务，向用户提供计算、存储和带宽资源独占式的Kafka实例。使用Kafka实例生产消费消息的流程如下图所示。 图1 Kafka业务使用流程 创建用户并授权使用DMS for Kafka 创建IAM用户，并授予DMS
engine_version：消息引擎的版本。 broker_num：代理个数。 storage_space：消息存储空间，单位GB。具体取值范围，请参考创建实例。 vpc_id：Kafka实例所在的VPC（虚拟私有云）的ID。请参考创建实例获取。 security_group_id：安全组ID。请参考创建实例获取。
P地址。 扩容存储空间（老规格实例） 在“存储空间”中，选择扩容后的存储空间大小，单击“下一步”。 确认扩容信息无误后，单击“提交”。 在实例列表页面，查看变更是否成功？ 实例状态从“变更中”变为“运行中”时，表示变更成功，在“已用/可用存储空间”中查看扩容后的存储空间大小。 图4
Kafka实例作为Logstash输出源 Logstash从数据库采集数据，然后发送到Kafka实例中进行存储。Kafka实例作为Logstash输出源时，由于Kafka的高吞吐量，可以存储大量数据。 Kafka实例作为Logstash输入源的示意图如下。 图2 Kafka实例作为Logstash输入源
15:30:00在“华北-北京四”区域购买了一个按需计费的Kafka实例，规格配置如下： 规格：kafka.2u4g.cluster*3 总存储空间：高I/O 300GB 用了一段时间后，用户发现Kafka实例当前规格无法满足业务需要，于2023/03/20 9:00:00升配为kafka
删除Kafka消息 本章节介绍如何在控制台删除Topic中存储的消息。 删除Kafka消息须知 消息删除后无法恢复，请谨慎操作。 前提条件 删除消息前，请先在消费代码中设置“auto.offset.reset”参数。“auto.offset.reset”用来指定当Kafka中没有
实例规格单价请参见分布式消息服务Kafka版价格详情中的“实例价格”。 存储空间费用 计费因子：云硬盘类型、容量 包年/包月、按需计费 云硬盘单价 * 购买时长 云硬盘单价请参见分布式消息服务Kafka版价格详情中的“存储价格”。 计费示例 以包年/包月计费模式为例，假设您于2023/03/08
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
