检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取SK的方法，具体请参见新增访问密钥。 转储地址 设置存储Topic数据的OBS桶的名称。 选择：在下拉列表中选择已创建的OBS桶名称，或者单击“创建转储地址”，新创建一个OBS桶。 输入：输入已创建的OBS桶名称，或者单击“创建转储地址”，新创建一个OBS桶。输入的OBS桶必须和Kafka实例在同一个区域。
实例规格和网络带宽说明 Kafka实例的网络带宽主要由以下两个部分组成： 实例Broker对应的网络带宽 实例Broker的磁盘所对应的带宽值（不同类型的磁盘对应的带宽值不同，具体参考：如何选择磁盘类型） 注意事项： Kafka默认情况下测试均为尾读场景（即仅消费最新生产的数据），而不是冷读场景（即从头开始消费历史数据的场景）。
tance_id}/upgrade 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方式请参见获取项目ID。 instance_id 是 String 实例ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述
在消息处理过程中，如果客户端的消费速度跟不上服务端的发送速度，未处理的消息会越来越多，这部分消息就被称为堆积消息。消息没有被及时消费就会产生消息堆积，从而会造成消息消费延迟。 消息堆积原因 导致消息堆积的常见原因如下： 生产者短时间内生产大量消息到Topic，消费者无法及时消费。 消费者的消费能力不
对于管理员创建IAM用户接口，您可以从接口的请求部分看到所需的请求参数及参数说明，将消息体加入后的请求如下所示，其中加粗的字段需要根据实际值填写。 accountid为IAM用户所属的账号ID。 username为要创建的IAM用户名。 email为IAM用户的邮箱。 **********为IAM用户的登录密码。
单击Kafka实例的名称，进入实例的“基本信息”页面。 在“磁盘存储统计”页面，查看磁盘的使用量。 页面支持从以下三个方面对代理中的Topic磁盘使用量进行查询：使用量排名前xx个、使用量达到xx GB和使用占比达xx%。 在页面右上角，单击“查看监控数据”，跳转到云监控服务的监控指标页
在Kafka实例详情页的“连接信息”区域，获取“内网连接地址”。 开启的SASL认证机制 在Kafka实例详情页的“连接信息”区域，获取“开启的SASL认证机制”。 启用的安全协议 在Kafka实例详情页的“连接信息”区域，获取“启用的安全协议”。 证书 在Kafka实例详情页的“连接信息”
在Kafka控制台的“消费组管理”页面，单击待查看堆积消息的消费组名称，进入消费组详情页。在“消费进度”页签，查看消费组中每个Topic的总堆积数。具体步骤，请参考查看消费进度。 在Kafka控制台的“监控与告警 > 监控详情”页面的“消费组”页签中，“消费组”选择待查看堆积消息数的消费组名
er）。 Kafka的主题和分区属于逻辑概念，副本与代理属于物理概念。下图通过消息的生产与消费流向，解释了Kafka的分区、代理与主题间的关系。 图1 Kafka消息流 老化时间 消息的最长保留时间，消费者必须在此时间结束前消费消息，否则消息将被删除。删除的消息，无法被消费。
对端Kafka开启SASL_SSL时设置的用户名，或者创建SASL_SSL用户时设置的用户名。（仅源端类型为Kafka且对端Kafka认证方式为“SASL_SSL”时需要填写） password 否 String 对端Kafka开启SASL_SSL时设置的密码，或者创建SASL_SSL用户时设置的密码。（仅源
存在端到端时延的问题。但在迁移生产的开始阶段，同时消费原Kafka与新Kafka实例，会导致部分消息之间的生产顺序无法保证，存在消息乱序的问题。此场景适用于对端到端时延有要求，却对消息顺序不敏感的业务。 启动新的消费客户端，配置Kafka连接地址为新Kafka实例的连接地址，消费新Kafka实例中的数据。
分区平衡后Topic的metadata会改变，如果生产者不支持重试机制，会有少量的请求失败，导致部分消息生产失败。 数据量大的Topic进行分区平衡的时间会比较长。Topic的数据量可以通过监控页面的“队列数据容量”查看，具体步骤请参考查看Kafka监控数据。在不影响业务的前提下，建议适
本文主要介绍手动创建Topic的操作，有以下几种方式，您可以根据实际情况选择任意一种方式： 在控制台创建Topic 在Kafka Manager创建Topic 在客户端创建Topic 约束与限制 Kafka单机/集群实例对Topic的总分区数设置了上限，当Topic的总分区数达到上限后，用
查询Kafka集群元数据信息 查询Kafka实例的协调器信息 修改Kafka实例Topic分区的副本 修改Kafka的接入方式 查询Topic的磁盘存储情况 Kafka实例开始分区重平衡任务 关闭Kafka Manager 删除用户/客户端流控配置 查询用户/客户端流控配置 创建用户/客户端流控配置 修改用户/客户端流控配置
本文汇总了基于分布式消息服务Kafka版常见应用场景的操作实践，为每个实践提供详细的方案描述和操作指导，帮助用户轻松使用Kafka。 表1 Kafka最佳实践一览表 最佳实践 说明 提高Kafka消息处理效率 本章节提供了生产者和消费者对于消息的使用建议，以提高消息发送和消息消费的效率与可靠性。 优化消费者轮询（Polling）
盘空间大小的Topic名称，“监控类型”选择“基本监控”，查看“队列数据容量”，该指标表示该队列当前的消息数据大小。 单击Kafka实例名称，进入实例详情页。在左侧导航栏选择“监控与告警 > 监控详情”，进入监控页面。在“主题”页签中，“主题”选择待查看磁盘空间大小的Topic名
表1 路径参数 参数 是否必选 参数类型 描述 engine 是 String 引擎。 project_id 是 String 项目ID，获取方式请参见获取项目ID。 instance_id 是 String 实例ID。 group 是 String 消费组名过滤查询。 请求参数 无
V2（推荐）章节的V2接口。 2019-12-10 新增以下接口： 查询分区指定偏移量的消息 查询分区指定时间段的消息 查询分区最新消息的位置 查询分区最早消息的位置 查询Kafka集群元数据信息 查询消费组信息 重置消费组消费进度到指定位置 查询实例在CES的监控层级关系 查询
表1 路径参数 参数 是否必选 参数类型 描述 engine 是 String 引擎。 project_id 是 String 项目ID，获取方式请参见获取项目ID。 instance_id 是 String 实例ID。 group 是 String 消费组ID。 请求参数 无 响应参数
Kafka资源。 根据企业用户的职能，设置不同的访问权限，以达到用户之间的权限隔离。 将DMS for Kafka资源委托给更专业、高效的其他华为账号或者云服务，这些账号或者云服务可以根据权限进行代运维。 如果华为账号已经能满足您的要求，不需要创建独立的IAM用户，您可以跳过本章节，不影响您使用DMS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
