检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka实例是否支持修改访问端口? Kafka实例的SSL证书有效期多长? 更多 Topic与分区 为什么限制Topic的总分区数? 为什么不支持减少分区数? 是否支持自动生成Topic功能? 删除Topic不生效是什么原因? 更多 Kafka连接 Kafka是否支持kerberos认证? Kafka连接问题排查和解决
集群迁移:当今很多企业将业务迁移上云,迁移过程中需要确保线下集群和云上集群的数据同步,保证业务的连续性。 方案架构 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。其原理如图1所示,MirrorMaker本质上也是生产消费消息,首先从源集群中消费数据,然后将消费的数据生产
问题现象:消息超过设置的老化时间(如果Topic已经设置了老化时间,此时“配置参数”中的log.retention.hours值将不对此Topic生效。仅在Topic中未设置老化时间时,“配置参数”中的log.retention.hours值才会对此Topic生效。),消息仍存在。
问题现象:监控显示消息堆积数为8.1亿+,Kafka控制台显示实例中6个Topic的消息数总和为1亿+,两者不一致。 问题结论:两者统计方式不同,Kafka控制台显示的消息数为实例中未消费的消息个数,而监控显示的消息堆积数=Topic中的消息积压数*消费组数。 父主题: 监控告警问题
brokers 否 Array of integers 分区重平衡到的broker列表,自动生成分配方案时需指定该参数。 replication_factor 否 Integer 副本因子,自动生成分配方案时可指定。 assignment 否 Array of TopicAssignment
请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 new_password 否 String 8-32个字符。 至少包含以下字符中的3种: 大写字母 小写字母 数字 特殊字符`~!@#$%^&*()-_=+\|[{}];:'",<.>/? 和空格,并且不能以-开头。 响应参数
ShowInstanceUsersEntity 参数 参数类型 描述 user_name String 用户名称。 由英文字符开头,只能由英文字母、数字、中划线、下划线组成,长度为4~64的字符。 user_desc String 用户描述。 role String 用户角色。 default_app
instance_id 是 String 实例ID。 topic 是 String Topic名称。 Topic名称必须以字母开头且只支持大小写字母、中横线、下划线以及数字。 partition 是 Integer 分区编号。 请求参数 无 响应参数 状态码: 200 表2 响应Body参数
instance_id 是 String 实例ID。 topic 是 String Topic名称。 Topic名称必须以字母开头且只支持大小写字母、中横线、下划线以及数字。 partition 是 Integer 分区编号。 请求参数 无 响应参数 状态码: 200 表2 响应Body参数
获取账号名和账号ID 在调用接口的时候,部分URL中需要填入账号名和账号ID,所以需要先在管理控制台上获取到账号名和账号ID。账号名和账号ID获取步骤如下: 登录管理控制台。 鼠标悬停在右上角的用户名,选择下拉列表中的“我的凭证”。 查看账号名和账号ID。 图1 查看账号名和账号ID
批量重启或删除实例 功能介绍 批量重启或删除实例。 在实例重启过程中,客户端的生产与消费消息等请求会被拒绝。 实例删除后,实例中原有的数据将被删除,且没有备份,请谨慎操作。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/instances/action
查看Kafka重平衡日志 Rebalance是重新分配消息组中的消费者和Topic分区之间订阅关系的过程。在Rebalance过程中消费组下的所有消费者都会停止消费,等待Rebalance完成。 可能会触发Rebalance的原因: 消费组成员个数发生变化,例如有新的消费者加入,或者有消费者退出。
查看堆积消息的消费组名称,进入消费组详情页。在“消费进度”页签,查看消费组中每个Topic的总堆积数。具体步骤,请参考查看消费进度。 在Kafka控制台的“监控与告警 > 监控详情”页面的“消费组”页签中,“消费组”选择待查看堆积消息数的消费组名称,“主题”选择“全部Topic”
扩容/缩容过程中生产消息失败 可能原因:在扩容/缩容代理规格的过程中,代理采用滚动重启的方式进行实例变更。在重启过程中,分区Leader会进行切换,此时生产客户端的元数据缓存中保存的分区Leader为旧分区Leader ID,仍然会向旧分区Leader发送消息,导致生产消息失败。
fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 执行成功 错误码 请参见错误码。 父主题: 实例管理
分布式消息服务Kafka版支持在控制台重启单个Kafka实例,或批量重启Kafka实例。 在Kafka实例重启过程中,客户端的生产与消费消息等请求会被拒绝。 前提条件 只有当Kafka实例处于“运行中”或“故障”状态,才能执行重启操作。 重启Kafka实例 登录管理控制台。 在管理控制台左上角单击,选择区域。
修改老化时间可以通过以下方式实现: 在“Topic管理”中,修改老化时间。 在“配置参数”中,修改“log.retention.hours”参数值,具体步骤请参考修改Kafka实例配置参数。 如果Topic已经设置了老化时间,此时“配置参数”中的log.retention.hours值将不
instance_id 是 String 实例ID。 topic 是 String Topic名称。 Topic名称必须以字母开头且只支持大小写字母、中横线、下划线以及数字。 partition 是 Integer 分区编号。 表2 Query参数 参数 是否必选 参数类型 描述 message_offset
Kafka实例中。 观察各消费组在原Kafka的消费进度,直到原Kafka中数据都已经被消费完毕。 将消费客户端的Kafka连接地址修改为新Kafka实例的连接地址。 重启消费业务,使得消费者从新Kafka实例中消费消息。 观察消费者是否能正常从新Kafka实例中获取数据。 迁移结束。
Integer 副本所在的节点ID。 leader Boolean 该副本是否为leader。 in_sync Boolean 该副本是否在ISR副本中。 size Integer 该副本当前日志大小。单位:Byte。 lag Long 该副本当前落后hw的消息数。 请求示例 查询指定Topic的详细信息。