检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
服务韧性 DMS for Kafka提供了3级可靠性架构,通过跨AZ容灾、AZ内实例容灾、实例数据多副本技术方案,保障服务的持久性和可靠性。 表1 DMS for Kafka可靠性架构 可靠性方案 简要说明 跨AZ容灾 DMS for Kafka提供跨AZ类型实例,支持跨AZ容灾
在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 通过以下任意一种方法,导出实例列表。 勾选待导出的实例,单击“导出 >
单击Kafka实例的名称,进入实例的“基本信息”页面。 在“磁盘存储统计”页面,查看磁盘的使用量。 页面支持从以下三个方面对代理中的Topic磁盘使用量进行查询:使用量排名前xx个、使用量达到xx GB和使用占比达xx%。 在页面右上角,单击“查看监控数据”,跳转到云监控服务的监控指标页
在待删除的标签所在行,单击“删除”,弹出“删除标签”对话框。单击“是”,完成标签的删除。 单击“创建/编辑标签”,弹出“创建/编辑标签”对话框。在待删除的标签后,单击,然后单击“确定”,完成标签的删除。 如果已创建20个标签,此时不支持使用该方法删除标签。 勾选标签键左侧的方框,可
n和AK/SK两种认证,Kerberos认证目前不支持。 如果使用SASL认证方式,则在开源客户端基础上使用分布式消息服务Kafka版提供的证书文件。具体操作参考使用客户端连接Kafka(开启SASL)。 父主题: 连接问题
为成功的副本的最小数量。 1 ~ 3 1 message.max.bytes 单条消息的最大长度。 0 ~ 10485760 单位:字节 10485760 unclean.leader.election.enable 指示是否启用不在ISR集合中的副本选为领导者作为最后的手段,即使这样做可能导致数据丢失。
重启Manager 开启或关闭实例自动创建topic功能 修改实例跨VPC访问的内网IP 查询Kafka集群元数据信息 查询Kafka实例的协调器信息 修改Kafka实例Topic分区的副本 修改Kafka的接入方式 查询topic的磁盘存储情况 Kafka实例开始分区重平衡任务 关闭Kafka
在消息处理过程中,如果客户端的消费速度跟不上服务端的发送速度,未处理的消息会越来越多,这部分消息就被称为堆积消息。消息没有被及时消费就会产生消息堆积,从而会造成消息消费延迟。 消息堆积原因 导致消息堆积的常见原因如下: 生产者短时间内生产大量消息到Topic,消费者无法及时消费。 消费者的消费能力不
message_offset Long 二者必选其一 重置的消费进度到指定偏移量,如果传入offset小于当前最小的offset,则重置到最小的offset,如果大于最大的offset,则重置到最大的offset。 timestamp Long 重置的消费进度到指定时间,格式为unix时间戳。如
如果传入timestamp早于当前最早的timestamp,则重置到最早的timestamp。 如果晚于最晚的timestamp,则重置到最晚的timestamp。 message_offset、timestamp二者必选其一。 响应参数 无 请求示例 重置的消费进度到指定偏移量。 POST
如果传入timestamp早于当前最早的timestamp,则重置到最早的timestamp。 如果晚于最晚的timestamp,则重置到最晚的timestamp。 message_offset、timestamp二者必选其一。 响应参数 无 请求示例 重置的消费进度到指定偏移量。 POST
区域:与Kafka实例保持一致。 名称:您自定义的公网NAT网关名称。 虚拟私有云:选择获取Kafka实例的信息中记录的虚拟私有云。 子网:选择获取Kafka实例的信息中记录的子网。 企业项目:根据实际情况选择。 其他参数请根据实际情况填写,如果想要了解更多的参数信息,请参考购买公网NAT网关。
储空间、代理数量和代理规格支持弹性扩展,保证在高并发、高性能和大规模场景下的访问能力,轻松实现百亿级消息的堆积和访问能力。 多规格灵活选择 Kafka实例的带宽与存储资源可灵活配置,并且自定义Topic的分区数、副本数。
稳定性高,基于librdkafka,具有高性能和低延迟的特点。 增加编译复杂度。由于导入C++库,Golang编译器需要引入额外编译配置,增加了编译依赖,提高编译复杂度。 Kafka-go kafka-go是一个简单、轻量级的Kafka客户端库,易于学习和使用。 kafka-go的代码库相对较小,依赖较少,可以减少应用程序的体积和依赖关系。
limit 否 Integer 当次查询返回的最大消费组id个数,默认值为10,取值范围为1~50。 group 否 String 消费组名过滤查询,过滤方式为字段包含过滤。 topic 否 String 若指定topic,则只查询该topic的消费组。 请求参数 无 响应参数 状态码:
查询指定消费组的topic 查询指定消费组的消费成员 用户管理 包括: 查询用户列表 创建用户 批量删除用户 重置用户密码 修改用户参数 查询用户权限 设置用户权限 消息查询 包括: 查询消息 查询分区指定偏移量的消息 查询分区指定时间段的消息 查询分区最早消息的位置 查询分区最新消息的位置
assignment Array of object assignment consumer分配到的分区信息。参数请参见表5。 member_id String 消费组consumer的ID。 client_id String 客户端ID。 表4 group_message_offsets参数说明
V2(推荐)章节的V2接口。 2019-12-10 新增以下接口: 查询分区指定偏移量的消息 查询分区指定时间段的消息 查询分区最新消息的位置 查询分区最早消息的位置 查询Kafka集群元数据信息 查询消费组信息 重置消费组消费进度到指定位置 查询实例在CES的监控层级关系 查询
members 参数 参数类型 描述 host String 消费组consumer地址。 member_id String 消费组consumer的ID。 client_id String 客户端ID。 表5 group_message_offsets 参数 参数类型 描述 partition
取Kafka实例的网卡地址(listeners IP)和对应的Port ID。 图2 Kafka实例的网卡地址(listeners IP)和对应的Port ID 在“基本信息”页面的“网络”区域,查看Kafka实例所在的VPC名称。 图3 查看Kafka实例所在的VPC名称 单击