检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ConsumerRecords<String, String> records = receiver.receiveMessage(); Iterator<ConsumerRecord<String, String>> iter = records.iterator();
业务数据不均衡处理建议 方案概述 Kafka将Topic划分为多个分区,所有消息分布式存储在各个分区上。每个分区有一个或多个副本,分布在不同的Broker节点上,每个副本存储一份全量数据,副本之间的消息数据保持同步。Kafka的Topic、分区、副本和代理的关系如下图所示: 在实
在Kafka Manager修改Topic分区数 登录Kafka Manager。 在Kafka Manager中,单击“Topic > List”,进入Topic列表界面。 单击Topic名称,进入Topic详情界面。 单击“Add Partitions”,进入增加分区界面。 图1
回收站策略默认是关闭状态。 约束与限制 回收站中的按需实例不会收取实例的费用,但是会收取存储空间的费用。 包年/包月的实例退订后会存入回收站中,此时不会收取实例的费用,但是会按需收取存储空间的费用。 包年/包月的实例从回收站中恢复后,计费模式会变为按需计费。 处于宽限期和保留期
vpc:securityGroups:get vpc:ports:get vpc:subnets:get vpc:vpcs:list vpc:publicIps:get vpc:publicIps:list vpc:ports:update vpc:publicIps:update vpc:ports:delete
ConsumerRecords<Object, Object> records = consumer.poll(1000); System.out.println("the numbers of topic:" + records.count());
实例规格。 storage_space Integer 消息存储空间,单位:GB。 partition_num String Kafka实例的最大topic数。 used_storage_space Integer 已使用的消息存储空间,单位:GB。 connect_address String
Kafka的topic body 是 String 消息内容 property_list 是 Array of property_list objects topic的分区信息等 表4 property_list 参数 是否必选 参数类型 描述 name 否 String 特性名字 value
控制台查看重平衡日志。 重平衡日志存储在云日志服务(Log Tank Service,简称LTS)中,由LTS提供查询功能。 约束与限制 2023年4月6日前创建的实例,不支持重平衡日志功能。 单机实例不支持查看重平衡日志。 重平衡日志默认存储时间为七天,如果需要延长保留天数,可以在LTS控制台修改日志组的存储时间。
region_id String 区域ID。 available_zones Array of AvailableZonesResp objects 可用区数组。 表2 AvailableZonesResp 参数 参数类型 描述 soldOut Boolean 是否售罄。 id String 可用区ID。
根据实际需要选择存储Kafka数据的磁盘类型和磁盘大小。 实例总存储空间 = 单个代理的存储空间 * 代理数量,Kafka实例创建后,磁盘类型不支持修改。 磁盘类型选择“超高I/O”,磁盘大小设置为“100GB”。 图3 设置实例规格和存储空间 设置实例网络环境信息,如图4所示,配置详情请参考表4。
v2.*; import com.huaweicloud.sdk.kafka.v2.model.*; import java.util.List; import java.util.ArrayList; public class CreateReassignmentTaskSolution
参数 参数类型 描述 total Integer 总条数 partitions Array of partitions objects 分区数组 表4 partitions 参数 参数类型 描述 partition Integer 分区ID start_offset Long 起始偏移量
参数说明见表1、表2。 表1 参数说明 参数 类型 说明 region_id String 区域ID。 available_zones Array 可用区数组,具体请参考表2。 表2 available_zones参数说明 参数 类型 说明 soldOut Boolean 是否售罄。 id String
instance_id 是 String 实例ID 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 report_id_list 是 Array of strings 待删除report id列表 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型
具体修改方法如下: 登录Kafka Manager。 单击“kafka_cluster”,进入“Summary”界面。 单击“Topic > List”,进入“Topics”界面。 单击需要修改属性的Topic名称,进入Topic详情界面。 单击“Update Config”,修改Topic属性。
创建Kafka Topic Topic,即消息主题,用于存储消息,供生产者生产消息以及消费者订阅消息。创建Kafka实例成功后,如果没有开启“Kafka自动创建Topic”,需要手动创建Topic。如果实例开启了“Kafka自动创建Topic”,则该操作为可选。 “Kafka自动
P地址。 扩容存储空间(老规格实例) 在“存储空间”中,选择扩容后的存储空间大小,单击“下一步”。 确认扩容信息无误后,单击“提交”。 在实例列表页面,查看变更是否成功? 实例状态从“变更中”变为“运行中”时,表示变更成功,在“已用/可用存储空间”中查看扩容后的存储空间大小。 图4
Kafka业务使用流程 分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队列服务,向用户提供计算、存储和带宽资源独占式的Kafka实例。使用Kafka实例生产消费消息的流程如下图所示。 图1 Kafka业务使用流程 创建用户并授权使用DMS for Kafka 创建IAM用户,并授予DMS
15:30:00在“华北-北京四”区域购买了一个按需计费的Kafka实例,规格配置如下: 规格:kafka.2u4g.cluster*3 总存储空间:高I/O 300GB 用了一段时间后,用户发现Kafka实例当前规格无法满足业务需要,于2023/03/20 9:00:00升配为kafka