检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 单击Kafka实例的名称,进入实例详情页面。 在“配置参数”页面,在待修改参数所在行,单击“编辑”,修改配置参数。
为什么Kafka实例常常发生Rebalance(重平衡),导致消息拉取失败? 消费组的Rebalance就是对Topic分区的重新分配。 正常情况下消费组内加入新的消费者或老的消费者退出都会导致Rebalance,这种情况是无法避免的。但是某些特殊情况下,消费者会被服务端认为异常从而被踢出消费组,此时可能会导致消费异常,需要重点关注。
易出现资源抢占情况。新规格(kafka.2u4g.cluster.small除外)使用的独占资源,性能更优,性价比更高。 新规格支持最新的功能,例如:分区平衡、动态开启SSL、重平衡日志可观测等。 新规格支持规格灵活变更,例如:Broker规格的扩缩容。 新规格的磁盘大小选择更加
业务消费,该场景触发场景为消费组内有新的消费者加入或有已经建立连接的消费者退出。 STABILIZED:rebalance完成,消费组处于稳定状态,该状态下消费组中的消费者可以进行正常的业务消费,触发条件是,当前消费组内的所有消费者都同步完成新的消费组元数据,包括之前已经同步过的消费者,也需要重新同步。
Connect任务时,如果需要做Kafka实例迁移,可以同时向两个Kafka实例生产消息,源实例中的消息可继续消费,待源实例的消息数据全部被消费完或老化后,业务可迁移到新的Kafka实例。 父主题: 实例问题
基准带宽 连接数上限 100MB/s 3000 300MB/s 10000 600MB/s 20000 1200MB/s 20000 表2 新规格Kafka实例的连接数 实例规格 单个代理客户端总连接数上限 kafka.2u4g.cluster.small 2000 kafka.2u4g
小依旧为200GB,但是总磁盘大小为2000GB。 新创建的Topic才会分布在新代理上,原有Topic还分布在原有代理上,造成分区分布不均匀。通过修改分区平衡,实现将原有Topic分区的副本迁移到新代理上。 存储空间 扩容存储空间有次数限制,只能扩容20次。 扩容存储空间不会影响业务。
时,您可以在Kafka实例控制台发起变更规格操作,变更时系统将按照如下规则为您计算变更费用: 资源升配:新配置价格高于老配置价格,此时您需要支付新老配置的差价。 资源降配:新配置价格低于老配置价格,此时华为云会将新老配置的差价退给您。 这里以资源升配且无任何优惠的场景为例,假设您
2023-02-03 本次变更如下: 更新创建实例、实例规格变更和查询实例的扩容规格列表的URI,支持实例新规格。 2022-06-30 本次变更如下: 在创建实例的“specification”参数中,增加新规格描述。 在创建实例中,新增“broker_num”参数。 2022-01-26 本次变更如下:
按需计费Kafka实例费用计算示例(华北-北京四区域) 变更配置后对计费的影响 如果您在购买按需计费实例后变更了实例规格,会产生一个新订单并开始按新规格的价格计费,旧订单自动失效。 如果您在一个小时内变更了实例规格,将会产生多条计费信息。每条计费信息的开始时间和结束时间对应不同规格在该小时内的生效时间。
地址的列表用于用户终端(例如:浏览器)选择。 301 Moved Permanently 永久移动,请求的资源已被永久的移动到新的URI,返回信息会包括新的URI。 302 Found 资源被临时移动。 303 See Other 查看其它地址。 使用GET和POST请求查看。 304
晨3:00尝试一次,直至Kafka实例到期或者续费成功。 开通自动续费后,还可以手动续费该Kafka实例。手动续费后,自动续费仍然有效,在新的到期时间前的第7天开始扣款。 自动续费的到期前7日自动扣款属于系统默认配置,您也可以根据需要修改此扣款日,如到期前6日、到期前5日等等。
检查源集群中是否有新主题的频率 refresh.groups.enabled true 连接器应定期检查新的消费组 refresh.groups.interval.seconds 5秒 检查源集群新的消费组频率 replication.policy.class org.apache.kafka
题与调试服务是至关重要的。 当消息的生产和消费过程中遇到疑难问题时,通过创建不同消费组可以帮助定位分析问题或调试服务对接。用户可以创建一个新的消费组,对Topic中的消息进行消费并分析消费过程,这样不会影响其他服务对消息的处理。
如果为真,consumer所fetch的消息的offset将会自动的同步到zookeeper。这项提交的offset将在进程无法提供服务时,由新的consumer使用。 约束: 设置为false后,需要先成功消费再提交,这样可以避免消息丢失。 auto.offset.reset latest
客户端可以使用IPv6地址连接实例。 创建VPC和子网的操作指导请参考创建虚拟私有云和子网,若需要在已有VPC上创建和使用新的子网,请参考为虚拟私有云创建新的子网。 安全组 不同的Kafka实例可以重复使用相同的安全组,也可以使用不同的安全组,请根据实际需要进行配置。 安全组与Kafka实例必须在相同的区域。
enterprise_project_id String 企业项目ID。 is_logical_volume Boolean 实例扩容时用于区分老实例与新实例。 true:新创建的实例,允许磁盘动态扩容不需要重启。 false:老实例。 extend_times Integer 实例扩容磁盘次数,如果超过20次则无法扩容磁盘。
enterprise_project_id String 企业项目ID。 is_logical_volume Boolean 实例扩容时用于区分老实例与新实例。 true:新创建的实例,允许磁盘动态扩容不需要重启。 false:老实例。 extend_times Integer 实例扩容磁盘次数,如果超过20次则无法扩容磁盘。
仅部分实例支持此监控项,具体如下: 2023年7月9号及以后购买的实例,支持此监控项。 2023年7月9号前购买的实例,如果在2023年7月9号及以后扩容代理数量,新扩容的代理支持此监控项。 0~100% Kafka实例节点 1分钟 主题监控指标 表3 主题支持的监控指标 指标ID 指标名称 指标含义 取值范围
rename_topic_enabled 否 Boolean 是否重命名Topic,在目标Topic名称前添加源端Kafka实例的别名,形成目标Topic新的名称。(仅源端类型为Kafka时需要填写) provenance_header_enabled 否 Boolean 目标Topic接收复制