检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
率在90%以上时,不建议进行分区平衡。Topic的数据量和CPU使用率可以通过监控页面的“队列数据容量”和“CPU使用率”查看,具体步骤请参考查看Kafka监控数据。 带宽限制是指设定Topic进行副本同步的带宽上限,确保不会对该实例上的其他Topic造成流量冲击。但需要注意,带
在待生产消息的Topic所在行,单击“更多 > 生产消息”(实例已开启SASL)/“生产消息”(实例未开启SASL),弹出“生产消息”对话框。 参考表1,设置消息的相关参数。 表1 消息参数 参数名称 说明 消息内容 输入消息的内容。长度为0~128000B。 消息Key 输入消息的Key。
消费以及其他消息管理操作。 Topic也是消息队列的一种发布与订阅消息模型。生产者向消息主题发布消息,多个消费者订阅该消息主题的消息,生产者与消费者彼此并无直接关系。 生产者(Producer) 向Topic(消息主题)发布消息的一方。发布消息的最终目的在于将消息内容传递给其他系统/模块,使对方按照约定处理该消息。
目标Kafka的规格不能低于原业务使用的Kafka规格。具体请参考购买Kafka实例。 在目标Kafka实例中创建Topic。 在目标Kafka实例上创建与原Kafka实例相同配置的Topic,包括Topic名称、副本数、分区数、消息老化时间,以及是否同步复制和落盘等。具体请参考创建Kafka Topic。 迁移方案一:先迁生产,再迁消费
测试场景五(不同分区数):相同的实例,不同分区数的Topic 测试环境 进行TPS测试前,您需要先构建如下的测试环境: 购买如表1所示实例,购买步骤请参考购买Kafka实例。 表1 实例参数 名称 代理数量 规格 是否开启SASL 磁盘类型 kafka-01 3 kafka.2u4g.cluster
修改老化时间可以通过以下方式实现: 在“Topic管理”中,修改老化时间。 在“配置参数”中,修改“log.retention.hours”参数值,具体步骤请参考修改Kafka实例配置参数。 如果Topic已经设置了老化时间,此时“配置参数”中的log.retention.hours值将不对此Top
Kafka提供了分区重平衡的功能,可以把分区的副本重新分配到不同的Broker节点上,解决节点间负载不均衡的问题。具体分区重平衡的操作请参考修改分区平衡。
单击“确定”,跳转到“后台任务管理”页面。当任务状态显示为“成功”时,表示成功开启明文接入。 公网访问明文接入 确认公网访问已开启,如果未开启,请开启公网访问,具体步骤参考配置Kafka实例的公网访问。 在“公网访问 > 明文接入”后,单击,弹出确认对话框。 单击“确定”,跳转到“后台任务管理”页面。当任务状
已打通客户端和Kafka实例之间的网络,具体网络要求请参考连接Kafka网络要求。 已配置正确的安全组。 客户端访问关闭SASL的Kafka实例前,Kafka实例需要配置正确的安全组规则,否则会连接失败。安全组规则的配置请参考表2。 已获取连接Kafka实例的地址。 在Kafka控制台的“基本信息
第二个计费周期为:2023/04/08 23:59:59 ~ 2023/05/08 23:59:59 图2给出了上述示例配置的费用计算过程。图中价格仅供参考,实际计算请以分布式消息服务Kafka版价格详情中的价格为准。 图2 包年/包月Kafka实例费用计算示例(华北-北京四区域) 按需计费模
create.groups.enable”已设置为“true”。如果需要修改“auto.create.groups.enable”的取值,请参考修改Kafka实例配置参数。 开启Smart Connect 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件
您只需要在实例管理界面选好规格配置,提交订单。后台将自动创建部署完成一整套Kafka实例。 兼容开源,业务零改动迁移上云 兼容社区版Kafka的API,具备原生Kafka的所有消息处理特性。 业务系统基于开源的Kafka进行开发,只需加入少量认证安全配置,即可使用分布式消息服务Kafka版,做到无缝迁移。
针对DMS for Kafka服务,管理员能够控制IAM用户仅能对实例进行指定的管理操作。多数细粒度策略以API接口为粒度进行权限拆分,DMS for Kafka支持的API授权项请参见细粒度策略支持的授权项。 如表1所示,包括了DMS for Kafka的所有系统权限。 表1 DMS
poll.records条消息会不会超过max.poll.interval.ms时间。 消息处理流程是否有网络行为,如写数据库、调用后端API等,在发生Rebalance的场景下消费者下游系统是否正常。 解决方法:建议在消费者客户端将max.poll.records值减小,如果消息处理时间较长可以适当增加max
单击Kafka实例的名称,进入实例详情页面。 在左侧导航栏选择“消费组管理”,进入消费组列表页面。 单击“创建消费组”,弹出“创建消费组”对话框。 参考表1设置消费组参数,单击“确定”。 表1 消费组参数说明 参数 说明 消费组名称 自定义名称,但需要符合命名规则:只能由英文字母、数字、下划线开头,且只能英文字母、
按需计费模式的资源按照固定周期上报使用量到计费系统进行结算。按需计费模式产品根据使用量类型的不同,分为按小时、按天、按月三种周期进行结算,具体扣费规则可以参考按需产品周期结算说明。Kafka实例的按需计费模式按小时进行结算。 按需计费资源的扣费时间可能会滞后于结算周期,例如:按小时结算的Kafk
现连接失败问题。 Topic 表2 Topic约束与限制 限制项 约束与限制 Topic总分区数 Topic总分区数和实例规格有关,具体请参考Kafka集群实例。 Kafka以分区为粒度管理消息,分区多导致生产、存储、消费都碎片化,影响性能稳定性。在使用过程中,当Topic的总分
访问Kafka Manager。 登录Kafka Manager 创建一台与Kafka实例相同VPC和相同安全组的Windows服务器,详细步骤请参考购买并登录Windows弹性云服务器。 如果是已经开启了公网访问,该步骤为可选,在本地浏览器中即可访问,不需要单独的Windows弹性云服务器。
否 1KB 否 测试环境 进行性能测试前,您需要先构建如下的测试环境: 购买一个Kafka实例,参数信息如下,其他参数保持默认,购买方法请参考购买Kafka实例。 区域:华北-北京四 可用区:可用区1 版本:2.7 部署架构:集群 代理规格:kafka.2u4g.cluster 代理数量:3
生产客户端为Kafka开源客户端时,检查是否配置retries参数,建议此参数值设置为3~5。 生产客户端为Flink客户端时,检查是否配置重启策略,配置重启策略可以参考如下代码。 StreamExecutionEnvironment env = StreamExecutionEnvironment.get