检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
版本:2.7 部署架构:集群 代理规格:kafka.2u4g.cluster 代理数量:3 单代理存储空间:超高I/O,200GB 虚拟私有云:选择虚拟私有云 子网:选择子网 安全组:选择安全组 访问方式:保持默认 实例名称:kafka-test 企业项目:default 购买完成后,
CPU使用率高的处理措施: 优化线程参数num.io.threads、num.network.threads和num.replica.fetchers的配置。 num.io.threads和num.network.threads建议配置为磁盘个数的倍数,但不能超过CPU核数。 num.replica
3~50 250000 2000 200 4000 300GB~1500000GB 750 实例规格和网络带宽说明 Kafka实例的网络带宽主要由以下两个部分组成: 实例Broker对应的网络带宽 实例Broker的磁盘所对应的带宽值(不同类型的磁盘对应的带宽值不同,具体参考:如何选择磁盘类型)
broker_total_bytes_in_rate 网络入流量 统计Broker节点每秒网络访问流入流量。 单位:Byte/s 2020年6月及以后购买的实例,支持此监控项。 0~1000000000 Kafka实例节点 1分钟 broker_total_bytes_out_rate 网络出流量 统计Broker节点每秒网络访问流出流量。
Kafka系统策略。若您需要对除DMS for Kafka之外的其它服务授权,IAM支持服务的所有策略请参见权限策略。 DMS for Kafka的权限与策略基于分布式消息服务DMS,因此在IAM服务中为用户组授予DMS for Kafka权限时,请选择并使用“DMS”的权限与策略。 示例流程 图1
否 否 3 100 获取测试工具。 获取Kafka命令行工具2.7.2版本。 购买客户端服务器。 购买1台ECS服务器(区域、可用区、虚拟私有云、子网、安全组与Kafka实例保持一致,Linux系统),具体步骤请参考购买弹性云服务器。 购买完成ECS后,需要在ECS中完成以下配置:
CreateTime CreateTime CreateTime 批处理消息最大值 10485760字节 10485760字节 10485760字节 本文主要介绍手动创建Topic的操作,有以下几种方式,您可以根据实际情况选择任意一种方式: 在控制台创建Topic 在Kafka Manager创建Topic
下文所有Kafka的配置信息,如实例连接地址、Topic名称、用户信息等,请参考收集连接信息获取。 Maven中引入Kafka客户端 //Kafka实例基于社区版本1.1.0/2.3.0/2.7/3.x,推荐客户端保持一致。 <dependency> <groupId>org
已设置了一个定时分区平衡任务,在此任务未执行前,无法对本实例内的任何Topic执行其他分区平衡任务。 操作影响 对数据量大的Topic进行分区平衡会占用大量的网络和存储带宽,业务可能会出现请求超时或者时延增大,建议在业务低峰期时操作。对Topic进行分区平衡前,根据Kafka实例规格对比当前实例负载
String 维护时间窗结束时间,格式为HH:mm:ss。 security_group_id 否 String 安全组ID。 获取方法如下:登录虚拟私有云服务的控制台界面,在安全组的详情页面查找安全组ID。 retention_policy 否 String 容量阈值策略。 支持两种策略模式: