检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 MirrorMaker原理图 约束与限制 源集群中节点的IP地址和端口号不能和目标集群中节点的IP地址和端口号相同,否则会导致数据在Topic内无限循环复制。
图1 消费者访问权限 处理方法: 如果业务要求所有消费者在同一个消费组内,即group.id相同,解决方法:为所有消费者授权相同的Topic访问权限。 如果消费者不需要在同一个消费组内,解决方法:修改group.id,让每个消费者单独在一个消费组内。
图1 查询带宽使用量的参数 单击“查询”,查看每个代理上用户/客户端/Topic的带宽使用量。 父主题: 配置流控
图1 查看项目ID 父主题: 附录
图1 查看每个Topic的总堆积数 如果Kafka实例开启SASL认证,则以上命令还需要增加SASL认证的“consumer.properties”配置文件参数: --command-config {SASL认证的consumer.properties配置文件},“consumer.properties
图1 开启公网访问 开启公网访问后,需要设置对应的安全组规则,才能成功连接Kafka。连接Kafka的具体操作请参考连接实例。
图1 创建用户/客户端流控 表1 流控参数说明 参数名称 说明 用户名 输入前提条件中获取的用户名,对此用户进行流控。如果需要对所有用户进行流控,在“用户名”后,单击“选择默认”。 流控创建完后,无法修改“用户名”。
图1 按需计费Kafka实例生命周期 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 避免和处理欠费 欠费后需要及时充值,详细操作请参见账户充值。 若不再使用Kafka实例,您可以将他们删除,以免继续扣费。
表1 关键指标列表 维度 关键指标 消费组 消息堆积数 消费组已消费消息数 主题 队列消息总数 生产流量 消费流量 节点 CPU使用率 网络带宽利用率 磁盘读流量 磁盘写流量 图1 关键指标TopN排序 父主题: 查看监控指标与配置告警
图2 连接信息 参考表1,设置替换SSL证书的参数。
producer将试图批处理消息记录,以减少请求次数。这将改善client与server之间的性能。不会试图处理大于这个字节数的消息字节数。 发送到brokers的请求将包含多个批量处理,其中会包含对每个partition的一个请求。
所以,Topic数量和实例分区数上限、每个Topic的分区数有关,其中,每个Topic分区数可在创建Topic时设置,如图1,实例分区数上限参考表1。 图1 Topic的分区数 kafka.2u4g.cluster * 3 broker实例的分区数上限为750。
https://iam.cn-north-4.myhuaweicloud.com/v3.0/OS-USER/users 图1 URI示意图 为查看方便,在每个具体API的URI部分,只给出resource-path部分,并将请求方法写在一起。
查询结果如下: 图1 查询Topic消息 消息的参数说明如下: Topic名称:消息所在的Topic名称。 分区:消息所在的分区。 偏移量:消息在分区中的位置。 消息大小:消息存入磁盘的大小,单位为B。 创建时间:消息的创建时间。
图1 项目隔离模型 同样在我的凭证下,您可以查看项目ID。 企业项目 企业项目是项目的升级版,针对企业不同项目间资源的分组和管理,是逻辑隔离。企业项目中可以包含多个区域的资源,且项目中的资源可以迁入迁出。
图1 综合推荐 规格测算:系统根据您选择的版本号和输入的参数(生产流量峰值、消费流量、单个Topic副本数、总分区数和老化时间内的生产消息量),为您计算出不同规格所需的代理个数和代理存储空间,您根据实际情况选择。 图2 规格测算 设置网络信息。
图2 在Kafka Manager中创建Topic 在客户端创建Topic Kafka客户端版本为2.2以上时,支持通过kafka-topics.sh创建Topic,以及管理Topic的各类参数。
图1 消费组列表 (可选)如果需要搜索某个消费组,在搜索框中,输入消费组名称、消费组状态、Coordinator (ID)、堆积数、描述或者关键字,按“Enter”。 (可选)如果需要刷新消费组列表,在右上角单击。
图1 消费进度 (可选)如果需要查询某个Topic的消费进度,在搜索框中,输入Topic名称,按“Enter”。 查看消费进度(Kafka客户端) 未开启密文接入的Kafka实例,在Kafka客户端的“/bin”目录下,通过以下命令查询消费进度。 .
图1 复制数据规则配置 (可选)在页面右下角单击“开始检测”,测试两端Kafka实例的连通性。 显示“连通性检测成功”时,表示两端Kafka实例可以正常连接。 单击“立即创建”,跳转到Smart Connect任务列表页面,页面右上角显示“创建xxx任务成功”。