检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
opic列表页面。 在待删除消息的Topic所在行,单击“更多 > 消息删除”,弹出“消息删除”对话框。 设置消息删除参数,如表1所示。 图1 消息删除 表1 消息删除参数说明 参数 说明 分区 选择消息所在的分区编号。 偏移量 输入偏移量,最早偏移量到输入偏移量之前的数据将被删
解压从Kafka实例控制台下载的压缩包,获取压缩包中的“phy_ca.crt”。 双击“phy_ca.crt”,弹出“证书”对话框。 在“常规”页签中,获取证书有效期。 图1 证书有效期 父主题: 实例问题
入消费组订阅的Topic列表页面。 图3 消费组列表页面 单击待查看消费者连接地址的Topic名称,进入Topic详情页。 图4 消费组订阅的Topic列表页面 在“Consumer Instance Owner”中,查看消费者连接地址。 图5 Topic详情页 父主题: 管理消费组
CTS的详细介绍和开通配置方法,请参见CTS快速入门。 CTS支持追踪的DMS for Kafka管理事件列表,请参见云审计服务支持的DMS for Kafka操作列表。 图1 云审计服务 父主题: 安全
消费者是从Topic订阅消息的一方,消费组是由一个或多个消费者组成的。同一个消费组内,一个消费者可同时消费多个分区,但一个分区在同一时刻只能被一个消费者消费。 图1 消费关系示例图 “auto.create.groups.enable”表示在消费者进入未创建的消费组时,会自动创建此消费组。 如果在配置参数中设置“auto
怎样查看我的配额? 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。 在页面右上角,选择“资源 > 我的配额”。 系统进入“服务配额”页面。 图1 我的配额 您可以在“服务配额”页面,查看各项资源的总配额及使用情况。 如果当前配额不能满足业务要求,请参考后续操作,申请扩大配额。 如何申请扩大配额?
GB和使用占比达xx%。 在页面右上角,单击“查看监控数据”,跳转到云监控服务的监控指标页面。在监控指标页面,您可以查看Kafka实例的各项监控指标。 图1 查看磁盘的使用量 父主题: 管理实例
务Kafka版消费成功且保证不重复处理。 消息可以批量生产和消费 为提高消息发送和消息消费效率,推荐使用批量消息发送和消费。 图1 消息批量生产与消费 图2 消息逐条生产与消费 此外,批量消费消息时,消费者应按照接收的顺序对消息进行处理、确认,当对某一条消息处理失败时,不再需要继
目的地址 出方向 允许 全部 Default_All 图1 配置客户端安全组 Kafka实例所在安全组需要增加如下规则,以保证能被客户端访问。 表3 安全组规则 方向 策略 协议端口 源地址 入方向 允许 全部 sg-53d4 图2 配置Kafka实例安全组 跨VPC访问和通过DNAT访问实例
创建告警规则操作,请查看创建告警规则。 设置告警名称和告警的描述。 设置告警策略。 如下图所示,在进行指标监控时,如果连续1次,磁盘容量使用率原始值>=80%,则产生告警,如果未及时处理,则产生告警通知。 图1 设置告警策略 设置“发送通知”开关。 当开启时,设置通知方式和不同方式对应的通知参数。
目标集群中。其原理如图1所示,MirrorMaker本质上也是生产消费消息,首先从源集群中消费数据,然后将消费的数据生产到目标集群。如果您需要了解更多关于MirrorMaker的信息,请参见Mirroring data between clusters。 图1 MirrorMaker原理图
8。此时A对Topic 3和Topic 6是没有授权的,因此会出现“Not authorized to access topics”的报错。 图1 消费者访问权限 处理方法: 如果业务要求所有消费者在同一个消费组内,即group.id相同,解决方法:为所有消费者授权相同的Topic访问权限。
消费:统计消费消息的带宽使用量。 统计维度 设置带宽使用量的统计维度。 用户/客户端:统计用户/客户端的带宽使用量。 Topic:统计Topic的带宽使用量。 图1 查询带宽使用量的参数 单击“查询”,查看每个代理上用户/客户端/Topic的带宽使用量。 父主题: 配置流控
Partitions”,进入增加分区界面。 图1 Topic详情界面 输入分区数,单击“Add Partitions”。 出于性能考虑,建议单个Topic的分区数设置为200以内。 图2 增加分区数量 显示“Done”,表示分区增加成功。 图3 分区增加成功 在客户端修改Topic分区数
--group ${consumer-group-name}命令查看消费组中每个Topic的堆积消息数。“LAG”表示每个Topic的总堆积数。 图1 查看每个Topic的总堆积数 如果Kafka实例开启SASL认证,则以上命令还需要增加SASL认证的“consumer.properties”配置文件参数:
项目ID获取步骤如下: 登录管理控制台。 鼠标悬停在右上角的用户名,选择下拉列表中的“我的凭证”。 在“API凭证”页面的项目列表中查看项目ID。 图1 查看项目ID 父主题: 附录
源执行任何操作。 保留期到期后,若您仍未支付账户欠款,那么Kafka实例将被释放,数据无法恢复。释放的实例会被彻底删除,不会进入回收站。 图1 按需计费Kafka实例生命周期 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 避免和处理欠费 欠费后需要及时充值,详细操作请参见账户充值。
流控列表”,进入流控列表页面。 在页面顶端单击“用户/客户端”,进入“用户/客户端”页签。 在页面左上角单击“创建流控”,弹出“创建流控”对话框。 设置流控参数。 图1 创建用户/客户端流控 表1 流控参数说明 参数名称 说明 用户名 输入前提条件中获取的用户名,对此用户进行流控。如果需要对所有用户进行流控,在“用户名”后,单击“选择默认”。
选择和代理数量相同的弹性IP地址,单击。 您可以在实例的“后台任务管理”页面,查看当前任务的操作进度。任务状态为“成功”,表示操作成功。 图1 开启公网访问 开启公网访问后,需要设置对应的安全组规则,才能成功连接Kafka。连接Kafka的具体操作请参考连接实例。 表1 Kafka实例安全组规则(IPv4公网访问)
消费组 消息堆积数 消费组已消费消息数 主题 队列消息总数 生产流量 消费流量 节点 CPU使用率 网络带宽利用率 磁盘读流量 磁盘写流量 图1 关键指标TopN排序 父主题: 查看监控指标与配置告警