检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
create.groups.enable”为“false”时,需要手动创建消费组,不需要单独创建生产者和消费者。 修改“auto.create.groups.enable”的方法,请参考修改Kafka实例配置参数。 连接Kafka实例后,生产消息和消费消息,请参考向Kafka实例生产消息和消费消息。
单机实例不支持修改配置参数。修改参数值后自动创建的Topic,Topic参数值为修改后的值。 例如:“num.partitions”修改为“5”,自动创建的Topic参数值如表1所示。 表1 Topic参数值 参数名称 单机实例默认值 集群实例默认值 集群实例修改后的值 分区数 1
查看和重置Kafka消费进度 消费进度表示消费者的消费位置,本章节介绍如何查看和重置消费进度,重置消费进度即修改消费者的消费位置。 重置消费进度可能会导致重复消费,请谨慎操作。 操作视频 本视频演示重置Kafka消费进度的操作。 前提条件 Kafka实例不支持在线重置消费进度,请
单击Kafka实例名称,进入实例详情页面。 在左侧导航栏选择“用户管理”,进入用户列表页面。 在待修改描述信息的用户所在行,单击“编辑”,弹出“编辑”对话框。 修改描述信息,单击“确定”。 修改完成后,在用户列表页面的“描述”列查看修改后的描述信息。 删除用户 登录管理控制台。 在管理控制台左上角单击,选择区域。
Kafka监控显示消息堆积数跟实例里的消息数不一致? Kafka的消费组删除了,怎么监控页面还可以看到这个消费组? 为什么磁盘读/写流量、磁盘平均读/写操作耗时和CPU使用率出现明显波动? 为什么JVM堆内存使用率出现明显波动?
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
法对数据进行压缩。 常用的压缩算法包括:ZIP,GZIP,SNAPPY,LZ4等。选择压缩算法时,需考虑数据的压缩率和压缩耗时。通常压缩率越高的算法,压缩耗时也越高。对于性能要求高的系统,可以选择压缩速度快的算法,比如LZ4;对于需要更高压缩比的系统,可以选择压缩率高的算法,比如GZIP。
和基准带宽、修改实例安全组、开启实例转储。除此之外,您还可以实时查看监控指标及审计日志,以便及时了解Kafka实例节点、队列、消费组等相关状态。 日常操作 查看实例信息 扩容实例存储空间 扩容实例代理个数 开启Smart Connect 删除消费组 重置消费进度 修改配置参数 设置Topic的ACL权限
对实例的一些操作,如表1所示,会启动一个后台任务,您可以在后台任务页,查看该操作的状态等信息,同时可通过删除操作,清理任务信息。 表1 后台任务列表 任务名 说明 创建实例 创建一个Kafka实例。 重启实例 重启Kafka实例。 Kafka配置参数修改 修改Kafka的配置参数。
ceTaskFailure 提交修改DMS实例信息请求成功 kafka modifyDMSInstanceInfoSuccess 修改DMS实例信息任务执行成功 kafka modifyDMSInstanceInfoTaskSuccess 提交修改DMS实例信息请求失败 kafka
查看用户消费组行为日志文件,文件中存在以下三种日志: Preparing to rebalance group 1 表示消费组开始进行rebalance,消费组状态变更为REABLANCING。 Stabilized group 表示消费组rebalance完成,消费组状态变更为STABILIZED。 Member
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
tance_id}/topics 参数说明见表1。 表1 参数说明 参数 类型 必选 说明 project_id String 是 项目ID。 instance_id String 是 实例ID 请求消息 请求参数 参数说明见表2。 表2 参数说明 参数 类型 是否必选 说明 id
分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 单击Kafka实例名称,进入实例详情页面。 在左侧导航栏选择“消息查询”,进入消息列表页面。 参考表1,设置查询参数。 表1 查询消息参数说明 参数名称 说明 Topic名称 选择待查询消息的Topic名称。 分区 选择消息所在的分区。 如果未
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
2021-09-13 本次变更如下: 在修改Kafka实例Topic中,增加Topic名称不能修改的描述。 2021-08-16 本次变更如下: 修改Kafka实例创建Topic和新增Kafka实例指定Topic分区的分区数最大值。 2021-05-11 本次变更如下: 修改开启或关闭实例自动创建topic功能的返回状态码和返回描述。
Topic管理 查看Kafka Topic详情 修改Kafka Topic配置 修改Kafka Topic分区数 修改Kafka Topic副本数 导出Kafka Topic列表 修改Kafka分区平衡 配置Kafka自动创建Topic 删除Kafka Topic 父主题: 配置Topic
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
API概览 表1 实例管理类接口 API 说明 生命周期管理 包括创建实例、查询所有实例列表、查询指定实例、删除指定的实例、修改实例信息、批量重启或删除实例、获取实例配置、修改实例配置、实例升级。 实例管理 包括重置密码、重置Manager密码、重启Manager、开启或关闭实例