检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
常用最佳实践 实践 描述 使用MirrorMaker跨集群同步数据 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。 配置消息堆积数监控 介绍如何设置消息组的消息堆积数超过阈值时,消息通知服务及时发送告警短信/邮件通知用户。
查询实例的扩容规格列表 功能介绍 查询实例的扩容规格列表。 调用方法 请参见如何调用API。 URI GET /v2/{engine}/{project_id}/instances/{instance_id}/extend 表1 路径参数 参数 是否必选 参数类型 描述 engine
extendDMSInstanceTaskFailure 提交重置DMS实例密码请求成功 kafka resetDMSInstancePasswordSuccess 提交重置DMS实例密码请求失败 kafka resetDMSInstancePasswordFailure 提交重启DMS实例请求成功
重置密码 功能介绍 重置密码(只针对开通SSL的实例)。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/instances/{instance_id}/password 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
关闭Smart Connect(按需实例) 功能介绍 介绍按需实例如何关闭Smart Connect。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/kafka/instances/{instance_id}/delete-connector
查询产品规格列表 功能介绍 查询产品规格列表。 调用方法 请参见如何调用API。 URI GET /v2/{engine}/products 表1 路径参数 参数 是否必选 参数类型 描述 engine 是 String 消息引擎的类型。 表2 Query参数 参数 是否必选 参数类型
进行ACL(Access Control List)权限管理,您可以在Topic中为不同的用户设置不同的生产消费消息的权限,以达到用户之间的权限隔离。 本章节主要介绍Kafka实例开启密文接入后,如何创建用户、重置用户密码、修改用户信息和删除用户。创建用户后,对Topic进行用户授权的操作,请参见设置Kafka
者可同时消费多个分区,但一个分区在同一时刻只能被一个消费者消费。 图1 消费关系示例图 “auto.create.groups.enable”表示在消费者进入未创建的消费组时,会自动创建此消费组。 如果在配置参数中设置“auto.create.groups.enable”为“fa
0,1,2 Topic2 0 0 0,2 图7 场景一分区平衡图 如图7所示,有3个副本需要从Broker 0拉取数据,Broker 0中每个副本的数据量为100MB,Broker 0中只有Leader副本,Broker 1和Broker 2中只有Follower副本,由此得出以下数据:
前提条件 确保分区平衡的目标Broker磁盘容量充足,在磁盘存储统计中查看每个Broker的可用磁盘容量。如果目标Broker磁盘剩余容量接近分区平衡迁移到该Broker上的数据量,为了给目标Broker上的消息生产预留存储空间,应先进行磁盘扩容,再进行分区平衡。 使用自动平衡修改副本数
Kafka实例创建Topic 功能介绍 该接口用于向Kafka实例创建Topic。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/instances/{instance_id}/topics 表1 路径参数 参数 是否必选 参数类型 描述 project_id
在“消费进度”页签,查看此消费组订阅的Topic列表、Topic中消息的总堆积数、Topic每个分区的消费进度(包括堆积数、偏移量、最大消息位置、消费者ID、消费者地址和客户端ID)。 图1 消费进度 (可选)如果需要查询某个Topic的消费进度,在搜索框中,输入Topic名称,按“Enter”。 查看消费进度(Kafka客户端)
删除指定消费组 功能介绍 删除指定消费组。 调用方法 请参见如何调用API。 URI DELETE /v2/{engine}/{project_id}/instances/{instance_id}/groups/{group} 表1 路径参数 参数 是否必选 参数类型 描述 engine
查询消息 功能介绍 查询消息的偏移量和消息内容。 先根据时间戳查询消息的偏移量,再根据偏移量查询消息内容。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/instances/{instance_id}/messages 表1 路径参数 参数 是否必选
检查是否同一个VPC。如果不是,请参考跨VPC访问。 检查安全组规则是否配置正确。请参考如何选择和配置安全组。 检查Consumer和Producer的配置 查看日志,检查Consumer和Producer初始化时打印的参数是否符合预期,是否和自己在配置文件中设置的一致。 如果不一致,请检查配置文件的写法。 Java客户端常见报错
理对应一台弹性云服务器。 云硬盘(Elastic Volume Service) 云硬盘为云服务器提供块存储服务,Kafka的所有数据(如消息、元数据和日志等)都保存在云硬盘中。 统一身份认证 (Identity and Access Management) 统一身份认证提供了权
到不同分区上。 在实际业务场景中,为消息Key加随机后缀,会导致消息全局不保序,需根据实际业务判断是否适合给消息Key加随机后缀。 磁盘写满的处理措施: 扩容磁盘,使磁盘具备更大的存储空间。 迁移分区,将已写满的磁盘中的分区迁移到本节点的其他磁盘中。 合理设置Topic的数据老化时间,减少历史数据的容量大小。
查询Kafka产品规格核数 功能介绍 查询Kafka产品规格核数。 调用方法 请参见如何调用API。 URI GET /v2/kafka/products/cores 表1 Query参数 参数 是否必选 参数类型 描述 instance_id 是 String 实例ID。 product_id
修改所有消费组 功能介绍 修改所有消费组。 调用方法 请参见如何调用API。 URI PUT /v2/{engine}/{project_id}/instances/{instance_id}/groups 表1 路径参数 参数 是否必选 参数类型 描述 engine 是 String
Kafka删除消息 功能介绍 Kafka删除消息。 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/kafka/instances/{instance_id}/topics/{topic}/messages 表1 路径参数 参数 是否必选