检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka最佳实践汇总 本文汇总了基于分布式消息服务Kafka版常见应用场景的操作实践，为每个实践提供详细的方案描述和操作指导，帮助用户轻松使用Kafka。 表1 Kafka最佳实践一览表 最佳实践 说明 提高Kafka消息处理效率 本章节提供了生产者和消费者对于消息的使用建议，
查看和修改Kafka实例基本信息 创建Kafka实例成功后，您可以在控制台查看Kafka实例的详细信息，并根据自己的业务情况对Kafka实例的部分参数进行调整，包括实例名称、描述、安全组和容量阈值策略等。 约束与限制 单机实例不支持修改Smart Connect和内网访问。 前提条件
查看Kafka审计日志 通过云审计服务（Cloud Trace Service，CTS），您可以记录与分布式消息服务Kafka版相关的操作事件，便于日后的查询、审计和回溯。 前提条件 已开通CTS。 CTS支持的DMS for Kafka操作 表1 云审计服务支持的DMS for
收集连接信息 在连接Kafka实例生产消费消息前，请先获取以下Kafka实例信息。 实例连接地址与端口 实例创建后，从Kafka实例控制台的基本信息页面中获取。 如果Kafka实例为集群部署，至少有3个连接地址，在客户端配置时，建议配置所有的连接地址，提高可靠性。 如果开启公网访
查看Kafka重平衡日志 Rebalance是重新分配消息组中的消费者和Topic分区之间订阅关系的过程。在Rebalance过程中消费组下的所有消费者都会停止消费，等待Rebalance完成。 可能会触发Rebalance的原因： 消费组成员个数发生变化，例如有新的消费者加入，或者有消费者退出。
创建实例 功能介绍 创建实例。 该接口支持创建按需和包周期两种计费方式的实例。 调用方法 请参见如何调用API。 URI POST /v2/{engine}/{project_id}/instances 表1 路径参数 参数 是否必选 参数类型 描述 engine 是 String
使用客户端连接Kafka（关闭SASL） 本章节介绍如何使用开源的Kafka客户端访问关闭SASL的Kafka实例的方法。关闭SASL表示客户端访问Kafka实例时，无需进行认证，数据通过明文传输，性能更好。 约束与限制 2020年7月以及之后购买的实例，Kafka实例的每个代理
制作和替换Kafka JKS格式的SSL证书 SSL证书的作用是在客户端和Kafka实例进行数据传输时对数据加密传输，提高了数据的安全性。 Kafka客户端连接开启密文接入且Kafka安全协议为“SASL_SSL”的Kafka实例时，您可以使用分布式消息服务Kafka版提供的证书
按需转包年/包月 如果您需要长期使用当前按需购买的Kafka实例，可以将该Kafka实例转为包年/包月计费模式，以节省开支。按需计费变更为包年/包月会生成新的订单，用户支付订单后，包年/包月资源将立即生效。 假设用户于2023/04/18 15:29:16购买了一个按需计费的Ka
查看Kafka实例后台任务 对实例的一些操作，如表1所示，会启动一个后台任务，您可以在后台任务页，查看该操作的状态等信息，同时可通过删除操作，清理任务信息。 表1 后台任务列表 任务名 说明 创建实例 创建一个Kafka实例。 重启实例 重启Kafka实例。 Kafka配置参数修改
查看Kafka Topic详情 Kafka实例支持在控制台查看Topic的基本信息、分区信息、生产者信息和订阅关系。 约束与限制 如果一个实例中消费组数量超过10000，则不支持查询Topic的订阅关系。 仅当生产者正在往Topic中生产消息时，才显示生产者信息。 查看Topic详情
Kafka连接问题排查和解决 概述 本章节主要描述Kafka连接问题的排查和解决。 问题分类 当您发现与Kafka实例连接出现异常时，可以根据本文的内容，从以下几个方面进行排查。 检查网络 检查Consumer和Producer的配置 客户端连接问题-Java客户端 客户端连接问题-Go客户端
创建Kafka实例 当前页面API为历史版本API，未来可能停止维护。请使用创建实例。 功能介绍 创建实例，该接口创建的实例为按需计费的方式。 URI POST /v1.0/{project_id}/instances 参数说明见表1。 表1 参数说明 参数 类型 必选 说明 project_id
配置Kafka的SSL双向认证 SSL双向认证是指在通信认证时，将同时验证客户端和服务端的证书，以确保通信中涉及的双方都是受信任的。 开启SSL双向认证，主要用于对安全性要求较高的场景。 SSL双向认证为白名单特性，需要联系后台管理人员开通后方可使用。 配置SSL双向认证的流程如图1所示。
修改实例信息 当前页面API为历史版本API，未来可能停止维护。请使用修改实例信息。 功能介绍 修改实例的信息，包括实例名称、实例描述、实例维护时间窗、安全组等信息。 URI PUT /v1.0/{project_id}/instances/{instance_id} 表1 参数说明
Logstash对接Kafka生产消费消息 方案概述 应用场景 Logstash是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到指定的存储中。Kafka是一种高吞吐量的分布式发布订阅消息系统，也是Logstash支持的众多输入输出源之一。本章
成长地图 | 华为云 分布式消息服务Kafka版 分布式消息服务Kafka版（Distributed Message Service for Kafka）是一款基于开源社区版Kafka提供的消息队列服务，向用户提供计算、存储和带宽资源独占式的Kafka专享实例。 免费体验 图说Kafka
Python 本文以Linux CentOS环境为例，介绍Python版本的Kafka客户端连接指导，包括Kafka客户端安装，以及生产、消费消息。 使用前请参考收集连接信息收集Kafka所需的连接信息。 准备环境 Python 一般系统预装了Python，您可以在命令行输入py
Kafka实例开始分区重平衡任务 功能介绍 该接口用于向Kafka实例提交分区重平衡任务或计算重平衡预估时间。 调用方法 请参见如何调用API。 URI POST /v2/kafka/{project_id}/instances/{instance_id}/reassign 表1
功能总览 功能总览 全部 购买Kafka实例 连接Kafka Topic管理 变更实例规格 公网访问 消息查询 Kafka Manager管理 Smart Connect管理 用户管理 消费组管理 修改配置参数 标签 监控 审计 API 购买Kafka实例 您在使用分布式消息服务
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
