如需了解国际站更多云产品，请访问国际站。https://www.huaweicloud.com/intl/
不再显示此消息
如需了解国际站更多云产品，请访问国际站。https://www.huaweicloud.com/intl/
不再显示此消息
快速入门 场景描述 您可以根据业务需要创建相应计算能力和存储空间的Kafka实例。 API调用方法请参考如何调用API。 前提条件 已获取IAM的Endpoint，具体请参见地区和终端节点。 已获取Kafka的Endpoint，具体请参见地区和终端节点。 创建Kafka实例 如下示例是创建Kafka实例的请求消息：
查询Kafka实例所有消费组对应的协调器信息 当前页面API为历史版本API，未来可能停止维护。请使用查询Kafka实例的协调器信息。 URI GET /v1.0/{project_id}/instances/{instance_id}/manage/coordinators 参数说明如下表所示。
Failed 未满足前提条件，服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大，服务器无法处理，因此拒绝请求。为防止客户端的连续请求，服务器可能会关闭连接。如果只是服务器暂时无法处理，则会包含一个Retry-After的响应信息。
实例使用类接口 查询分区指定偏移量的消息 查询分区指定时间段的消息 查询分区最新消息的位置 查询分区最早消息的位置 查询Kafka集群元数据信息 查询消费组信息 重置消费组消费进度到指定位置 查询Kafka实例所有消费组对应的协调器信息 查询Kafka实例Topic详细信息 新增Kafka实例指定Topic分区
创建一台与Kafka实例相同VPC和相同安全组的Windows服务器，详细步骤请参考购买并登录Windows弹性云服务器。 如果是已经开启了公网访问，该步骤为可选，在本地浏览器中即可访问，不需要单独的Windows弹性云服务器。 在实例详情信息页面，获取Kafka Manager地址。
Logstash对接Kafka生产消费消息 方案概述 应用场景 Logstash是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到指定的存储中。Kafka是一种高吞吐量的分布式发布订阅消息系统，也是Logstash支持的众多输入输出源之一。本章
已准备一台Linux系统的服务器，并安装Java Development Kit 1.8.111或以上版本，配置JAVA_HOME与PATH环境变量。 实例已开启Kafka SASL_SSL。 步骤一：制作客户端验证服务端的证书 登录Linux系统的服务器，执行以下命令，生成server
登录管理控制台。 在管理控制台左上角单击，选择Kafka实例所在的区域。 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”，进入Kafka实例列表页面。 单击Kafka实例的名称，进入实例的“基本信息”页面。
查询版本信息。 表1提供了分布式消息服务Kafka版支持的SDK列表，您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 如果无法正常打开GitHub仓库，请检查您所使用的网络是否可以正常访问公网。由于GitHub的服务器部署在国外，国内用户访问时容易遇到无法打开的情况，请切换网络后再尝试打开。
rorMaker，否则会导致数据在Topic内无限循环复制。 实施步骤 购买一台弹性云服务器，确保弹性云服务器与源集群、目标集群网络互通。具体购买操作，请参考购买弹性云服务器。 登录弹性云服务器，安装Java JDK，并配置JAVA_HOME与PATH环境变量，使用执行用户在用户家目录下修改“
size变大16倍时，客户端消息生产速率增加，服务端CPU消耗减少。 同AZ生产和跨AZ生产相比，客户端消息生产速率增加，服务端CPU消耗也随之增加。 副本从1变成3时，客户端消息生产速率下降较多，服务端CPU消耗增加。 异步复制的Topic和同步复制的Topic相比，客户端消息生产速率增加，服务端CPU消耗也随之增加。
Kafka实例完全兼容开源Kafka协议，可以直接使用kafka开源客户端连接。如果“kafka安全协议”设置为“SASL_SSL”，则在开源客户端基础上使用云服务提供的证书文件。 本指南主要介绍实例连接信息的收集，如获取实例连接地址、Topic名称等，然后提供Java、Python和Go等语言的连接示例。
安全组创建后，系统默认添加入方向“允许安全组内的弹性云服务器彼此通信”规则和出方向“放通全部流量”规则。此时使用内网通过同一个VPC访问Kafka实例，无需添加表1的规则。 构建生产消费客户端。 本文以Linux系统的弹性云服务器（Elastic Cloud Server，简称EC
审计与日志 云审计服务（Cloud Trace Service，简称CTS），是华为云安全解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后，CTS可记录DMS
修改转储任务的配额 功能介绍 修改转储任务的配额。 2022年9月前创建的实例支持调用此接口新增转储任务配额，2022年9月及以后创建的实例，转储任务配额默认为最大值，由于转储任务配额不支持减少，调用此接口修改转储任务配额会报错。 调用方法 请参见如何调用API。 URI PUT
客户端连接Kafka实例前，需要在Kafka实例所属安全组中配置如下安全组规则，否则会连接失败。 创建安全组后，系统默认添加入方向“允许安全组内的弹性云服务器彼此通信”规则和出方向“放通全部流量”规则，此时使用内网通过同一个VPC访问Kafka实例，无需添加表2的规则。 表2 安全组规则 方向
获取测试工具。 获取Kafka命令行工具2.7.2版本。 购买客户端服务器。 购买1台ECS服务器（区域、可用区、虚拟私有云、子网、安全组与Kafka实例保持一致，Linux系统），具体步骤请参考购买弹性云服务器。 购买完成ECS后，需要在ECS中完成以下配置： 安装Java J
消息/邮件。 代理（Broker） 即Kafka集群架构设计中的单个Kafka进程，一个Kafka进程对应一台服务器，因此手册中描述的代理，还包括对应的存储、带宽等服务器资源。 分区（Partition） 为了实现水平扩展与高可用，Kafka将Topic划分为多个分区，消息被分布式存储在分区中。
properties文件中的ssl.truststore.password参数是否配置正确。 ssl.truststore.password为服务器证书密码，不可更改，需要保持为dms@kafka ssl.truststore.password=dms@kafka Topic名称错误
Connect管理 分布式消息服务Kafka版通过开启Smart Connect，实现Kafka实例和其他云服务（如OBS）之间的数据同步，或者两个Kafka实例之间的数据同步。 支持区域： 全部 如何开启Smart Connect？ 用户管理 分布式消息服务Kafka版支持对Topi
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
您即将访问非华为云网站，请注意账号财产安全
