检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取并安装IntelliJ IDEA，可至IntelliJ IDEA官方网站下载。 操作步骤 下载Demo包。 下载后解压，有如下文件： 表1 Kafka Demo文件清单 文件名 路径 说明 DmsConsumer.java .\src\main\java\com\dms\consumer 消费消息的API。
在Windows服务器中无法登录Kafka Manager 问题现象 在Windows服务器的浏览器中输入Kafka Manager地址，无法登录Kafka Manager，报错信息如下图。 根因描述 Windows服务器和Kafka实例不在同一个VPC同一个子网内，或者安全组配置不正确，导致网络无法连通。
当前CTS记录的操作，请参考云审计日志。 虚拟私有云（Virtual Private Cloud） Kafka实例运行于虚拟私有云，需要使用虚拟私有云创建的IP和带宽。通过虚拟私有云安全组的功能可以增强访问Kafka实例的安全性。 弹性云服务器（Elastic Cloud Server） 弹性云服务器是由CPU、内
如何选择Kafka实例的存储空间？ 存储空间主要是指用于存储消息（包括副本中的消息）、日志和元数据所需要的空间。选择存储空间时，需要选择磁盘类型和磁盘大小。更多磁盘信息，请参考如何选择磁盘类型。 假设业务存储数据保留天数内磁盘大小为100GB，则磁盘容量最少为100GB*副本数 +
查询topic的磁盘存储情况 功能介绍 查询topic在Broker上磁盘占用情况。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/instances/{instance_id}/topics/diskusage 表1 路径参数 参数 是否必选
实例。 自行准备服务器资源，安装配置必要的软件并进行配置，等待时间长。 易出错。 简单API 提供简单的实例管理RESTful API，使用门槛低。 无 成本低廉 按需使用 提供多种规格，按需使用，支持一键式在线进行实例代理个数、磁盘存储空间和代理规格扩容。 搭建消息服务本身需要
jks”在后续步骤“替换证书”时，用来替换“Keystore文件”和“Truststore文件”。“client.truststore.jks”需要存放到客户端中，并记录存放路径，此路径用于客户端连接Kafka实例时，配置文件中“ssl.truststore.location”参数的值。
使用内网通过同一个VPC访问实例 客户端和实例是否使用相同的安全组？ 是，如果保留了创建安全组后，系统默认添加的入方向“允许安全组内的弹性云服务器彼此通信”规则和出方向“放通全部流量”规则，则无需添加其他规则。否则，请添加表1所示规则。 表1 安全组规则 方向 协议 类型 端口 源地址
rrorMaker，否则会导致数据在Topic内无限循环复制。 实施步骤 购买一台弹性云服务器，确保弹性云服务器与源集群、目标集群网络互通。具体购买操作，请参考购买弹性云服务器。 登录弹性云服务器，安装Java JDK，并配置JAVA_HOME与PATH环境变量，使用执行用户在用户家目录下修改“
如何选择Kafka实例存储容量阈值策略？ 支持以下两种策略： 生产受限策略 该策略场景下一旦磁盘使用达到容量阈值95%，会导致后续生产失败，但保留了当前磁盘中的数据，直至数据自然老化（Kafka原有的老化机制，数据默认保留3天）。该场景适用于对数据不能丢的业务场景，但是会导致生产业务失败。
海量消息堆积与弹性扩容 内建的分布式集群技术，使得服务具有高度扩展性。分区数可配置多达200个，存储空间、代理数量和代理规格支持弹性扩展，保证在高并发、高性能和大规模场景下的访问能力，轻松实现百亿级消息的堆积和访问能力。 多规格灵活选择 Kafka实例的带宽与存储资源可灵活配置，并且自定义Topic的分区数、副本数。
在Windows主机中，解压Logstash压缩包，进入“config”文件夹，创建“output.conf”配置文件。 图3 创建“output.conf”配置文件 在“output.conf”配置文件中，增加如下内容，连接Kafka实例。 input { stdin
tore文件”。“client.truststore.jks”需要存放到客户端中，并记录存放路径，此路径用于客户端连接Kafka实例时，配置文件中“ssl.truststore.location”参数的值。 步骤二：制作服务端验证客户端的证书 登录Linux系统的服务器，执行以下命令，生成client
准备Kafka配置信息 为了方便，下文分生产与消费两个配置文件介绍。其中涉及SASL认证配置，如果Kafka实例没有开启密文接入，使用的是不加密连接，请注释相关代码；如果Kafka实例开启了密文接入，则必须使用加密方式连接，请设置相关参数。 生产消息配置文件（对应生产消息代码中的dms.sdk.producer
topic-01. [root@ecs-kafka bin]# 已开启密文接入的Kafka实例，通过以下步骤创建Topic。 （可选）修改客户端配置文件。 在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议，两种安全协议对应的配置文件设置有所不同，具体如下。 SA
获取Kafka命令行工具2.7.2版本。 购买客户端服务器。 购买如下参数的2台ECS服务器，具体步骤请参考购买弹性云服务器。 区域、可用区、虚拟私有云、子网、安全组与Kafka实例保持一致，规格为4U8G，Linux系统的ECS。 区域、虚拟私有云、子网、安全组与Kafka实例保持一致，“
消息被消费后，没有删除，导致Kafka存储空间占满？ 消息被消费后，并不会被删除，只有超过老化时间，才会被删除。 您可以通过减小老化时间或者扩容存储空间，解决此问题。 父主题： Topic和分区问题
客户端网络环境说明 客户端可以通过以下方式访问Kafka实例： 如果客户端是云上ECS，与Kafka实例处于同region同VPC，则可以直接访问Kafka实例提供的内网连接地址。 如果客户端是云上ECS，与Kafka实例处于相同region但不同VPC，通过以下任意一种方式访问。
ka实例前，请先创建开启弹性公网IP的ECS、安装JDK、配置环境变量以及下载Kafka开源客户端。 登录管理控制台，在左上角单击，选择“计算 > 弹性云服务器”，创建一个ECS实例。 创建ECS的具体步骤，请参考购买弹性云服务器。如果您已有可用的ECS，可重复使用，不需要再次创建。
请求什么类型的操作。 GET：请求服务器返回指定资源。 PUT：请求服务器更新指定资源。 POST：请求服务器新增资源或执行特殊操作。 DELETE：请求服务器删除指定资源，如删除对象等。 HEAD：请求服务器资源头部。 PATCH：请求服务器更新资源的部分内容。当资源不存在的时
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
