检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取并安装IntelliJ IDEA，可至IntelliJ IDEA官方网站下载。 操作步骤 下载Demo包。 下载后解压，有如下文件： 表1 Kafka Demo文件清单 文件名 路径 说明 DmsConsumer.java .\src\main\java\com\dms\consumer 消费消息的API。
49”，“2017”表示最外层文件夹。 说明： 数据转储成功后，存储的目录结构为“obs_bucket_path/file_prefix/partition_format”。默认时间是GMT+8 时间 record_delimiter 否 String 转储文件的记录分隔符，用于分隔写入转储文件的用户数据。
在Windows服务器中无法登录Kafka Manager 问题现象 在Windows服务器的浏览器中输入Kafka Manager地址，无法登录Kafka Manager，报错信息如下图。 根因描述 Windows服务器和Kafka实例不在同一个VPC同一个子网内，或者安全组配置不正确，导致网络无法连通。
查询topic的磁盘存储情况 功能介绍 查询topic在Broker上磁盘占用情况。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/instances/{instance_id}/topics/diskusage 表1 路径参数 参数 是否必选
如何选择Kafka实例的存储空间？ 存储空间主要是指用于存储消息（包括副本中的消息）、日志和元数据所需要的空间。选择存储空间时，需要选择磁盘类型和磁盘大小。更多磁盘信息，请参考如何选择磁盘类型。 假设业务存储数据保留天数内磁盘大小为100GB，则磁盘容量最少为100GB*副本数 +
性。 弹性云服务器（Elastic Cloud Server） 弹性云服务器是由CPU、内存、操作系统、云硬盘组成的基础的计算组件。Kafka实例运行在弹性云服务器上，一个代理对应一台弹性云服务器。 云硬盘（Elastic Volume Service） 云硬盘为云服务器提供块存
实例。 自行准备服务器资源，安装配置必要的软件并进行配置，等待时间长。 易出错。 简单API 提供简单的实例管理RESTful API，使用门槛低。 无 成本低廉 按需使用 提供多种规格，按需使用，支持一键式在线进行实例代理个数、磁盘存储空间和代理规格扩容。 搭建消息服务本身需要
recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted during use to ensure security
tore文件”。“client.truststore.jks”需要存放到客户端中，并记录存放路径，此路径用于客户端连接Kafka实例时，配置文件中“ssl.truststore.location”参数的值。 步骤二：制作服务端验证客户端的证书 登录Linux系统的服务器，执行以下命令，生成client
如何选择Kafka实例存储容量阈值策略？ 支持以下两种策略： 生产受限策略 该策略场景下一旦磁盘使用达到容量阈值95%，会导致后续生产失败，但保留了当前磁盘中的数据，直至数据自然老化（Kafka原有的老化机制，数据默认保留3天）。该场景适用于对数据不能丢的业务场景，但是会导致生产业务失败。
在Windows主机中，解压Logstash压缩包，进入“config”文件夹，创建“output.conf”配置文件。 图3 创建“output.conf”配置文件 在“output.conf”配置文件中，增加如下内容，连接Kafka实例。 input { stdin
使用内网通过同一个VPC访问实例 客户端和实例是否使用相同的安全组？ 是，如果保留了创建安全组后，系统默认添加的入方向“允许安全组内的弹性云服务器彼此通信”规则和出方向“放通全部流量”规则，则无需添加其他规则。否则，请添加表1所示规则。 表1 安全组规则 方向 协议 类型 端口 源地址
内建的分布式集群技术，使得服务具有高度扩展性。分区数可配置多达200个，存储空间、代理数量和代理规格支持弹性扩展，保证在高并发、高性能和大规模场景下的访问能力，轻松实现百亿级消息的堆积和访问能力。 多规格灵活选择 Kafka实例的带宽与存储资源可灵活配置，并且自定义Topic的分区数、副本数。
一个Kafka进程对应一台服务器，因此手册中描述的代理，还包括对应的存储、带宽等服务器资源。 分区（Partition） 为了实现水平扩展与高可用，Kafka将Topic划分为多个分区，消息被分布式存储在分区中。 副本（Replica） 消息的备份存储。为了确保消息可靠，Kafk
本文介绍Maven方式引入Kafka客户端，并完成Kafka实例连接以及消息生产与消费的相关示例。如果您需要在IDE中查看Demo具体表现，请查看Java开发环境搭建。 下文所有Kafka的配置信息，如实例连接地址、Topic名称、用户信息等，请参考收集连接信息获取。 Maven中引入Kafka客户端 //Kafka实例基于社区版本1
客户端网络环境说明 客户端可以通过以下方式访问Kafka实例： 如果客户端是云上ECS，与Kafka实例处于同region同VPC，则可以直接访问Kafka实例提供的内网连接地址。 如果客户端是云上ECS，与Kafka实例处于相同region但不同VPC，通过以下任意一种方式访问。
recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted during use to ensure security
创建Kafka Topic Topic，即消息主题，用于存储消息，供生产者生产消息以及消费者订阅消息。创建Kafka实例成功后，如果没有开启“Kafka自动创建Topic”，需要手动创建Topic。如果实例开启了“Kafka自动创建Topic”，则该操作为可选。 “Kafka自动
消息被消费后，没有删除，导致Kafka存储空间占满？ 消息被消费后，并不会被删除，只有超过老化时间，才会被删除。 您可以通过减小老化时间或者扩容存储空间，解决此问题。 父主题： Topic和分区问题
variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment String ak = System.getenv("CLOUD_SDK_AK"); String sk = System.get
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
