检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
BOOTSTRAP_SERVERS需根据集群实际情况，配置为Kafka Broker节点的主机名及端口，可通过集群FusionInsight Manager界面中选择“集群 > 服务 > Kafka > 实例”查看。 SECURITY_PROTOCOL为连接Kafka的协议类型，在本示例中，配置为“SASL_PLAINTEXT”。
）。 已安装Kafka客户端。 Kafka实例状态和磁盘状态均正常。 根据待迁移分区当前的磁盘空间占用情况，评估迁移后，不会导致新迁移后的磁盘空间不足。 使用Kafka客户端迁移数据 以客户端安装用户，登录已安装Kafka客户端的节点。 执行以下命令，切换到Kafka客户端安装目
配置名称 说明 默认值 影响分析 connections.max.idle.ms 空闲连接的保留时间。单位：毫秒 600000 空闲连接的保留时间，连接空闲时间大于此时间，则会销毁该连接，有需要时重新创建连接。 request.timeout.ms 消费请求的超时时间。单位：毫秒。 30000
已安装Kafka客户端，客户端安装目录如“/opt/client”。 本示例需创建两个Topic，可参考7，分别命名为“test_2”和“test_3”，并创建“move-kafka-topic.json”文件，创建路径如“/opt/client/Kafka/kafka”，Topic格式内容如下：
Kafka Manager WebUI的端口能否修改？ Kafka Manager WebUI的端口不支持修改。 父主题： Kafka Manager问题
模式不需要）。 已安装Kafka客户端。 操作步骤 以客户端安装用户，登录已安装Kafka客户端的节点。 切换到Kafka客户端安装目录，例如“/opt/client”。 cd /opt/client 执行以下命令，配置环境变量。 source bigdata_env 执行以下命
Kafka同步Kafka 当前仅支持华南-广州、华东-上海一。 前提条件 业务有自己的源Kafka和目标Kafka。 源Kafka和目标Kafka实例支持的版本：目前支持2.7及以上，后续支持版本会持续更新。 源Kafka和目标Kafka实例的规格、存储空间需保持一致。 确保vpc、子网、kafka等资源充足。
步骤） kinit 组件业务用户 执行以下命令，切换到Kafka客户端安装目录。 cd Kafka/kafka/bin 使用“kafka-acl.sh”进行用户授权常用命令如下： 查看某Topic权限控制列表： ./kafka-acls.sh --authorizer-properties
Kafka单机实例 Kafka单机实例规格 Kafka单机实例由一个代理组成，兼容开源Kafka 2.7版本，适用于测试场景，不建议用于生产业务。 TPS（Transaction per second），在Kafka场景中，指每秒能写入到Kafka实例的最大消息数量。下表中TPS
Kafka日志介绍 本章节内容适用于MRS 3.x及后续版本。 日志描述 日志路径：Kafka相关日志的默认存储路径为“/var/log/Bigdata/kafka”，审计日志的默认存储路径为“/var/log/Bigdata/audit/kafka”。 Broker：“/var
示例2：将json格式DMS Kafka作为源表，输出到Kafka sink中（适用于Kafka集群未开启SASL_SSL场景） 将Kafka作为源表，Kafka作为结果表，从Kafka中读取编码格式为json数据类型的数据，输出到日志文件中。 参考增强型跨源连接，根据Kafka所在的虚拟私有云
创建Kafka实例 本章节介绍创建Kafka实例。 登录华为云控制台。 单击管理控制台左上角的，选择区域“华南-广州”。 单击左侧的服务列表图标，选择“应用中间件 > 分布式消息服务Kafka版”。 单击“购买Kafka实例”。 选择实例区域和可用区。 配置实例名称和实例规格等信息。
<Kafka集群IP:21007> --command-config config/client.properties 查看单个Topic详细信息。 shkafka-topics.sh --describe --zookeeper <ZooKeeper集群IP:2181/kafka>
<Kafka集群IP:21007> --command-config config/client.properties 查看单个Topic详细信息。 shkafka-topics.sh --describe --zookeeper <ZooKeeper集群IP:2181/kafka>
附录：spring-kafka对接限制 概述 spring-kafka兼容开源Kafka客户端，其与开源Kafka客户端的版本对应关系可参见Spring官网。spring-kafka兼容的Kafka客户端版本主要为2.x.x版本，而ROMA Connect消息集成的Kafka服务端版本为1
单击待关闭Kafka Manager的Kafka实例名称，进入实例详情页面。 在“基本信息”页面的“连接信息 > Kafka Manager”后，单击，关闭Kafka Manager。 关闭Kafka Manager后，控制台不显示Kafka Manager连接地址，不支持重置Kafka
执行以下命令，切换到客户端目录，例如“/opt/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin 执行以下命令，配置环境变量。 source /opt/client/bigdata_env 执行以下命令，进行用户认证。（普通模式跳过此步骤）
系统管理员已明确业务需求，并准备一个Kafka管理员用户（属于kafkaadmin组）。 已安装Kafka客户端。 操作步骤 以客户端安装用户，登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录，例如“/opt/client”。 cd /opt/client 执行以下命令，配置环境变量。
实例访问方式参数说明 参数名称 子参数 说明 内网访问 接入方式 接入方式分为以下两种： 明文接入：表示客户端连接Kafka实例时，无需进行SASL认证。 密文接入：表示客户端连接Kafka实例时，需要进行SASL认证。 开启“密文接入”后，需要设置kafka安全协议、SSL用户名、密码和SASL
PlainText：客户端通过明文连接Kafka实例。 SASL_SSL：客户端通过密文连接Kafka实例，且连接时需要进行SASL认证。SASL认证分为PLAIN和SCRAM-SHA-512。 SASL_PLAINTEXT：客户端通过明文连接Kafka实例，且连接时需要进行SASL认证。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
