检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的内容。 查看Kafka消息 登录管理控制台。 在管理控制台左上角单击，选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”，进入Kafka实例列表页面。
sources ：像Kafka，Flume，Kinesis等这样的源，可通过额外的程序类获得 消费 先把数据接收过来，转换为spark streaming中的数据结构Dstream。接收数据的方式有两种：1.利用Receiver接收数据，2.直接从kafka读取数据。 在spark1
我们使用kafka时，有时候会遇到发送数据失败的情况，其原因及解决方案如下： 1. Kafka topic leader为-1 Kafka客户端执行如下命令查看topic的leader信息： kafka-topics.sh
Kafka 组件的介绍Kafka定义Kafka 是一个高吞吐、分布式、基于发布订阅A的消息系统，利用Kafka技术可在廉价PC Server上搭建起大规模消息系统。Kafka应用场景简介Kafka和其他组件比较，具有消息持久化、高吞吐、实时等特性，适用于离线和实时的消息消费，如网
Kafka修改配置有两个命令：kafka-topics.sh和kafka-configs.sh。kafka-topics.sh主要是修改单个topic的配置，支持修改的配置参数见附录一；kafka-configs.sh支持修改topic、broker、user和client级别的
Kafka单机实例 Kafka单机实例规格 Kafka单机实例由一个代理组成，兼容开源Kafka 2.7版本，适用于测试场景，不建议用于生产业务。 TPS（Transaction per second），在Kafka场景中，指每秒能写入到Kafka实例的最大消息数量。下表中TPS
Kafka用户权限说明 操作场景 在启用Kerberos认证的集群中，用户使用Kafka前需要拥有对应的权限。MRS集群支持将Kafka的使用权限，授予不同用户。 Kafka默认用户组如表1所示。 Kafka支持两种鉴权插件：“Kafka开源自带鉴权插件”和“Ranger鉴权插件”。
概述 对于kafka来说，一个单独的broker意味着kafka集群中只有一个节点。要想增加kafka集群中的节点数量，只需要多启动几个broker实例即可。 单个节点的安装： Kafka-初体验Kafka(02)-Centos7下搭建单节点kafka_2.11‐1.1
Kafka同步Kafka 当前仅支持华南-广州、华东-上海一。 前提条件 业务有自己的源Kafka和目标Kafka。 源Kafka和目标Kafka实例支持的版本：目前支持2.7及以上，后续支持版本会持续更新。 源Kafka和目标Kafka实例的规格、存储空间需保持一致。 确保vpc、子网、kafka等资源充足。
后才能继续消费 Kafka的老版本消费者组的位移保存在Zookeeper中，好处是Kafka减少了Kafka Broker端状态保存开销。但ZK是一个分布式的协调框架，不适合进行频繁的写更新，这种大吞吐量的写操作极大的拖慢了Zookeeper集群的性能。Kafka的新版本采用了将位移保存在Kafka内部主题的方法。
登录到Kafka Manager页面，为什么获取不到节点信息？ 问题现象：正常登录Kafka Manager页面，但是页面无法显示节点信息，如下所示： 问题原因：这是Kafka开源问题，需要联系客服，重启Kafka Manager。 父主题： Kafka Manager问题
小。每个Kafka代理会预留33GB的磁盘空间，用于存储日志和元数据。 创建实例时会进行磁盘格式化，磁盘格式化会导致实际可用磁盘为总磁盘的93%~95%。 磁盘类型支持高I/O、超高I/O、极速型SSD和通用型SSD，更多磁盘信息请参考如何选择磁盘类型。 图1 综合推荐 规格测算
从源码安装confluent-kafka python库（此步骤依赖上一步骤的librdkafka so链接库）：$ pip install --no-binary :all: confluent-kafka 6. 编写测试用例测试confluent-kafka使用：此处只提供客
Kafka数据源配置源端MRS Kafka的数据源连接，具体参数配置如下。表1 MRS Kafka数据源配置参数值名称自定义MRS Kafka数据源名称。例如当前配置为“source_kafka”。Manager IP单击输入框旁边的“选择”按钮，选择当前MRS Kafka集群即可自动关联出来Manager
加入kafkaadmin用户组拥有Kafka管理员权限）。如果当前集群未启用Kerberos认证，则无需执行此命令。 kinit MRS集群用户 例如：kinit admin 进入“客户端安装目录/Kafka/kafka/bin”执行Kafka shell命令。 常用的命令如下：
--bootstrap-server 指定kafka服务 指定连接到的kafka服务; 如果有这个参数,则 --zookeeper可以不需要 –bootstrap-server localhost:9092 --zookeeper 弃用, 通过zk的连接方式连接到kafka集群; –zookeeper
DIS Kafka Adapter概述 dis-kafka-adapter是数据接入服务（DIS）提供的一个sdk，支持原本使用Kafka Client上传数据的用户以类似原来的操作将数据上传到DIS，目前只支持Java版本。 父主题：
如何将Kafka实例中的数据同步到另一个Kafka实例中？ Kafka实例支持创建Kafka数据复制类型的Smart Connect任务时，首先开启Smart Connect，然后创建Kafka数据复制类型的Smart Connect任务，实现两个Kafka实例数据的同步，具体步骤请参考创建Smart
在管理控制台左上角单击，选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”，进入Kafka实例列表页面。 单击Kafka实例的名称，进入实例详情页面。
配置Kafka/DMS Kafka源端参数 作业中源连接为Kafka连接或DMS Kafka连接时，源端作业参数如表1所示。 表1 Kafka作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 Topics 支持单个或多个topic。 est1,est2 数据格式 解析数据时使用的格式：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
