检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在左侧导航栏单击“共享带宽”,进入“共享带宽”页面。 申请一个共享带宽,具体操作请参考申请共享带宽。 如果已有共享带宽,可重复使用,无需再次申请。 在共享带宽所在行,单击“添加公网IP”,弹出“添加公网IP”对话框。 设置如表5参数,单击“确定”。
连接开启SASL_SSL的Kafka实例时,ssl truststore文件可以用PEM格式的吗? 可以使用PEM格式。使用PEM格式SSL证书连接Kafka实例的方法请参考获取和使用Kafka PEM格式的SSL证书。 父主题: 连接问题
其中,生产消息配置文件和消费消息配置文件中的SASL信息修改为如下内容。 #SASL认证机制为“PLAIN”时,配置信息如下。
可能原因1:Topic的每个分区都是由多个大小相同的segment文件组成,每个segment文件的大小为500MB,当segment文件存储的消息大小到达500MB后,才会新建下一个segment文件。Kafka删除消息是删除segment文件,而不是删除一条消息。
如果使用SASL认证方式,则在开源客户端基础上使用分布式消息服务Kafka版提供的证书文件。具体操作参考使用客户端连接Kafka(开启SASL)。 父主题: 连接问题
消息进行转储时,不支持以Key作为文件名。 单击“立即创建”,跳转到Smart Connect任务列表页面,页面右上角显示“创建xxx任务成功”。 父主题: 使用Smart Connect迁移数据
ssl.endpoint.identification.algorithm= 加载SSL证书文件失败 出现下图的错误信息: 解决方案: 请检查对应地址的client.jks文件是否存在。 检查进程和文件所属权限。
如果“kafka安全协议”设置为“SASL_SSL”,则在开源客户端基础上使用云服务提供的证书文件。 本指南主要介绍实例连接信息的收集,如获取实例连接地址、Topic名称等,然后提供Java、Python和Go等语言的连接示例。
touch producer.py producer.py表示文件名,您可以自定义文件名。 执行以下命令,编辑文件。 vim producer.py 将以下生产消息的代码示例写入文件中,并保存。
下载后解压,有如下文件: 表1 Kafka Demo文件清单 文件名 路径 说明 DmsConsumer.java .\src\main\java\com\dms\consumer 消费消息的API。 DmsProducer.java .
区域(Region) 从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。
图7 创建“input.conf”配置文件 在“input.conf”配置文件中,增加如下内容,连接Kafka实例。
生产消息配置文件(对应生产消息代码中的dms.sdk.producer.properties文件) 以下粗体部分为不同Kafka实例特有的信息,必须修改。客户端其他参数,可以自主添加。 #Topic名称在具体的生产与消费代码中。
”配置文件参考使用客户端连接Kafka(开启SASL)。
客户端通过IPv6地址访问Kafka实例:在Kafka控制台开启IPv6功能,将IPv6地址加入到共享带宽中,实现客户端通过公网访问Kafka实例。 配置Kafka实例的公网访问 使用DNAT通过端口映射方式,实现客户端通过公网连接Kafka实例。
Kafka数据迁移概述 Kafka迁移指将生产与消费消息的客户端切换成连接新Kafka,部分还涉及将持久化的消息文件迁移到新的Kafka。主要涉及到以下2类场景: 业务上云且不希望业务有中断。 在上云过程中,连续性要求高的业务,需要平滑迁移,不能有长时间的中断。
否则在Kafka客户端的“/config”目录中创建“ssl-user-config.properties”文件,在文件中增加如下内容。
否则在Kafka客户端的“/config”目录中创建“ssl-user-config.properties”文件,在文件中增加如下内容。
否则在Kafka客户端的“/config”目录中创建“ssl-user-config.properties”文件,在文件中增加如下内容。
partition_format String 将转储文件的生成时间使用“yyyy/MM/dd/HH/mm”格式生成分区字符串,用来定义写到OBS的Object文件所在的目录层次结构。