检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
读取文件报错，如何正确读取文件 问题现象 创建训练作业如何读取“json”和“npy”文件。 训练作业如何使用cv2库读取文件。 如何在MXNet环境下使用torch包。
连接开启SASL_SSL的Kafka实例时，ssl truststore文件可以用PEM格式的吗？ 可以使用PEM格式。使用PEM格式SSL证书连接Kafka实例的方法请参考获取和使用Kafka PEM格式的SSL证书。 父主题： 连接问题
49”，“2017”表示最外层文件夹。 说明： 数据转储成功后，存储的目录结构为“obs_bucket_path/file_prefix/partition_format”。默认时间是GMT+8 时间 record_delimiter String 转储文件的记录分隔符，用于分隔写入转储文件的用户数据。
转储启动偏移量 支持以下两种转储启动偏移量： 最早：最小偏移量，即读取最早的数据。 最新：最大偏移量，即获取最新的数据。 数据转储周期 两次转储的时间间隔，单位：秒，默认配置为300秒。 若某个时间段内无数据，则此时间段不会生成打包文件。 AK 访问密钥ID。 获取AK的方法，具体请参见新增访问密钥。
准备Kafka配置信息 为了方便，下文分生产与消费两个配置文件介绍。其中涉及SASL认证配置，如果Kafka实例没有开启密文接入，使用的是不加密连接，请注释相关代码；如果Kafka实例开启了密文接入，则必须使用加密方式连接，请设置相关参数。 生产消息配置文件（对应生产消息代码中的dms.sdk.producer
以下示例演示在Java客户端使用PEM格式证书访问Kafka实例。 参考Java客户端接入示例，连接Kafka实例生产消费消息。其中，生产消息配置文件和消费消息配置文件中的SASL信息修改为如下内容。 #SASL认证机制为“PLAIN”时，配置信息如下。 sasl.mechanism=PLAIN sasl
在Windows主机中，解压Logstash压缩包，进入“config”文件夹，创建“output.conf”配置文件。 图3 创建“output.conf”配置文件 在“output.conf”配置文件中，增加如下内容，连接Kafka实例。 input { stdin
1 生产消息 在客户端创建一个文件，用于存放生产消息的代码示例。 touch producer.py producer.py表示文件名，您可以自定义文件名。 执行以下命令，编辑文件。 vim producer.py 将以下生产消息的代码示例写入文件中，并保存。 SASL认证方式 from
ASL认证的“consumer.properties”配置文件参数： --command-config {SASL认证的consumer.properties配置文件}，“consumer.properties”配置文件参考使用客户端连接Kafka（开启SASL）。 父主题： 消息问题
根据SASL认证机制，修改Kafka命令行工具配置文件。 PLAIN机制：在Kafka命令行工具的“/config”目录中找到“consumer.properties”和“producer.properties”文件，并分别在文件中增加如下内容。 sasl.jaas.config=org
bin]# 已开启密文接入的Kafka实例，通过以下步骤查询消费组列表。 （可选）修改客户端配置文件。 在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议，两种安全协议对应的配置文件设置有所不同，请根据实际情况配置。 SASL_PLAINTEXT：如果已经设置了用户名和
Kafka数据迁移概述 Kafka迁移指将生产与消费消息的客户端切换成连接新Kafka，部分还涉及将持久化的消息文件迁移到新的Kafka。主要涉及到以下2类场景： 业务上云且不希望业务有中断。 在上云过程中，连续性要求高的业务，需要平滑迁移，不能有长时间的中断。 在云上变更业务部署。
获取并安装IntelliJ IDEA，可至IntelliJ IDEA官方网站下载。 操作步骤 下载Demo包。 下载后解压，有如下文件： 表1 Kafka Demo文件清单 文件名 路径 说明 DmsConsumer.java .\src\main\java\com\dms\consumer 消费消息的API。
K/SK两种认证，Kerberos认证目前不支持。 如果使用SASL认证方式，则在开源客户端基础上使用分布式消息服务Kafka版提供的证书文件。具体操作参考使用客户端连接Kafka（开启SASL）。 父主题： 连接问题
已开启密文接入的Kafka实例，通过以下步骤修改Topic分区数。 （可选）修改客户端配置文件。 在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议，两种安全协议对应的配置文件设置有所不同，请根据实际情况配置。 SASL_PLAINTEXT：如果已经设置了用户名和
bin]# 已开启密文接入的Kafka实例，通过以下步骤删除消费组。 （可选）修改客户端配置文件。 在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议，两种安全协议对应的配置文件设置有所不同，请根据实际情况配置。 SASL_PLAINTEXT：如果已经设置了用户名和
bin]# 已开启密文接入的Kafka实例，通过以下步骤删除Topic。 （可选）修改客户端配置文件。 在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议，两种安全协议对应的配置文件设置有所不同，请根据实际情况配置。 SASL_PLAINTEXT：如果已经设置了用户名和
jks”在后续步骤“替换证书”时，用来替换“Keystore文件”和“Truststore文件”。“client.truststore.jks”需要存放到客户端中，并记录存放路径，此路径用于客户端连接Kafka实例时，配置文件中“ssl.truststore.location”参数的值。
的segment文件组成，每个segment文件的大小为500MB，当segment文件存储的消息大小到达500MB后，才会新建下一个segment文件。Kafka删除消息是删除segment文件，而不是删除一条消息。Kafka要求至少保留一个segment文件用来存储消息，如果
Kafka实例完全兼容开源Kafka协议，可以直接使用kafka开源客户端连接。如果“kafka安全协议”设置为“SASL_SSL”，则在开源客户端基础上使用云服务提供的证书文件。 本指南主要介绍实例连接信息的收集，如获取实例连接地址、Topic名称等，然后提供Java、Python和Go等语言的连接示例。 本指南
algorithm= 加载SSL证书文件失败 出现下图的错误信息： 解决方案： 请检查对应地址的client.jks文件是否存在。 检查进程和文件所属权限。 检查consumer.properties和producer.properties文件中的ssl.truststore.password参数是否配置正确。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
