检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka实例是否支持修改访问端口? Kafka实例的SSL证书有效期多长? 如何将Kafka实例中的数据同步到另一个Kafka实例中? Kafka实例的SASL_SSL开关如何修改? SASL认证机制如何修改? 如何修改安全协议? 修改企业项目,是否会导致Kafka重启? 100MB/s的带宽怎样开启公网访问?
实例使用类接口 查询分区指定偏移量的消息 查询分区指定时间段的消息 查询分区最新消息的位置 查询分区最早消息的位置 查询Kafka集群元数据信息 查询消费组信息 重置消费组消费进度到指定位置 查询Kafka实例所有消费组对应的协调器信息 查询Kafka实例Topic详细信息 新增Kafka实例指定Topic分区
IP(使用DNAT访问) 步骤五:验证接口连通性 参考使用客户端连接Kafka(关闭SASL)或者使用客户端连接Kafka(开启SASL),测试是否可以生产和消费消息。 测试接口连通性时,注意以下几点: 连接Kafka实例的地址为“advertised.listeners IP:9011”,以图6
已准备一台Linux系统的服务器,并安装Java Development Kit 1.8.111或以上版本,配置JAVA_HOME与PATH环境变量。 实例已开启Kafka SASL_SSL。 步骤一:制作客户端验证服务端的证书 登录Linux系统的服务器,执行以下命令,生成server
或迁移。 Smart Connect的使用流程为: 开启Smart Connect。 创建Smart Connect任务。 本章节主要介绍如何开启Smart Connect。 单机实例不支持开启Smart Connect。 操作影响 开启Smart Connect后,实例需要另外收取用于Smart
批量导入/导出Topic 支持批量导出,不支持批量导入。 Topic名称 Topic名称开头包含特殊字符,例如#号“#”,会导致监控数据无法展示。 是否支持延迟队列 不支持 代理故障场景 实例中部分代理故障时,无法创建、修改和删除Topic,只能查询Topic。 消费组 表3 消费组约束与限制 限制项
Kafka客户端所在的IP地址或地址组 使用内网通过同一个VPC访问Kafka实例(开启SSL加密)。 创建安全组后,系统默认添加入方向“允许安全组内的弹性云服务器彼此通信”规则和出方向“放通全部流量”规则,此时使用内网通过同一个VPC访问Kafka实例,无需添加表2的规则。 开启IPv4公网访问(支持修改明文/密文接入)
uent提供的官方Kafka客户端库,与Kafka完全兼容,支持所有的Kafka特性。 稳定性高,基于librdkafka,具有高性能和低延迟的特点。 增加编译复杂度。由于导入C++库,Golang编译器需要引入额外编译配置,增加了编译依赖,提高编译复杂度。 Kafka-go k
Failed 未满足前提条件,服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大,服务器无法处理,因此拒绝请求。为防止客户端的连续请求,服务器可能会关闭连接。如果只是服务器暂时无法处理,则会包含一个Retry-After的响应信息。
使用客户端连接Kafka(关闭SASL) 本章节介绍如何使用开源的Kafka客户端访问关闭SASL的Kafka实例的方法。关闭SASL表示客户端访问Kafka实例时,无需进行认证,数据通过明文传输,性能更好。 2020年7月以及之后购买的实例,Kafka实例的每个代理允许客户端单
listeners IP 步骤五:验证接口连通性 参考使用客户端连接Kafka(关闭SASL)或者使用客户端连接Kafka(开启SASL),测试是否可以生产和消费消息。 测试接口连通性时,注意以下几点: 连接Kafka实例的地址为“advertised.listeners IP:9011”,以图8
配置Kafka间的数据复制 本章节介绍如何创建Kafka数据复制的Smart Connect任务,通过Smart Connect任务可以在两个Kafka实例之间,实现数据的单向或双向复制。 2022年7月1日前已开启Smart Connect的实例,如果没有Kafka数据复制,请先关闭Smart
spring-kafka的使用 本文介绍如何使用spring-kafka连接华为云Kafka实例进行消息的生产和消费。相关代码您可以从kafka-springboot-demo中获取。 下文所有Kafka的配置信息,如实例连接地址、Topic名称、用户信息等,请参考收集连接信息获取。
\src\test\java\com\dms\consumer 消费消息的测试代码。 DmsProducerTest.java .\src\test\java\com\dms\producer 生产消息的测试代码。 pom.xml .\ maven配置文件,包含Kafka客户端引用。
查看和重置Kafka消费进度 消费进度表示消费者的消费位置,本章节介绍如何查看和重置消费进度,重置消费进度即修改消费者的消费位置。 重置消费进度可能会导致重复消费,请谨慎操作。 操作视频 本视频演示重置Kafka消费进度的操作。 前提条件 Kafka实例不支持在线重置消费进度,请
ssl.truststore.location=E:\\temp\\client.jks #ssl truststore.password为服务器证书密码,配置此密码是为了访问Java生成的jks文件。 ssl.truststore.password=dms@kafka #ssl.endpoint
2022年9月及以后创建的实例,转储任务配额默认为最大值,由于转储任务配额不支持减少,调用此接口修改转储任务配额会报错。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/connectors/{connector_id}/sink-tasks 表1
网络正常,如下: 网络异常/不通,如下: 解决方案: 检查是否同一个VPC。如果不是,请参考跨VPC访问。 检查安全组规则是否配置正确。请参考如何选择和配置安全组。 检查Consumer和Producer的配置 查看日志,检查Consumer和Producer初始化时打印的参数是否符
前提条件 已准备一台Linux系统的服务器,并安装Java Development Kit 1.8.111或以上版本,配置JAVA_HOME与PATH环境变量。 实例已开启Kafka SASL_SSL。 步骤一:制作证书 登录Linux系统的服务器,执行以下命令,生成server.keystore
Kafka服务和ZK是部署在相同的虚拟机中,还是分开部署? Kafka服务和ZK部署在相同的虚拟机中。 父主题: 实例问题