正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager地址,无法登录Kafka Manager,报错信息如下图。 根因描述 Windows服务器和Kafka实例不在同一个VPC同一个子网内,或者安全组配置不正确,导致网络无法连通。 Kafka Manager异常。 问题解决措施 检查Windows服务器和Kafka实例是否在同一个VPC同一个子网内? 是,执行2。
删除Kafka Topic(Kafka客户端) 前提条件 已创建Kafka实例,并且已创建Topic。 只有运行中的实例才可以删除Topic。 约束与限制 通过Logstash连接Kafka实例时,请先停止Logstash,然后再删除Topic。在Logstash运行时删除Topic,可能会导致业务崩溃。
Kafka提供基于云监控服务CES的资源和操作监控能力,帮助用户对每个Kafka实例进行自动实时监控、告警和通知操作。用户可以实时掌握实例的各类业务请求、资源占用、流量、连接数和消息积压等关键信息。 关于DMS for Kafka支持的监控指标,以及如何创建监控告警规则等内容,请参见支持的监控指标。
Manager是开源的Kafka集群管理工具,需要通过浏览器才能访问Kafka Manager的地址。在Kafka Manager页面,您可以查看Kafka集群的监控、代理等信息。 2023年5月17日及以后创建的实例不提供Kafka Manager,Kafka实例控制台已支持Kafka
独有的安全加固体系,提供业务操作云端审计,消息传输加密等有效安全措施。 在网络通信方面,除了提供SASL(Simple Authentication and Security Layer)认证,还借助虚拟私有云(VPC)和安全组等加强网络访问控制。 数据高可靠 Kafka实例支持消息持久化,多副
开启SASL_SSL后,实例已开启的SASL认证机制。 SSL证书 单击“下载”,下载连接实例的SSL证书。 内网连接地址 未开启公网访问时,连接实例的地址。 显示的连接地址个数为实例代理个数。 Manager内网访问地址 未开启公网访问时,连接Kafka Manager的地址。 2023年5月17日及以后创建的实例不提供此地址。
“配置类型”为“Kafka地址”时,需要设置。 输入Kafka实例的连接地址和端口号。 使用Kafka数据复制时,两个Kafka实例间只能通过内网连接。如果两个Kafka实例处于不同的VPC中,请先参考使用VPCEP实现跨VPC访问Kafka或者对等连接打通网络。 认证方式 支持以下认证方式: SASL_
emit.heartbeats.enabled true 连接器应定期发出心跳 emit.heartbeats.interval.seconds 5秒 心跳频率 emit.checkpoints.enabled true 连接器应定期发出消费端偏移量信息 emit.checkpoints
方案概述 应用场景 在分布式消息服务Kafka版提供的原生Kafka SDK中,消费者可以自定义拉取消息的时长,如果需要长时间的拉取消息,只需要把poll(long)方法的参数设置合适的值即可。但是这样的长连接可能会对客户端和服务端造成一定的压力,特别是分区数较多且每个消费者开启多个线程的情况下。
购买Kafka实例 分布式消息服务Kafka版 介绍怎样连接未开启SASL的Kafka实例 04:57 连接未开启SASL的Kafka实例 分布式消息服务Kafka版 介绍怎样连接开启SASL_SSL的Kafka实例 06:16 连接开启SASL_SSL的Kafka实例 分布式消息服务Kafka版
全部 购买Kafka实例 连接Kafka 开源Kafka客户端向Kafka实例生产消息和消费消息前,需要先连接Kafka实例。 创建Kafka实例时,支持开启或者关闭SASL_SSL。开源Kafka客户端连接开启SASL_SSL的Kafka实例,与连接未开启SASL_SSL的Ka
请谨慎评估业务影响,建议您在业务低峰期扩容/缩容。 扩容/缩容代理规格的过程中,节点滚动重启造成分区Leader切换,会发生秒级连接闪断,在用户网络环境稳定的前提下,Leader切换时长一般为1分钟以内。多副本的Topic需要在生产客户端配置重试机制,方法如下: 生产客户端为K
是否支持Kerberos认证 不支持 客户端单IP连接数 2020年7月以及之后购买的实例,Kafka实例的每个代理允许客户端单IP连接的个数默认为1000个,在此之前购买的实例,Kafka实例的每个代理允许客户端单IP连接的个数默认为200个,如果超过了,会出现连接失败问题。 Topic 表2 Topic约束与限制
为跨AZ? Kafka实例支持跨AZ容灾,在购买实例时,选择多个可用区即可实现跨AZ容灾。 已购买的实例,在实例详情页“基本信息”页面的“网络”区域,查看可用区数量。多于一个可用区时,表示已实现跨AZ容灾。 图1 实例基本信息 父主题: 实例问题
证) 参数名 获取途径 内网连接地址 在Kafka实例详情页的“连接信息”区域,获取“内网连接地址”。 开启的SASL认证机制 在Kafka实例详情页的“连接信息”区域,获取“开启的SASL认证机制”。 启用的安全协议 在Kafka实例详情页的“连接信息”区域,获取“启用的安全协议”。
Manager的Kafka实例名称,进入实例详情页面。 在“基本信息”页面的“连接信息 > Kafka Manager”后,单击,关闭Kafka Manager。 关闭Kafka Manager后,控制台不显示Kafka Manager连接地址,不支持重置Kafka Manager密码和重启Kafka
致消费的分区消息发生乱序,请谨慎评估业务影响,建议您在业务低峰期升级。 升级过程中节点滚动重启造成分区Leader切换,会发生秒级连接闪断,在用户网络环境稳定的前提下,Leader切换时长一般为1分钟以内。多副本的Topic需要在生产客户端配置重试机制,方法如下: 生产客户端为K
密码和访问密钥)。 在我的凭证下,您可以查看账号ID和用户ID。通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。 区域(Region) 从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Re
权限管理。 建议配置安全组访问控制,保护您的数据不被异常读取和操作。 租户配置安全组的入方向、出方向规则限制,可以控制连接实例的网络范围,避免DMS for Kafka暴露给不可信第三方,详情请参见配置安全组。安全组入方向规则的“源地址”应避免设置为0.0.0.0/0。 建议将访
创建用户 功能介绍 创建Kafka实例的用户,用户可连接开启SASL的Kafka实例。 2023年7月15日前创建的Kafka实例,一个实例最多创建20个用户。2023年7月15日及以后创建的Kafka实例,一个实例最多创建500个用户。 调用方法 请参见如何调用API。 URI