检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实例前,请先创建开启弹性公网IP的ECS、安装JDK、配置环境变量以及下载Kafka开源客户端。 登录管理控制台,在左上角单击,选择“计算 > 弹性云服务器”,创建一个ECS实例。 创建ECS的具体步骤,请参考购买弹性云服务器。如果您已有可用的ECS,可重复使用,不需要再次创建。
果关闭,在需要执行此任务时,您可以在Smart Connect任务列表中手动开启任务。 在“源端配置”中,保持默认设置。 在“Topic配置”中,设置以下参数。 表1 Topic配置参数说明 参数 参数说明 正则表达式 表示以正则表达式的方式订阅Topic,并进行转储。 输入/选择
许客户端单IP连接的个数默认为1000个,在此之前购买的实例,Kafka实例的每个代理允许客户端单IP连接的个数默认为200个,如果超过了,会出现连接失败问题。您可以通过修改Kafka实例配置参数来修改单IP的连接数,即修改max.connections.per.ip参数值。 前提条件
实现方式 参考文档 公网连接 客户端通过IPv4地址访问Kafka实例:在Kafka控制台开启公网访问,配置弹性公网IP,客户端通过弹性公网IP访问Kafka实例。 客户端通过IPv6地址访问Kafka实例:在Kafka控制台开启IPv6功能,将IPv6地址加入到共享带宽中,实现客户端通过公网访问Kafka实例。
单击终端节点ID,在“基本信息”页签,查看并记录节点IP。 您可以使用节点IP访问终端节点服务,进行跨VPC资源通信。 图7 查看节点IP 参考1~7,为10中创建的终端节点服务购买终端节点,查看并记录节点IP。 步骤四:修改advertised.listeners IP 在管理控制台左上角单击,选择“应用中间件
great security risks. It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted
首次开启密文接入时设置的用户名,或者创建用户时设置的用户名。 密码 “认证方式”为“SASL_SSL”/“SASL_PLAINTEXT”时,需要设置。 首次开启密文接入时设置的密码,或者创建用户时设置的密码。 Smart Connect任务创建成功后,如果您修改了对端实例的认证方式、认
查看Kafka流控统计 如果Kafka配置了流量控制,可在控制台查看当前流控策略下,每个代理上用户/客户端/Topic的带宽使用量。 约束与限制 单机实例不支持查看流控监控。 查看带宽使用量 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件
消息超过老化时间,消息仍存在的原因 问题现象:消息超过设置的老化时间(如果Topic已经设置了老化时间,此时“配置参数”中的log.retention.hours值将不对此Topic生效。仅在Topic中未设置老化时间时,“配置参数”中的log.retention.hours值才会对此Topic生效。),消息仍存在。
标签管理 批量添加或删除实例标签 查询实例标签 查询项目标签 父主题: API V2(推荐)
许客户端单IP连接的个数默认为1000个,在此之前购买的实例,Kafka实例的每个代理允许客户端单IP连接的个数默认为200个,如果超过了,会出现连接失败问题。您可以通过修改Kafka实例配置参数来修改单IP的连接数,即修改max.connections.per.ip参数值。 前提条件
如果已开启公网访问,在“弹性IP地址”中,选择新扩容代理的公网IP地址。 “子网”保持默认设置。 在“内网IP地址”中,选择“自动分配”或者“手动选择”。 自动分配:系统自动分配子网中可用的IP地址。 手动选择:在下拉框中为新扩容代理勾选指定的IP地址。如果指定的IP地址数量少于代理数量时,系统会自动为剩余代理分配IP地址。
如果公网IP地址数量不足,请单击“创建弹性IP”跳转到弹性公网IP页面,创建公网IP地址。然后返回Kafka控制台,在“公网IP地址”后单击,刷新公网IP地址。 Kafka实例不支持绑定IPv6的弹性公网IP,只支持绑定IPv4的弹性公网IP。 图5 实例访问方式 kafka安全协议、SSL用户名、密码和SASL
同步复制客户端需要配合使用:acks=all 配置发送失败重试:retries=3 发送优化:对于时延敏感的信息,设置linger.ms=0。对于时延不敏感的信息,设置linger.ms在100~1000之间。 生产端的JVM内存要足够,避免内存不足导致发送阻塞。 时间戳设置为与当地时间一致,避免时间戳为未来时间导致消息无法老化。
管理Kafka Manager 访问Kafka Manager 重置Kafka Manager密码 重启Kafka Manager 关闭Kafka Manager 父主题: 管理实例
配置Kafka客户端 Kafka客户端参数配置建议 Kafka客户端使用建议 父主题: 连接实例
配置Kafka访问控制 配置Kafka实例的明文/密文接入 制作和替换Kafka的SSL证书 JKS格式SSL证书转换PEM格式 配置Kafka的SSL双向认证 配置Kafka ACL用户 父主题: 连接实例
Kafka实例的内网连接地址可以修改吗? 不支持修改,且不支持指定IP地址。 父主题: 连接问题
配置Kafka网络连接 连接Kafka网络要求 配置Kafka实例的公网访问 使用VPCEP实现跨VPC访问Kafka 使用DNAT实现公网访问Kafka 父主题: 连接实例
[root@ecs-kafka bin]# 已开启密文接入的Kafka实例,通过以下步骤查询消费组列表。 (可选)修改客户端配置文件。 在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议,两种安全协议对应的配置文件设置有所不同,请根据实际情况配置。 SASL_