检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看Kafka消息 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 单击Kafka实例名称,进入实例详情页面。 在左侧导航栏选择“消息查询”,进入消息列表页面。
String 转储节点规格编码。仅老规格实例需要填写。 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 job_id String 任务ID。 connector_id String 实例转储ID。 请求示例 新规格按需实例的开启Smart Connect,设置Smart
修改Kafka消息老化时间 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 单击Kafka实例的名称,进入实例详情页面。 在左侧导航栏
在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 单击Kafka实例的名称,进入实例详情页面。 在左侧导航栏选择“消费组管理”,进入消费组列表页面。 消费组列表页面显示消费组名称、消费组状态、Coordinator (ID)和描述。Coordinator
是为了访问Java生成的jks文件。 spring.kafka.ssl.trust-store-password=dms@kafka ## spring.kafka.properties.ssl.endpoint.identification.algorithm为证书域名校验开关
Kafka实例不支持创建Kafka数据复制类型的Smart Connect任务时,如果需要做Kafka实例迁移,可以同时向两个Kafka实例生产消息,源实例中的消息可继续消费,待源实例的消息数据全部被消费完或老化后,业务可迁移到新的Kafka实例。 父主题: 实例问题
分布式消息服务Kafka版完全兼容开源社区版本,旨在为用户提供便捷高效的消息队列。业务无需改动即可快速迁移上云,为您节省维护和使用成本。 一键式部署,免去集群搭建烦恼 您只需要在实例管理界面选好规格配置,提交订单。后台将自动创建部署完成一整套Kafka实例。 兼容开源,业务零改动迁移上云 兼容社
Kafka实例连接数有限制吗? 不同规格的Kafka实例,连接数限制如下: 表1 老规格Kafka实例的连接数 基准带宽 连接数上限 100MB/s 3000 300MB/s 10000 600MB/s 20000 1200MB/s 20000 表2 新规格Kafka实例的连接数 实例规格
如果为真,consumer所fetch的消息的offset将会自动的同步到zookeeper。这项提交的offset将在进程无法提供服务时,由新的consumer使用。 约束: 设置为false后,需要先成功消费再提交,这样可以避免消息丢失。 auto.offset.reset latest
变更实例规格 公网访问 您需要通过公网地址访问Kafka实例时,可开启实例的公网访问功能,并设置公网带宽。当开启成功后,您还可以根据需要修改公网带宽的大小,当前仅支持带宽扩容,不支持缩容。 部分区域不支持“基准带宽”为“100MB/s”的Kafka实例开启公网访问,具体以控制台为准。
15版本使用的Kafka客户端存在bug,当某次消费进度提交失败后, 客户端将coordinator置为不可用且无法自动恢复。 问题解决措施 重启Flink job。 升级Flink至1.16及以上版本。
Kafka实例规格 Kafka单机实例 Kafka集群实例
高。 实践验证 成熟度高 经受电商网站大规模访问考验,并且已经在华为云许多产品中使用,广泛部署运行在分布于世界各地的电信级客户云业务系统里。满足严苛的电信级故障模式库标准。紧随社区主流版本,修复开源bug,持续上线新功能,进行版本升级。 使用开源软件成熟度低,无法保证关键业务,商
authorized to access topics”的报错。 图1 消费者访问权限 处理方法: 如果业务要求所有消费者在同一个消费组内,即group.id相同,解决方法:为所有消费者授权相同的Topic访问权限。 如果消费者不需要在同一个消费组内,解决方法:修改group.id,让每个消费者单独在一个消费组内。
broker_public_bytes_in_rate 公网入流量 统计Broker节点每秒公网访问流入流量。 单位:Byte/s、KB/s、MB/s、GB/s 说明: 已开启公网访问,并且设置了弹性IP地址的实例,支持此监控项。 0~500000000 Kafka实例节点 1分钟
实例管理类接口 创建Kafka实例 查询指定实例 修改实例信息 删除指定实例 批量重启、删除实例 查询所有实例列表 Kafka实例创建Topic Kafka实例查询Topic Kafka实例批量删除Topic 父主题: API V1
生产流量,每秒生产的字节数 broker_public_bytes_in_rate 公网入流量,每秒节点公网访问流入流量 broker_public_bytes_out_rate 公网出流量,每秒节点公网访问流出流量 broker_produce_mean 消息生产平均处理时长,服务端处理消息生产请求平均时长
示例代码中的参数说明如下,请参考收集连接信息获取参数值。 bootstrap_servers:实例连接地址与端口。 topic_name:Topic名称。 sasl_plain_username/sasl_plain_password:首次开启密文接入时设置的用户名与密码,或者创建用户时设置的用户名和密码。
metadata after 60000 ms的错误,如下图所示。 问题解决措施 以下三种措施都可以解决此问题,请根据实际情况任意选择一种。 升级Kafka客户端的版本到2.7或以上版本,并设置“socket.connection.setup.timeout.ms”大于1s,且小于“request
客户端通过IPv4地址访问Kafka实例:在Kafka控制台开启公网访问,配置弹性公网IP,客户端通过弹性公网IP访问Kafka实例。 客户端通过IPv6地址访问Kafka实例:在Kafka控制台开启IPv6功能,将IPv6地址加入到共享带宽中,实现客户端通过公网访问Kafka实例。 配置Kafka实例的公网访问