检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
载证书,并在客户端配置文件中设置连接信息。 步骤一:准备工作 注册华为账号并实名认证。 在创建Kafka实例前,请先注册华为账号并实名认证,具体步骤请参考注册华为账号并开通华为云和实名认证介绍。 如果您已有一个华为账号并实名认证,请跳过此步骤。 为账户充值。 在创建Kafka实例
配置Kafka访问控制 配置Kafka实例的明文/密文接入 制作和替换Kafka的SSL证书 JKS格式SSL证书转换PEM格式 配置Kafka的SSL双向认证 配置Kafka ACL用户 父主题: 连接实例
DMS for Kafka安全使用建议 安全性是华为云与您的共同责任。华为云负责云服务自身的安全,提供安全的云;作为租户,您需要合理使用云服务提供的安全能力对数据进行保护,安全地使用云。详情请参见责任共担。 本文提供了使用DMS for Kafka过程中的安全最佳实践,旨在为提高
Generation都会增加1。 reason 触发Rebalance的原因。 groupId 消费组ID。 coordinatorId Coordinator组件所在的Broker。 type 触发Rebalance的操作,取值如下: JOIN_GROUP:新消费者加入消费组。
2023-06-06 本次变更如下: 新增创建消费组接口。 2023-04-23 本次变更如下: 新增Kafka实例批量删除Group接口。 2023-02-03 本次变更如下: 更新创建实例、实例规格变更和查询实例的扩容规格列表的URI,支持实例新规格。 2022-06-30 本次变更如下: 在
g{ ConsumerStrategy: &consumerStrategySinkTask, DestinationFileType: &destinationFileTypeSinkTask, DeliverTimeInterval: &deliverTimeIntervalSinkTask
Manager地址。 未开启公网访问时,Kafka Manager地址为“Manager内网访问地址”。 图1 Kafka Manager内网访问地址 已开启公网访问时,Kafka Manager地址为“Manager公网访问地址”。 图2 Kafka Manager公网访问地址 在浏览器中输入Kafka
balance。 CompletingRebalance:所有成员加入group。 Stable:消费组内成员可正常消费。 coordinator_id Integer 协调器编号。 members Array of members objects 消费者列表。 group_message_offsets
实例正在进行重启操作。 STARTING 实例从已冻结到运行中的中间状态。 EXTENDING 实例正在进行规格变更操作。 EXTENDEDFAILED 实例处于规格变更操作失败的状态。 FROZEN 实例处于已冻结状态,用户可以在“我的订单”中续费开启冻结的实例。 FREEZING
弹性IP地址 如果客户端使用公网连接Kafka实例,请提前创建弹性IP地址。 在创建弹性IP地址时,应注意如下要求: 创建的弹性IP地址与Kafka实例在相同的区域。 弹性IP地址的数量必须与Kafka实例的代理个数相同。 Kafka控制台无法识别开启IPv6转换功能的弹性IP地址。
publicip_id 否 String 实例绑定的弹性IP地址的ID。 以英文逗号隔开多个弹性IP地址的ID。 当oper_type类型是horizontal时,该参数必填。 tenant_ips 否 Array of strings 指定的内网IP地址,仅支持指定IPv4。 指定的IP数量只能小于等于新增节点数量。
region,则访问实例的公网地址。 公网访问时,注意修改Kafka实例的安全组,允许端口9094(明文接入)/9095(密文接入)被外部网络访问。 不同网络环境,对于客户端配置来说,只是连接地址的差异,其他都一样。因此,本手册以同一VPC内子网地址的方式,介绍客户端开发环境搭建。
SmartConnectTaskRespSourceConfig 参数 参数类型 描述 redis_address String Redis实例地址。(仅源端类型为Redis时会显示) redis_type String Redis实例类型。(仅源端类型为Redis时会显示) dcs_instance_id
API V2(推荐) 生命周期管理 实例管理 Smart Connect 规格变更管理 主题管理 消费组管理 用户管理 消息管理 后台任务管理 标签管理 诊断管理 其他接口
Kafka实例的Topic数量是否有限制 Kafka消息堆积了怎么办? Kafka实例的ZK地址是什么?能否直接连接? 为什么Console页面上,消息查询查不到消息? 为什么实例可用区不能选择2个? 更多 实例问题 Kafka实例的ZK地址是什么 Kafka实例的SASL_SSL开关如何修改? Kafka实例是否支持修改访问端口?
配置网络环境。 Kafka实例分内网地址以及公网地址两种网络连接方式。如果使用公网地址,则消息生成与消费客户端需要有公网访问权限,并配置如下安全组。 表1 安全组规则 方向 协议 端口 源地址 说明 入方向 TCP 9094 Kafka客户端所在的IP地址或地址组 通过公网访问Kafka(明文接入)。
消息生产与消费的相关示例。如果您需要在IDE中查看Demo具体表现,请查看Java开发环境搭建。 下文所有Kafka的配置信息,如实例连接地址、Topic名称、用户信息等,请参考收集连接信息获取。 Maven中引入Kafka客户端 //Kafka实例基于社区版本1.1.0/2.3
变更计费模式概述 在购买Kafka实例后,如果发现当前计费模式无法满足业务需求,您可以变更计费模式。支持变更计费模式的Kafka实例计费项如表1所示。 表1 支持变更计费模式的Kafka实例计费项 计费项 变更说明 相关文档 实例规格 变更Kafka实例的计费模式会同时变更实例规格和存储空间的计费模式。
Kafka实例的连接地址默认有多少个? 是否支持跨Region访问? Kafka实例是否支持跨VPC访问? Kafka实例是否支持不同的子网? Kafka是否支持Kerberos认证,如何开启认证? Kafka实例是否支持无密码访问? 开启公网访问后,在哪查看公网IP地址? Kafka支持服务端认证客户端吗?
在Windows服务器中无法登录Kafka Manager 问题现象 在Windows服务器的浏览器中输入Kafka Manager地址,无法登录Kafka Manager,报错信息如下图。 根因描述 Windows服务器和Kafka实例不在同一个VPC同一个子网内,或者安全组配置不正确,导致网络无法连通。