检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
available_zones Array 是 创建节点到指定且有资源的可用区ID。该参数不能为空数组或者数组的值为空,详情请参考查询可用区信息查询得到。在查询时,请注意查看该可用区是否有资源。 创建Kafka实例,支持节点部署在1个或3个及3个以上的可用区。在为节点指定可用区时,用逗号分隔开。参数设置参考如下示例。
Kafka Manager问题 登录Kafka Manager的帐号是否可以设置为只读帐号? 登录到Kafka Manager页面,为什么获取不到节点信息? Yikes! Insufficient partition balance when creating topic : proje
brokers 参数 参数类型 描述 host String 节点IP。 port Integer 端口号。 broker_id String 节点ID。 is_controller Boolean 是否为contoller节点。 version String 服务端版本。 register_time
客户端消息生产速率=102399 登录Kafka实例控制台,单击测试实例名称,进入实例详情页。 在左侧导航栏单击“监控”,进入监控页面。 在“节点”页签,查看服务端节点的CPU使用率。 图1 broker-0的CPU使用率(batch.size=1KB) CPU消耗=58.10% 图2 broker-0的CPU使用率(batch
partitions参数说明 参数 类型 说明 partition Integer 分区ID。 leader Integer leader副本所在节点的id。 leo long 分区leader副本的LEO(Log End Offset)。 hw long 分区高水位(HW,High Watermark)。
源分类功能。 为Kafka实例添加标签,可以方便用户识别和管理拥有的实例资源。 VPC终端节点(VPC Endpoint) 客户端和Kafka实例在同一区域的不同VPC中,利用VPC终端节点在不同VPC间建立跨VPC的连接通道,实现客户端通过内网访问Kafka实例。 NAT网关(NAT
在单可用区或多可用区中部署实例 使用MirrorMaker跨实例数据同步 副本冗余 副本通过数据同步的方式保持数据一致,当网络发生异常或节点故障时,通过冗余副本自动故障切换,并且故障恢复后会从leader副本进行数据同步,保持数据一致性。 创建多副本的Topic 数据持久化 业
客户端和Kafka实例部署在同一个VPC中,此时网络默认互通。 - 客户端和Kafka实例部署在同一个Region的不同VPC中,利用VPC终端节点在不同VPC间建立跨VPC的连接通道,实现跨VPC访问。 使用VPCEP实现跨VPC访问Kafka 客户端和Kafka实例部署在同一个Re
当前服务端版本为1.1.0、2.7、3.x。实例创建后,服务端版本不支持升级。 兼容0.10以上的客户端版本,推荐使用和服务端一致的版本。 登录Kafka节点所在机器 不能登录。 存储空间 集群实例只支持扩大存储空间,不支持减小存储空间。 扩容存储空间有次数限制,最多扩容20次。 单机实例不支持修改存储空间。
创建一个云连接实例,然后在创建的云连接实例中加载需要互通的VPC,实现跨VPC访问。具体步骤请参考同区域同账号VPC互通。 利用VPC终端节点在不同VPC间建立跨VPC的连接通道,实现Kafka客户端通过内网访问Kafka实例,具体步骤请参考使用VPCEP实现跨VPC访问Kafk
转储功能的最大任务数。 min_task String 转储功能的最小任务数。 max_node String 转储功能的最大节点数。 min_node String 转储功能的最小节点数。 表8 ListEnginePropertiesEntity 参数 参数类型 描述 max_partition_per_broker
子网ID。 available_zones Array of strings 实例节点所在的可用区,返回“可用区ID”。 available_zone_names Array of strings 实例节点所在的可用区名称,返回“可用区名称”。 total_storage_space
rroring data between clusters。 图1 MirrorMaker原理图 约束与限制 源集群中节点的IP地址和端口号不能和目标集群中节点的IP地址和端口号相同,否则会导致数据在Topic内无限循环复制。 使用MirrorMaker同步数据,至少需要有两个或
子网ID。 available_zones Array of strings 实例节点所在的可用区,返回“可用区ID”。 available_zone_names Array of strings 实例节点所在的可用区名称,返回“可用区名称”。 total_storage_space
若Topic为多副本,扩容/缩容代理规格不会造成服务中断,但可能会导致消费的分区消息发生乱序,请谨慎评估业务影响,建议您在业务低峰期扩容/缩容。 扩容/缩容代理规格的过程中,节点滚动重启造成分区Leader切换,会发生秒级连接闪断,在用户网络环境稳定的前提下,Leader切换时长一般为1分钟以内。多副本的Topic
新增以下接口: 查询用户列表 创建用户 批量删除用户 重置用户密码 查询用户权限 设置用户权限 2020-08-25 新增以下接口: 创建实例的转储节点 创建转储任务 查询转储任务列表 修改转储任务的配额 查询单个转储任务 删除单个转储任务 查询实例的扩容规格列表 实例规格变更 2020-08-18
根据业务发展需要,您可以为实例扩容存储空间和基准带宽、修改实例安全组、开启实例转储。除此之外,您还可以实时查看监控指标及审计日志,以便及时了解Kafka实例节点、队列、消费组等相关状态。 日常操作 查看实例信息 扩容实例存储空间 扩容实例代理个数 开启Smart Connect 删除消费组 重置消费进度
partitions 参数 参数类型 描述 partition Integer 分区ID。 leader Integer leader副本所在节点的id。 leo Integer 分区leader副本的LEO(Log End Offset)。 hw Integer 分区高水位(HW,High
连接数限制:3000 消息大小:不能超过10MB 使用SASL_SSL协议访问Kafka:确保DNS具有反向解析能力,或者在hosts文件配置Kafka所有节点IP和主机名映射,避免Kafka client做反向解析,阻塞连接建立。 磁盘容量申请超过业务量 * 副本数的2倍,即保留磁盘空闲50%左右。
请按照表4设置安全组规则。 表4 安全组规则 方向 协议 端口 源地址 说明 入方向 TCP 9011 198.19.128.0/17 通过VPC终端节点实现跨VPC访问Kafka实例(密文接入和明文接入都适用)。 入方向 TCP 9011 Kafka客户端所在的IP地址或地址组 使用DNA