检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
责任共担 华为云秉承“将公司对网络和业务安全性保障的责任置于公司的商业利益之上”。针对层出不穷的云安全挑战和无孔不入的云安全威胁与攻击,华为云在遵从法律法规业界标准的基础上,以安全生态圈为护城河,依托华为独有的软硬件优势,构建面向不同区域和行业的完善云服务安全保障体系。 安全性是华为云与您的共同责任,如图1所示。
修改Topic老化时间 修改Topic分区数 变更实例规格 Kafka实例创建成功后,您可以根据业务需要,扩容基准带宽、代理个数、存储空间、代理规格,或者缩容代理规格。 扩容存储空间有次数限制,只能扩容20次。 支持区域: 全部 变更实例规格 公网访问 您需要通过公网地址访问Ka
这个临时响应用来通知客户端,它的部分请求已经被服务器接收,且仍未被拒绝。 101 Switching Protocols 切换协议。只能切换到更高级的协议。 例如,切换到HTTP的新版本协议。 200 OK 请求成功。 201 Created 创建类的请求完全成功。 202 Accepted
instance_ids Array of instance_ids objects 实例信息。 nodes Array of nodes objects 节点信息。 queues Array of queues objects 队列信息。 groups Array of groups objects
如何扩总分区? 增加基准带宽/代理数量,可以扩大总分区数。 在Kafka控制台的实例所在行,单击“更多 > 变更规格”,进入变更规格页面,根据实际情况扩容基准带宽/代理数量。具体操作请参考变更Kafka实例规格。 父主题: Topic和分区问题
子网ID。 available_zones Array of strings 实例节点所在的可用区,返回“可用区ID”。 available_zone_names Array of strings 实例节点所在的可用区名称,返回“可用区名称”。 total_storage_space
在“重启实例”对话框中,单击“是”,完成重启Kafka实例。 重启Kafka实例大约需要3到15分钟。Kafka实例重启成功后,实例状态切换为“运行中”。 重启Kafka实例只会重启实例进程,不会重启实例所在虚拟机。 父主题: 管理实例
转储功能的最大任务数。 min_task String 转储功能的最小任务数。 max_node String 转储功能的最大节点数。 min_node String 转储功能的最小节点数。 表8 ListEnginePropertiesEntity 参数 参数类型 描述 max_partition_per_broker
择。 图2 规格测算 设置网络信息。 表3 实例网络参数说明 参数名称 说明 虚拟私有云 选择已经创建好的或共享的虚拟私有云。 虚拟私有云可以为您的Kafka实例构建隔离的、能自主配置和管理的虚拟网络环境。您可以单击右侧的“管理虚拟私有云”,跳转到网络控制台的“虚拟私有云”页面,查看或创建虚拟私有云。
连接实例 配置Kafka网络连接 配置Kafka访问控制 配置Kafka客户端 使用客户端连接Kafka(关闭SASL) 使用客户端连接Kafka(开启SASL) 使用控制台连接Kafka
查找网络ID。 available_zones 是 Array of strings 创建节点到指定且有资源的可用区ID。请参考查询可用区信息获取可用区ID。 该参数不能为空数组或者数组的值为空。 创建Kafka实例,支持节点部署在1个或3个及3个以上的可用区。在为节点指定可用区时,用逗号分隔开。
子网ID。 available_zones Array of strings 实例节点所在的可用区,返回“可用区ID”。 available_zone_names Array of strings 实例节点所在的可用区名称,返回“可用区名称”。 total_storage_space
查询消费组消息位点 功能介绍 查询消费组消息位点。 调用方法 请参见如何调用API。 URI GET /v2/{engine}/{project_id}/instances/{instance_id}/groups/{group}/message-offset 表1 路径参数 参数
子网ID。 available_zones Array of strings 实例节点所在的可用区,返回“可用区ID”。 available_zone_names Array of strings 实例节点所在的可用区名称,返回“可用区名称”。 total_storage_space
独有的安全加固体系,提供业务操作云端审计,消息传输加密等有效安全措施。 在网络通信方面,除了提供SASL(Simple Authentication and Security Layer)认证,还借助虚拟私有云(VPC)和安全组等加强网络访问控制。 数据高可靠 Kafka实例支持消息持久化,多副
partitions 参数 参数类型 描述 partition Integer 分区ID。 leader Integer leader副本所在节点的id。 leo Integer 分区leader副本的LEO(Log End Offset)。 hw Integer 分区高水位(HW,High
根据业务发展需要,您可以为实例扩容存储空间和基准带宽、修改实例安全组、开启实例转储。除此之外,您还可以实时查看监控指标及审计日志,以便及时了解Kafka实例节点、队列、消费组等相关状态。 日常操作 查看实例信息 扩容实例存储空间 扩容实例代理个数 开启Smart Connect 删除消费组 重置消费进度
连接数限制:3000 消息大小:不能超过10MB 使用SASL_SSL协议访问Kafka:确保DNS具有反向解析能力,或者在hosts文件配置Kafka所有节点IP和主机名映射,避免Kafka client做反向解析,阻塞连接建立。 磁盘容量申请超过业务量 * 副本数的2倍,即保留磁盘空闲50%左右。
请按照表4设置安全组规则。 表4 安全组规则 方向 协议 端口 源地址 说明 入方向 TCP 9011 198.19.128.0/17 通过VPC终端节点实现跨VPC访问Kafka实例(密文接入和明文接入都适用)。 入方向 TCP 9011 Kafka客户端所在的IP地址或地址组 使用DNA
Logstash对接Kafka生产消费消息 方案概述 应用场景 Logstash是免费且开放的服务器端数据处理管道,能够从多个来源采集数据,转换数据,然后将数据发送到指定的存储中。Kafka是一种高吞吐量的分布式发布订阅消息系统,也是Logstash支持的众多输入输出源之一。本章节