检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
前提条件 确保分区平衡的目标Broker磁盘容量充足,在磁盘存储统计中查看每个Broker的可用磁盘容量。如果目标Broker磁盘剩余容量接近分区平衡迁移到该Broker上的数据量,为了给目标Broker上的消息生产预留存储空间,应先进行磁盘扩容,再进行分区平衡。 使用自动平衡修改副本数
实例规格。 storage_space Integer 消息存储空间,单位:GB。 partition_num String Kafka实例的分区数量。 used_storage_space Integer 已使用的消息存储空间,单位:GB。 dns_enable Boolean 实例是否开启域名访问功能。
实例规格。 storage_space Integer 消息存储空间,单位:GB。 partition_num String Kafka实例的分区数量。 used_storage_space Integer 已使用的消息存储空间,单位:GB。 dns_enable Boolean 实例是否开启域名访问功能。
在实际业务场景中,为消息Key加随机后缀,会导致消息全局不保序,需根据实际业务判断是否适合给消息Key加随机后缀。 磁盘写满的处理措施: 扩容磁盘,使磁盘具备更大的存储空间。 迁移分区,将已写满的磁盘中的分区迁移到本节点的其他磁盘中。 合理设置Topic的数据老化时间,减少历史数据的容量大小。 在CPU资
strings 资源售罄的可用区列表。 表5 ExtendProductIosEntity 参数 参数类型 描述 io_spec String 存储IO规格。 available_zones Array of strings 有可用资源的可用区列表。 type String IO类型。
有可用资源的可用区列表。 表5 detail 参数 参数类型 描述 tps String 单位时间内的消息量最大值。 storage String 消息存储空间。 partition_num String Kafka实例的分区数量。 product_id String 产品ID。 spec_code
前提条件 确保分区平衡的目标Broker磁盘容量充足,在磁盘存储统计中查看每个Broker的可用磁盘容量。如果目标Broker磁盘剩余容量接近分区平衡迁移到该Broker上的数据量,为了给目标Broker上的消息生产预留存储空间,应先进行磁盘扩容,再进行分区平衡。 自动平衡 登录管理控制台。
Kafka实例的detail参数说明 参数 类型 说明 tps String 单位时间内的消息量最大值。 storage String 消息存储空间。 partition_num String Kafka实例的最大Topic数。 product_id String 产品ID。 spec_code
区域:华北-北京四 可用区:可用区1 版本:2.7 部署架构:集群 代理规格:kafka.2u4g.cluster 代理数量:3 单代理存储空间:超高I/O,200GB 虚拟私有云:选择虚拟私有云 子网:选择子网 安全组:选择安全组 访问方式:保持默认 实例名称:kafka-test
afka实例列表页面。 Kafka实例支持通过筛选来查询对应的Kafka实例。当前支持的筛选条件为标签、状态、名称、版本、规格、已用/可用存储空间、分区上限、计费模式和企业项目。企业用户才能使用企业项目进行筛选。Kafka实例状态请参见表1。 表1 Kafka实例状态说明 状态 说明
指标ID 指标名称 测量对象 告警策略 指标说明 告警处理建议 broker_disk_usage 磁盘容量使用率 节点 告警阈值:原始值>80% 连续触发次数:1 告警级别:紧急 该指标为从Kafka节点虚拟机层面采集的磁盘容量使用率。 出现该告警时,需要修改实例存储空间。具体操作,请参考变更实例规格。
"2e148bed-3038-4617-8ade-b52e84a33eeb", "task_name" : "obsTransfer-1122976956", "destination_type" : "OBS", "create_time" : 1592309487621, "status"
示) record_delimiter String 记录分行符。(仅目标端类型为OBS时会显示) store_keys Boolean 存储Key。(仅目标端类型为OBS时会显示) obs_part_size Integer 每个传输文件多大后就开始上传,单位为byte;默认值
创建实例时为什么无法查看子网和安全组等信息? 创建实例时,如果无法查看虚拟私有云、子网、安全组、弹性IP,可能原因是该用户的用户组无Server Administrator和VPC Administrator权限。增加用户组权限的详细步骤,请参考修改用户组权限。 父主题: 实例问题
概述 Kafka实例完全兼容开源Kafka协议,可以直接使用kafka开源客户端连接。如果“kafka安全协议”设置为“SASL_SSL”,则在开源客户端基础上使用云服务提供的证书文件。 本指南主要介绍实例连接信息的收集,如获取实例连接地址、Topic名称等,然后提供Java、Python和Go等语言的连接示例。
权限和授权项 如果您需要对您所拥有的Kafka实例进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),如果华为账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用Kafka实例的其它功能。
使用DNAT实现公网访问Kafka 您可以通过以下任意一个方式实现公网访问: 在Kafka实例控制台开启公网访问,使用弹性IP地址连接Kafka实例,具体请参考配置Kafka实例的公网访问。 使用DNAT通过端口映射方式,将弹性IP地址映射到Kafka实例指定端口,实现Kafka实例对公网提供服务。
构造请求 本节介绍REST API请求的组成,并以调用IAM服务的管理员创建IAM用户来说明如何调用API。 您还可以通过这个视频教程了解如何构造请求调用API:https://bbs.huaweicloud.com/videos/102987。 请求URI 请求URI由如下部分组成。
使用VPCEP实现跨VPC访问Kafka Kafka客户端和Kafka实例在同一区域的不同VPC中,由于VPC之间逻辑隔离,Kafka客户端和Kafka实例不能直接通信。您可以通过以下任意一个方式实现跨VPC访问: 创建VPC对等连接,将两个VPC的网络打通,实现跨VPC访问。具体步骤请参考对等连接。
测试Kafka实例TPS 通过以下几个场景,测试不同实例规格的TPS。 测试场景一(实例是否开启SASL):相同的Topic,实例分为开启SASL和未开启SASL 测试场景二(同步/异步复制):相同的实例,不同复制机制的Topic 测试场景三(是否同步落盘):相同的实例,不同落盘机制的Topic