检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
分区平衡后Topic的metadata会改变,如果生产者不支持重试机制,会有少量的请求失败,导致部分消息生产失败。 数据量大的Topic进行分区平衡的时间会比较长,建议根据Topic的消费情况,适当调小Topic老化时间,使得Topic的部分历史数据被及时清理,加快迁移速度。Topic的数据量可以
配置Topic 创建Kafka Topic 设置Kafka Topic权限 Topic管理
操作影响 开启Smart Connect后,实例需要另外收取用于Smart Connect的代理费用。 例如:规格为kafka.4u8g.cluster的实例,会另外创建至少两个规格为kafka.4u8g的代理,用于Smart Connect,所以需要收取相应代理费用。 前提条件 已创
在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 单击Kafka实例的名称,进入实例详情页面。 在左侧导航栏单击“Topic管理”,进入Topic列表页面。
2u4g.cluster.small 3~30 20000 100 15 2000 300GB~300000GB 40 kafka.2u4g.cluster 3~30 30000 250 20 2000 300GB~300000GB 100 kafka.4u8g.cluster 3~30
配置如下: 规格:kafka.2u4g.cluster*3 总存储空间:高I/O 300GB 用了一段时间后,用户发现Kafka实例当前规格无法满足业务需要,于2023/03/20 9:00:00升配为kafka.4u8g.cluster*3。因为该Kafka实例打算长期使用下去,于2023/03/20
生产消息失败 问题现象 系统提示“Disk error when trying to access log file on the disk”错误。 根因描述 节点磁盘使用率超高导致生产消息失败。 问题解决措施 扩容实例的磁盘空间,具体操作请参考变更Kafka实例规格。
Kafka常用操作与系统策略的授权关系,您可以参照该表选择合适的系统策略。 表2 常用操作与系统策略的关系 操作 DMS FullAccess DMS UserAccess DMS ReadOnlyAccess DMS VPCAccess DMS KMSAccess DMS ELBAccess
2版本。 购买客户端服务器。 购买1台ECS服务器(区域、可用区、虚拟私有云、子网、安全组与Kafka实例保持一致,Linux系统),具体步骤请参考购买弹性云服务器。 购买完成ECS后,需要在ECS中完成以下配置: 安装Java JDK,并配置JAVA_HOME与PATH环境变量。
限速,单位为KB/s。-1表示不限速。(仅源端类型为Redis时需要填写) current_cluster_name 否 String 当前Kafka实例别名。(仅源端类型为Kafka时需要填写) cluster_name 否 String 对端Kafka实例别名。(仅源端类型为Kafka时需要填写)
Kafka支持的监控指标 功能说明 本章节定义了分布式消息服务Kafka版上报云监控服务的监控指标的命名空间,监控指标列表和维度定义,您可以通过云监控服务的管理控制台或API接口来检索Kafka实例产生的监控指标和告警信息,也可以通过分布式消息服务Kafka版控制台提供的“监控”页面来检索Kafka实例产生的监控指标。
ReadOnlyAccess”已生效。 在“服务列表”中选择云硬盘(假设当前策略仅包含DMS ReadOnlyAccess),若提示权限不足,表示“DMS ReadOnlyAccess”已生效。 在“服务列表”中选择分布式消息服务Kafka版(假设当前策略仅包含DMS ReadOnlyAccess),进入Kafka实
kafka.2u4g.cluster.small 3~30 20000 100 15 2000 300~300000 40 kafka.2u4g.cluster 3~30 30000 250 20 2000 300~300000 100 kafka.4u8g.cluster 3~30 100000
在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 单击Kafka实例名称,进入实例详情页面。 在“用户管理”页面,单击“创建用户”。 在弹出的“创建用户”对话框中,参考配置Kafka
弹性云服务器(Elastic Cloud Server) 弹性云服务器是由CPU、内存、操作系统、云硬盘组成的基础的计算组件。Kafka实例运行在弹性云服务器上,一个代理对应一台弹性云服务器。 云硬盘(Elastic Volume Service) 云硬盘为云服务器提供块存储
"product_alias" : "kafka.2u4g.cluster" } }, { "type" : "cluster", "product_id" : "c6.4u8g.cluster", "ecs_flavor_id" : "c6.xlarge
0条消息。查询超大消息(即单条消息超过20KB)或时间跨度大的消息时,建议将消息下载到本地,在本地进行关键字查询。 当Topic中的数据量比较大时,单副本Topic查询消息可能会报“内部服务错误”,建议根据数据量适当减小查询时间范围。 单击“搜索”,查询消息。 查询结果如下: 图1
"available_zones": [ "effdcbcxxx6b42f56533" ], "product_id": "c6.2u4g.cluster", "storage_spec_code": "dms.physical.storage.high.v2" } name:实例名称,由您自行定义。
计费项 计费说明 分布式消息服务Kafka版的计费项由实例费用和存储空间费用组成。具体内容如表1所示。 如您需要快速了解分布式消息服务Kafka版的具体价格,请参见分布式消息服务Kafka版价格详情。 表1 分布式消息服务Kafka版计费项 计费项 计费项说明 适用的计费模式 计费公式
分区数上限不同,具体请参见产品规格。 例如:kafka.4u8g.cluster*3的实例,已创建800个分区,您想把此实例的规格缩容为kafka.2u4g.cluster*3,kafka.2u4g.cluster*3规格的实例分区数上限为750,此时无法缩容。 扩容/缩容代理规格的过程