检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何选择Kafka实例的存储空间? 存储空间主要是指用于存储消息(包括副本中的消息)、日志和元数据所需要的空间。选择存储空间时,需要选择磁盘类型和磁盘大小。更多磁盘信息,请参考如何选择磁盘类型。 假设业务存储数据保留天数内磁盘大小为100GB,则磁盘容量最少为100GB*副本数 +
消息被消费后,没有删除,导致Kafka存储空间占满? 消息被消费后,并不会被删除,只有超过老化时间,才会被删除。 您可以通过减小老化时间或者扩容存储空间,解决此问题。 父主题: Topic和分区问题
Kafka实例是否支持查看单个Topic占用磁盘空间? 支持。通过以下任意一种方法,查看单个Topic占用磁盘空间大小。 在Kafka实例名称所在行,单击“查看监控数据”,跳转到云监控页面。在“主题”页签中,“主题”选择待查看磁盘空间大小的Topic名称,“监控类型”选择“基本监控
回收站策略默认是关闭状态。 约束与限制 回收站中的按需实例不会收取实例的费用,但是会收取存储空间的费用。 包年/包月的实例退订后会存入回收站中,此时不会收取实例的费用,但是会按需收取存储空间的费用。 包年/包月的实例从回收站中恢复后,计费模式会变为按需计费。 处于宽限期和保留期的实
配置Topic 创建Kafka Topic 设置Kafka Topic权限 Topic管理
Kafka实例支持批量导入Topic功能么?或者是自动生成Topic功能? Kafka实例是否支持查看单个Topic占用磁盘空间? Topic是否支持ACL权限配置? 消息被消费后,没有删除,导致Kafka存储空间占满? 如何扩总分区? 修改自动创建Topic的配置,会触发重启吗? 消费者消费Topic失败,提示没有权限?
查看Kafka实例后台任务 对实例的一些操作,如表1所示,会启动一个后台任务,您可以在后台任务页,查看该操作的状态等信息,同时可通过删除操作,清理任务信息。 表1 后台任务列表 任务名 说明 创建实例 创建一个Kafka实例。 重启实例 重启Kafka实例。 Kafka配置参数修改 修改Kafka的配置参数。
Kafka实例的实例费用和存储空间费用会分别上报一条账单到计费系统进行结算。查看指定资源的账单时,需要分别查看实例账单和存储空间账单。 在Kafka实例列表页面如下图所示位置单击鼠标左键,复制实例的资源ID。 图2 获取资源ID(实例) 单击实例名称,进入实例详情页,查看存储空间的资源ID。 图3
access log file on the disk”错误。 根因描述 节点磁盘使用率超高导致生产消息失败。 问题解决措施 扩容实例的磁盘空间,具体操作请参考变更Kafka实例规格。
实例问题 为什么可用区不能选择2个? 创建实例时为什么无法查看子网和安全组等信息? 如何选择Kafka实例的存储空间? Kafka实例的超高IO和高IO如何选择? 如何选择Kafka实例存储容量阈值策略? Kafka服务端支持版本是多少? Kafka实例的ZK地址是什么? 创建的Kafka实例是集群模式么?
invalid. 时间戳无效。 请输入正确的时间戳。 400 DMS.00400500 Invalid disk space. 磁盘空间不合法 请检查磁盘空间 400 DMS.00400800 Invalid request parameter. Check the request parameter
使用 根据业务发展需要,您可以为实例扩容存储空间和基准带宽、修改实例安全组、开启实例转储。除此之外,您还可以实时查看监控指标及审计日志,以便及时了解Kafka实例节点、队列、消费组等相关状态。 日常操作 查看实例信息 扩容实例存储空间 扩容实例代理个数 开启Smart Connect
流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 华为云分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队列服务,向用户提供计算、存储和带宽资源独占式的Kafka专享实例。使用华为云分布式消息服务Kafka版,资源按需申请,即买即用,您将有更多精力
storage:存储空间扩容,代理数量不变。 horizontal:代理数量扩容,每个broker的存储空间不变。 vertical:垂直扩容,broker的底层虚机规格变更,代理数量和存储空间不变。 new_storage_space 否 Integer 扩容后的存储空间。 当oper
afka的磁盘存储空间收费。以下计费项支持按需计费。 表1 适用计费项 计费项 说明 实例费用 包括代理规格和代理数量。 如果开启Smart Connect,实例需要另外收取用于Smart Connect的代理费用。 存储空间费用 总存储空间(单个代理的存储空间*代理数量)的费用。
修改Topic老化时间 修改Topic分区数 变更实例规格 Kafka实例创建成功后,您可以根据业务需要,扩容基准带宽、代理个数、存储空间、代理规格,或者缩容代理规格。 扩容存储空间有次数限制,只能扩容20次。 支持区域: 全部 变更实例规格 公网访问 您需要通过公网地址访问Kafka实例时,可开
址。 扩容存储空间(老规格实例) 在“存储空间”中,选择扩容后的存储空间大小,单击“下一步”。 确认扩容信息无误后,单击“提交”。 在实例列表页面,查看变更是否成功? 实例状态从“变更中”变为“运行中”时,表示变更成功,在“已用/可用存储空间”中查看扩容后的存储空间大小。 图4 查看扩容后的存储空间
fka的磁盘存储空间收费。以下计费项支持包年/包月。 表1 适用计费项 计费项 说明 实例费用 包括代理规格和代理数量。 如果开启Smart Connect,实例需要另外收取用于Smart Connect的代理费用。 存储空间费用 总存储空间(单个代理的存储空间*代理数量)的费用
单个代理存储空间 选择存储Kafka数据的磁盘类型和磁盘大小。Kafka实例创建后,磁盘类型不支持修改。 存储空间用于存储消息(包括副本中的消息)、日志和元数据,建议根据业务消息体积、副本数量以及预留磁盘大小选择存储空间大小。每个Kafka代理会预留33GB的磁盘空间,用于存储日志和元数据。
Kafka实例的存储空间估算参考 Kafka实例支持多副本存储,存储空间用于存储消息(包括副本中的消息)、日志和元数据。您在创建Kafka实例,选择初始存储空间时,建议根据业务消息体积预估、副本数量以及预留磁盘大小选择合适的存储空间。每个Kafka代理会预留33GB的磁盘空间,用于存储日志和元数据。