检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
生产消息 在客户端创建一个文件,用于存放生产消息的代码示例。 touch producer.py producer.py表示文件名,您可以自定义文件名。 执行以下命令,编辑文件。 vim producer.py 将以下生产消息的代码示例写入文件中,并保存。 SASL认证方式 from
表1 Kafka集群实例规格 规格名称 代理个数范围 单个代理TPS 单个代理分区上限 单个代理建议消费组数 单个代理客户端总连接数上限 存储空间范围(GB) 单个代理流量规格(MB/s) kafka.2u4g.cluster.small 3~30 20000 100 15 2000
到期转按需”,弹出“到期转按需”对话框,单击“是”。 查看资费变更的相关信息,确认无误后单击“到期转按需”。 在费用中心转按需 进入“费用中心 > 续费管理”页面。 自定义查询条件。 可在“到期转按需项”页签查询已经设置到期转按需的资源。 可对“手动续费项”、“自动续费项”、“到期不续费项”页签的资源设置到期转按需的操作。
务的性能影响非常小。 Kafka将日志存储在消息文件中,实现日志的持久化存储。 日志处理应用,如Logstash,订阅并消费Kafka中的日志消息,最终供文件搜索服务检索日志,或者由Kafka将消息传递给Hadoop等其他大数据应用系统化存储与分析。 图4 日志同步示意图 上图中
Kafka资源的安全状态,更好的组合使用DMS for Kafka提供的多种安全能力,提高对DMS for Kafka资源的整体安全防御能力,保护存储在DMS for Kafka内的数据不泄露、不被篡改,以及数据在传输过程中不泄露、不被篡改。 本文从以下几个维度给出建议,您可以评估DMS
poll.records条消息会不会超过max.poll.interval.ms时间。 消息处理流程是否有网络行为,如写数据库、调用后端API等,在发生Rebalance的场景下消费者下游系统是否正常。 解决方法:建议在消费者客户端将max.poll.records值减小,如果消息处理时间较长可以适当增加max
限期到期后仍未续费,资源状态变为“已冻结”。 超过宽限期仍未续费将进入保留期,如果保留期内仍未续费,资源将被自动删除。 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 在Kafka实例到期前均可开通自动续费,到期前7日凌晨3:00首次尝试自动续费,如果扣款失败,每天凌晨3
功能? Kafka实例是否支持查看单个Topic占用磁盘空间? Topic是否支持ACL权限配置? 消息被消费后,没有删除,导致Kafka存储空间占满? 如何扩总分区? 修改自动创建Topic的配置,会触发重启吗? 消费者消费Topic失败,提示没有权限?
保留期到期后,若您仍未支付账户欠款,那么Kafka实例将被释放,数据无法恢复。释放的实例会被彻底删除,不会进入回收站。 图1 按需计费Kafka实例生命周期 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 避免和处理欠费 欠费后需要及时充值,详细操作请参见账户充值。 若不再使用Kafka实例,您可以将他们删除,以免继续扣费。
查询Kafka集群元数据信息 查询Kafka实例的协调器信息 修改Kafka实例Topic分区的副本 修改Kafka的接入方式 查询topic的磁盘存储情况 Kafka实例开始分区重平衡任务 关闭Kafka Manager 删除用户/客户端流控配置 查询用户/客户端流控配置 创建用户/客户端流控配置
Integer 总共消息存储空间,单位:GB。 storage_resource_id String 存储资源ID。 storage_spec_code String IO规格。 service_type String 服务类型。 storage_type String 存储类型。 retention_policy
在购买Kafka实例后,如果发现当前计费模式无法满足业务需求,您还可以变更计费模式。详细介绍请参见变更计费模式概述。 计费项 分布式消息服务Kafka版的计费项由实例费用和存储空间费用组成。了解每种计费项的计费因子、计费公式等信息,请参考计费项。 如需了解实际场景下的计费样例以及各计费项在不同计费模式下的费用计算过程,请参见计费样例。
修改Topic老化时间 修改Topic分区数 变更实例规格 Kafka实例创建成功后,您可以根据业务需要,扩容基准带宽、代理个数、存储空间、代理规格,或者缩容代理规格。 扩容存储空间有次数限制,只能扩容20次。 支持区域: 全部 变更实例规格 公网访问 您需要通过公网地址访问Kafka实例时,
回客户端。 同步落盘 开启:生产的每条消息都会立即写入磁盘,可靠性更高。 关闭:生产的消息存在内存中,不会立即写入磁盘。 消息时间戳类型 定义消息中的时间戳类型,取值如下: CreateTime:生产者创建消息的时间。 LogAppendTime:broker将消息写入日志的时间。
region_id String 区域ID。 available_zones Array of AvailableZonesResp objects 可用区数组。 表2 AvailableZonesResp 参数 参数类型 描述 soldOut Boolean 是否售罄。 id String 可用区ID。
35版本:不支持,但可以自行封装。 AMQP-0-9-1版本:支持。 多租户 支持 支持 支持 多协议支持 兼容RocketMQ协议。 只支持Kafka自定义协议。 RabbitMQ基于AMQP协议实现。 跨语言支持 支持多语言的客户端。 采用Scala和Java编写,支持多种语言的客户端。 支持多种语言的客户端。
按月购买:自动续费周期为1个月。 按年购买:自动续费周期为1年。 在续费管理页面开通自动续费 进入“费用中心 > 续费管理”页面。 自定义查询条件。 可在“自动续费项”页签查询已经开通自动续费的资源。 可对“手动续费项”、“到期转按需项”、“到期不续费项”页签的资源开通自动续费。
单击“创建消费组”,弹出“创建消费组”对话框。 参考表1设置消费组参数,单击“确定”。 表1 消费组参数说明 参数 说明 消费组名称 自定义名称,但需要符合命名规则:只能由英文字母、数字、下划线开头,且只能英文字母、 数字、句点、中划线、下划线组成,长度3~64个字符。 消费组
图1 续费确认 进入支付页面,选择支付方式,确认付款,支付订单后即可完成续费。 在费用中心续费 进入“费用中心 > 续费管理”页面。 自定义查询条件。 可在“手动续费项”、“自动续费项”、“到期转按需项”、“到期不续费项”页签查询全部待续费资源,对资源进行手动续费的操作。 所有
控制台查看重平衡日志。 重平衡日志存储在云日志服务(Log Tank Service,简称LTS)中,由LTS提供查询功能。 约束与限制 2023年4月6日前创建的实例,不支持重平衡日志功能。 单机实例不支持查看重平衡日志。 重平衡日志默认存储时间为七天,如果需要延长保留天数,可以在LTS控制台修改日志组的存储时间。