检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
包年/包月Kafka实例从购买到被自动删除之前,您可以随时在Kafka控制台为Kafka实例续费,以延长Kafka实例的使用时间。 自动续费 开通自动续费后,Kafka实例会在每次到期前自动续费,避免因忘记手动续费而导致资源被自动删除。 在一个包年/包月Kafka实例生命周期的不同阶段,您可以根据需要选择一种方式进行续费,具体如图1所示。
Logstash对接Kafka生产消费消息 Kafka实例可以作为Logstash输入源,也可以作为Logstash输出源。本章节介绍Logstash如何对接Kafka实例生产消费消息。 使用MirrorMaker跨集群同步数据 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中
Kafka Manager问题 登录Kafka Manager的账号是否可以设置为只读账号? 登录到Kafka Manager页面,为什么获取不到节点信息? Yikes! Insufficient partition balance when creating topic : p
购买实例时选择的单AZ,怎样可以扩展为多AZ? Kafka是否支持跨AZ容灾?已经购买的实例在哪里查看是否为跨AZ? Kafka支持磁盘加密吗? Kafka实例创建后,能修改VPC和子网吗? 有没有Kafka Stream的案例? Kafka实例版本可以升级吗? 怎样重新绑定公网IP?
Kafka的数据保护手段和特性 数据保护手段 简要说明 详细介绍 容灾和多活 根据对数据与服务的不同可靠性要求,您可以选择在单可用区内(单机房)部署Kafka实例,或跨可用区(同城灾备)部署,也可以通过数据同步工具(MirrorMaker)进行跨实例的数据同步。 在单可用区或多可用区中部署实例
rocketmqInstance表示RocketMQ实例配额。 tags表示标签的配额。 quota Integer 租户最大可以创建的实例个数,或者每个实例最大可以创建的标签个数。 used Integer 已创建的实例个数。 请求示例 GET https://{endpoint}/v1
如果消息组中没有在线的消费者(如empty状态),是否14天后会自动被删除? 为什么删除消费组不生效? 实例消费正常,为什么看不到消费者? Kafka可以删除消费组下不用的Topic吗?
虑数据的压缩率和压缩耗时。通常压缩率越高的算法,压缩耗时也越高。对于性能要求高的系统,可以选择压缩速度快的算法,比如LZ4;对于需要更高压缩比的系统,可以选择压缩率高的算法,比如GZIP。 可以在生产者端配置“compression.type”参数来启用指定类型的压缩算法。 Properties
监控告警问题 云监控无法展示Kafka监控数据 Kafka监控显示消息堆积数跟实例里的消息数不一致? Kafka的消费组删除了,怎么监控页面还可以看到这个消费组? 为什么磁盘读/写流量、磁盘平均读/写操作耗时和CPU使用率出现明显波动? 为什么JVM堆内存使用率出现明显波动? 生产消息数不为0,为什么生产速率为0?
看Topic的消息内容对于定位问题与调试服务是至关重要的。 当消息的生产和消费过程中遇到疑难问题时,通过创建不同消费组可以帮助定位分析问题或调试服务对接。用户可以创建一个新的消费组,对Topic中的消息进行消费并分析消费过程,这样不会影响其他服务对消息的处理。
华为云根据客户等级定义了不同客户的宽限期和保留期时长。 避免和处理欠费 欠费后需要及时充值,详细操作请参见账户充值。 若不再使用Kafka实例,您可以将他们删除,以免继续扣费。 您可以在“费用中心 > 总览”页面设置“可用额度预警”功能,当可用额度、通用代金券和现金券的总额度低于预警阈值时,系统自动发送短
Connect任务(Kafka数据复制)。 Kafka实例不支持创建Kafka数据复制类型的Smart Connect任务时,如果需要做Kafka实例迁移,可以同时向两个Kafka实例生产消息,源实例中的消息可继续消费,待源实例的消息数据全部被消费完或老化后,业务可迁移到新的Kafka实例。 父主题:
默认保留3天)。该场景适用于对数据不能丢的业务场景,但是会导致生产业务失败。 自动删除策略 该策略场景下磁盘使用到达容量阈值95%后,依旧可以正常生产和消费消息,但是会删除最早的10%的消息,以保证磁盘容量充足。该场景优先保障业务不中断,数据可能会丢失。 以上两种策略需要基于业务
for Kafka访问权限,以达到不同员工之间的权限隔离,使用IAM进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能,可以帮助您安全的控制华为云资源的访问。DMS for Kafka的访问权限请参见:权限管理。 父主题: 安全
降低系统实现的复杂性。电商大促销等流量洪流突然来袭时,可以通过队列服务堆积缓存订单等信息,在下游系统有能力处理消息的时候再处理,避免下游订阅系统因突发流量崩溃。消息队列提供亿级消息堆积能力,3天的默认保留时长,消息消费系统可以错峰进行消息处理。 另外,在商品秒杀、抢购等流量短时间
0版本,性能基线保持一致。 已经购买的Kafka 2.3.0实例是否支持续费? 支持续费。 Kafka 2.3.0停售后是否有替换版本? 新用户可以购买分布式消息服务Kafka版2.7版本(兼容Kafka 2.3.0版本)。 父主题: 产品公告
转储地址,即存储Topic数据的OBS桶的名称。(仅目标端类型为OBS时需要填写) obs_path 否 String 转储目录,即OBS中存储Topic的目录,多级目录可以用“/”进行分隔。(仅目标端类型为OBS时需要填写) partition_format 否 String 时间目录格式。(仅目标端类型为OBS时需要填写)
10:30:00将Kafka实例转为包年/包月计费,购买时长为1个月。那么在3~4月份,该Kafka实例总共产生多少费用呢? 计费构成分析 可以将Kafka实例的使用阶段按照计费模式分为两段:在2023/03/18 15:30:00 ~ 2023/03/20 10:30:00期间为按需计费,2023/03/20
2023年4月25日及之后创建的实例,分为以下几种情况: auto.create.groups.enable为false时,消费组不会被删除,如果需要删除消费组,您可以手动删除。 auto.create.groups.enable为false时,存在一种特殊场景:2024年2月5日前创建的Kafka实例,
除。其次,可以考虑加快消费速度,例如增加组内消费者数量等。 topic_messages_remained 队列可消费消息数 消费组 告警阈值:原始值>积压上限的90%,积压上限由您根据业务实际情况设定 连续触发次数:1 告警级别:重要 该指标用于统计消费组指定队列可以消费的消息个数。