检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
欠费后,可能会影响云服务资源的正常运行,需要及时充值。详细介绍请参见欠费说明。 停止计费 当云服务资源不再使用时,可以将他们退订或删除,从而避免继续收费。详细介绍请参见停止计费。 成本管理 您可以从成本构成、成本分配、成本分析和成本优化四个维度来管理成本。
扩容/缩容过程中生产消息失败 扩容失败提示资源不足
图2 一键告警 在顶部搜索框中单击鼠标左键,选择“资源类型”,然后在下拉框中勾选“分布式消息服务”,单击“确定”。 在“分布式消息服务”所在行,按,弹出“开启告警规则”对话框。
该服务提供用户身份认证、权限分配、访问控制等功能,可以帮助您安全的控制华为云资源的访问。DMS for Kafka的访问权限请参见:权限管理。 父主题: 安全
将Kafka实例的计费模式从包年/包月转为按需计费,可以帮助您回收部分成本,并更加灵活地使用Kafka资源。 包年/包月计费模式到期后,按需计费模式才会生效。 按需转包年/包月 包年/包月转按需 存储空间 不支持单独变更计费模式,只能随Kafka实例变更计费模式。
超时时间越短,consumer的心跳探测越频繁,可以使故障检测更快,但会导致broker被抢占更多的资源。
在高负载情况下容易出现资源抢占情况。
优化消费者轮询(Polling) 本章节介绍在对消费消息实时性要求不高的场景中,如何优化消费者Polling,减少消息较少或者没有消息时的资源浪费。 Logstash对接Kafka生产消费消息 Kafka实例可以作为Logstash输入源,也可以作为Logstash输出源。
审计 云审计服务(Cloud Trace Service,CTS),是华为云安全解决方案中专业的日志审计服务,您可以通过CTS对Kafka实例的操作记录进行收集、存储和查询,用于安全分析、合规审计、资源跟踪和问题定位等。 支持区域: 全部 支持云审计的操作列表有哪些?
Sarama在处理大量消息时,会占用较多的内存资源,可能会对应用程序的性能造成一定的影响。 父主题: 连接问题
Kafka的Topic、分区、副本和代理的关系如下图所示: 在实际业务过程中可能会遇到各节点间或分区之间业务数据不均衡的情况,业务数据不均衡会降低Kafka集群的性能,降低资源使用率。
代理(Broker) 即Kafka集群架构设计中的单个Kafka进程,一个Kafka进程对应一台服务器,因此手册中描述的代理,还包括对应的存储、带宽等服务器资源。
图1 账单 计费示例 以包年/包月计费模式为例,假设您于2023/03/08 15:50:04在“华北-北京四”区域购买了一个包年/包月Kafka实例(规格:kafka.2u4g.cluster*3,总存储空间:超高I/O 300GB),计费资源包括实例费用(代理规格和代理数量),
available_zones Array of strings 有可用资源的可用区列表。 unavailable_zones Array of strings 资源售罄的可用区列表。
多规格灵活选择 Kafka实例的带宽与存储资源可灵活配置,并且自定义Topic的分区数、副本数。
resource_spec_code String 资源规格标识。 dms.instance.kafka.cluster.c3.mini:Kafka实例的基准带宽为100MByte/秒。
在CPU资源情况可控的情况下,使用压缩算法对数据进行压缩。 常用的压缩算法包括:ZIP,GZIP,SNAPPY,LZ4等。选择压缩算法时,需考虑数据的压缩率和压缩耗时。通常压缩率越高的算法,压缩耗时也越高。
您可以使用节点IP访问终端节点服务,进行跨VPC资源通信。 图7 查看节点IP 参考1~7,为10中创建的终端节点服务购买终端节点,查看并记录节点IP。
resource_spec_code String 资源规格标识。 dms.instance.kafka.cluster.c3.mini:Kafka实例的基准带宽为100MB。
成长地图 | 华为云 分布式消息服务Kafka版 分布式消息服务Kafka版(Distributed Message Service for Kafka)是一款基于开源社区版Kafka提供的消息队列服务,向用户提供计算、存储和带宽资源独占式的Kafka专享实例。