检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ms的时间。 消费组名称开头不使用特殊字符(如#),使用特殊字符可能会导致云监控无法展示此消费组的监控数据。 producer使用建议 同步复制客户端需要配合使用:acks=all 配置发送失败重试:retries=3 发送优化:对于时延敏感的信息,设置linger.ms=0。对于时延不敏感的信息,设置linger
11:00:00,在10:00:00 ~ 10:45:46间产生费用,该计费周期内的计费时长为2746秒。 您需要为每个计费周期付费,各项Kafka资源单独计费,计费公式如表2所示。产品价格详情中标出了资源的每小时价格,您需要将每小时价格除以3600,得到每秒价格。 表2 计费公式 资源类型 计费公式 资源单价
升级过程中节点滚动重启造成分区Leader切换,会发生秒级连接闪断,在用户网络环境稳定的前提下,Leader切换时长一般为1分钟以内。多副本的Topic需要在生产客户端配置重试机制,方法如下: 生产客户端为Kafka开源客户端时,检查是否配置retries参数,建议此参数值设置为3~5。 生产
审计与日志 云审计服务(Cloud Trace Service,简称CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后,CTS可记录DMS
才可以连接Kafka实例生产消费消息。 密文接入信息 如果实例开启密文接入,则需要获得连接实例的用户名与密码、SASL认证机制和Kafka安全协议。Kafka安全协议设置为“SASL_SSL”时,还需要获取SSL证书。 连接实例的用户名在Kafka实例控制台的“用户管理”页面中查
除,不会进入回收站。 图1 按需计费Kafka实例生命周期 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 避免和处理欠费 欠费后需要及时充值,详细操作请参见账户充值。 若不再使用Kafka实例,您可以将他们删除,以免继续扣费。 您可以在“费用中心 > 总览”页面设置“可
单个资源开通自动续费:选择需要开通自动续费的Kafka实例,单击操作列“开通自动续费”。 图2 单个资源开通自动续费 批量资源开通自动续费:选择需要开通自动续费的Kafka实例,单击列表左上角的“开通自动续费”。 图3 多个资源开通自动续费 选择续费时长,并根据需要设置自动续费次数,单击“开通”。
专享版页面。 单击Kafka实例的名称,进入实例详情页面。 在左侧导航栏选择“分析与诊断 > 消息积压诊断”,进入消息积压诊断页面。 选择需要诊断的消费组名称和Topic名称,单击“诊断前检查”。 检查成功后,在页面上方显示“预检查成功”,并显示内存使用率、CPU利用率、分区订阅
、创建时间和消息正文。 控制台只能展示4KB以内的消息,超过4KB的消息,请单击“下载消息”,下载到本地查看消息完整的内容。 (可选)如果需要恢复默认设置,单击“重置”。 父主题: 管理消息
Kafka专享版页面。 复制资源ID。 Kafka实例的实例费用和存储空间费用会分别上报一条账单到计费系统进行结算。查看指定资源的账单时,需要分别查看实例账单和存储空间账单。 在Kafka实例列表页面如下图所示位置单击鼠标左键,复制实例的资源ID。 图1 获取资源ID(实例) 单
如果Kafka实例的子网配置了网络ACL功能,需要在网络ACL的入方向规则中放通198.19.128.0/17网段的地址,以及VPC终端节点涉及的子网。 198.19.128.0/17是为VPC终端节点分配的网段,使用VPC终端节点需要放通此网段。 父主题: 配置Kafka网络连接
在待修改配置的Topic所在行,单击“编辑”。 在“编辑Topic”对话框中,修改Topic的配置,单击“确定”。 当副本数为1时,不能开启同步复制功能。 开启同步复制后,需要在客户端配置acks=all或者-1,否则无效。 父主题: Topic管理
在实例所在行,单击实例名称,进入实例详情页面。 在左侧导航栏单击“标签”,进入标签管理页面。 界面显示该实例的标签列表。 您可以根据实际需要,执行以下操作: 添加标签 单击“创建/删除标签”,弹出“创建/删除标签”对话框。 在“标签键”和“标签值”中,输入标签的键/值,单击“添加”。
消费组问题 Kafka实例是否需要创建消费组、生产者和消费者? 如果消息组中没有在线的消费者(如empty状态),是否14天后会自动被删除? 为什么删除消费组不生效? 实例消费正常,为什么看不到消费者? Kafka可以删除消费组下不用的Topic吗?
客户端网络环境说明 客户端可以通过以下方式访问Kafka实例: 如果客户端是云上ECS,与Kafka实例处于同region同VPC,则可以直接访问Kafka实例提供的内网连接地址。 如果客户端是云上ECS,与Kafka实例处于相同region但不同VPC,通过以下任意一种方式访问。
该Topic中, 且它们对消费者不可见,从而造成offset不连续的现象。 Kafka生产者客户端3.0及之后的版本会默认开启幂等,如果不需要使用该功能,请将“enable.idempotence”设置为“false”。 父主题: 消息问题
art Connect任务(Kafka数据复制)。 Kafka实例不支持创建Kafka数据复制类型的Smart Connect任务时,如果需要做Kafka实例迁移,可以同时向两个Kafka实例生产消息,源实例中的消息可继续消费,待源实例的消息数据全部被消费完或老化后,业务可迁移到新的Kafka实例。
Manager。 单击“kafka_cluster”,进入“Summary”界面。 单击“Topic > List”,进入“Topics”界面。 单击需要修改属性的Topic名称,进入Topic详情界面。 单击“Update Config”,修改Topic属性。 父主题: Kafka Manager问题
该策略场景下磁盘使用到达容量阈值95%后,依旧可以正常生产和消费消息,但是会删除最早的10%的消息,以保证磁盘容量充足。该场景优先保障业务不中断,数据可能会丢失。 以上两种策略需要基于业务对数据和业务的可靠性来进行选择,只能作为极端场景下的一种处理方式。建议业务购买时保证有充足的磁盘容量,避免磁盘的使用达到容量阈值。
分区设置不合理,所有的生产和消费都集中在某个节点上,导致CPU利用率高。 磁盘写满的原因 业务数据增长较快,已有的磁盘空间不能满足业务数据需要。 节点内磁盘使用率不均衡,生产的消息集中在某个分区,导致分区所在的磁盘写满。 Topic的数据老化时间设置过大,保存了过多的历史数据,容易导致磁盘写满。