检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
poll.records条消息会不会超过max.poll.interval.ms时间。 消息处理流程是否有网络行为,如写数据库、调用后端API等,在发生Rebalance的场景下消费者下游系统是否正常。 解决方法:建议在消费者客户端将max.poll.records值减小,如果消息处理时间较长可以适当增加max
安全协议设置为“SASL_SSL”时,采用SASL方式进行认证,数据通过SSL证书进行加密传输,安全性更高。此时需要配置连接实例的用户名和密码,以及证书文件。 安全协议设置为“SASL_PLAINTEXT”时,采用SASL方式进行认证,数据通过明文传输,性能更好。此时需要配置连
一般适用于电商抢购等业务需求量瞬间大幅波动的场景。 表1列出了两种计费模式的区别。 表1 计费模式 计费模式 包年/包月 按需计费 付费方式 预付费 按照订单的购买周期结算。 后付费 按照Kafka实例实际使用时长计费。 计费周期 按订单的购买周期计费。 秒级计费,按小时结算。
消息堆积可能的原因、受影响的分区或者broker,以及解决消息堆积的建议。 前提条件 已创建Kafka实例,并且消费组正在以非assign方式消费消息中。 一个消费组正在诊断中时,无法对其他消费组进行诊断,也无法对此消费组消费的其他Topic进行诊断。 操作流程 图1 消息积压诊断流程图
Kafka 创建IAM用户,并授予DMS for Kafka的权限,以达到用户之间权限的隔离。 购买Kafka实例 Kafka实例采用物理隔离的方式部署,租户独占Kafka实例。 创建Kafka Topic 创建用于存储消息的Topic,供生产者生产消息以及消费者订阅消息。 连接实例
开通自动续费后,Kafka实例会在每次到期前自动续费,避免因忘记手动续费而导致资源被自动删除。 在一个包年/包月Kafka实例生命周期的不同阶段,您可以根据需要选择一种方式进行续费,具体如图1所示。 图1 Kafka实例生命周期 Kafka实例从购买到到期前,处于正常运行阶段,资源状态为“运行中”。 到期后,资源状态变为“已过期”。
容量充足。该场景优先保障业务不中断,数据可能会丢失。 以上两种策略需要基于业务对数据和业务的可靠性来进行选择,只能作为极端场景下的一种处理方式。建议业务购买时保证有充足的磁盘容量,避免磁盘的使用达到容量阈值。 父主题: 实例问题
设置实例网络环境信息 设置实例的访问方式,如图5所示,配置详情请参考表5。 表5 设置实例的访问方式 参数 子参数 说明 内网访问 接入方式 选择“密文接入”,即客户端连接Kafka实例时,需要进行SASL认证。 kafka安全协议 选择“SASL_SSL”,即采用SASL方式进行认证,数据通过SSL证书进行加密传输,安全性更高。
支持1.1.0、2.7和3.x版本。 可用区 支持单可用区。 支持1个或者3个及以上可用区。 代理数量 1个代理。 3个及以上代理。 接入方式 支持明文接入。 支持明文接入和密文接入。 变更实例规格 × √ 重置Kafka密码 × √ 查看磁盘使用量 × √ 修改分区平衡 × √
间统一到各个月的某一天(详细介绍请参见统一包年/包月资源的到期日)。确认配置费用后单击“去支付”。 图1 续费确认 进入支付页面,选择支付方式,确认付款,支付订单后即可完成续费。 在费用中心续费 进入“费用中心 > 续费管理”页面。 自定义查询条件。 可在“手动续费项”、“自动续
选择需要诊断的消费组名称和Topic名称,单击“诊断前检查”。 诊断前检查成功后,如果“消息积压情况”显示有消息积压,并且消费组正在以非assign方式消费消息中,单击“开始诊断”。 诊断成功后,在诊断记录所在行,单击“查看详情”,进入“诊断详情”页面,查看导致消息堆积的可能原因、受影响的
Maker)进行跨实例的数据同步。 在单可用区或多可用区中部署实例 使用MirrorMaker跨实例数据同步 副本冗余 副本通过数据同步的方式保持数据一致,当网络发生异常或节点故障时,通过冗余副本自动故障切换,并且故障恢复后会从leader副本进行数据同步,保持数据一致性。 创建多副本的Topic
使用率原始值>=80%,则产生告警,如果未及时处理,则产生告警通知。 图1 设置告警策略 设置“发送通知”开关。 当开启时,设置通知方式和不同方式对应的通知参数。 单击“立即创建”,等待创建告警规则成功。 父主题: 查看监控指标与配置告警
选择Kafka实例的购买时长,判断是否勾选“自动续费”,确认预计到期时间和配置费用后单击“去支付”。 图1 按需转包年/包月 进入支付页面,选择支付方式,确认付款,支付订单后即可完成按需转包年/包月。 父主题: 变更计费模式
会导致源端和目标端每个分区的消费进度存在0-100之间的差异。 迁移准备 配置网络环境。 Kafka实例分内网地址以及公网地址两种网络连接方式。如果使用公网地址,则消息生成与消费客户端需要有公网访问权限,并配置如下安全组。 表1 安全组规则 方向 协议 端口 源地址 说明 入方向
规定的时间内为Kafka实例进行续费,否则Kafka实例、磁盘存储空间等资源将会自动释放,数据也可能会丢失。续费包括手动续费和自动续费两种方式,您可以根据需求选择。了解更多关于续费的信息,请参见续费概述。 费用账单 您可以在“费用中心 > 账单管理”查看与Kafka实例相关的流水
按需计费Kafka实例生命周期 欠费预警 系统会在每个计费周期后的一段时间对按需计费资源进行扣费。当您的账户被扣为负值时,我们将通过邮件、短信和站内信的方式通知到华为云账号的创建者。 欠费后影响 账号欠费,资源进入宽限期 当您的账号因按需Kafka实例自动扣费导致欠费后,账号将变成欠费状态。欠
Kafka权限,不满足您的授权要求,可以创建自定义策略。自定义策略中可以添加的授权项(Action)请参考细粒度策略支持的授权项。 目前华为云支持以下两种方式创建自定义策略: 可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服务、操作、资源、条件等策略内容,可自动生成策略。
Topic使用建议 配置要求:推荐3副本,同步复制,最小同步副本数为2,且同步副本数不能等于Topic副本数,否则宕机1个副本会导致无法生产消息。 创建方式:支持选择是否开启Kafka自动创建Topic的开关。选择开启后,表示向一个未创建的Topic生产或消费消息时,系统会自动创建此Topic
在“源端配置”中,保持默认设置。 在“Topic配置”中,设置以下参数。 表1 Topic配置参数说明 参数 参数说明 正则表达式 表示以正则表达式的方式订阅Topic,并进行转储。 输入/选择 输入/选择待转储的Topic名称,支持选择多个Topic,以逗号“,”分隔。最多输入/选择20个Topic。