检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持客户端主动拉取和服务端推送两种模式。 广播消费 支持 支持 支持 消息回溯 支持 支持。Kafka支持按照offset和timestamp两种维度进行消息回溯。 3.8.35版本:不支持。RabbitMQ中消息一旦被确认消费就会被标记删除。 AMQP-0-9-1版本:支持。 消息堆积 支持
Smart Connect任务名_source_0”和“Smart Connect任务名_source_1”。 如果Topic中的消息在进行下一次数据同步前,已经全部老化,此时实际是没有待同步的Kafka数据,但是Kafka数据同步监控指标使用的是包含老化数据的offset值,“
例列表页面。 单击Kafka实例的名称,进入实例详情页面。 在左侧导航栏选择“消费组管理”,进入消费组列表页面。 在待修改信息的消费组所在行,单击“编辑”,弹出“编辑”对话框。 修改描述信息,单击“确定”。 修改完成后,在消费组列表页面的“描述”列查看修改后的描述信息。 父主题:
假设用户于2023/04/18 15:29:16购买了一个按需计费的Kafka实例,由于业务需要,于2023/04/18 16:30:30执行按需转包年/包月操作,生成类型为“按需转包年/包月”的订单。用户支付订单后,按需转包年/包月的Kafka实例立即生效。在“费用中心 > 账单管理”页面将生成如下三条账单信息:
SASL_SSL:客户端通过密文连接Kafka实例,且连接时需要进行SASL认证。SASL认证分为PLAIN和SCRAM-SHA-512。 SASL_PLAINTEXT:客户端通过明文连接Kafka实例,且连接时需要进行SASL认证。SASL认证分为PLAIN和SCRAM-SHA-512。
partition_format String 时间目录格式。(仅目标端类型为OBS时会显示) record_delimiter String 记录分行符。(仅目标端类型为OBS时会显示) store_keys Boolean 存储Key。(仅目标端类型为OBS时会显示) obs_part_size
删除”,对Kafka实例执行删除操作,确保列表中已无该资源。如果已开启回收站策略,请至回收站页面再次删除此实例。如果4中查找到的资源已在回收站中,单击操作列的“删除”,彻底删除此资源。 按需计费资源删除后,可能还会存在账单信息,因为系统通常会在使用后1个小时内对上一个结算周期的费用进行扣款。例如
Kafka后台为多集群部署,支持故障自动迁移和容错,保证业务的可靠运行。 Kafka实例支持跨AZ部署,代理部署在不同的AZ,进一步保障服务高可用。不同AZ之间基于Kafka ISR(in-sync replica)进行数据同步,Topic需要选择数据多副本并且将不同副本分布到不同的
Kafka实例运行于虚拟私有云,需要使用虚拟私有云创建的IP和带宽。通过虚拟私有云安全组的功能可以增强访问Kafka实例的安全性。 弹性云服务器(Elastic Cloud Server) 弹性云服务器是由CPU、内存、操作系统、云硬盘组成的基础的计算组件。Kafka实例运行在弹性云服务器上,一个代理对应一台弹性云服务器。
删除单个转储任务 功能介绍 删除单个转储任务。 当前页面API为历史版本API,未来可能停止维护。请使用删除Smart Connector任务。 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/connectors/{connector_
变更配置类型 影响 基准带宽/代理数量 扩容基准带宽/代理数量不会影响原来的代理,业务也不受影响。 扩容基准带宽/代理数量时,系统会根据当前磁盘大小进行相应比例的存储空间扩容。例如扩容前实例的代理数为3,每个代理的磁盘大小为200GB,扩容后实例的代理数为10,此时代理的磁盘大小依旧为200GB,但是总磁盘大小为2000GB。
消费。 确保处理完消息后再做消息commit,避免业务消息处理失败,无法重新拉取处理失败的消息。 通常不建议对每条消息都进行commit,如果对每条消息都进行了commit,会导致OFFSET_COMMIT请求过多,进而导致CPU使用率过高。例如:如果一个消费请求拉取1000条消
单击Kafka实例名称,进入实例详情页面。 在左侧导航栏选择“Topic管理”,进入Topic列表页面。 在待删除消息的Topic所在行,单击“更多 > 消息删除”,弹出“消息删除”对话框。 设置消息删除参数,如表1所示。 图1 消息删除 表1 消息删除参数说明 参数 说明 分区
子参数 说明 内网访问 接入方式 选择“密文接入”,即客户端连接Kafka实例时,需要进行SASL认证。 kafka安全协议 选择“SASL_SSL”,即采用SASL方式进行认证,数据通过SSL证书进行加密传输,安全性更高。 内网IP地址 选择“自动分配”,即系统自动分配子网中可用的IP地址。
“消息积压情况”显示无消息积压时,无法进行消息积压诊断。显示有消息积压,并且消费组正在以非assign方式消费消息中,才能进行积压诊断。 步骤二:开始诊断 单击“开始诊断”,在“诊断记录”区域,显示一条“状态”为“诊断中”的记录。 当“状态”变为“诊断成功”时,表示消息积压诊断已经完成。 在诊断记录所在行,单击“查看详情”,进入“诊断详情”页面。
Kafka实例批量删除Topic 功能介绍 该接口用于向Kafka实例批量删除Topic。批量删除多个Topic时,部分删除成功,部分失败,此时接口返回删除成功,并在返回中显示删除失败的Topic信息。 调用方法 请参见如何调用API。 URI POST /v2/{project
否 Integer 重平衡门限值。 is_schedule 否 Boolean 是否作为定时任务执行。若非定时执行,is_schedule和execute_at字段可为空。若为定时执行,is_schedule为true,execute_at字段非空。 execute_at 否 Long
终端节点服务。 图6 查看终端节点状态 单击终端节点ID,在“基本信息”页签,查看并记录节点IP。 您可以使用节点IP访问终端节点服务,进行跨VPC资源通信。 图7 查看节点IP 参考1~7,为10中创建的终端节点服务购买终端节点,查看并记录节点IP。 步骤四:修改advertised
对可靠性要求提升后,需要迁移到多AZ部署的实例上。 约束与限制 使用Smart Connect迁移业务,会对源端Kafka进行消费,对目标端Kafka进行生产,会占用源端和目标端Kafka的带宽。 出于性能考虑,Smart Connect实时同步源端和目标端的数据,但是消费进度是
消息批量生产与消费 图2 消息逐条生产与消费 此外,批量消费消息时,消费者应按照接收的顺序对消息进行处理、确认,当对某一条消息处理失败时,不再需要继续处理本批消息中的后续消息,直接对已正确处理的消息进行确认即可。 巧用消费组协助运维 用户使用分布式消息服务Kafka版作为消息中间件,查看T