检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对消息进行处理、确认,当对某一条消息处理失败时,不再需要继续处理本批消息中的后续消息,直接对已正确处理的消息进行确认即可。 巧用消费组协助运维 用户使用分布式消息服务Kafka版作为消息中间件,查看Topic的消息内容对于定位问题与调试服务是至关重要的。 当消息的生产和消费过程中
构造请求 本节介绍REST API请求的组成,并以调用IAM服务的管理员创建IAM用户来说明如何调用API。 您还可以通过这个视频教程了解如何构造请求调用API:https://bbs.huaweicloud.com/videos/102987。 请求URI 请求URI由如下部分组成。
C的所有者可以将VPC内的子网共享给一个或者多个账号使用。通过共享VPC功能,可以简化网络配置,帮助您统一配置和运维多个账号下的资源,有助于提升资源的管控效率,降低运维成本。有关VPC子网共享的更多信息,请参见共享VPC。 在创建VPC和子网时应注意:创建的VPC与Kafka实例在相同的区域。
与其他云服务的关系 云审计(Cloud Trace Service) 云审计为您提供云服务资源的操作记录,记录内容包括您从管理控制台或者开放API发起的云服务资源操作请求以及每次请求的结果,供您查询、审计和回溯使用。 当前CTS记录的操作,请参考云审计日志。 虚拟私有云(Virtual
Kafka相关概念 华为云使用Kafka作为消息引擎,以下概念基于Kafka进行描述。 Topic 消息主题。消息的生产与消费,围绕消息主题进行生产、消费以及其他消息管理操作。 Topic也是消息队列的一种发布与订阅消息模型。生产者向消息主题发布消息,多个消费者订阅该消息主题的消息,生产者与消费者彼此并无直接关系。
权限和授权项 如果您需要对您所拥有的Kafka实例进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),如果华为账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用Kafka实例的其它功能。
权限管理 如果您需要对华为云上购买的DMS for Kafka资源,给企业中的员工设置不同的访问权限,以达到不同员工之间的权限隔离,您可以使用统一身份认证服务(Identity and Access Management,简称IAM)进行精细的权限管理。该服务提供用户身份认证、权
如何查看堆积消息数? 通过以下任意一种方法,查看堆积消息数。 在Kafka控制台的“消费组管理”页面,单击待查看堆积消息的消费组名称,进入消费组详情页。在“消费进度”页签,查看消费组中每个Topic的总堆积数。具体步骤,请参考查看消费进度。 在Kafka控制台的“监控与告警 >
自动续费 自动续费可以减少手动续费的管理成本,避免因忘记手动续费而导致Kafka实例被自动删除。自动续费的规则如下所述: 以Kafka实例的到期日计算第一次自动续费日期和计费周期。 Kafka实例自动续费周期根据您开通自动续费的途径不同,遵循不同的规则。 在Kafka实例到期前均
配置Kafka的SSL双向认证 SSL双向认证是指在通信认证时,将同时验证客户端和服务端的证书,以确保通信中涉及的双方都是受信任的。 开启SSL双向认证,主要用于对安全性要求较高的场景。 SSL双向认证为白名单特性,需要联系后台管理人员开通后方可使用。 配置SSL双向认证的流程如图1所示。
Kafka客户端使用建议 consumer使用建议 consumer的owner线程需确保不会异常退出,避免客户端无法发起消费请求,阻塞消费。 确保处理完消息后再做消息commit,避免业务消息处理失败,无法重新拉取处理失败的消息。 通常不建议对每条消息都进行commit,如果对
错误码 当您调用API时,如果遇到“APIGW”开头的错误码,请参见API网关错误码进行处理。 更多服务错误码请参见API错误中心。 状态码 错误码 错误信息 描述 处理措施 400 DMS.00400002 The project ID format is invalid. Project-ID的格式无效。
状态码 状态码如表1所示 表1 状态码 状态码 编码 错误码说明 100 Continue 继续请求。 这个临时响应用来通知客户端,它的部分请求已经被服务器接收,且仍未被拒绝。 101 Switching Protocols 切换协议。只能切换到更高级的协议。 例如,切换到HTTP的新版本协议。
Kafka客户端参数配置建议 Kafka客户端的配置参数很多,以下提供Producer和Consumer几个常用参数配置。不同版本的Kafka客户端参数名称可能不同,以下配置参数适用于1.1.0及以上版本。其他参数和版本配置,请参考Kafka配置。 表1 Producer参数 参数
与RabbitMQ、RocketMQ的差异 表1 功能差异 功能项 RocketMQ Kafka RabbitMQ 优先级队列 不支持 不支持 3.8.35版本:支持。建议优先级大小设置在0-10之间。 AMQP-0-9-1版本:支持。优先级大小设置在1-9之间。 延迟队列 支持
Kafka数据迁移概述 Kafka迁移指将生产与消费消息的客户端切换成连接新Kafka,部分还涉及将持久化的消息文件迁移到新的Kafka。主要涉及到以下2类场景: 业务上云且不希望业务有中断。 在上云过程中,连续性要求高的业务,需要平滑迁移,不能有长时间的中断。 在云上变更业务部署。
消息从生产到消费时延高达6分钟 问题现象 消息从生产到消费的端到端时延偶现到达6分钟,业务对消息时延较为敏感。 分析过程 怀疑是业务堆积,处理慢导致时延。 通过查看监控数据,发现业务请求并不是很多,堆积最多时也只有50条消息,同时每秒新增消息只有10条左右,应该还没有到达处理极限。
配置Kafka实例回收站策略 开启回收站策略的实例在被删除后,会被临时存入回收站中,此时实例中的数据尚未被彻底删除,在保留天数内支持从回收站中恢复此实例。超过保留天数的实例会被彻底删除,无法恢复。 回收站策略默认是关闭状态。 约束与限制 回收站中的按需实例不会收取实例的费用,但是会收取存储空间的费用。
修改Kafka Topic副本数 创建Kafka实例Topic成功之后,您可以根据业务需要修改Topic的副本数。 通过修改分区平衡可以实现修改副本数,Kafka控制台提供两种修改副本数的方法:使用自动平衡修改副本数和使用手动平衡修改副本数。 约束与限制 单机实例不支持修改副本数。
配置Kafka ACL用户 Kafka实例开启密文接入后,支持对Topic进行ACL(Access Control List)权限管理,您可以在Topic中为不同的用户设置不同的生产消费消息的权限,以达到用户之间的权限隔离。 本章节主要介绍Kafka实例开启密文接入后,如何创建用