检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在左侧导航栏,选择“分析与诊断 > 消息积压诊断”,进入消息积压诊断页面。 选择需要诊断的消费组名称和Topic名称,单击“诊断前检查”。 诊断前检查成功后,如果“消息积压情况”显示有消息积压,并且消费组正在以非assign方式消费消息中,单击“开始诊断”。 诊断成功后,在诊
Kafka生产消息的最大长度是多少? 生产消息的最大长度为10M。 父主题: 消息问题
什么是分布式消息服务Kafka版 Kafka是一个拥有高吞吐、可持久化、可水平扩展,支持流式数据处理等多种特性的分布式消息流处理中间件,采用分布式消息发布与订阅机制,在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 华为云分布式消息服务Kafka版是一款
区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 单击Kafka实例名称,进入实例详情页面。 在左侧导航栏单击“Smart Connect”,进入Smart
状态码如表1所示 表1 状态码 状态码 编码 错误码说明 100 Continue 继续请求。 这个临时响应用来通知客户端,它的部分请求已经被服务器接收,且仍未被拒绝。 101 Switching Protocols 切换协议。只能切换到更高级的协议。 例如,切换到HTTP的新版本协议。 200
申请扩大Kafka配额 什么是配额? 为防止资源滥用,平台限定了各服务资源的配额,对用户的资源数量和容量做了限制。如您最多可以创建多少个Kafka实例。 如果当前资源配额限制无法满足使用需要,您可以申请扩大配额。 怎样查看我的配额? 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。
为什么offset不连续? 在生产者客户端中开启幂等或事务,然后生产消息,此时您会在消费者客户端或Kafka控制台的“消息查询”中观察到消息offset不连续的现象。这是因为开启了幂等或事务后,在生产消息时会产生一些元数据控制消息,这些控制消息也会生产到该Topic中, 且它们对消费者不可见,从而造成offset不连续的现象。
topic名称。 partition Integer 分区编号。 message_offset Long 消息编号。 size Integer 消息大小,单位字节。 timestamp Long 生产消息的时间。 格式为Unix时间戳。单位为毫秒。 请求示例 GET https://{endpo
message.max.bytes参数最大只能修改为10485760字节,如果您实际的业务场景中单条消息的大小超过此值,建议使用压缩算法或者业务逻辑做切分。 父主题: 消息问题
服务韧性 DMS for Kafka提供了3级可靠性架构,通过跨AZ容灾、AZ内实例容灾、实例数据多副本技术方案,保障服务的持久性和可靠性。 表1 DMS for Kafka可靠性架构 可靠性方案 简要说明 跨AZ容灾 DMS for Kafka提供跨AZ类型实例,支持跨AZ容灾
@#$%^&*()-_=+\|[{}]:'",<.>/?) vpc_id String 是 虚拟私有云ID。 获取方法如下: 方法1:登录虚拟私有云服务的控制台界面,在虚拟私有云的详情页面查找VPC ID。 方法2:通过虚拟私有云服务的API接口查询,具体操作可参考查询VPC列表。 security_group_id
Connect管理 分布式消息服务Kafka版通过开启Smart Connect,实现Kafka实例和其他云服务(如OBS)之间的数据同步,或者两个Kafka实例之间的数据同步。 支持区域: 全部 如何开启Smart Connect? 用户管理 分布式消息服务Kafka版支持对Top
消息从生产到消费时延高达6分钟 问题现象 消息从生产到消费的端到端时延偶现到达6分钟,业务对消息时延较为敏感。 分析过程 怀疑是业务堆积,处理慢导致时延。 通过查看监控数据,发现业务请求并不是很多,堆积最多时也只有50条消息,同时每秒新增消息只有10条左右,应该还没有到达处理极限。
创建消息积压诊断任务 功能介绍 创建消息积压诊断任务 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/kafka/instances/{instance_id}/message-diagnosis-tasks 表1 路径参数 参数 是否必选 参数类型
acks=0:表示producer不需要等待任何确认收到的信息,副本将立即加到socket buffer并认为已经发送。没有任何保障可以保证此种情况下server已经成功接收数据,同时重试配置不会发生作用(因为客户端不知道是否失败)回馈的offset会总是设置为-1。 acks=1:这意味着至少要等待leade
安全 责任共担 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 认证证书
续费 续费概述 手动续费 自动续费
附录 状态码 错误码 实例状态说明 获取项目ID 获取账号名和账号ID
实例网络参数说明 参数名称 说明 虚拟私有云 选择已经创建好的或共享的虚拟私有云。 虚拟私有云可以为您的Kafka实例构建隔离的、能自主配置和管理的虚拟网络环境。您可以单击右侧的“管理虚拟私有云”,跳转到网络控制台的“虚拟私有云”页面,查看或创建虚拟私有云。 虚拟私有云在Kafka实例创建完成后,不支持修改。
版本号说明 分布式消息服务Kafka版的版本号格式为:消息引擎类型 x.y.z,其中消息引擎类型为Kafka,版本号具体含义如图1所示。 图1 版本号示例 版本支持情况 分布式消息服务Kafka版支持的版本:1.1.0、2.7、3.x(推荐) 版本生命周期 分布式消息服务Kafka版的版本生命周期如表1所示。