检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
系统提示“Disk error when trying to access log file on the disk”错误。 根因描述 节点磁盘使用率超高导致生产消息失败。 问题解决措施 扩容实例的磁盘空间,具体操作请参考变更Kafka实例规格。
None 服务介绍 分布式消息服务Kafka版 介绍什么是分布式消息服务 04:19 分布式消息服务介绍 分布式消息服务Kafka版 Kafka-数据流转的桥梁 02:03 Kafka-数据流转的桥梁 特性讲解 分布式消息服务Kafka版 介绍消息积压诊断功能 03:18 消息积压诊断
首次开启SASL时,需要输入用户名的密码。 sasl_enabled_mechanisms 否 Array of strings 开启SASL后使用的认证机制。仅在第一次开启SASL时传入生效。生效后再次传入无效。 PLAIN:简单的用户名密码校验。 SCRAM-SHA-512:用户凭证校验,安全性比PLAIN机制更高。
处理方法:__trace和__consumer_offsets是Kafka实例内部预留的Topic,不建议删除这两个Topic,删除后可能导致实例无法使用。 父主题: Kafka Manager问题
导出Kafka实例列表 分布式消息服务Kafka版支持在控制台导出实例列表信息,供用户查看和使用。 导出Kafka实例列表 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。
of DiskusageTopicEntity objects topic磁盘容量使用列表。 表5 DiskusageTopicEntity 参数 参数类型 描述 size String 磁盘使用量。 topic_name String topic名称。 topic_partition
为什么限制Topic的总分区数? Kafka以分区为粒度管理消息,分区多导致生产、存储、消费都碎片化,影响性能稳定性。在使用过程中,当Topic的总分区数达到上限后,用户就无法继续创建Topic。 不同规格配置的Topic总分区数不同,如下表所示。 表1 Kafka集群实例规格 规格名称
例配置参数。 message.max.bytes参数最大只能修改为10485760字节,如果您实际的业务场景中单条消息的大小超过此值,建议使用压缩算法或者业务逻辑做切分。 父主题: 消息问题
描述 error_code String 错误码。 error_msg String 错误描述。 请求示例 查询消息偏移量。 GET https://{endpoint}/v2/{project_id}/instances/{instance_id}/messages?asc=f
ZooKeeper可能引发误操作导致业务受损,当前仅Kafka内部使用,不对外提供服务。 版本 当前服务端版本为1.1.0、2.7、3.x。实例创建后,服务端版本不支持升级。 兼容0.10以上的客户端版本,推荐使用和服务端一致的版本。 登录Kafka节点所在机器 不能登录。 存储空间
15版本消费Kafka时, 消费进度提交失败,持续报错:COORDINATOR_NOT_AVAILABLE。 根因描述 Flink 1.15版本使用的Kafka客户端存在bug,当某次消费进度提交失败后, 客户端将coordinator置为不可用且无法自动恢复。 问题解决措施 重启Flink
单机和集群Kafka实例差异概述 单机实例是分布式消费服务Kafka版提供的单代理实例,只适用体验和业务测试场景,无法保证性能和可靠性。如果需要在生产环境使用Kafka实例,建议购买集群实例。 单机实例和集群实例支持的特性和功能有部分差异,具体如表1所示。 表1 单机实例和集群实例的差异说明 对比项
success: 操作成功 failed: 操作失败 instance String 实例ID。 请求示例 批量重启实例。 POST https://{endpoint}/v2/{project_id}/instances/action { "action" : "restart"
从控制台获取项目ID 调用API获取项目ID 项目ID可以通过调用查询指定条件下的项目信息API获取。 获取项目ID的接口为“GET https://{Endpoint}/v3/projects”,其中{Endpoint}为IAM的终端节点,可以从地区和终端节点获取。接口的认证鉴权请参见认证鉴权。
获取Kafka开源客户端 Kafka实例支持多种语言的客户端,如果您想要使用其他语言连接Kafka实例,可以从Kafka官网获取客户端。 Kafka官网支持的客户端语言包括:C/C++、Python、Go、PHP、Node.js等等。 Kafka实例完全兼容开源客户端,按照Kaf
重启Kafka Manager 当Kafka Manager无法登录或者无法使用时,例如下图中的报错,可以通过重启Kafka Manager,使Kafka Manager恢复正常。 图1 报错信息 2023年5月17日及以后创建的实例不提供重启Kafka Manager功能。 约束与限制
消费组监控数据无法展示,可能原因如下: 消费组名称开头包含特殊字符,例如#号“#”。 此消费组从未有消费者连接。 解决方法如下: 删除带特殊字符的消费组。 使用此消费组消费消息。 父主题: 监控告警问题
续费概述 续费简介 包年/包月Kafka实例到期后会影响Kafka实例正常运行。如果您想继续使用,需要在指定的时间内为Kafka实例续费,否则Kafka实例资源会自动释放,数据丢失且不可恢复。 续费操作仅适用于包年/包月Kafka实例,按需计费Kafka实例不需要续费,只需要保证账户余额充足即可。
user-default 否 Boolean 是否使用用户默认设置。 是,表示对全部用户限流。此时不能同时设置用户名。 否,表示对特定用户限流。此时需要设置用户名。 client-default 否 Boolean 是否使用客户端默认设置。 是,表示对全部客户端限流。此时不能设置客户端ID。
DMS for Kafka的使用权限,但是不希望他们拥有删除Kafka实例等高危操作的权限,那么您可以使用IAM为开发人员创建用户,通过授予仅能使用Kafka实例,但是不允许删除Kafka实例的权限策略,控制他们对DMS for Kafka资源的使用范围。 如果华为账号已经能满足