检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建一台与Kafka实例相同VPC和相同安全组的Windows服务器,详细步骤请参考购买并登录Windows弹性云服务器。 如果是已经开启了公网访问,该步骤为可选,在本地浏览器中即可访问,不需要单独的Windows弹性云服务器。 在实例详情信息页面,获取Kafka Manager地址。
已创建Kafka实例,且实例中有可消费的消息。 查看Kafka监控数据 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击
登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 单击Kafka实例名称,进入“基本信息”页面。
设置用户权限 功能介绍 设置用户权限。 Kafka实例开启SASL功能时,才支持多用户管理的功能。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/instances/{instance_id}/topics/accesspolicy 表1 路径参数
重启Manager 功能介绍 重启Manager。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/instances/{instance_id}/restart-kafka-manager 表1 路径参数 参数 是否必选 参数类型 描述 project_id
重置Manager密码 功能介绍 重置Manager密码。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/instances/{instance_id}/kafka-manager-password 表1 路径参数 参数 是否必选 参数类型 描述
查询配额 功能介绍 查询配额详情。 当前页面API为历史版本API,未来可能停止维护。 调用方法 请参见如何调用API。 URI GET /v1.0/{project_id}/quotas/dms 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
stance_id}/users/{user_name} 表1 路径参数 参数 是否必选 参数类型 描述 engine 是 String 消息引擎的类型。 project_id 是 String 项目ID,获取方式请参见获取项目ID。 instance_id 是 String 实例ID。
消费组管理 重置消费组消费进度到指定位置 查询所有消费组 父主题: API V2
为什么JVM堆内存使用率出现明显波动? JVM堆内存使用率在监控页面呈现锯齿状属于正常现象,在扩容规格或升级Kafka实例内核版本后,可能导致JVM堆内存使用率最大值升高、波动幅度变大,这种波动属于JVM堆内存回收的正常机制,对业务无影响。 父主题: 监控告警问题
登录到Kafka Manager页面,为什么获取不到节点信息? 问题现象:正常登录Kafka Manager页面,但是页面无法显示节点信息,如下所示: 问题原因:这是Kafka开源问题,需要联系客服,重启Kafka Manager。 父主题: Kafka Manager问题
如果无幂等需求,建议设置为false。 在生产者客户端中开启幂等,然后生产消息,此时您会在消费者客户端或Kafka控制台的“消息查询”中观察到消息offset不连续的现象。这是因为开启了幂等后,在生产消息时会产生一些元数据控制消息,这些控制消息也会生产到该Topic中, 且它们对消费者不可见,从而造成offset不连续的现象。
批量重启或删除实例 功能介绍 批量重启或删除实例。 在实例重启过程中,客户端的生产与消费消息等请求会被拒绝。 实例删除后,实例中原有的数据将被删除,且没有备份,请谨慎操作。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/instances/action
查询所有消费组 功能介绍 查询所有消费组。 调用方法 请参见如何调用API。 URI GET /v2/{engine}/{project_id}/instances/{instance_id}/groups 表1 路径参数 参数 是否必选 参数类型 描述 engine 是 String
方法1:登录虚拟私有云服务的控制台界面,在虚拟私有云的详情页面查找VPC ID。 方法2:通过虚拟私有云服务的API接口查询,具体操作可参考查询VPC列表。 security_group_id String 是 指定实例所属的安全组。 获取方法如下: 方法1:登录虚拟私有云服务的控制台界面,在安全组的详情页面查找安全组ID。
instance_id String 是 实例ID。 请求消息 请求参数 无。 请求示例 DELETE https://{dms_endpoint}/v1.0/{project_id}/instances/{instance_id} 响应消息 响应参数 无。 响应示例 无。 状态码 操作成
参数 类型 必选 说明 engine String 是 消息引擎的类型。 请求消息 请求参数 无。 请求示例 GET https://{dms_endpoint}/v1.0/products?engine={engine} 响应消息 响应参数 Hourly或者Monthly的参数说明见表3。
message_current_offset Long 当前消费进度。 message_log_end_offset Long 最大消息位置(LEO)。 lag Long 剩余可消费消息数,即消息堆积数。 表5 assignment参数说明 参数 类型 说明 topic String topic名称。 partitions
客户端单IP连接的个数为多少? 2020年7月以及之后购买的实例,Kafka实例的每个代理允许客户端单IP连接的个数默认为1000个,在此之前购买的实例,Kafka实例的每个代理允许客户端单IP连接的个数默认为200个,如果超过了,会出现连接失败问题。您可以通过修改配置参数来修改单IP的连接数。
不能丢的业务场景,但是会导致生产业务失败。 自动删除策略 该策略场景下磁盘使用到达容量阈值95%后,依旧可以正常生产和消费消息,但是会删除最早的10%的消息,以保证磁盘容量充足。该场景优先保障业务不中断,数据可能会丢失。 以上两种策略需要基于业务对数据和业务的可靠性来进行选择,只