检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
名和账号ID。账号名和账号ID获取步骤如下: 登录管理控制台。 鼠标悬停在右上角的用户名,选择下拉列表中的“我的凭证”。 查看账号名和账号ID。 图1 查看账号名和账号ID 父主题: 附录
IdentityReplicationPolicy”。 在源集群生产并消费消息,在目标集群查看消费进度,确认数据是否已从源集群同步到了目标集群。 如果目标集群为华为云Kafka实例的话,在分布式消息服务Kafka版控制台的“消费组管理 > 消费进度”中,查看消费进度。
servers=${连接地址} acks=1 batch.size=16384 linger.ms=10 --topic ${Topic名称} --num-records 10000000 --record-size 1024 --throughput -1 --producer.config ../config/producer
单击Kafka实例名称,进入实例详情页面。单击右上角的“更多 > 重启Manager”。 单击“是”。 您可以在实例的“后台任务管理”页面,查看当前任务的操作进度。任务状态为“成功”,表示重启成功。 父主题: 管理Kafka Manager
参数。 查看消费组列表 在“消费组管理”页面,查看消费组列表。 查看消费组详情页 在“消费组管理”页面,单击消费组名称,进入消费组详情页,查看消费者列表和消费进度。 查看消费组队列详情页 在“消费组管理”页面,单击消费组名称,进入消费组详情页。在“消费进度”页签中,查看消费组消费
消费者每次最多消费max.poll.records条消息,多数情况下客户端都会把一次消费到的数据处理完后才会开始下一次消费,如果单次消费的消息太多导致无法在max.poll.interval.ms时间内处理完或消息处理流程发生了异常(如需要写入后端数据库,后端数据库压力太大,慢SQL,时延增加等)导致消费时间增加,在max
查询配额 功能介绍 查询配额详情。 当前页面API为历史版本API,未来可能停止维护。 调用方法 请参见如何调用API。 URI GET /v1.0/{project_id}/quotas/dms 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
查询Smart Connector任务详情 功能介绍 查询Smart Connector任务详情。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/instances/{instance_id}/connector/tasks/{task_id}
用于启动未启动的Smart Connect任务以及重启已暂停或者运行中的Smart Connect任务。注意,重启Smart Connect任务将重置同步进度,并重新开始同步任务。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/kafka/instances
管理消费组 创建Kafka消费组 查看Kafka消费组信息 查看Kafka消费者信息 查看和重置Kafka消费进度 查看Kafka重平衡日志 修改Kafka消费组信息 导出Kafka消费组列表 删除Kafka消费组
在左侧导航栏,单击“监控与告警 > 监控详情”,进入监控页面。 在“消费组”页签中,查看“消息堆积数(消费组可消费消息数)”,找出消息堆积的消费组。 在左侧导航栏,单击“消费组管理”,进入消费组列表页面。 查看消息堆积的消费组是否有消费者在消费,如果有,让业务方加快消费效率,如果没有,让客户酌情删掉不使用的消费组。
查询实例标签 功能介绍 查询实例标签。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/kafka/{instance_id}/tags 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方式请参见获取项目ID。
查询指定实例 当前页面API为历史版本API,未来可能停止维护。请使用查询指定实例。 功能介绍 查询指定实例的详细信息。 URI GET /v1.0/{project_id}/instances/{instance_id} 参数说明见表1。 表1 参数说明 参数 类型 必选 说明
查询Smart Connect任务列表 功能介绍 查询Smart Connect任务列表。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/instances/{instance_id}/connector/tasks 表1 路径参数 参数 是否必选
查询指定实例 功能介绍 查询指定实例的详细信息。 当前页面API为历史版本API,未来可能停止维护。请使用查询指定实例。 调用方法 请参见如何调用API。 URI GET /v2/{engine}/{project_id}/instances/{instance_id} 表1 路径参数
重置用户密码 修改用户参数 查询用户权限 设置用户权限 消息查询 包括: 查询消息 查询分区指定偏移量的消息 查询分区指定时间段的消息 查询分区最早消息的位置 查询分区最新消息的位置 Kafka删除消息 后台任务管理 包括: 查询实例的后台任务列表 查询后台任务管理中的指定记录 删除后台任务管理中的指定记录
Topic监控数据无法展示,可能原因如下: Topic名称开头包含特殊字符,例如#号“#”。 Kafka实例中没有创建Topic。 解决方法如下: 删除带特殊字符的Topic。 创建Topic。 消费组监控数据无法展示,可能原因如下: 消费组名称开头包含特殊字符,例如#号“#”。 此消费组从未有消费者连接。 解决方法如下:
怀疑是业务堆积,处理慢导致时延。 通过查看监控数据,发现业务请求并不是很多,堆积最多时也只有50条消息,同时每秒新增消息只有10条左右,应该还没有到达处理极限。 排查EIP流量情况,发现入流量存在下降的场景。 联系EIP服务技术人员协助排查,未发现问题。 从业务日志中分析消费组行为。 通过查看服务端日志,
组、开启实例转储。除此之外,您还可以实时查看监控指标及审计日志,以便及时了解Kafka实例节点、队列、消费组等相关状态。 日常操作 查看实例信息 扩容实例存储空间 扩容实例代理个数 开启Smart Connect 删除消费组 重置消费进度 修改配置参数 设置Topic的ACL权限
查询Kafka集群元数据信息 当前页面API为历史版本API,未来可能停止维护。请使用查询Kafka集群元数据信息。 URI GET /v1.0/{project_id}/instances/{instance_id}/manage/cluster 参数说明如下表所示。 表1 参数说明