检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
partition Integer 分区 result String 返回结果 error_code String 返回错误码 请求示例 DELETE https://{endpoint}/v2/{project_id}/kafka/instances/{instance_id}/topics/{topic}/messages
参数说明见表2。 表2 参数说明 参数 类型 是否必选 说明 topics Array 是 待删除的topic列表 请求示例 POST https://{dms_endpoint}/v1.0/{project_id}/instances/{instance_id}/topics/delete
创建用户并授权使用DMS for Kafka 如果您需要对您所拥有的DMS for Kafka服务进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),通过IAM,您可以: 根据企业的业务组织,在您的华为账号中
Integer 租户最大可以创建的实例个数,或者每个实例最大可以创建的标签个数。 used Integer 已创建的实例个数。 请求示例 GET https://{endpoint}/v1.0/{project_id}/quotas/dms 响应示例 状态码: 200 查询成功。 { "quotas"
Topic数量和Topic总分区数、每个Topic的分区数有关,Kafka实例对Topic总分区数设置了上限,当达到上限后,会导致用户无法继续创建Topic。 不同规格配置的Topic总分区数不同,如下表所示。 表1 Kafka集群实例规格 规格名称 代理个数范围 单个代理TPS 单个代理分区上限 单个代理建议消费组数
error_code String 错误码。 error_msg String 错误描述。 请求示例 升级id为instance_id的实例。 POST https://{endpoint}/v2/{project_id}/kafka/instances/{instance_id}/upgrade
topic String TOPIC名称 partitions Integer 分区 lag Integer 消息堆积数量 请求示例 GET https://{endpoint}/v2/{engine}/{project_id}/instances/{instance_id}/groups/{group}/topics
查询维护时间窗开始时间和结束时间。 URI GET /v1.0/instances/maintain-windows 请求消息 请求参数 无。 请求示例 GET https://{dms_endpoint}/v1.0/instances/maintain-windows 响应消息 响应参数 参数说明见表表1、表2
消费者Id host String host名称 client_id String 客户端Id 请求示例 查询消费组消息位点 GET https://{endpoint}/v2/{engine}/{project_id}/instances/{instance_id}/group
障Kafka实例持续提供服务。 数据容灾 通过支持数据多副本方式实现数据容灾。 跨AZ容灾部署架构 DMS for Kafka部署在3个及以上可用区时,可实现跨AZ容灾。 图1 跨AZ部署架构图 父主题: 安全
GroupMemberEntity 参数 参数类型 描述 member_id String 成员Id client_id String 客户端Id 请求示例 GET https://{endpoint}/v2/{engine}/{project_id}/instances/{instance_id}/groups/{group}/members
Kafka实例创建Topic失败 可能原因:已创建的Topic,分区数之和达到实例规格的分区数上限。不同规格实例配置的分区数上限不同,具体请参考Kafka单机实例规格和Kafka集群实例规格。 解决方案:对Kafka实例扩容,或者删除不需要的Topic。 父主题: Topic和分区问题
Kafka以分区为粒度管理消息,分区多导致生产、存储、消费都碎片化,影响性能稳定性。在使用过程中,当Topic的总分区数达到上限后,用户就无法继续创建Topic。 不同规格配置的Topic总分区数不同,如下表所示。 表1 Kafka集群实例规格 规格名称 代理个数范围 单个代理TPS 单个代理分区上限 单个代理建议消费组数
String SmartConnect任务名称。 topics String SmartConnect任务配置的Topic。 topics_regex String SmartConnect任务配置的Topic正则表达式。 source_type String SmartConnect任务的源端类型。
如果Topic已经设置了老化时间,此时“配置参数”中的log.retention.hours值将不对此Topic生效。仅在Topic中未设置老化时间时,“配置参数”中的log.retention.hours值才会对此Topic生效。 例如:Topic01设置的老化时间为60小时,“配置参数”中的log.retention
还会有消息生产行为,并自动创建Topic。 问题解决措施 关闭Kafka自动创建Topic功能,才可以正常删除Topic。关闭方法请参考配置Kafka自动创建Topic。
coordinator_id Integer 协调器编号。 group_desc String 消费组描述。 lag Long 堆积数。 请求示例 GET https://{endpoint}/v2/{engine}/{project_id}/instances/{instance_id}/groups
老化时间等。 Topic分区平衡 在“Topic管理”页面,修改分区平衡,支持手动平衡和自动平衡。 更新Topic配置 在“Topic管理”页面,修改Topic配置参数。 查看消费组列表 在“消费组管理”页面,查看消费组列表。 查看消费组详情页 在“消费组管理”页面,单击消费组名
项目ID,获取方式请参见获取项目ID。 instance_id 是 String 实例id 请求参数 无 响应参数 无 请求示例 DELETE https://{endpoint}/v2/{project_id}/kafka/instances/{instance_id}/management
实例ID。 task_id 是 String Smart Connector任务ID。 请求参数 无 响应参数 无 请求示例 DELETE https://{endpoint}/v2/{project_id}/instances/{instance_id}/connector/tasks/{task_id}