检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
专享版页面。 在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 单击Kafka实例名称,进入实例详情页面。 在左侧导航栏单击“Smart Connect”,进入Smart Connect任务列表页面。 单击Smart Connect任务名称,进入Smart Connect任务详情页面。
signment 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方式请参见获取项目ID。 instance_id 是 String 实例ID。 topic 是 String Topic名称。 请求参数 表2 请求Body参数
records on each page for pagination query exceeds the upper limit. 分页查找的分页大小超出范围。 请检查分页大小 400 DMS.10240043 The number of skipped records for
业务过载处理建议 方案概述 Kafka业务过载,一般表现为CPU使用率高、磁盘写满的现象。 当CPU使用率过高时,系统的运行速度会降低,并有加速硬件损坏的风险。 当磁盘写满时,相应磁盘上的Kafka日志目录会出现offline问题。此时,该磁盘上的分区副本不可读写,降低了分区的可
详情。 URI GET /v1.0/{project_id}/instances/{instance_id}/topics 参数说明见表1。 表1 参数说明 参数 类型 必选 说明 project_id String 是 项目ID。 instance_id String 是 实例ID
启了“Kafka自动创建Topic”,则该操作为可选。 “Kafka自动创建Topic”表示向一个未创建的Topic生产或消费消息时,系统会自动创建此Topic,此Topic的默认参数值如表1所示。 集群实例支持在“配置参数”中修改“log.retention.hours”(老化时间)、“default
stance_id}/connector 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方式请参见获取项目ID。 instance_id 是 String 实例ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型
秒能写入到Kafka实例的最大消息数量。下表中TPS性能,是指以1KB大小的消息为例的每秒处理消息条数。测试场景为连接内网访问明文接入、磁盘类型为超高I/O的实例。如果您想要了解更多关于TPS的性能,请参考测试Kafka实例TPS。 表1 Kafka集群实例规格 规格名称 代理个数范围
单击Kafka实例名称,进入实例详情页面。 在左侧导航栏选择“用户管理”,进入用户列表页面。 通过以下任意一种方法,导出用户列表。 勾选待导出的用户,单击“导出 > 导出已选中数据到XLSX”,导出指定用户列表。 单击“导出 > 导出全部数据到XLSX”,导出全部用户列表。 请注意:初始用户无法被选中,如果要导出初始
tance_id}/topics 参数说明见表1。 表1 参数说明 参数 类型 必选 说明 project_id String 是 项目ID。 instance_id String 是 实例ID 请求消息 请求参数 参数说明见表2。 表2 参数说明 参数 类型 是否必选 说明 id
在左侧导航栏选择“回收站”,进入“回收站”页面。 通过以下任意一种方法,导出实例列表。 勾选待导出的实例,单击“导出 > 导出已选中数据到XLSX”,导出指定实例列表。 单击“导出 > 导出全部数据到XLSX”,导出全部实例列表。 删除回收站中的实例 登录管理控制台。 在管理控制台左上角单击,选择区域。
在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 单击Kafka实例的名称,进入实例详情页面。 在左侧导航栏选择“消费组管理”,进入消费组列表页面。 单击“创建消费组”,弹出“创建消费组”对话框。 参考表1设置消费组参数,单击“确定”。 表1 消费组参数说明 参数 说明 消费组名称
配置网络环境。 Kafka实例分内网地址以及公网地址两种网络连接方式。如果使用公网地址,则消息生成与消费客户端需要有公网访问权限,并配置如下安全组。 表1 安全组规则 方向 协议 端口 源地址 说明 入方向 TCP 9094 Kafka客户端所在的IP地址或地址组 通过公网访问Kafka(明文接入)。
用系统化存储与分析。 图4 日志同步示意图 上图中Logstash、ElasticSearch分别为日志分析和检索的开源工具,Hadoop表示大数据分析系统。
版页面。 在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 单击Kafka实例的名称,进入实例的“基本信息”页面。 明文接入分为内网访问明文接入和公网访问明文接入,开启明文接入方法如表1所示。 表1 开启明文接入方法 接入方式 开启明文接入 内网访问明文接入 在“内网访问
查询所有实例列表 功能介绍 查询租户的实例列表,支持按照条件查询。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/instances 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方式请参见获取项目ID。
ka实例的运行不受影响。Kafka实例到期后的状态说明,请参见到期后影响。 续费相关的功能 包年/包月Kafka实例续费相关的功能如表1所示。 表1 续费相关的功能 功能 说明 手动续费 包年/包月Kafka实例从购买到被自动删除之前,您可以随时在Kafka控制台为Kafka实例续费,以延长Kafka实例的使用时间。
nstance_id}/reassign 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方式请参见获取项目ID。 instance_id 是 String 实例ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型
在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 单击Kafka实例的名称,进入实例的“基本信息”页面。 在“磁盘存储统计”页面,查看磁盘的使用量。 页面支持从以下三个方面对代理中的
实例中部分代理故障时,无法创建、修改和删除消费组,以及重置消费进度,只能查询消费组。 消息 表4 消息约束与限制 限制项 约束与限制 消息大小 生产消息的最大长度为10MB,超过10MB会导致生产失败。 用户 表5 用户约束与限制 限制项 约束与限制 创建用户的数量 一个Kafka实例最多创