检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在左侧导航栏单击“流控管理 > 流控列表”,进入流控列表页面。 在页面顶端单击“User/Client”,进入“User/Client”页签。 在页面左上角单击“创建流控”,弹出“创建流控”对话框。 设置流控参数。 图1 创建用户/客户端流控 表1 流控参数说明 参数名称 说明 用户名
查看Kafka流控统计 如果Kafka配置了流量控制,可在控制台查看当前流控策略下,每个代理上用户/客户端/Topic的带宽使用量。 单机实例不支持查看流控监控。 查看带宽使用量 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件
配置流控 配置Kafka流控 查看Kafka流控统计
查询用户/客户端流控配置 功能介绍 该接口用于向Kafka实例查询流控的配置,若成功则返回流控配置的列表。 调用方法 请参见如何调用API。 URI GET /v2/kafka/{project_id}/instances/{instance_id}/kafka-user-client-quota
创建用户/客户端流控配置 功能介绍 该接口用于向Kafka实例提交创建用户、客户端级别的流控任务,若成功则返回流控任务的job_id。 调用方法 请参见如何调用API。 URI POST /v2/kafka/{project_id}/instances/{instance_id}
删除用户/客户端流控配置 功能介绍 该接口用于向Kafka实例提交删除用户、客户端级别的流控任务,若成功则返回流控任务的job_id。 调用方法 请参见如何调用API。 URI DELETE /v2/kafka/{project_id}/instances/{instance_i
修改用户/客户端流控配置 功能介绍 该接口用于向Kafka实例提交修改用户、客户端级别的流控任务,若成功则返回流控任务的job_id。 调用方法 请参见如何调用API。 URI PUT /v2/kafka/{project_id}/instances/{instance_id}/
限分配、访问控制等功能,可以帮助您安全的控制华为云资源的访问。 通过IAM,您可以在账号中给员工创建IAM用户,并使用策略来控制他们对华为云资源的访问范围。例如您的员工中有负责软件开发的人员,您希望他们拥有DMS for Kafka的使用权限,但是不希望他们拥有删除Kafka实例
查看监控指标与配置告警 查看Kafka监控数据 Kafka支持的监控指标 配置Kafka监控告警
自动删除策略 该策略场景下磁盘使用到达容量阈值95%后,依旧可以正常生产和消费消息,但是会删除最早的10%的消息,以保证磁盘容量充足。该场景优先保障业务不中断,数据可能会丢失。 以上两种策略需要基于业务对数据和业务的可靠性来进行选择,只能作为极端场景下的一种处理方式。建议业务购买时
Kafka实例的超高IO和高IO如何选择? 高IO:平均时延1-3ms,最大带宽150MB/s(读+写)。 超高IO:平均时延1ms,最大带宽350MB/s(读+写)。 建议选择超高IO,云硬盘服务端压力大场景,都不能达到最大带宽,但是超高IO可达到的带宽比高IO高很多。 父主题:
同步,可以确保Kafka集群的可用性和可靠性。 备份和容灾:企业存在多个数据中心,为了防止其中一个数据中心出现问题,导致业务不可用,会将集群数据同步备份在多个不同的数据中心。 集群迁移:当今很多企业将业务迁移上云,迁移过程中需要确保线下集群和云上集群的数据同步,保证业务的连续性。
权限根据授权的精细程度,分为角色和策略。角色以服务为粒度,是IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。策略以API接口为粒度进行权限拆分,授权更加精细,可以精确到某个操作、资源和条件,能够满足企业对权限最小化的安全管控要求。 DMS for Kafka系统策略说明请参考权限管理。
Topic和分区问题 Kafka实例的Topic数量是否有限制? 为什么限制Topic的总分区数? Kafka支持减少分区数吗? Kafka实例创建Topic失败 Kafka实例支持批量导入Topic功能么?或者是自动生成Topic功能? 为什么删除Topic不生效?删除后该Topic仍然存在
场景描述 您可以根据业务需要创建相应计算能力和存储空间的Kafka实例。 API调用方法请参考如何调用API。 前提条件 已获取IAM的Endpoint,具体请参见地区和终端节点。 已获取Kafka的Endpoint,具体请参见地区和终端节点。 创建Kafka实例 如下示例是创建Kafka实例的请求消息:
获取账号名和账号ID 在调用接口的时候,部分URL中需要填入账号名和账号ID,所以需要先在管理控制台上获取到账号名和账号ID。账号名和账号ID获取步骤如下: 登录管理控制台。 鼠标悬停在右上角的用户名,选择下拉列表中的“我的凭证”。 查看账号名和账号ID。 图1 查看账号名和账号ID
选择和配置安全组 Kafka实例支持使用内网通过同一个VPC访问、跨VPC访问、通过DNAT访问和公网访问,访问实例前,需要配置安全组。 使用内网通过同一个VPC访问实例 客户端和实例是否使用相同的安全组? 是,如果保留了创建安全组后,系统默认添加的入方向“允许安全组内的弹性云服
sasl.mechanism=PLAIN 参数说明如下:username和password为首次开启密文接入时填入的用户名和密码,或者创建用户时设置的用户名和密码。 SASL_SSL:如果已经设置了用户名和密码,以及SSL证书配置,请跳过此步骤,执行2。否则在Kafka客户端的“
代理个数:3 存储空间:超高I/O,200GB 容量阈值策略:自动删除 虚拟私有云:选择虚拟私有云 安全组:选择安全组 内网访问:开启“明文接入” 公网访问:不开启 更多配置:不开启“Smart Connect”和“Kafka自动创建Topic” 购买完成后,在实例详情页获取Kafka实例的内网明文连接地址。
单机和集群Kafka实例差异概述 单机实例是分布式消费服务Kafka版提供的单代理实例,只适用体验和业务测试场景,无法保证性能和可靠性。如果需要在生产环境使用Kafka实例,建议购买集群实例。 单机实例和集群实例支持的特性和功能有部分差异,具体如表1所示。 表1 单机实例和集群实例的差异说明