检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
2023年5月17日及以后创建的实例不提供此用户名。 公网访问 是否开启公网访问开关。 公网连接地址 开启公网访问后,连接实例的地址。 仅当开启了公网访问才显示该参数。 Manager公网访问地址 开启公网访问后,连接Kafka Manager的地址。 仅当开启了公网访问才显示该参数。 2023年5月17日及以后创建的实例不提供此地址。
111或以上版本和Git Bash。 创建Kafka实例和Topic,并获取Kafka实例信息。 Kafka实例未开启公网访问和SASL认证时,获取表2所示信息。 表2 Kafka实例信息(未开启公网访问和SASL认证) 参数名 获取途径 内网连接地址 在Kafka实例详情页的“连接信息”区域,获取“内网连接地址”。
删除Kafka Topic 本章节指导您删除Topic,请根据实际情况选择以下任意一种方式: 删除Kafka Topic(控制台) 删除Kafka Topic(Kafka客户端) 约束与限制 删除Topic会导致Topic中的数据也被删除,并且无法找回,同时会影响使用该Topic的相关业务。
只能通过内网连接。如果两个Kafka实例处于不同的VPC中,请先打通网络,方法可以参考使用VPCEP实现跨VPC访问Kafka或者对等连接。 认证方式 支持以下认证方式: SASL_SSL:表示实例已开启SASL_SSL认证,客户端连接Kafka实例时采用SASL认证,数据通过SSL证书进行加密传输。
second),在Kafka场景中,指每秒能写入到Kafka实例的最大消息数量。下表中TPS性能,是指以1KB大小的消息为例的每秒处理消息条数。测试场景为连接内网访问明文接入、磁盘类型为超高I/O的实例。如果您想要了解更多关于TPS的性能,请参考测试Kafka实例TPS。 表1 Kafka集群实例规格 规格名称
持续提供服务。 AZ内实例容灾 同一个AZ内,Kafka实例通过副本冗余方式实现实例容灾,当检测到leader副本故障后,快速完成副本选主,保障Kafka实例持续提供服务。 数据容灾 通过支持数据多副本方式实现数据容灾。 跨AZ容灾部署架构 DMS for Kafka部署在3个及以上可用区时,可实现跨AZ容灾。
Topic老化时间默认为72小时,创建Topic成功之后,您可以根据业务需要修改Topic的老化时间。修改老化时间,不会影响业务。 修改老化时间可以通过以下方式实现: 在“Topic管理”中,修改老化时间。 在“配置参数”中,修改“log.retention.hours”参数值,具体步骤请参考修改Kafka实例配置参数。
second),在Kafka场景中,指每秒能写入到Kafka实例的最大消息数量。下表中TPS性能,是指以1KB大小的消息为例的每秒处理消息条数。测试场景为连接内网访问明文接入、磁盘类型为超高I/O的实例。 表1 Kafka单机实例规格 规格名称 代理个数 单个代理TPS 单个代理分区上限 单个代理建议消费组数
安全组是一组对Kafka实例的访问规则的集合。您可以单击右侧的“管理安全组”,跳转到网络控制台的“安全组”页面,查看或创建安全组。 客户端连接Kafka实例前,请根据不同的连接方式配置对应的安全组规则,否则会连接失败。具体的安全组规则请参考表2。 设置实例访问方式。 表4 实例访问方式参数说明 参数名称
安全协议设置为“SASL_SSL”时,采用SASL方式进行认证,数据通过SSL证书进行加密传输,安全性更高。此时需要配置连接实例的用户名和密码,以及证书文件。 安全协议设置为“SASL_PLAINTEXT”时,采用SASL方式进行认证,数据通过明文传输,性能更好。此时需要配置连
在左侧导航栏单击“流控管理 > 流控监控”,进入流控监控页面。 设置查询带宽使用量的参数。 表1 查询带宽使用量的参数说明 参数 说明 统计方式 设置带宽使用量的统计方式。 前n个:统计带宽使用量排名前x个的用户/客户端/Topic,x由您自行输入。 带宽速率:统计带宽速率大于x MB/s的用户/客户端/Topic,x由您自行输入。
安全协议设置为“SASL_SSL”时,采用SASL方式进行认证,数据通过SSL证书进行加密传输,安全性更高。此时需要配置连接实例的用户名和密码,以及证书文件。 安全协议设置为“SASL_PLAINTEXT”时,采用SASL方式进行认证,数据通过明文传输,性能更好。此时需要配置连
设置实例网络环境信息 设置实例的访问方式,如图5所示,配置详情请参考表5。 表5 设置实例的访问方式 参数 子参数 说明 内网访问 接入方式 选择“密文接入”,即客户端连接Kafka实例时,需要进行SASL认证。 kafka安全协议 选择“SASL_SSL”,即采用SASL方式进行认证,数据通过SSL证书进行加密传输,安全性更高。
开启/关闭自动创建Topic。 容量阈值策略变更 修改Kafka实例的容量阈值策略。 Kafka动态配置SSL 修改明文接入/密文接入。 配置公网访问 开启/关闭公网访问。 开启Smart Connect 开启Smart Connect功能。 关闭Smart Connect 关闭Smart Connect功能。
消息堆积可能的原因、受影响的分区或者broker,以及解决消息堆积的建议。 前提条件 已创建Kafka实例,并且消费组正在以非assign方式消费消息中。 一个消费组正在诊断中时,无法对其他消费组进行诊断,也无法对此消费组消费的其他Topic进行诊断。 操作流程 图1 消息积压诊断流程图
一般适用于电商抢购等业务需求量瞬间大幅波动的场景。 表1列出了两种计费模式的区别。 表1 计费模式 计费模式 包年/包月 按需计费 付费方式 预付费 按照订单的购买周期结算。 后付费 按照Kafka实例实际使用时长计费。 计费周期 按订单的购买周期计费。 秒级计费,按小时结算。
Kafka 创建IAM用户,并授予DMS for Kafka的权限,以达到用户之间权限的隔离。 购买Kafka实例 Kafka实例采用物理隔离的方式部署,租户独占Kafka实例。 创建Kafka Topic 创建用于存储消息的Topic,供生产者生产消息以及消费者订阅消息。 连接实例
kafka modifyDMSInstanceInfoTaskFailure 删除后台任务成功 kafka deleteDMSBackendJobSuccess 删除后台任务失败 kafka deleteDMSBackendJobFailure 开启Smart Connect任务执行成功
支持1.1.0、2.7和3.x版本。 可用区 支持单可用区。 支持1个或者3个及以上可用区。 代理数量 1个代理。 3个及以上代理。 接入方式 支持明文接入。 支持明文接入和密文接入。 变更实例规格 × √ 重置Kafka密码 × √ 查看磁盘使用量 × √ 修改分区平衡 × √
间统一到各个月的某一天(详细介绍请参见统一包年/包月资源的到期日)。确认配置费用后单击“去支付”。 图1 续费确认 进入支付页面,选择支付方式,确认付款,支付订单后即可完成续费。 在费用中心续费 进入“费用中心 > 续费管理”页面。 自定义查询条件。 可在“手动续费项”、“自动续