检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Boolean 是否使用用户默认设置。 是,表示对全部用户限流。此时不能同时设置用户名。 否,表示对特定用户限流。此时需要设置用户名。 client-default 否 Boolean 是否使用客户端默认设置。 是,表示对全部客户端限流。此时不能设置客户端ID。 否,表示对特定客户端限流。此时需要设置客户端ID。
Boolean 是否使用用户默认设置。 是,表示对全部用户限流。此时不能同时设置用户名。 否,表示对特定用户限流。此时需要设置用户名。 client-default 否 Boolean 是否使用客户端默认设置。 是,表示对全部客户端限流。此时不能设置客户端ID。 否,表示对特定客户端限流。此时需要设置客户端ID。
密文接入”后,单击,弹出“内网访问密文接入”对话框。 设置kafka安全协议、SASL PLAIN机制、用户名和密码,单击“确定”。跳转到“后台任务管理”页面。当任务状态显示为“成功”时,表示成功开启密文接入。 说明: 首次开启密文接入(包括内网访问密文接入和公网访问密文接入)时,需要设置kafka安全协议、SASL
topic分区数,设置消费的并发数。 默认值为3,取值范围为1~100。 replication Integer 否 副本数,配置数据的可靠性 默认值为3,取值范围为1~3。 sync_replication Boolean 否 是否开启同步复制,开启后,客户端生产消息时相应的也要设置acks=-1,否则不生效。
步骤三:添加DNAT规则 在“公网NAT网关”页面,在新购买的公网NAT网关后,单击“设置规则”,进入公网NAT网关详情页。 在“DNAT规则”页签,单击“添加DNAT规则”,弹出“添加DNAT规则”对话框。 图3 公网NAT网关详情页 设置如下参数。 使用场景:选择“虚拟私有云” 端口类型:选择“具体端口”
主题管理,包括Topic管理接口对应的授权项,如创建Topic、查询Topic、修改Topic等接口。 用户管理,包括用户管理接口对应的授权项,如创建用户、查询用户列表、设置用户权限等接口。 消息查询,包括消息查询接口对应的授权项,如查询消息接口。 后台任务管理,包括实例的后台任务管理接口对应的授权项,如查询实
不连续的现象。 Kafka生产者客户端3.0及之后的版本会默认开启幂等,如果不需要使用该功能,请将“enable.idempotence”设置为“false”。 父主题: 消息问题
消费者的消费能力不足(消费者并发低、消息处理时间长),导致消费效率低于生产效率。 消费者异常(如消费者故障、消费者网络异常等)导致无法消费消息。 Topic分区设置不合理,或新增分区无消费者消费。 Topic频繁重平衡导致消费效率降低。 实施步骤 从消息堆积的原因看,消息堆积问题可以从消费者端、生产者端和服务端三个方面进行处理。
输入带宽大小,默认值为“-1”,表示不限制带宽。 如果实例负载较低(例如实例规格为300MB/s,当前实例负载为30MB/s),建议不设置带宽限制。如果需要设置带宽限制,建议该参数值不小于待分区平衡Topic的总生产带宽 * 待分区平衡Topic的最大副本数。 带宽限制值的估算方法,请参考带宽限制值估算方法。
选择“明细账单”,在筛选条件中选择“资源ID”,并输入3复制的资源ID,按“Enter”即可搜索该资源的账单。 图3 查询资源账单 这里设置的统计维度为“按使用量”,统计周期为“按账期”,您也可以设置其他统计维度和周期,详细介绍请参见流水与明细账单。
Kafka单机实例Topic数量计算 Kafka实例对Topic分区数之和设置了上限,当达到上限之后,用户无法继续创建Topic。 所以,Topic数量和实例分区数上限、每个Topic的分区数有关,其中,每个Topic分区数可在创建Topic时设置,实例分区数上限参考表1。 kafka.2u4g.single实例的分区数上限为250。
String 任务ID。 connector_id String 实例转储ID。 请求示例 新规格按需实例的开启Smart Connect,设置Smart Connect节点数量为2。 POST https://{endpoint}/v2/{project_id}/instance
输入带宽大小,默认值为“-1”,表示不限制带宽。 如果实例负载较低(例如实例规格为300MB/s,当前实例负载为30MB/s),建议不设置带宽限制。如果需要设置带宽限制,建议该参数值不小于待分区平衡Topic的总生产带宽 * 待分区平衡Topic的最大副本数。 带宽限制值的估算方法,请参考带宽限制值估算方法。
broker_cpu_core_load CPU核均负载 该指标为从Kafka节点虚拟机层面采集的CPU每个核的平均负载。 单位:% 0~20 Kafka实例节点 1分钟 broker_disk_usage 磁盘容量使用率 该指标为从Kafka节点虚拟机层面采集的磁盘容量使用率。 单位:% 0~100% Kafka实例节点
支持明文接入。 支持明文接入和密文接入。 变更实例规格 × √ 重置Kafka密码 × √ 查看磁盘使用量 × √ 修改分区平衡 × √ 设置Topic权限 × √ 用户管理 × √ 查看重平衡日志 × √ Smart Connect × √ 流控管理 × √ 修改配置参数 × √
在左侧导航栏选择“回收站”,进入“回收站”页面。 单击“回收站策略”,弹出“回收站策略”对话框。 开启启用回收站,并设置保留天数,单击“确定”。 保留天数只能设置为1~7天。 修改保留天数仅对修改后删除的实例生效,修改前已在回收站中的实例依然按照修改前的天数保留实例。 恢复Kafka实例
请注意查看该可用区是否有资源。 创建Kafka实例,支持节点部署在1个或3个及3个以上的可用区。在为节点指定可用区时,用逗号分隔开。参数设置参考如下示例。 一个可用区:"available_zones": [ "a0865121f83b41cbafce65930a22a6e8"
Connect”。 单击Kafka实例名称,进入实例详情页面。单击右上角的“更多 > 关闭Smart Connect”。 单击,将Smart Connect设置为关闭,单击“下一步”。 确认“Smart Connect”为关闭状态,单击“提交”。 父主题: 使用Smart Connect迁移数据
在左侧导航栏单击“Topic管理”,进入Topic列表页面。 在待生产消息的Topic所在行,单击“更多 > 生产消息”,弹出“生产消息”对话框。 参考表1,设置消息的相关参数。 表1 消息参数 参数名称 说明 消息内容 输入消息的内容。长度为0~128000B。 消息Key 输入消息的Key。 发送到指定分区
String Kafka实例的基准带宽。 available_zones Array 实例资源未售罄的可用区。 ecs_flavor_id String 该产品规格对应的虚拟机规格。 arch_type String 实例规格架构类型。当前仅支持X86。 表6 io参数说明 参数 类型