分布式消息服务KAFKA版-华为云

分布式消息服务KAFKA版-设置Kafka Topic权限:约束与限制

约束与限制如果“allow.everyone.if.no.acl.found”为“true”，且Topic未授权任何用户，此时所有的用户都可以订阅/发布此Topic。如果Topic已授权某一个或多个用户，此时只有授权的用户可以订阅/发布此Topic，其他未授权的用户不能订阅/发布此Topic。“allow.everyone.if.no.acl.found”在配置参数中修改。如果“allow.everyone.if.no.acl.found”为“false”，初始用户（即首次开启密文接入时设置的用户）拥有订阅/发布Topic的权限，其他用户在未授权时不能订阅/发布Topic。“allow.everyone.if.no.acl.found”在配置参数中修改。如果Topic同时设置了“默认用户”权限和单个用户权限，取两者的并集。单机实例不支持设置Topic权限。

分布式消息服务KAFKA版

分布式消息服务KAFKA版-Kafka支持的监控指标:消费组监控指标

消费组监控指标表4 消费组支持的监控指标指标ID 指标名称指标含义取值范围测量对象监控周期（原始指标） messages_consumed 分区已消费消息数该指标用于统计当前消费组已经消费的消息个数。单位：Count 在“消费组”页签，“主题”为指定的Topic名称，“监控类型”为“分区监控”时，才包含该指标。 ≥ 0 Kafka实例的消费组 1分钟 messages_remained 分区可消费消息数该指标用于统计消费组可消费的消息个数。单位：Count 在“消费组”页签，“主题”为指定的Topic名称，“监控类型”为“分区监控”时，才包含该指标。 ≥ 0 Kafka实例的消费组 1分钟 topic_messages_remained 队列可消费消息数该指标用于统计消费组指定队列可以消费的消息个数。单位：个在“消费组”页签，“主题”为指定的Topic名称，“监控类型”为“基本监控”时，才包含该指标。 0~（263-1） Kafka实例的消费组 1分钟 topic_messages_consumed 队列已消费消息数该指标用于统计消费组指定队列当前已经消费的消息数。单位：个在“消费组”页签，“主题”为指定的Topic名称，“监控类型”为“基本监控”时，才包含该指标。 0~（263-1） Kafka实例的消费组 1分钟 consumer_messages_remained 消息堆积数（消费组可消费消息数）该指标用于统计消费组剩余可以消费的消息个数。单位：个在“消费组”页签，“主题”为“全部队列”时，才包含该指标。 0~（263-1） Kafka实例的消费组 1分钟 consumer_messages_consumed 消费组已消费消息数该指标用于统计消费组当前已经消费的消息数。单位：个在“消费组”页签，“主题”为“全部队列”时，才包含该指标。 0~（263-1） Kafka实例的消费组 1分钟 messages_consumed_per_min 分区消费速率统计消费组指定队列分区每分钟的消费数。单位：个/分钟在“消费组”页签，“主题”为指定的Topic名称，“监控类型”为“分区监控”时，才包含该指标。部分存量实例不支持此监控，具体以控制台为准。 0~30000000 Kafka实例的消费组 1分钟 topic_messages_consumed_per_min 队列消费速率统计消费组指定队列每分钟的消费数。单位：个/分钟在“消费组”页签，“主题”为指定的Topic名称，“监控类型”为“基本监控”时，才包含该指标。部分存量实例不支持此监控，具体以控制台为准。 0~30000000 Kafka实例的消费组 1分钟 consumer_messages_consumed_per_min 消费组消费速率统计消费组每分钟的消费数。单位：个/分钟在“消费组”页签，“主题”为“全部Topic”时，才包含该指标。部分存量实例不支持此监控，具体以控制台为准。 0~30000000 Kafka实例的消费组 1分钟

分布式消息服务KAFKA版查看监控指标与配置告警

分布式消息服务KAFKA版-Kafka支持的监控指标:维度

维度 Key Value kafka_instance_id Kafka实例 kafka_broker Kafka实例节点 kafka_topics Kafka实例主题 kafka_partitions Kafka实例分区 kafka_groups-partitions Kafka实例分区的消费组 kafka_groups_topics Kafka实例队列的消费组 kafka_groups Kafka实例的消费组 connector_task Kafka实例的Smart Connect任务

分布式消息服务KAFKA版查看监控指标与配置告警

分布式消息服务KAFKA版-Kafka支持的监控指标:Smart Connect监控指标

Smart Connect监控指标仅集群实例支持Smart Connect监控指标。表5 Smart Connect支持的监控指标指标ID 指标名称指标含义取值范围测量对象监控周期（原始指标） kafka_wait_synchronize_data 待同步Kafka数据量 Kafka任务的待同步数据量。单位：Count ≥ 0 Kafka实例的Smart Connect任务 1分钟 kafka_synchronize_rate Kafka每分钟同步数据量 Kafka任务每分钟同步的数据量。单位：Count ≥ 0 Kafka实例的Smart Connect任务 1分钟 task_status 任务状态当前任务状态。 0：任务异常 1：任务正常 Kafka实例的Smart Connect任务 1分钟 message_delay 消息时延消息到达源端的时间与到达目标端的时间之差。单位：ms ≥ 0 Kafka实例的Smart Connect任务 1分钟使用Smart Connect监控指标时，请注意如下几点： Kafka双向数据复制的Smart Connect任务在监控中会被拆分为2个任务，分别为“Smart Connect任务名_source_0”和“Smart Connect任务名_source_1”。如果Topic中的消息在进行下一次数据同步前，已经全部老化，此时实际是没有待同步的Kafka数据，但是Kafka数据同步监控指标使用的是包含老化数据的offset值，“待同步Kafka数据量”会显示老化的消息数。

分布式消息服务KAFKA版查看监控指标与配置告警

分布式消息服务KAFKA版-Kafka支持的监控指标:实例监控指标

实例监控指标表1 实例支持的监控指标指标ID 指标名称指标含义取值范围测量对象监控周期（原始指标） current_partitions 分区数该指标用于统计Kafka实例中已经使用的分区数量。单位：个 0~100000 Kafka实例 1分钟 current_topics 主题数该指标用于统计Kafka实例中已经创建的主题数量。单位：个 0~100000 Kafka实例 1分钟 group_msgs 消息堆积数该指标用于统计Kafka实例中所有消费组中总堆积消息数。单位：个 0~1000000000 Kafka实例 1分钟 instance_bytes_in_rate 生产流量统计实例中每秒生产的字节数。单位：Byte/s、KiB/s、MiB/s、GiB/s、TiB/s、PiB/s 部分存量实例不支持此监控，具体以控制台为准。 0~1000000 Kafka实例 1分钟 instance_bytes_out_rate 消费流量统计实例中每秒消费的字节数。单位：Byte/s、KiB/s、MiB/s、GiB/s、TiB/s、PiB/s 部分存量实例不支持此监控，具体以控制台为准。 0~1000000 Kafka实例 1分钟 current_partitions_usage 分区使用率该指标用于统计分区使用率。单位：% 部分存量实例不支持此监控，具体以控制台为准。 0~100% Kafka实例 1分钟

分布式消息服务KAFKA版查看监控指标与配置告警

分布式消息服务KAFKA版-Kafka支持的监控指标:主题监控指标

主题监控指标表3 主题支持的监控指标指标ID 指标名称指标含义取值范围测量对象监控周期（原始指标） topic_bytes_in_rate 生产流量该指标用于统计每秒生产的字节数。单位：Byte/s、KB/s、MB/s、GB/s 在“主题”页签，当“监控类型”为“基本监控”时，才包含该指标。 0~500000000 Kafka实例队列 1分钟 topic_bytes_out_rate 消费流量该指标用于统计每秒消费的字节数。单位：Byte/s、KB/s、MB/s、GB/s 在“主题”页签，当“监控类型”为“基本监控”时，才包含该指标。 0~500000000 Kafka实例队列 1分钟 topic_data_size 队列数据容量该指标用于统计队列当前的消息数据大小。单位：Byte、KB、MB、GB、TB、PB 在“主题”页签，当“监控类型”为“基本监控”时，才包含该指标。 0~5000000000000 Kafka实例队列 1分钟 topic_messages 队列消息总数该指标用于统计队列当前的消息总数。单位：Count 在“主题”页签，当“监控类型”为“基本监控”时，才包含该指标。 ≥ 0 Kafka实例队列 1分钟 topic_messages_in_rate 消息生产速率该指标用于统计每秒生产的消息数量。单位：Count/s 在“主题”页签，当“监控类型”为“基本监控”时，才包含该指标。 0~500000 Kafka实例队列 1分钟 partition_messages 分区消息数该指标用于统计分区中当前的消息个数。单位：Count 在“主题”页签，当“监控类型”为“分区监控”时，才包含该指标。 ≥ 0 Kafka实例队列 1分钟 produced_messages 生产消息数该指标用于统计目前生产的消息总数。单位：Count 在“主题”页签，当“监控类型”为“分区监控”时，才包含该指标。 ≥ 0 Kafka实例队列 1分钟

分布式消息服务KAFKA版查看监控指标与配置告警

分布式消息服务KAFKA版-创建Kafka Topic:约束与限制

约束与限制 Kafka单机/集群实例对Topic的总分区数设置了上限，当Topic的总分区数达到上限后，用户就无法继续创建Topic。不同规格配置的Topic总分区数不同，具体请参考Kafka集群实例和Kafka单机实例。 2023年5月17日及以后创建的实例不提供Kafka Manager功能，不支持在Kafka Manager中创建Topic。已开启密文接入的实例，“allow.everyone.if.no.acl.found”为“false”时，初始用户（即首次开启密文接入时设置的用户）可以通过客户端创建Topic，其他用户无法通过客户端创建Topic。 Topic名称开头包含特殊字符，例如“#”号时，监控数据无法展示。由于Kafka内核限制，无法区分句点和下划线，因此无法创建名称中只有句点和下划线不同的Topic。例如，已创建Topic_1，在新创建Topic.1时，报错如下：Topic 'topic.1' collides with existing topics: topic_1。

分布式消息服务KAFKA版配置Topic

分布式消息服务KAFKA版-购买Kafka实例:准备实例依赖资源

准备实例依赖资源创建Kafka实例前，请提前准备好如表1所示资源。表1 Kafka实例依赖资源资源名称要求创建指导 VPC和子网 Kafka实例可以使用当前账号下已创建的VPC和子网，也可以使用新创建的VPC和子网，还可以使用共享VPC和子网，请根据实际需要进行配置。共享VPC是基于资源访问管理（Resource Access Manager，简称 RAM ）服务的机制，VPC的所有者可以将VPC内的子网共享给一个或者多个账号使用。通过共享VPC功能，可以简化网络配置，帮助您统一配置和运维多个账号下的资源，有助于提升资源的管控效率，降低运维成本。有关VPC子网共享的更多信息，请参见共享VPC。在创建VPC和子网时应注意：创建的VPC与Kafka实例在相同的区域。在创建VPC和子网时应注意：创建的VPC与Kafka实例在相同的区域。子网开启IPv6后，Kafka实例支持IPv6功能。Kafka实例开启IPv6后，客户端可以使用IPv6地址连接实例。创建VPC和子网的操作指导请参考创建虚拟私有云和子网，若需要在已有VPC上创建和使用新的子网，请参考为虚拟私有云创建新的子网。安全组不同的Kafka实例可以重复使用相同的安全组，也可以使用不同的安全组，请根据实际需要进行配置。安全组与Kafka实例必须在相同的区域。连接Kafka实例前，请根据连接方式配置对应的安全组，具体请参考表2。创建安全组的操作指导请参考创建安全组，为安全组添加规则的操作指导请参考添加安全组规则。弹性IP地址如果客户端使用公网连接Kafka实例，请提前创建弹性IP地址。在创建弹性IP地址时，应注意如下要求：创建的弹性IP地址与Kafka实例在相同的区域。弹性IP地址的数量必须与Kafka实例的代理个数相同。 Kafka控制台无法识别开启IPv6转换功能的弹性IP地址。创建弹性IP地址的操作指导请参考申请弹性公网IP。

分布式消息服务KAFKA版

分布式消息服务KAFKA版-修改Kafka Topic分区数:约束与限制

约束与限制分区数只支持增加，不支持减少。 2023年5月17日及以后创建的实例不提供Kafka Manager功能，不支持在Kafka Manager中修改Topic分区数。 Kafka单机/集群实例对Topic的总分区数设置了上限，当Topic的总分区数达到上限后，用户就无法继续创建Topic。不同规格配置的Topic总分区数不同，具体请参考Kafka集群实例和Kafka单机实例。已开启密文接入的实例，“allow.everyone.if.no.acl.found”为“false”时，初始用户（即首次开启密文接入时设置的用户）可以通过客户端修改Topic分区数，其他用户无法通过客户端修改Topic分区数。

分布式消息服务KAFKA版 Topic管理

分布式消息服务KAFKA版-配置Kafka流控:操作影响

操作影响当流控值达到上限后，会导致生产/消费的时延增大。设置的流控值较小且生产者速率较大时，可能会造成生产超时、消息丢失，导致部分消息生产失败。初始生产/消费的流量较大，如果设置一个较小的流控值，会导致生产/消费的时延增大、部分消息生产失败。建议逐次减半设置流控值，待生产/消费稳定后继续减半设置，直到设置为目标流控值。例如初始生产流量100MB/s，可先设置生产流控为50MB/s，待稳定后再修改为25MB/s，直到目标流控值。

分布式消息服务KAFKA版配置流控

分布式消息服务KAFKA版-100MB/s的带宽怎样开启公网访问？

100MB/s的带宽怎样开启公网访问？ 100MB/s带宽的实例存在两种不同规格的底层资源，一种支持开启公网访问，另一种不支持，具体以控制台为准。 100MB/s的带宽不支持开启公网访问的原因为底层E CS 资源规格的限制，此种情况下，通过扩容Kafka实例的带宽无法解决此问题，因为扩容带宽是通过扩容节点实现的，扩容的节点规格和扩容前的节点相同，此时底层ECS资源规格依然不支持开启公网访问。建议您通过重新购买大于100MB/s带宽的实例解决此问题。父主题：实例问题

分布式消息服务KAFKA版实例问题

分布式消息服务Kafka版-SDK概述:SDK列表

SDK列表在开始使用之前，请确保您安装的是最新版本的SDK。使用过时的版本可能会导致兼容性问题或无法使用最新功能。您可以在 SDK中心查询版本信息。表1提供了分布式消息服务Kafka版支持的SDK列表，您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。表1 SDK列表编程语言 Github地址参考文档 Java huaweicloud-sdk-java-v3 Java SDK使用指导 Python huaweicloud-sdk-python-v3 Python SDK使用指导 Go huaweicloud-sdk-go-v3 Go SDK使用指导 NodeJs huaweicloud-sdk-nodejs-v3 NodeJs SDK使用指导 .NET huaweicloud-sdk-net-v3 .Net SDK使用指导 PHP huaweicloud-sdk-php-v3 PHP SDK使用指导表1提供的SDK为管理面API的SDK，并非生产消费消息的SDK。如果需要生产消费消息的SDK，请参考开发指南。

分布式消息服务Kafka版

分布式消息服务KAFKA版-计费项:计费示例

计费示例以包年/包月计费模式为例，假设您于2023/03/08 15:50:04在“华北-北京四”区域购买了一个包年/包月Kafka实例（规格：kafka.2u4g.cluster*3，总存储空间：超高I/O 300GB），计费资源包括实例费用（代理规格和代理数量），以及存储空间费用（超高I/O 300GB）。购买时长为一个月，并在到期前手动续费1个月，则：第一个计费周期为：2023/03/08 15:50:04 ~ 2023/04/08 23:59:59 第二个计费周期为：2023/04/08 23:59:59 ~ 2023/05/08 23:59:59 图1给出了上述示例配置的费用计算过程。图中价格仅供参考，实际计算请以分布式消息服务Kafka版价格详情中的价格为准。图1 包年/包月Kafka实例费用计算示例（华北-北京四区域）按需计费模式下，各计费项的计费示例请参见计费示例。

分布式消息服务KAFKA版

分布式消息服务KAFKA版-计费项:计费说明

计费说明分布式消息服务Kafka版的计费项由实例费用和存储空间费用组成。具体内容如表1所示。如您需要快速了解分布式消息服务Kafka版的具体价格，请参见分布式消息服务Kafka版价格详情。表1 分布式消息服务Kafka版计费项计费项计费项说明适用的计费模式计费公式实例费用计费因子：代理规格和代理数量如果开启Smart Connect，实例需要另外收取用于Smart Connect的代理费用。说明：实例费用在账单中显示的产品名称为“分布式消息服务专享版”。包年/包月、按需计费实例规格单价 * 购买时长实例规格单价请参见分布式消息服务Kafka版价格详情中的“实例价格”。存储空间费用计费因子：云硬盘类型、容量说明：存储空间费用在账单中显示的产品名称为“分布式消息服务物理多租存储”。包年/包月、按需计费云硬盘单价 * 购买时长云硬盘单价请参见分布式消息服务Kafka版价格详情中的“存储价格”。

分布式消息服务KAFKA版

分布式消息服务KAFKA版-Kafka扩容/缩容会影响业务吗？

Kafka扩容/缩容会影响业务吗？扩容/缩容Kafka实例的影响如表1所示。表1 变更实例规格的影响变更配置类型影响基准带宽/代理数量扩容基准带宽/代理数量不会影响原来的代理，业务也不受影响。扩容基准带宽/代理数量时，系统会根据当前磁盘大小进行相应比例的存储空间扩容。例如扩容前实例的代理数为3，每个代理的磁盘大小为200GB，扩容后实例的代理数为10，此时代理的磁盘大小依旧为200GB，但是总磁盘大小为2000GB。新创建的Topic才会分布在新代理上，原有Topic还分布在原有代理上，造成分区分布不均匀。通过修改分区平衡，实现将原有Topic分区的副本迁移到新代理上。存储空间扩容存储空间有次数限制，只能扩容20次。扩容存储空间不会影响业务。代理规格若Topic为单副本，扩容/缩容期间无法对该Topic生产消息或消费消息，会造成业务中断。若Topic为多副本，扩容/缩容代理规格不会造成服务中断，但可能会导致消费的分区消息发生乱序，请谨慎评估业务影响，建议您在业务低峰期扩容/缩容。扩容/缩容代理规格的过程中，节点滚动重启造成分区Leader切换，会发生秒级连接闪断，在用户网络环境稳定的前提下，Leader切换时长一般为1分钟以内。多副本的Topic需要在生产客户端配置重试机制，方法如下：生产客户端为Kafka开源客户端时，检查是否配置retries参数，建议此参数值设置为3~5。生产客户端为Flink客户端时，检查是否配置重启策略，配置重启策略可以参考如下代码。 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.setRestartStrategy(RestartStrategies.fixedDelayRestart(3, Time.seconds(20))); 若实例已创建的分区数总和大于待缩容规格的实例分区数上限，此时无法缩容。不同规格配置的实例分区数上限不同，具体请参见产品规格。例如：kafka.4u8g.cluster*3的实例，已创建800个分区，您想把此实例的规格缩容为kafka.2u4g.cluster*3，kafka.2u4g.cluster*3规格的实例分区数上限为750，此时无法缩容。变更代理规格的时长和代理数量有关，单个代理的变更时长一般在5~10分钟，代理数量越多，规格变更时间越长。父主题：实例规格变更问题

分布式消息服务KAFKA版实例规格变更问题

云服务器内容精选

分布式消息服务KAFKA版

7*24

备案

专业服务

退订

建议反馈

售前咨询热线