检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用对等连接跨VPC访问,访问端口为9093。 DNAT访问,访问端口为9011。 在访问Kafka实例之前,需要确保安全组是否配置正确,配置要求,请参考选择和配置安全组。 父主题: 实例问题
可用区,不支持选择2个可用区。原因如下: 每个Kafka实例包含3个Zookeeper节点,Zookeeper集群用来管理Kafka实例的配置,如果Zookeeper集群出现问题,Kafka实例将无法正常运行。至少2个Zookeeper节点正常运行,才能保证Zookeeper集群正常运行。
计费样例 计费场景 某用户于2023/03/18 15:30:00在“华北-北京四”区域购买了一个按需计费的Kafka实例,规格配置如下: 规格:kafka.2u4g.cluster*3 总存储空间:高I/O 300GB 用了一段时间后,用户发现Kafka实例当前规格无法满足业务需要,于2023/03/20
消费组客户端。停止待重置消费组客户端,然后等待一段时间(即ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG配置的时间,默认为1000毫秒)后,服务端才认为此消费组客户端已下线。 当前页面API为历史版本API,未来可能停止维护。请使用重置消费组消费进度到指定位置。
查询可用区信息 当前页面API为历史版本API,未来可能停止维护。请使用查询可用区信息。 功能介绍 在创建实例时,需要配置实例所在的可用区ID,可通过该接口查询可用区的ID。 URI GET /v1.0/availableZones 请求消息 请求参数 无。 请求示例 GET h
查询产品规格列表 当前页面API为历史版本API,未来可能停止维护。请使用查询产品规格列表。 功能介绍 在创建kafka实例时,需要配置订购的产品ID(即product_id),可通过该接口查询产品规格。 例如,要订购按需计费、基准带宽为100MB的kafka实例,可从接口响应消
Kafka实例是否支持查看单个Topic占用磁盘空间? Topic是否支持ACL权限配置? 消息被消费后,没有删除,导致Kafka存储空间占满? 如何扩总分区? 修改自动创建Topic的配置,会触发重启吗? 消费者消费Topic失败,提示没有权限?
用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后,CTS可记录DMS for Kafka的管理事件用于审计。 CTS的详细介绍和开通配置方法,请参见CTS快速入门。 CTS支持追踪的DMS for Kafka管理事件列表,请参见云审计服务支持的DMS
根据对数据与服务的不同可靠性要求,您可以选择在单可用区内(单机房)部署Kafka实例,或跨可用区(同城灾备)部署,也可以通过数据同步工具(MirrorMaker)进行跨实例的数据同步。 在单可用区或多可用区中部署实例 使用MirrorMaker跨实例数据同步 副本冗余 副本通过数
启单个Kafka实例,或批量重启Kafka实例。 约束与限制 在Kafka实例重启过程中,客户端的生产与消费消息等请求会被拒绝。 在客户端配置重试机制,避免因为重启实例导致的业务断连。 前提条件 只有当Kafka实例处于“运行中”或“故障”状态,才能执行重启操作。 重启Kafka实例
数据缓存中保存的分区Leader为旧分区Leader ID,仍然会向旧分区Leader发送消息,导致生产消息失败。 解决方法:在生产客户端配置重试机制。建议设置retries=Integer.MAX_VALUE 父主题: 实例规格变更问题
查询可用区信息 功能介绍 在创建实例时,需要配置实例所在的可用区ID,可通过该接口查询可用区的ID。 调用方法 请参见如何调用API。 URI GET /v2/available-zones 请求参数 无 响应参数 状态码:200 表1 响应Body参数 参数 参数类型 描述 region_id
加SASL认证的“consumer.properties”配置文件参数: --command-config {SASL认证的consumer.properties配置文件},“consumer.properties”配置文件参考使用客户端连接Kafka(开启SASL)。 父主题:
String 配置名称 valid_values String 配置有效值 default_value String 配置默认值 config_type String 配置类型:dynamic/static value String 配置值 value_type String 配置值类型
threads和num.replica.fetchers的配置。 num.io.threads和num.network.threads建议配置为磁盘个数的倍数,但不能超过CPU核数。 num.replica.fetchers建议配置不超过5。 合理设置Topic的分区,分区一般设置为节点个数的倍数。
算、存储和带宽资源独占式的Kafka专享实例。使用分布式消息服务Kafka版,资源按需申请,按需配置Topic的分区与副本数量,即买即用,您将有更多精力专注于业务快速开发,不用考虑部署和运维。 本文档提供了分布式消息服务Kafka版API的描述、语法、参数说明及样例等内容。 分布
的代理数。 确认“Smart Connect”为开启状态,单击“提交”。 后续操作 开启Smart Connect后,您可以配置Kafka间的数据复制、配置Kafka数据转储至OBS,实现分布式消息服务Kafka版和其他云服务之间的数据同步。 父主题: 使用Smart Connect迁移数据
fsets.retention.minutes,offsets.retention.minutes支持在控制台修改,具体修改方法请参考修改配置参数。 2023年4月25日及之后创建的实例,分为以下几种情况: auto.create.groups.enable为false时,消费组
enable”表示在消费者进入未创建的消费组时,会自动创建此消费组。 如果在配置参数中设置“auto.create.groups.enable”为“false”,在消费消息前,需要先创建消费组,否则会导致消费失败。 如果在配置参数中设置“auto.create.groups.enable”为
policiesOnly Boolean 是否为默认策略。 id String Topic名称 replication Integer 副本数,配置数据的可靠性 partition Integer Topic分区数,设置消费的并发数。 retention_time Integer 消息老化时间。