检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
已开启密文接入的Kafka实例,通过以下步骤查询消费进度。 (可选)修改客户端配置文件。 在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议,两种安全协议对应的配置文件设置有所不同,请根据实际情况配置。 SASL_PLAINTEXT:如果已经设置了用户名和密码,请跳过此
不同的数据访问权限,详情请参见权限管理。 建议配置安全组访问控制,保护您的数据不被异常读取和操作。 租户配置安全组的入方向、出方向规则限制,可以控制连接实例的网络范围,避免DMS for Kafka暴露给不可信第三方,详情请参见配置安全组。安全组入方向规则的“源地址”应避免设置为0
连接实例 配置Kafka网络连接 配置Kafka访问控制 配置Kafka客户端 使用客户端连接Kafka(关闭SASL) 使用客户端连接Kafka(开启SASL) 使用控制台连接Kafka
查询topic的磁盘存储情况 Kafka实例开始分区重平衡任务 关闭Kafka Manager 删除用户/客户端流控配置 查询用户/客户端流控配置 创建用户/客户端流控配置 修改用户/客户端流控配置 父主题: API V2(推荐)
消息超过老化时间,消息仍存在的原因 问题现象:消息超过设置的老化时间(如果Topic已经设置了老化时间,此时“配置参数”中的log.retention.hours值将不对此Topic生效。仅在Topic中未设置老化时间时,“配置参数”中的log.retention.hours值才会对此Topic生效。),消息仍存在。
使用Smart Connect迁移数据 开启Smart Connect 配置Kafka间的数据复制 配置Kafka数据转储至OBS 管理Smart Connect任务 关闭Smart Connect 父主题: 迁移数据
查看和修改Kafka实例基本信息 查看Kafka磁盘使用量 查看Kafka实例后台任务 查看Kafka生产消费示例代码 修改Kafka实例配置参数 配置Kafka实例标签 配置Kafka实例回收站策略 升级Kafka实例内核版本 导出Kafka实例列表 重启Kafka实例 删除Kafka实例 管理Kafka
生命周期管理 创建实例 查询所有实例列表 查询指定实例 删除指定的实例 修改实例信息 批量重启或删除实例 获取实例配置 修改实例配置 实例升级 父主题: API V2(推荐)
查询Topic的磁盘存储情况 Kafka实例开始分区重平衡任务 关闭Kafka Manager 删除用户/客户端流控配置 查询用户/客户端流控配置 创建用户/客户端流控配置 修改用户/客户端流控配置 Smart Connect 包括: 开启Smart Connect(按需实例) 关闭Smart Connect(按需实例)
Kafka实例是否支持查看单个Topic占用磁盘空间? Topic是否支持ACL权限配置? 消息被消费后,没有删除,导致Kafka存储空间占满? 如何扩总分区? 修改自动创建Topic的配置,会触发重启吗? 消费者消费Topic失败,提示没有权限?
查询产品规格列表 功能介绍 在创建Kafka实例时,需要配置订购的产品ID(即product_id),可通过该接口查询产品规格。 例如,要订购按需计费、基准带宽为100MB的Kafka实例,可从接口响应消息中,查找Hourly的消息体,然后找到bandwidth为100MB的记录
如何修改安全协议? 修改企业项目,是否会导致Kafka重启? 100MB/s的带宽怎样开启公网访问? Kafka服务和ZK是部署在相同的虚拟机中,还是分开部署? Kafka包周期实例支持删除吗? Kafka支持哪些加密套件? 购买实例时选择的单AZ,怎样可以扩展为多AZ? Kafk
动创建该消费组。 解决办法:关闭自动创建消费组功能,即在Kafka控制台的“配置参数”页面,把“auto.create.groups.enable”设置为“false”,然后再删除消费组。部分实例在“配置参数”中没有“auto.create.groups.enable”参数,具体
连接问题 选择和配置安全组 Kafka实例是否支持公网访问? Kafka实例的连接地址默认有多少个? 是否支持跨Region访问? Kafka实例是否支持跨VPC访问? Kafka实例是否支持不同的子网? Kafka是否支持Kerberos认证,如何开启认证? Kafka实例是否支持无密码访问?
Kafka实例创建成功后,您可以根据业务需要,扩容或者缩容实例规格,Kafka实例支持的变更配置如表1所示。代理数量、基准带宽、存储空间和代理规格不能同时变更,每次变更只支持一种配置类型的变更。 表1 变更配置列表 实例规格类型 变更配置类型 是否支持扩容 是否支持缩容 新规格实例 代理数量 √ × 存储空间
将转储相关接口移动至历史API。 2024-02-26 本次变更如下: 新增生产消息接口。 2023-11-10 本次变更如下: 新增获取实例配置和修改实例配置接口。 2023-07-26 本次变更如下: 新增查询Topic的分区列表和查询Topic的当前生产者列表接口。 2023-06-06
实例信息。 实例连接地址与端口 实例创建后,从Kafka实例控制台的基本信息页面中获取。 如果Kafka实例为集群部署,至少有3个连接地址,在客户端配置时,建议配置所有的连接地址,提高可靠性。 如果开启公网访问,还可以使用基本信息页面下方的公网连接地址访问Kafka实例。 图1
实例版本在控制台和Kafka Manager上显示不一致? Kafka实例的版本以控制台为准。Kafka Manager使用了开源Kafka 2.2.0的公共信息配置,所以显示的版本是2.2.0,和购买的Kafka实例版本没有关系。 父主题: Kafka Manager问题
Topic数量和Topic总分区数、每个Topic的分区数有关,Kafka实例对Topic总分区数设置了上限,当达到上限后,会导致用户无法继续创建Topic。 不同规格配置的Topic总分区数不同,如下表所示。 表1 Kafka集群实例规格 规格名称 代理个数范围 单个代理TPS 单个代理分区上限 单个代理建议消费组数
在连接安全协议为“SASL_SSL”的Kafka实例时,需要下载证书,并在客户端配置文件中设置连接信息。 步骤一:准备工作 注册华为账号并实名认证。 在创建Kafka实例前,请先注册华为账号并实名认证,具体步骤请参考注册华为账号并开通华为云和实名认证介绍。 如果您已有一个华为账号并实名认证,请跳过此步骤。 为账户充值。