检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
2以上时,支持通过kafka-topics.sh删除Topic。 已开启密文接入的实例,“allow.everyone.if.no.acl.found”设置为“false”时,无法通过客户端删除Topic。 未开启密文接入的Kafka实例,在Kafka客户端的“/bin”目录下,通过以下命令删除Topic。
DEAD:消费组内没有任何成员,且没有任何元数据。 EMPTY:消费组内没有任何成员,存在元数据。 PREPARING_REBALANCE:准备开启Rebalance。 COMPLETING_REBALANCE:所有成员加入消费组。 STABLE:消费组内成员可以正常消费。 图1 消费组列表
使用Smart Connect迁移数据 开启Smart Connect 配置Kafka间的数据复制 配置Kafka数据转储至OBS 管理Smart Connect任务 关闭Smart Connect 父主题: 迁移数据
配置Kafka网络连接 配置Kafka访问控制 配置Kafka客户端 使用客户端连接Kafka(关闭SASL) 使用客户端连接Kafka(开启SASL) 使用控制台连接Kafka
批量添加或删除实例标签 功能介绍 批量添加或删除实例标签。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/kafka/{instance_id}/tags/action 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
参数说明 参数范围 默认值 auto.create.groups.enable 是否开启自动创建消费组功能。 2023年4月25日及以后创建的实例支持在控制台修改此参数,在此之前创建的实例默认开启自动创建消费组功能,无法在控制台关闭此功能。 true/false true offsets
步骤请参考购买并登录Windows弹性云服务器。 如果是已经开启了公网访问,该步骤为可选,在本地浏览器中即可访问,不需要单独的Windows弹性云服务器。 在实例详情信息页面,获取Kafka Manager地址。 未开启公网访问时,Kafka Manager地址为“Manager内网访问地址”。
Smart Connect 开启Smart Connect(按需实例) 关闭Smart Connect(按需实例) 创建Smart Connect任务 查询Smart Connect任务列表 查询Smart Connector任务详情 删除Smart Connector任务 暂停Smart
Topic分区数,设置消费的并发数。 retention_time Integer 消息老化时间。 sync_replication Boolean 是否开启同步复制,开启后,客户端生产消息时相应的也要设置acks=-1,否则不生效。 默认关闭。 sync_message_flush Boolean 是
2以上时,支持通过kafka-topics.sh修改Topic分区数。 已开启密文接入的实例,“allow.everyone.if.no.acl.found”设置为“false”时,无法通过客户端修改Topic分区数。 未开启密文接入的Kafka实例,在Kafka客户端的“/bin”目录下,通过以下命令修改Topic分区数。
PREPARING_REBALANCE:准备开启Rebalance。 COMPLETING_REBALANCE:所有成员加入消费组。 STABLE:消费组内成员可以正常消费。 弹出“删除消费组”对话框,单击“确定”,完成消费组的删除。 使用命令行工具删除消费组 以下操作命令以Linux系统为例进行说明: 未开启密文接
成本管理 随着上云企业越来越多,企业对用云成本问题也越发重视。使用分布式消息服务Kafka版时,如何进行成本管理,减轻业务负担呢?本文将从成本构成、成本分配、成本分析和成本优化四个维度介绍成本管理,帮助您通过成本管理节约成本,在保障业务快速发展的同时获得最大成本收益。 成本构成
Kafka实例的网络带宽主要由以下两个部分组成: 实例Broker对应的网络带宽 实例Broker的磁盘所对应的带宽值(不同类型的磁盘对应的带宽值不同,具体参考:如何选择磁盘类型) 注意事项: Kafka默认情况下测试均为尾读场景(即仅消费最新生产的数据),而不是冷读场景(即从头开始消费历史数据的场景)。
公网连接 客户端通过IPv4地址访问Kafka实例:在Kafka控制台开启公网访问,配置弹性公网IP,客户端通过弹性公网IP访问Kafka实例。 客户端通过IPv6地址访问Kafka实例:在Kafka控制台开启IPv6功能,将IPv6地址加入到共享带宽中,实现客户端通过公网访问Kafka实例。
deleteDMSBackendJobFailure 开启Smart Connect任务执行成功 kafka createConnectorTaskSuccess 创建Smart Connect任务执行成功 kafka createConnectorSinkTaskSuccess 开启Smart Connect任务执行失败
0.0.0.0/0。 建议将访问Kafka实例方式设置为密码访问(即开启SASL),防止未经认证的客户端误操作实例。 开启敏感操作多因子认证保护您的数据不被误删。 DMS for Kafka支持敏感操作保护,开启后执行删除实例等敏感操作时,系统会进行身份验证,进一步对数据的高危操作进行控制,保证DMS
Integer 否 副本数,配置数据的可靠性 默认值为3,取值范围为1~3。 sync_replication Boolean 否 是否开启同步复制,开启后,客户端生产消息时相应的也要设置acks=-1,否则不生效。 默认关闭。 retention_time Integer 否 消息老化时间。默认值为72。
支持变更实例规格。 支持变更实例规格。 回收站中实例是否计费 开启回收站策略的包年/包月实例,退订后会存入回收站中,此时不收取实例费用,但是会按需收取存储空间费用。 从回收站中恢复的包年/包月实例,计费模式会变为按需计费。 开启回收站策略的按需实例,删除后会存入回收站中,此时不收取实例费用,按需收取存储空间费用。
Kafka实例是否开启SASL,然后再允许执行操作。下表显示了适用于DMS for Kafka服务特定的条件键。 表2 DMS for Kafka请求条件 DMS for Kafka条件键 运算符 描述 dms:connector Bool Null 是否开启Smart Connect
到消息? Kafka消息堆积了怎么办? 消息超过老化时间,消息仍存在的原因 Kafka实例是否支持延迟消息? 如何查看堆积消息数? 为什么消息创建时间显示1970? 如何修改message.max.bytes参数? 为什么offset不连续?