检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
批量重启、删除实例 当前页面API为历史版本API,未来可能停止维护。请使用批量重启或删除实例。 功能介绍 批量重启或删除实例。 在实例重启过程中,客户端的生产与消费消息等请求会被拒绝。 实例删除后,实例中原有的数据将被删除,且没有备份,请谨慎操作。 URI POST /v1.0
批量重启或删除实例 功能介绍 批量重启或删除实例。 在实例重启过程中,客户端的生产与消费消息等请求会被拒绝。 实例删除后,实例中原有的数据将被删除,且没有备份,请谨慎操作。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/instances/action
Kafka实例批量删除Topic 功能介绍 该接口用于向Kafka实例批量删除Topic。批量删除多个Topic时,部分删除成功,部分失败,此时接口返回删除成功,并在返回中显示删除失败的Topic信息。 调用方法 请参见如何调用API。 URI POST /v2/{project
Kafka实例批量删除Topic 当前页面API为历史版本API,未来可能停止维护。请使用Kafka实例批量删除Topic。 功能介绍 该接口用于向Kafka实例批量删除Topic。 URI POST /v1.0/{project_id}/instances/{instance_id}/topics/delete
批量删除用户 功能介绍 批量删除Kafka实例的用户。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/instances/{instance_id}/users 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
Flink 1.15消费进度提交失败 问题现象 Flink 1.15版本消费Kafka时, 消费进度提交失败,持续报错:COORDINATOR_NOT_AVAILABLE。 根因描述 Flink 1.15版本使用的Kafka客户端存在bug,当某次消费进度提交失败后, 客户端将coo
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
使用MirrorMaker跨集群同步数据 方案概述 应用场景 在以下场景,使用MirrorMaker进行不同集群间的数据同步,可以确保Kafka集群的可用性和可靠性。 备份和容灾:企业存在多个数据中心,为了防止其中一个数据中心出现问题,导致业务不可用,会将集群数据同步备份在多个不同的数据中心。 集群迁
数据保护技术 DMS for Kafka通过多种数据保护手段和特性,保障DMS for Kafka的数据安全可靠。 表1 DMS for Kafka的数据保护手段和特性 数据保护手段 简要说明 详细介绍 容灾和多活 根据对数据与服务的不同可靠性要求,您可以选择在单可用区内(单机房
批量删除消息积压诊断报告 功能介绍 批量删除消息积压诊断报告 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/kafka/instances/{instance_id}/message-diagnosis-tasks 表1 路径参数 参数
迁移数据 Kafka数据迁移概述 使用Smart Connect迁移数据
在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 通过以下任意一种方法,查看监控数据。 在Kafka实例名称后,单击“查看监控数据”。跳转到云监控页面,查看实例、节点、主题、消费组和Smart Connect的监控数据,数据更新周期为1分钟。 单击Kafka实例名称,进入实例详情页。在左侧导航栏单击“监控与告警
如果需要将原Kafka的已消费数据也迁移到Kafka实例,可以使用Smart Connect工具,模拟成原Kafka的消费客户端,以及新Kafka实例的生产客户端,将Kafka所有消息数据迁移到新的Kafka实例,具体步骤请参考配置Kafka间的数据复制。 需要注意的是,云上Kafka实例为3
配置Kafka数据转储至OBS 本章节介绍如何创建转储的Smart Connect任务,通过Smart Connect任务可以将Kafka实例中的数据转储至OBS中,实现消息数据的备份。 源Kafka实例中的数据会实时同步到转储文件中。 约束与限制 单机实例不支持创建转储的Smart
Kafka实例支持批量导入Topic功能么?或者是自动生成Topic功能? 支持自动生成Topic功能,但不支持Topic批量导入功能,仅支持批量导出Topic功能。 通过以下任意一种方法,开启自动生成Topic功能: 创建实例时,开启Kafka自动创建Topic。 创建实例后,
and Security Layer)认证,还借助虚拟私有云(VPC)和安全组等加强网络访问控制。 数据高可靠 Kafka实例支持消息持久化,多副本存储机制。副本间消息同步、异步复制,数据同步或异步落盘多种方式供您自由选择。 集群架构与跨AZ部署,服务高可用 Kafka后台为多集群部
表2 复制数据规则参数说明 参数 参数说明 同步方式 支持以下三种同步方式: 拉取:把对端Kafka实例数据复制到当前Kafka实例中。 推送:把当前Kafka实例数据复制到对端Kafka实例中。 双向:两端Kafka实例数据进行双向复制。 Topics 设置需要进行数据复制的Topic。
节点上的数据更多,从而导致节点间的数据不均衡。 实施步骤 业务数据不均衡的处理措施: 优化业务中Topic的设计,对于数据量特别大的Topic,可对业务数据做进一步的细分,并分配到不同的Topic上。 生产者生产消息时,尽量把消息均衡发送到不同的分区上,确保分区间的数据均衡。 创
使用Smart Connect迁移数据 开启Smart Connect 配置Kafka间的数据复制 配置Kafka数据转储至OBS 管理Smart Connect任务 关闭Smart Connect 父主题: 迁移数据