检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
设置存储Topic数据的OBS桶的名称。 选择:在下拉列表中选择已创建的OBS桶名称,或者单击“创建转储地址”,新创建一个OBS桶。 输入:输入已创建的OBS桶名称,或者单击“创建转储地址”,新创建一个OBS桶。输入的OBS桶必须和Kafka实例在同一个区域。 转储目录 OBS中存储Topi
CreateSinkTaskRequest{} obsPathObsDestinationDescriptor:= "obsTransfer-1122976956" recordDelimiterObsDestinationDescriptor:= "" obsDestinationDescriptorbody
功能介绍 批量重启或删除实例。 在实例重启过程中,客户端的生产与消费消息等请求会被拒绝。 实例删除后,实例中原有的数据将被删除,且没有备份,请谨慎操作。 URI POST /v1.0/{project_id}/instances/action 参数说明见表1。 表1 参数说明
批量重启或删除实例 功能介绍 批量重启或删除实例。 在实例重启过程中,客户端的生产与消费消息等请求会被拒绝。 实例删除后,实例中原有的数据将被删除,且没有备份,请谨慎操作。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/instances/action 表1
Kafka的消费组删除了,怎么监控页面还可以看到这个消费组? 监控数据是每分钟进行采集上报,上报的数据经过整理后才会显示在监控页面上,此过程大约需要几分钟到十几分钟,建议您在删除消费组后,过一段时间再去监控页面查看。 父主题: 监控告警问题
destination_file_type String 转储文件格式。目前只支持text格式。 obs_bucket_name String 存储该通道数据的OBS桶名称。 obs_path String 存储在obs的路径。 partition_format String 将转储文件的生成时间使
在以下场景,使用MirrorMaker进行不同集群间的数据同步,可以确保Kafka集群的可用性和可靠性。 备份和容灾:企业存在多个数据中心,为了防止其中一个数据中心出现问题,导致业务不可用,会将集群数据同步备份在多个不同的数据中心。 集群迁移:当今很多企业将业务迁移上云,迁移过程中需要确保线下集群
Kafka消息堆积了怎么办? 问题现象:实例的监控指标“消息堆积数”产生了告警。 处理方法1: 登录Kafka实例控制台,单击产生告警的实例名称,进入实例详情页。 在左侧导航栏,单击“监控与告警 > 监控详情”,进入监控页面。 在“消费组”页签中,查看“消息堆积数(消费组可消费消息数)”,找出消息堆积的消费组。
Connect”为开启状态,单击“提交”。 后续操作 开启Smart Connect后,您可以配置Kafka间的数据复制、配置Kafka数据转储至OBS,实现分布式消息服务Kafka版和其他云服务之间的数据同步。 父主题: 使用Smart Connect迁移数据
登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 通过以下任意一种方法,删除按需计费的Kafka实例。
Kafka的数据安全可靠。 表1 DMS for Kafka的数据保护手段和特性 数据保护手段 简要说明 详细介绍 容灾和多活 根据对数据与服务的不同可靠性要求,您可以选择在单可用区内(单机房)部署Kafka实例,或跨可用区(同城灾备)部署,也可以通过数据同步工具(MirrorMaker)进行跨实例的数据同步。
c为A.test。 两端实例数据双向复制时,开启“重命名Topic”,防止循环复制。 添加来源header 目标Topic接收复制的消息,此消息header中包含消息来源。 两端实例数据双向复制时,默认开启“添加来源header”,防止循环复制。 同步消费进度 开启“同步消费进度
使用Smart Connect迁移数据 开启Smart Connect 配置Kafka间的数据复制 配置Kafka数据转储至OBS 管理Smart Connect任务 关闭Smart Connect 父主题: 迁移数据
回收站中的Kafka实例删除后,实例中原有的数据将被删除,且没有备份,请谨慎操作。 关闭回收站策略 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 在左侧导航栏选择“回收站”,进入“回收站”页面。
否 String 转储地址,即存储Topic数据的OBS桶的名称。(仅目标端类型为OBS时需要填写) obs_path 否 String 转储目录,即OBS中存储Topic的目录,多级目录可以用“/”进行分隔。(仅目标端类型为OBS时需要填写) partition_format 否
类型为OBS时会显示) destination_file_type String 转储文件格式。当前只支持TEXT。(仅目标端类型为OBS时会显示) deliver_time_interval Integer 记数据转储周期(秒)。(仅目标端类型为OBS时会显示) obs_bucket_name
follower是否成功写入。如果follower没有成功备份数据,而此时leader又无法提供服务,则消息会丢失。 acks=all或者-1:这意味着leader需要等待ISR中所有备份都成功写入日志。只要任何一个备份存活,数据都不会丢失。min.insync.replicas
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
类型为OBS时会显示) destination_file_type String 转储文件格式。当前只支持TEXT。(仅目标端类型为OBS时会显示) deliver_time_interval Integer 记数据转储周期(秒)。(仅目标端类型为OBS时会显示) obs_bucket_name
消息的最长保留时间,修改方法请参见修改Kafka消息老化时间。 副本数 Topic每个分区的副本数量,修改方法请参见修改Kafka Topic副本数。 同步复制 后端收到生产消息请求并复制给所有副本后,才返回客户端。 同步落盘 开启:生产的每条消息都会立即写入磁盘,可靠性更高。 关闭:生产的消息存在内存中,不会立即写入磁盘。