检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用MirrorMaker跨集群同步数据 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。 配置消息堆积数监控 介绍如何设置消息组的消息堆积数超过阈值时,消息通知服务及时发送告警短信/邮件通知用户。
删除Kafka消息 本章节介绍如何在控制台删除Topic中存储的消息。 约束与限制 消息删除后无法恢复,请谨慎操作。 前提条件 删除消息前,请先在消费代码中设置“auto.offset.reset”参数。“auto.offset.reset”用来指定当Kafka中没有初始偏移量或
标签共由两部分组成:“标签键”和“标签值”,其中,“标签键”和“标签值”的命名规则如表1所示。 表1 标签命名规则 参数名称 规则 标签键 不能为空。 对于同一个实例,Key值唯一。 长度为1~128个字符(中文也可以输入128个字符)。 由任意语种字母、数字、空格和字符组成,字符仅支持_ . : =
图1 我的配额 您可以在“服务配额”页面,查看各项资源的总配额及使用情况。 如果当前配额不能满足业务要求,请参考后续操作,申请扩大配额。 如何申请扩大配额? 登录管理控制台。 在页面右上角,选择“资源 > 我的配额”。 系统进入“服务配额”页面。 单击“申请扩大配额”。 在“新建
关闭Smart Connect(按需实例) 功能介绍 介绍按需实例如何关闭Smart Connect。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/kafka/instances/{instance_id}/delete-connector
怎样判断老规格实例和新规格实例? 老规格实例:在实例列表中,“规格”显示为带宽(如100MB/s)的实例。 新规格实例:在实例列表中,“规格”显示为ECS规格和代理个数(如kafka.2u4g.cluster*3 broker)的实例。 图1 实例列表 约束与限制 单机实例不支持变更实例规格。
] } ] } 示例2:拒绝用户删除实例 拒绝策略需要同时配合其他策略使用,否则没有实际作用。用户被授予的策略中,一个授权项的作用如果同时存在Allow和Deny,则遵循Deny优先原则。 如果您给用户授予DMS FullAccess的系统策略,但不希望用户拥有DMS
的大小为500MB,当segment文件存储的消息大小到达500MB后,才会新建下一个segment文件。Kafka删除消息是删除segment文件,而不是删除一条消息。Kafka要求至少保留一个segment文件用来存储消息,如果正在使用的segment文件中包含超过老化时间的
查询Kafka集群元数据信息 功能介绍 查询Kafka集群元数据信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/instances/{instance_id}/management/cluster 表1 路径参数 参数 是否必选 参数类型
参数说明如下:connection-address表示Kafka实例的连接地址,在Kafka控制台的“基本信息 > 连接信息”中获取。 示例如下: [root@ecs-kafka bin]# ./kafka-consumer-groups.sh --bootstrap-server 192.168.xx
表示消费组rebalance完成,消费组状态变更为STABILIZED。 Member consumer-xxx in group 1 has failed 表示消费组内的某一个消费者超时退出,一般触发场景是消费者长时间没有与服务端通信导致,比如处理消息耗时太久阻塞等。 对文件中每次Preparing到Stabil
修改实例信息 功能介绍 修改实例信息。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/instances/{instance_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方式请参见获取项目ID。
台为准。 100MB/s的带宽不支持开启公网访问的原因为底层ECS资源规格的限制,此种情况下,通过扩容Kafka实例的带宽无法解决此问题,因为扩容带宽是通过扩容节点实现的,扩容的节点规格和扩容前的节点相同,此时底层ECS资源规格依然不支持开启公网访问。 建议您通过重新购买大于100MB/s带宽的实例解决此问题。
迁移过程由业务侧自主控制,整个过程中消息不会存在乱序问题,适用于对消息顺序有要求的场景。但是该方案中需要等待消费者业务直至消费完毕,存在一个时间差的问题,部分数据可能存在较大的端到端时延。 将生产客户端的Kafka连接地址修改为新Kafka实例的连接地址。 重启生产业务,使得生
单击“确定”,完成Smart Connect任务的删除。 启动/暂停Smart Connect任务 暂停任务后,Kafka实例的数据将不会再同步到另一个Kafka实例或者其他云服务中。 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件
Connect,提交创建Smart Connect节点任务。 当前通过调用API,只支持按需实例创建Smart Connect节点。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/instances/{instance_id}/connector 表1
增加编译复杂度。由于导入C++库,Golang编译器需要引入额外编译配置,增加了编译依赖,提高编译复杂度。 Kafka-go kafka-go是一个简单、轻量级的Kafka客户端库,易于学习和使用。 kafka-go的代码库相对较小,依赖较少,可以减少应用程序的体积和依赖关系。 Kaf
Kafka扩容/缩容会影响业务吗? 扩容/缩容Kafka实例的影响如表1所示。 表1 变更实例规格的影响 变更配置类型 影响 基准带宽/代理数量 扩容基准带宽/代理数量不会影响原来的代理,业务也不受影响。 扩容基准带宽/代理数量时,系统会根据当前磁盘大小进行相应比例的存储空间扩容
在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 通过以下任意一种方法,删除按需计费的Kafka实例。 勾选Kafka实例名称左侧的方框,可选一个或多个,单击信息栏左上侧的“删除”。 在待删除Kafka实例所在行,单击“更多 > 删除”。 单击Kafka实例名称,进入实例详情页面。单击右上角的“更多
面。 在左侧导航栏选择“回收站”,进入“回收站”页面。 通过以下任意一种方法,恢复Kafka实例。 勾选Kafka实例名称左侧的方框,可选一个或多个,单击信息栏左上侧的“恢复”。 在待恢复Kafka实例所在行,单击“恢复”。 在弹出的“恢复实例”对话框中,单击“确定”。 恢复实例