检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka消息堆积了怎么办? 消息拉取失败的原因 更多 智能客服 您好!我是有问必答知识渊博的智能问答机器人,有问题欢迎随时求助哦! 社区求助 华为云社区是华为云用户的聚集地。这里有来自PaaS中间件的技术牛人,为您解决技术难题。
关闭Smart Connect 如果不再使用Smart Connect相关功能,您可以关闭Smart Connect,释放资源。 关闭Smart Connect不会影响业务。 约束与限制 关闭Smart Connect后,实例会停止收取用于Smart Connect的代理费用,并自动删除用于Smart
配置Kafka数据转储至OBS 本章节介绍如何创建转储的Smart Connect任务,通过Smart Connect任务可以将Kafka实例中的数据转储至OBS中,实现消息数据的备份。 源Kafka实例中的数据会实时同步到转储文件中。 约束与限制 单机实例不支持创建转储的Smart
创建实例时为什么无法查看子网和安全组等信息? 创建实例时,如果无法查看虚拟私有云、子网、安全组、弹性IP,可能原因是该用户的用户组无Server Administrator和VPC Administrator权限。增加用户组权限的详细步骤,请参考修改用户组权限。 父主题: 实例问题
业务数据不均衡处理建议 方案概述 Kafka将Topic划分为多个分区,所有消息分布式存储在各个分区上。每个分区有一个或多个副本,分布在不同的Broker节点上,每个副本存储一份全量数据,副本之间的消息数据保持同步。Kafka的Topic、分区、副本和代理的关系如下图所示: 在实
配置Kafka间的数据复制 本章节介绍如何创建Kafka数据复制的Smart Connect任务,通过Smart Connect任务可以在两个Kafka实例之间,实现数据的单向或双向复制。 源Kafka实例中的数据会实时同步到目标Kafka实例中。 约束与限制 单机实例不支持创建Kafka数据复制的Smart
业务过载处理建议 方案概述 Kafka业务过载,一般表现为CPU使用率高、磁盘写满的现象。 当CPU使用率过高时,系统的运行速度会降低,并有加速硬件损坏的风险。 当磁盘写满时,相应磁盘上的Kafka日志目录会出现offline问题。此时,该磁盘上的分区副本不可读写,降低了分区的可
扩容过程中涉及数据迁移吗? 扩容过程中不会迁移数据。 父主题: 实例规格变更问题
查询指定实例 功能介绍 查询指定实例的详细信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/instances/{instance_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方式请参见获取项目ID。
最新动态(html) 本文介绍了Huawei Cloud EulerOS产品新特性和对应的文档动态,新特性将在各个区域(Region)陆续发布,欢迎体验。
可以唤醒其他线程一起消费消息,以达到快速响应的目的。如图2所示。 这种方案适用于对消费消息的实时性要求不高的应用场景。如果要求准实时消费消息,则建议保持所有消费者处于活跃状态。 图2 优化后的多线程消费方案 消费者(Consumer)和消息分区(Partition)并不强制数量
查询指定实例 功能介绍 查询指定实例的详细信息。 当前页面API为历史版本API,未来可能停止维护。请使用查询指定实例。 调用方法 请参见如何调用API。 URI GET /v2/{engine}/{project_id}/instances/{instance_id} 表1 路径参数
分区重平衡到的broker列表,自动生成分配方案时需指定该参数。 replication_factor 否 Integer 副本因子,自动生成分配方案时可指定。 assignment 否 Array of TopicAssignment objects 手动指定的分配方案。brokers参数与该参数不能同时为空。
消息堆积处理建议 方案概述 Kafka将Topic划分为多个分区,消息被分布式存储在分区中。同一个消费组内,一个消费者可同时消费多个分区,但一个分区在同一时刻只能被一个消费者消费。 在消息处理过程中,如果客户端的消费速度跟不上服务端的发送速度,未处理的消息会越来越多,这部分消息就
查询指定实例 当前页面API为历史版本API,未来可能停止维护。请使用查询指定实例。 功能介绍 查询指定实例的详细信息。 URI GET /v1.0/{project_id}/instances/{instance_id} 参数说明见表1。 表1 参数说明 参数 类型 必选 说明
配置消息堆积数监控 方案概述 在消息处理过程中,如果客户端的消费速度跟不上服务端的发送速度,未处理的消息会越来越多,这部分消息就被称为堆积消息。消息没有被及时消费就会产生消息堆积,从而会造成消息消费延迟。 如果您想要在消费组的消息堆积数超过阈值时,通过短信/邮件及时收到通知信息,
监控指标有哪些? 必须配置的监控告警有哪些? 如何查看监控数据? 审计 云审计服务(Cloud Trace Service,CTS),是华为云安全解决方案中专业的日志审计服务,您可以通过CTS对Kafka实例的操作记录进行收集、存储和查询,用于安全分析、合规审计、资源跟踪和问题定位等。 支持区域:
号进行财务管理。详细介绍请参见通过关联账号维度查看成本分配。 通过企业项目进行成本分配 在进行成本分配之前,建议开通企业项目并做好企业项目的规划,可以根据企业的组织架构或者业务项目来划分。在购买云资源时选择指定企业项目,新购云资源将按此企业项目进行成本分配。详细介绍请参见通过企业项目维度查看成本分配。
查看和修改Kafka实例基本信息 创建Kafka实例成功后,您可以在控制台查看Kafka实例的详细信息,并根据自己的业务情况对Kafka实例的部分参数进行调整,包括实例名称、描述、安全组和容量阈值策略等。 约束与限制 单机实例不支持修改Smart Connect和内网访问。 前提条件
DMS for Kafka安全使用建议 安全性是华为云与您的共同责任。华为云负责云服务自身的安全,提供安全的云;作为租户,您需要合理使用云服务提供的安全能力对数据进行保护,安全地使用云。详情请参见责任共担。 本文提供了使用DMS for Kafka过程中的安全最佳实践,旨在为提高