检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开启Smart Connect Smart Connect用于Kafka实例和其他云服务(如OBS)之间的数据同步,或者两个Kafka实例之间的数据同步,实现数据的备份或迁移。 Smart Connect的使用流程为: 开启Smart Connect。 创建Smart Connect任务。
关闭Smart Connect 如果不再使用Smart Connect相关功能,您可以关闭Smart Connect,释放资源。 关闭Smart Connect不会影响业务。 单机实例不支持关闭Smart Connect。 操作影响 关闭Smart Connect后,实例会停止收取用于Smart
配置Kafka数据转储至OBS 本章节介绍如何创建转储的Smart Connect任务,通过Smart Connect任务可以将Kafka实例中的数据转储至OBS中,实现消息数据的备份。 源Kafka实例中的数据会实时同步到转储文件中。 约束与限制 单机实例不支持创建转储的Smart
创建实例时为什么无法查看子网和安全组等信息? 创建实例时,如果无法查看虚拟私有云、子网、安全组、弹性IP,可能原因是该用户的用户组无Server Administrator和VPC Administrator权限。增加用户组权限的详细步骤,请参考修改用户组权限。 父主题: 实例问题
业务数据不均衡处理建议 方案概述 Kafka将Topic划分为多个分区,所有消息分布式存储在各个分区上。每个分区有一个或多个副本,分布在不同的Broker节点上,每个副本存储一份全量数据,副本之间的消息数据保持同步。Kafka的Topic、分区、副本和代理的关系如下图所示: 在实
配置Kafka间的数据复制 本章节介绍如何创建Kafka数据复制的Smart Connect任务,通过Smart Connect任务可以在两个Kafka实例之间,实现数据的单向或双向复制。 2022年7月1日前已开启Smart Connect的实例,如果没有Kafka数据复制,请先关闭Smart
业务过载处理建议 方案概述 Kafka业务过载,一般表现为CPU使用率高、磁盘写满的现象。 当CPU使用率过高时,系统的运行速度会降低,并有加速硬件损坏的风险。 当磁盘写满时,相应磁盘上的Kafka日志目录会出现offline问题。此时,该磁盘上的分区副本不可读写,降低了分区的可
扩容过程中涉及数据迁移吗? 扩容过程中不会迁移数据。 父主题: 实例规格变更问题
查询指定实例 功能介绍 查询指定实例的详细信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/instances/{instance_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方式请参见获取项目ID。
最新动态(html) 本文介绍了Huawei Cloud EulerOS产品新特性和对应的文档动态,新特性将在各个区域(Region)陆续发布,欢迎体验。
可以唤醒其他线程一起消费消息,以达到快速响应的目的。如图2所示。 这种方案适用于对消费消息的实时性要求不高的应用场景。如果要求准实时消费消息,则建议保持所有消费者处于活跃状态。 图2 优化后的多线程消费方案 消费者(Consumer)和消息分区(Partition)并不强制数量
分区重平衡到的broker列表,自动生成分配方案时需指定该参数。 replication_factor 否 Integer 副本因子,自动生成分配方案时可指定。 assignment 否 Array of TopicAssignment objects 手动指定的分配方案。brokers参数与该参数不能同时为空。
消息堆积处理建议 方案概述 Kafka将Topic划分为多个分区,消息被分布式存储在分区中。同一个消费组内,一个消费者可同时消费多个分区,但一个分区在同一时刻只能被一个消费者消费。 在消息处理过程中,如果客户端的消费速度跟不上服务端的发送速度,未处理的消息会越来越多,这部分消息就
监控指标有哪些? 必须配置的监控告警有哪些? 如何查看监控数据? 审计 云审计服务(Cloud Trace Service,CTS),是华为云安全解决方案中专业的日志审计服务,您可以通过CTS对Kafka实例的操作记录进行收集、存储和查询,用于安全分析、合规审计、资源跟踪和问题定位等。 支持区域:
配置消息堆积数监控 方案概述 在消息处理过程中,如果客户端的消费速度跟不上服务端的发送速度,未处理的消息会越来越多,这部分消息就被称为堆积消息。消息没有被及时消费就会产生消息堆积,从而会造成消息消费延迟。 如果您想要在消费组的消息堆积数超过阈值时,通过短信/邮件及时收到通知信息,
查询指定实例 当前页面API为历史版本API,未来可能停止维护。请使用查询指定实例。 功能介绍 查询指定实例的详细信息。 URI GET /v1.0/{project_id}/instances/{instance_id} 参数说明见表1。 表1 参数说明 参数 类型 必选 说明
号进行财务管理。详细介绍请参见通过关联账号维度查看成本分配。 通过企业项目进行成本分配 在进行成本分配之前,建议开通企业项目并做好企业项目的规划,可以根据企业的组织架构或者业务项目来划分。在购买云资源时选择指定企业项目,新购云资源将按此企业项目进行成本分配。详细介绍请参见通过企业项目维度查看成本分配。
实例的详细信息,并根据自己的业务情况对Kafka实例的部分参数进行调整,包括实例名称、描述、安全组和容量阈值策略等。 单机实例不支持修改Smart Connect和内网访问。 前提条件 Kafka实例的状态为“运行中”时,才能修改实例的基本信息。 查看Kafka实例的详细信息 登录管理控制台。
DMS for Kafka安全使用建议 安全性是华为云与您的共同责任。华为云负责云服务自身的安全,提供安全的云;作为租户,您需要合理使用云服务提供的安全能力对数据进行保护,安全地使用云。详情请参见责任共担。 本文提供了使用DMS for Kafka过程中的安全最佳实践,旨在为提高
如果在计费周期内不再使用包年/包月资源,您可以执行退订操作,系统将根据资源是否属于五天无理由退订、是否使用代金券和折扣券等条件返还一定金额到您的账户。详细的退订规则请参见云服务退订规则概览。需要注意,如果实例开启了回收站策略,包周期实例退订后,会存入回收站中,此时不会收取实例的费用,但是会按