正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
据容量”和“CPU使用率”查看,具体步骤请参考查看Kafka监控数据。 带宽限制是指设定Topic进行副本同步的带宽上限,确保不会对该实例上的其他Topic造成流量冲击。但需要注意,带宽限制不会区分是正常的生产消息造成的副本同步还是分区平衡造成的副本同步,如果带宽限制设定过小,可
API概览 表1 实例管理类接口 API 说明 生命周期管理 包括创建实例、查询所有实例列表、查询指定实例、删除指定的实例、修改实例信息、批量重启或删除实例、获取实例配置、修改实例配置。 实例管理 包括重置密码、重置Manager密码、重启Manager、开启或关闭实例自动创建T
什么是分布式消息服务Kafka版 Kafka是一个拥有高吞吐、可持久化、可水平扩展,支持流式数据处理等多种特性的分布式消息流处理中间件,采用分布式消息发布与订阅机制,在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 华为云分布式消息服务Kafka版是一款
取消以下两个配置的注释表示A、B两个集群互相复制同步 #B->A.enabled = true #B->A.topics = .* # 设置副本个数,如果是要同步多个Topic且副本数各不相同,建议先创建同名同副本数的Topic再启动MirrorMaker replication.factor=3
申请扩大Kafka配额 什么是配额? 为防止资源滥用,平台限定了各服务资源的配额,对用户的资源数量和容量做了限制。如您最多可以创建多少个Kafka实例。 如果当前资源配额限制无法满足使用需要,您可以申请扩大配额。 怎样查看我的配额? 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。
索服务检索日志,或者由Kafka将消息传递给Hadoop等其他大数据应用系统化存储与分析。 图4 日志同步示意图 上图中Logstash、ElasticSearch分别为日志分析和检索的开源工具,Hadoop表示大数据分析系统。
权限。您可以为不同的用户设置不同的访问Kafka实例的权限,以达到不同用户之前的权限隔离。 云监控(Cloud Eye) 云监控是一个开放性的监控平台,提供资源的实时监控、告警、通知等服务。 Kafka实例向CloudEye上报监控数据的更新周期为1分钟。 弹性公网IP(Elastic
认证证书 合规证书 华为云服务及平台通过了多项国内外权威机构(ISO/SOC/PCI等)的安全合规认证,用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书
如何将Kafka实例中的数据同步到另一个Kafka实例中? Kafka实例之间没有好的实时同步方案,如果需要做实例迁移,可以同时向两个实例生产消息,源实例中的消息可继续消费,待源实例的消息数据全部被消费完或老化后,业务可迁移到新的Kafka实例。具体请参考Kafka业务迁移。 父主题:
参数说明如下表所示。 表1 参数说明 参数 类型 必选 说明 project_id String 是 项目ID。 instance_id String 是 实例ID。 group String 是 消费组名称。 请求消息 请求参数 无 请求示例 无 响应消息 响应参数 参数说明见表2。 表2
project_id 是 String 项目ID,获取方式请参见获取项目ID。 connector_id 是 String 实例转储ID。 请参考查询实例返回的数据。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 source_type 是 String 源数据类型,目前只支持BLOB。
产品优势 分布式消息服务Kafka版完全兼容开源社区版本,旨在为用户提供便捷高效的消息队列。业务无需改动即可快速迁移上云,为您节省维护和使用成本。 一键式部署,免去集群搭建烦恼 您只需要在实例管理界面选好规格配置,提交订单。后台将自动创建部署完成一整套Kafka实例。 兼容开源,业务零改动迁移上云
创建的Kafka实例是集群模式么? Kafka实例分为单机版实例和集群实例,单机版实例只有一个代理,是单机模式。集群实例由3个及以上代理组成,是集群模式。 父主题: 实例问题
云服务安全保障体系。 安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华
Kafka服务和ZK是部署在相同的虚拟机中,还是分开部署? Kafka服务和ZK部署在相同的虚拟机中。 父主题: 实例问题
Kafka实例支持批量导入Topic功能么?或者是自动生成Topic功能? 支持自动生成Topic功能,但不支持Topic批量导入功能,仅支持批量导出Topic功能。 通过以下任意一种方法,开启自动生成Topic功能: 创建实例时,开启Kafka自动创建Topic。 创建实例后,
约束与限制 本章节介绍分布式消息服务Kafka版产品功能的约束和限制。 实例 表1 实例约束与限制 限制项 约束与限制 Kafka ZooKeeper Kafka集群依赖ZooKeeper进行管理,开放ZooKeeper可能引发误操作导致业务受损,当前仅Kafka内部使用,不对外提供服务。
该消息。 消费者(Consumer) 从Topic(消息主题)订阅消息的一方。订阅消息最终目的在于处理消息内容,如日志集成场景中,监控告警平台(消费者)从主题订阅日志消息,识别出告警日志并发送告警消息/邮件。 代理(Broker) 即Kafka集群架构设计中的单个Kafka进程,
project_id 是 String 项目ID,获取方式请参见获取项目ID。 instance_id 是 String 实例ID。 topic 是 String Topic名称。 Topic名称必现以字母开头且只支持大小写字母、中横线、下划线以及数字。 partition 是 Integer
迁移数据 Kafka数据迁移概述 使用Smart Connect迁移数据