检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Java开发环境搭建 基于收集连接信息的介绍，假设您已经获取了实例连接相关的信息，以及配置好客户端的网络环境。本章节以生产与发送消息的Demo为例，介绍Kafka客户端的环境配置。 开发环境 Maven Apache Maven 3.0.3及以上版本，可至Maven官方下载页面下载。
Connect任务，通过Smart Connect任务可以在两个Kafka实例之间，实现数据的单向或双向复制。 源Kafka实例中的数据会实时同步到目标Kafka实例中。 约束与限制 单机实例不支持创建Kafka数据复制的Smart Connect任务。 一个实例最多创建18个Smart
使用MirrorMaker跨集群同步数据 方案概述 应用场景 在以下场景，使用MirrorMaker进行不同集群间的数据同步，可以确保Kafka集群的可用性和可靠性。 备份和容灾：企业存在多个数据中心，为了防止其中一个数据中心出现问题，导致业务不可用，会将集群数据同步备份在多个不同的数据中心。
提供多种规格，按需使用，支持一键式在线进行实例代理个数、磁盘存储空间和代理规格扩容。 搭建消息服务本身需要费用，而且即使没有使用，所占用资源本身依旧要收费。 完全托管 租户不需要单独采购硬件资源，直接使用就绪的服务，无需额外成本。 需要购买硬件资源，自行搭建整个消息服务，使用和维护成本高。 实践验证 成熟度高
分布式消息服务Kafka版完全兼容开源社区版本，旨在为用户提供便捷高效的消息队列。业务无需改动即可快速迁移上云，为您节省维护和使用成本。 一键式部署，免去集群搭建烦恼 您只需要在实例管理界面选好规格配置，提交订单。后台将自动创建部署完成一整套Kafka实例。 兼容开源，业务零改动迁移上云 兼容社区版
水平扩展，支持流式数据处理等多种特性的分布式消息流处理中间件，采用分布式消息发布与订阅机制，在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 华为云分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队列服务，向用户提供计算、存储和带宽资源
Connect任务，通过Smart Connect任务可以将Kafka实例中的数据转储至OBS中，实现消息数据的备份。 源Kafka实例中的数据会实时同步到转储文件中。 约束与限制 单机实例不支持创建转储的Smart Connect任务。 一个实例最多创建18个Smart Connect任务。
本文介绍Maven方式引入Kafka客户端，并完成Kafka实例连接以及消息生产与消费的相关示例。如果您需要在IDE中查看Demo具体表现，请查看Java开发环境搭建。 下文所有Kafka的配置信息，如实例连接地址、Topic名称、用户信息等，请参考收集连接信息获取。 Maven中引入Kafka客户端 //Kafka实例基于社区版本1
线程发现Topic中有消息，可以唤醒其他线程一起消费消息，以达到快速响应的目的。如图2所示。 这种方案适用于对消费消息的实时性要求不高的应用场景。如果要求准实时消费消息，则建议保持所有消费者处于活跃状态。 图2 优化后的多线程消费方案 消费者（Consumer）和消息分区（Par
本章节提供了生产者和消费者对于消息的使用建议，以提高消息发送和消息消费的效率与可靠性。 优化消费者轮询（Polling） 本章节介绍在对消费消息实时性要求不高的场景中，如何优化消费者Polling，减少消息较少或者没有消息时的资源浪费。 Logstash对接Kafka生产消费消息 Ka
Connect迁移业务，会对源端Kafka进行消费，对目标端Kafka进行生产，会占用源端和目标端Kafka的带宽。 出于性能考虑，Smart Connect实时同步源端和目标端的数据，但是消费进度是通过批处理同步的，可能会导致源端和目标端每个分区的消费进度存在0-100之间的差异。 迁移准备 配置网络环境。
Java Java客户端接入示例 Java开发环境搭建
创建转储任务 功能介绍 创建转储任务。 当前页面API为历史版本API，未来可能停止维护。请使用开启Smart Connect（按需实例）。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/connectors/{connector_id}/sink-tasks
fka审计日志。 使用云监控服务对Kafka进行实时监控和告警。 为使您更好地掌握Kafka实例状态，华为云提供了云监控服务（Cloud Eye）。您可使用该服务监控自己的Kafka实例，执行自动实时监控、告警和通知操作，帮助您实时掌握Kafka实例中所产生的请求、流量等信息。
网络访问。 不同网络环境，对于客户端配置来说，只是连接地址的差异，其他都一样。因此，本手册以同一VPC内子网地址的方式，介绍客户端开发环境搭建。 遇到连接超时或失败时，请注意确认网络是否连通。可使用telnet方式，检测实例连接地址与端口。
API方式购买 创建Kafka实例 04 使用 根据业务发展需要，您可以为实例扩容存储空间和基准带宽、修改实例安全组、开启实例转储。除此之外，您还可以实时查看监控指标及审计日志，以便及时了解Kafka实例节点、队列、消费组等相关状态。 日常操作 查看实例信息 扩容实例存储空间 扩容实例代理个数
创建Kafka Topic Topic，即消息主题，用于存储消息，供生产者生产消息以及消费者订阅消息。创建Kafka实例成功后，如果没有开启“Kafka自动创建Topic”，需要手动创建Topic。如果实例开启了“Kafka自动创建Topic”，则该操作为可选。 “Kafka自动
设置不同的访问Kafka实例的权限，以达到不同用户之前的权限隔离。 云监控（Cloud Eye） 云监控是一个开放性的监控平台，提供资源的实时监控、告警、通知等服务。 Kafka实例向CloudEye上报监控数据的更新周期为1分钟。 弹性公网IP（Elastic IP） 弹性公网
空间在账单中显示的产品名称为“分布式消息服务物理多租存储”，如图1所示。 图1 账单 账单上报周期 包年/包月计费模式的资源完成支付后，会实时上报两条账单（实例费用账单和存储空间费用账单）到计费系统进行结算。 按需计费模式的资源按照固定周期上报使用量到计费系统进行结算。按需计费模
监控安全风险 DMS for Kafka提供基于云监控服务CES的资源和操作监控能力，帮助用户对每个Kafka实例进行自动实时监控、告警和通知操作。用户可以实时掌握实例的各类业务请求、资源占用、流量、连接数和消息积压等关键信息。 关于DMS for Kafka支持的监控指标，以及如
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
