检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SSL链路传输加密方式访问DMS for Kafka 不存储敏感数据 构建数据的恢复和容灾能力 审计是否存在异常数据访问 使用最新版本SDK获得更好的操作体验和更强的安全能力 通过访问控制，保护数据安全性 建议对不同角色的IAM用户仅设置最小权限，避免权限过大导致数据泄露或被误操作。 为了更好的进行权限隔离和
direction 否 String 同步方向；pull为把对端Kafka实例数据复制到当前Kafka实例中，push为把当前Kafka实例数据复制到对端Kafka实例中，two-way为对两端Kafka实例数据进行双向复制。（仅源端类型为Kafka时需要填写） sync_consumer_offsets_enabled
包年/包月Kafka实例到期后会影响Kafka实例正常运行。如果您想继续使用，需要在指定的时间内为Kafka实例续费，否则Kafka实例资源会自动释放，数据丢失且不可恢复。 续费操作仅适用于包年/包月Kafka实例，按需计费Kafka实例不需要续费，只需要保证账户余额充足即可。 Kafka实例
服务Kafka版提供的一系列常用实践。 表1 常用最佳实践 实践 描述 使用MirrorMaker跨集群同步数据 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。 配置消息堆积数监控 介绍如何设置消息组的消息堆积数超过阈值时，消息通知服务及时发送告警短信/邮件通知用户。
同一个AZ内，Kafka实例通过副本冗余方式实现实例容灾，当检测到leader副本故障后，快速完成副本选主，保障Kafka实例持续提供服务。 数据容灾 通过支持数据多副本方式实现数据容灾。 跨AZ容灾部署架构 DMS for Kafka部署在3个及以上可用区时，可实现跨AZ容灾。 图1 跨AZ部署架构图
积消息数之和。查看监控数据的具体步骤，请参考查看Kafka监控数据。 在云监控页面的“消费组”页签中，“消费组”选择待查看堆积消息数的消费组名称，“主题”选择“全部Topic”，“消费组可消费消息数”表示此消费组中所有Topic的堆积消息数之和。查看监控数据的具体步骤，请参考查看Kafka监控数据。
timeout.ms的时间。 消费组名称开头不使用特殊字符（如#），使用特殊字符可能会导致云监控无法展示此消费组的监控数据。 producer使用建议 同步复制客户端需要配合使用：acks=all 配置发送失败重试：retries=3 发送优化：对于时延敏感的信息，设置linger
服务检索日志，或者由Kafka将消息传递给Hadoop等其他大数据应用系统化存储与分析。 图4 日志同步示意图 上图中Logstash、ElasticSearch分别为日志分析和检索的开源工具，Hadoop表示大数据分析系统。
接入表示客户端访问Kafka实例时，需要进行SASL认证。如果Kafka安全协议为“SASL_SSL”，客户端和Kafka实例进行通信时，数据使用加密传输，安全性更高。 操作视频 本视频演示客户端连接开启SASL_SSL的Kafka实例的操作。 约束与限制 由于安全问题，2021
介绍如何设置消息堆积数超过阈值时，发送告警短信/邮件 05:40 配置告警通知 分布式消息服务Kafka版 介绍如何将一个Kafka实例的数据，同步到另一个Kafka实例中 06:41 两个Kafka实例的数据复制 分布式消息服务Kafka版 介绍如何修改Topic分区平衡 05:08 修改分区平衡 分布式消息服务Kafka版
fka实例生产消费消息。 使用MirrorMaker跨集群同步数据 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。本章节介绍两个Kafka实例如何使用MirrorMaker单向或双向同步数据。 消息堆积处理建议 本章节描述了消息堆积的原因，以及处理措施。
创建的Kafka实例是集群模式么？ Kafka实例是否支持修改访问端口？ Kafka实例的SSL证书有效期多长？ 如何将Kafka实例中的数据同步到另一个Kafka实例中？ Kafka实例的SASL_SSL开关如何修改？ SASL认证机制如何修改？ 如何修改安全协议？ 修改企业项目，是否会导致Kafka重启？
生产消息数不为0，为什么生产速率为0？ 消息生产速率的原始指标数据为每分钟上报一次，但是它的单位为“个/秒”，所以消息生产速率=一分钟内生产的消息数/60，其值向下取整。当一分钟内生产的消息数小于60个时，生产速率会显示为0。 父主题： 监控告警问题
Kafka队列的消息保存时间必须在[1,72]范围内。 请检查kafka队列消息保存时间 400 DMS.10240028 Non-kafka queues do not support retention_hours. 非Kafka队列不能设置消息保存时间。 请检查是否是ka
磁盘读流量、磁盘写流量、磁盘平均读操作耗时、磁盘平均写操作耗时和CPU使用率这几个监控指标采集的是瞬时值，仅作为系统资源评估参考。它们出现明显波动通常情况下是由于Kafka数据采用异步落盘会消耗磁盘I/O和CPU导致的，这种波动不会对业务产生影响。 父主题： 监控告警问题
PLAINTEXT：表示客户端访问Kafka实例时，无需认证，数据通过明文传输。 SASL_SSL：表示客户端访问Kafka实例时，使用SASL认证，数据通过SSL证书加密传输。 SASL_PLAINTEXT：表示客户端访问Kafka实例时，使用SASL认证，数据通过明文传输。 步骤一：创建终端节点服务
TPS。 测试场景二（同步/异步复制）：相同的实例（超高I/O、3个代理、未开启SASL），不同复制机制的Topic，生产者进程数为3时，测试结果如下： 表4 测试结果 实例规格 是否同步落盘 副本数 分区数 TPS（同步复制） TPS（异步复制） kafka.2u4g.cluster
单击“Go to topic view”，进入Topic详情页面。 单击“Reassign Partitions”，保存对Topic分区Leader的修改。 保存成功后，返回如下图所示信息。 在导航栏单击Topic名称，进入Topic详情页面，查看分区详情。 如上图所示，分区2的Leader已经从2改为1。
消息的最长保留时间，修改方法请参见修改Kafka消息老化时间。 副本数 Topic每个分区的副本数量，修改方法请参见修改Kafka Topic副本数。 同步复制 后端收到生产消息请求并复制给所有副本后，才返回客户端。 同步落盘 开启：生产的每条消息都会立即写入磁盘，可靠性更高。 关闭：生产的消息存在内存中，不会立即写入磁盘。
解决方法：修改容量阈值策略或扩大磁盘容量。“容量阈值策略”设置为“生产受限”，表示一旦磁盘使用达到容量阈值95%，会导致后续生产失败，但保留了当前磁盘中的数据，直至数据自然老化。该场景适用于对数据不能丢的业务场景，但是会导致生产业务失败。 父主题： 消息问题
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
