检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
值时,系统自动发送短信/邮件通知用户,让用户能够实时掌握业务的运行情况。 DMS for Kafka安全使用建议 本章节提供了Kafka使用过程中的安全最佳实践,旨在为提高整体安全能力提供可操作的规范性指导。
客户端连接Kafka实例前,需要在Kafka实例所属安全组中配置如下安全组规则,否则会连接失败。 创建安全组后,系统默认添加入方向“允许安全组内的弹性云服务器彼此通信”规则和出方向“放通全部流量”规则,此时使用内网通过同一个VPC访问Kafka实例,无需添加表2的规则。 表2 安全组规则 方向 协议 类型 端口
消息积压诊断”,进入消息积压诊断页面。 选择需要诊断的消费组名称和Topic名称,单击“诊断前检查”。 检查成功后,在页面上方显示“预检查成功”,并显示内存使用率、CPU利用率、分区订阅关系、消息积压情况和流量突增情况的检查结果。 图2 诊断前检查 “消息积压情况”显示无消息积压时,无法进行消息积压诊断。显示有
通知相关人员。避免7*24小时人工值守。 需要自行开发完善运维功能,尤其是告警及通知功能,否则只能人工值守。 安全保证 VPC隔离,支持SSL通道加密。 需要自行进行安全加固。
username="username" \ password="password"; ## 设置Kafka安全协议。spring.kafka.security.protocol为安全协议。 ## 安全协议为“SASL_SSL”时,配置信息如下。 spring.kafka.security.protocol=SASL_SSL
实例问题 为什么可用区不能选择2个? 创建实例时为什么无法查看子网和安全组等信息? 如何选择Kafka实例的存储空间? Kafka实例的超高IO和高IO如何选择? 如何选择Kafka实例存储容量阈值策略? Kafka服务端支持版本是多少? Kafka实例的ZK地址是什么? 创建的Kafka实例是集群模式么?
使用对等连接跨VPC访问,访问端口为9093。 DNAT访问,访问端口为9011。 在访问Kafka实例之前,需要确保安全组是否配置正确,配置要求,请参考选择和配置安全组。 父主题: 实例问题
开启的SASL认证机制 在Kafka实例详情页的“连接信息”区域,获取“开启的SASL认证机制”。 启用的安全协议 在Kafka实例详情页的“连接信息”区域,获取“启用的安全协议”。 证书 在Kafka实例详情页的“连接信息”区域,在“SSL证书”所在行,单击“下载”。下载压缩包
选择执行时间,支持“立即执行”和“定时执行”。 如果选择“定时执行”,还需要指定执行时间。 在“风险检查”区域,查看升级前的检查项是否正常。 如果检查项有异常,请先根据提示信息修改,然后单击“重新检查”。如果确认异常的检查项无需修改,请勾选“我已知晓风险。”。 单击“确定”。 立即执行和定时执行查看升级是否完成的方法不同,具体如下:
虚拟私有云(Virtual Private Cloud) Kafka实例运行于虚拟私有云,需要使用虚拟私有云创建的IP和带宽。通过虚拟私有云安全组的功能可以增强访问Kafka实例的安全性。 弹性云服务器(Elastic Cloud Server) 弹性云服务器是由CPU、内存、操作系统、云硬盘组成的基
示密文接入。 内网访问不支持关闭,明文接入和密文接入至少开启一个。 跨VPC访问的安全协议等于内网访问的安全协议,若内网同时开启了密文访问和明文访问,则跨VPC访问的安全协议会优先使用密文访问的安全协议。 retention_policy 否 String 磁盘的容量到达容量阈值后,对于消息的处理策略。
username="username" \ password="password"; #设置Kafka安全协议。security.protocol为安全协议。 #安全协议为“SASL_SSL”时,配置信息如下。 security.protocol=SASL_SSL #ssl
在左侧导航栏,选择“分析与诊断 > 消息积压诊断”,进入消息积压诊断页面。 选择需要诊断的消费组名称和Topic名称,单击“诊断前检查”。 诊断前检查成功后,如果“消息积压情况”显示有消息积压,并且消费组正在以非assign方式消费消息中,单击“开始诊断”。 诊断成功后,在诊断记
诊断管理 消息积压诊断预检查 创建消息积压诊断任务 查询消息积压诊断报告列表 批量删除消息积压诊断报告 查询诊断报告详情 父主题: API V2(推荐)
5秒 检查点的频率 refresh.topics.enabled true 连接器应定期检查新主题 refresh.topics.interval.seconds 5秒 检查源集群中是否有新主题的频率 refresh.groups.enabled true 连接器应定期检查新的消费组
连接问题 选择和配置安全组 Kafka实例是否支持公网访问? Kafka实例的连接地址默认有多少个? 是否支持跨Region访问? Kafka实例是否支持跨VPC访问? Kafka实例是否支持不同的子网? Kafka是否支持Kerberos认证,如何开启认证? Kafka实例是否支持无密码访问?
otocol同时代表内网访问、公网访问以及跨VPC访问的安全协议。 若实例详情中存在port_protocols返回参数,则kafka_security_protocol仅代表跨VPC访问的安全协议。内网访问公网访问的安全协议请参考port_protocols参数。 PLAINTEXT:
已打通客户端和Kafka实例之间的网络,具体网络要求请参考连接Kafka网络要求。 已配置正确的安全组。 客户端访问关闭SASL的Kafka实例前,Kafka实例需要配置正确的安全组规则,否则会连接失败。安全组规则的配置请参考表2。 已获取连接Kafka实例的地址。 在Kafka控制台的“基本信息
Boolean 是否开启安全认证。 true:开启 false:未开启 broker_ssl_enable Boolean 是否开启broker间副本加密传输。 true:开启 false:未开启 kafka_security_protocol String 开启SASL后使用的安全协议。 SASL_SSL:
前提条件 已配置如表2所示安全组。 表2 安全组规则 方向 协议 端口 源地址 说明 入方向 TCP 9999 Kafka客户端所在的IP地址或地址组 访问Kafka Manager。 登录Kafka Manager 创建一台与Kafka实例相同VPC和相同安全组的Windows服务