MAPREDUCE服务 MRS-MRS安全增强

时间:2024-04-01 09:39:25

MRS 安全增强

MRS作为一个海量数据管理和分析的平台,具备高安全性。MRS主要从以下几个方面保障用户的数据和业务运行安全。

  • 网络隔离

    整个系统部署在公有云上的虚拟私有云中,提供隔离的网络环境,保证集群的业务、管理的安全性。结合虚拟私有云的子网划分、路由控制、安全组等功能,为用户提供高安全、高可靠的网络隔离环境。

  • 资源隔离

    MRS服务支持资源专属区内部署,专属区内物理资源隔离,用户可以在专属区内灵活地组合计算存储资源,包括专属计算资源+共享存储资源、共享计算资源+专属存储资源、专属计算资源+专属存储资源。

  • 主机安全

    MRS支持与公有 云安全 服务集成,支持 漏洞扫描 、安全防护、应用防火墙、 堡垒机 、网页防篡改等。针对操作系统和端口部分,华为云提供如下安全措施:

    • 操作系统内核安全加固
    • 操作系统权限控制
    • 操作系统端口管理
  • 应用安全

    通过如下措施保证大数据业务正常运行:

    • 身份鉴别和认证
    • Web应用安全
    • 访问控制
    • 审计安全
    • 密码安全
  • 数据安全

    针对海量用户数据,提供如下措施保障客户数据的机密性、完整性和可用性。

    • 容灾:MRS支持将数据备份到OBS( 对象存储服务 )中,支持跨区域的高可靠性。
    • 备份:MRS支持针对DBService、NameNode、LDAP的元数据备份和对HDFS、HBase的业务数据备份。
  • 数据完整性

    通过数据校验,保证数据在存储、传输过程中的数据完整性。

    • 用户数据保存在HDFS上,HDFS默认采用CRC32C校验数据的正确性。
    • HDFS的DataNode节点负责存储校验数据,如果发现客户端传递过来的数据有异常(不完整)就上报异常给客户端,让客户端重新写入数据。
    • 客户端从DataNode读数据的时候会同步检查数据是否完整,如果发现数据不完整,尝试从其它的DataNode节点上读取数据。
  • 数据保密性

    MRS分布式文件系统在Apache Hadoop版本基础上,提供对文件内容的加密存储功能,避免敏感数据明文存储,提升数据安全性。业务应用只需对指定的敏感数据进行加密,加解密过程业务完全不感知。在文件系统 数据加密 基础上,Hive实现表级加密,HBase实现列族级加密,在创建表时指定采用的加密算法,即可实现对敏感数据的加密存储。

    从数据的存储加密、访问控制来保障用户数据的保密性。

    • HBase支持将业务数据存储到HDFS前进行压缩处理,且用户可以配置AES和 SMS 4算法加密存储。
    • 各组件支持本地数据目录访问权限设置,无权限用户禁止访问数据。
    • 所有集群内部用户信息提供密文存储。
  • 安全认证
    • 基于用户和角色的认证统一体系,遵从账户/角色RBAC(Role-Based Access Control)模型,实现通过角色进行权限管理,对用户进行批量授权管理。
    • 支持安全协议Kerberos,MRS使用LDAP作为账户管理系统,并通过Kerberos对账户信息进行安全认证。
    • 提供单点登录,统一了MRS系统用户和组件用户的管理及认证。
    • 对登录Manager的用户进行审计。
support.huaweicloud.com/productdesc-mrs/mrs_08_0043.html