检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
值为临时访问密钥的security_token。 AK/SK认证就是使用AK/SK对请求进行签名,在请求时将签名信息添加到消息头,从而通过身份认证。 AK(Access Key ID):访问密钥ID。与私有访问密钥关联的唯一标识符;访问密钥ID和私有访问密钥一起使用,对请求进行加密签名。
MRS集群用户鉴权策略 安全模式 大数据平台用户完成身份认证后,系统还需要根据实际权限管理配置,选择是否对用户进行鉴权,确保系统用户拥有资源的有限或全部权限。如果系统用户权限不足,需要由系统管理员为用户授予各个组件对应的权限后,才能访问资源。安全模式或者普通模式集群均提供鉴权能力,组件的具体权限项在两种模式中相同。
集群时,MRS支持配置是否启用Kerberos认证,集群创建完成后不支持修改。 安全模式(启用Kerberos认证) 安全模式的MRS集群统一使用Kerberos认证协议进行安全认证。Kerberos协议支持客户端与服务端进行相互认证,提高了安全性,可有效消除使用网络发送用户凭据
作业无法提交,业务中断。 处理步骤 确认异常来源。 查看作业日志中收到的错误码,确认错误码是属于APIG还是MRS。 若是公共APIG的错误码(APIG的错误码是APIGW开头),联系公共APIG维护人员。 若是MRS侧错误,继续下一步。 排查服务和进程运行状态等基本情况。 登录Man
使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术,并且能够进行相互认证(即客户端和服务器端均可对对方进行身份认证)。可以用于防止窃听、防止replay攻击、保护数据完整性等场合,是一种应用对称密钥体制进行密钥管理的系统。 结构 Kerberos的
客户端创建完成后,在客户端详情信息中获取对应客户端的“接入IP”信息并记录。 创建对接LakeFormation权限的委托 登录华为云管理控制台,选择“统一身份认证服务 IAM”。 在左侧导航栏选择“委托”,单击右上角的“创建委托”,配置相关参数,单击“下一步”。 参数配置如下: 委托名称:例如
配置Storm业务用户密码策略 操作场景 本章节内容适用于MRS 3.x及后续版本。 使用Storm业务用户提交一个拓扑以后,该任务需要使用提交拓扑的用户身份持续运行。在拓扑运行的过程中,worker进程可能需要正常重启以保持拓扑工作。若业务用户的密码被修改,或密码使用天数超过了默认密码策略指定
客户端创建完成后,在客户端详情信息中获取对应客户端的“接入IP”信息并记录。 创建对接LakeFormation权限的委托 登录华为云管理控制台,选择“统一身份认证服务 IAM”。 在左侧导航栏选择“委托”,单击右上角的“创建委托”,配置相关参数,单击“下一步”。 参数配置如下: 委托名称:例如
证。使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术,并且能够进行相互认证(即客户端和服务器端均可对对方进行身份认证)。可以用于防止窃听、防止replay攻击、保护数据完整性等场合,是一种应用对称密钥体制进行密钥管理的系统。 图1 Kerberos原理架构
如HDFS)在启动准备阶段的时候,会首先在Kerberos中获取该服务对应的服务名称sessionkey(即keytab,用于应用程序进行身份认证)。其他任意服务(例如YARN)需要访问HDFS并在HDFS中执行增、删、改、查数据的操作时,必须获取对应的TGT和ST,用于本次安全访问的认证。
的组件包括:HBase、HDFS、Hive、Spark/Spark2x、Yarn。 启用Ranger鉴权后,该组件所有鉴权将由Ranger统一管理,原鉴权插件设置的权限将会失效(HDFS与Yarn的组件ACL规则仍将生效),请谨慎操作,建议提前在Ranger上做好权限部署。 停用
交互式SQL查询。除了使用相同的统一存储平台之外,Impala还使用与Apache Hive相同的元数据,SQL语法(Hive SQL),ODBC驱动程序和用户界面(Hue中的Impala查询UI)。这为实时或面向批处理的查询提供了一个熟悉且统一的平台。作为查询大数据的工具的补充
KrbServer及LdapServer简介 为了管理集群中数据与资源的访问控制权限,推荐安装安全模式集群。在安全模式下,客户端应用程序在访问集群中的任意资源之前均需要通过身份认证,建立安全会话链接。MRS通过KrbServer为所有组件提供Kerberos认证功能,实现了可靠的认证机制。 LdapServer支
务进行统一管理。 主机 提供主机监控、主机操作向导,帮助您对主机进行统一管理。 运维 提供告警查询、告警处理指导功能。帮助您及时发现产品故障及潜在隐患,并进行定位排除,以保证系统正常运行。 审计 提供审计日志查询及导出功能。帮助您查阅所有用户活动及操作。 租户资源 提供统一租户管理平台。
HBase Java API接口介绍 HBase采用的接口与Apache HBase保持一致,请参见http://hbase.apache.org/apidocs/index.html。 新增或修改的接口 HBase 0.98.3建议使用org.apache.hadoop.hbase
图1 续费MRS集群 统一包年/包月资源的到期日 如果您持有多个到期日不同的MRS集群,或者您的MRS集群和其上挂载的云硬盘到期日不同,可以将到期日统一设置到一个日期,便于日常管理和续费。 图2展示了用户将两个不同时间到期的资源,同时续费一个月,并设置“统一到期日”后的效果对比。
问密钥,在.csv文件中获取AK/SK信息。 创建云服务委托并绑定集群 登录MRS云服务管理控制台。 在服务列表中选择“管理与监管 > 统一身份认证服务 IAM”。 选择“委托 > 创建委托”,在创建委托页面设置如下参数,并单击“下一步”: 委托名称:填写委托名称,例如:mrs_ecs_obs。
用户开发大数据应用程序并在支持Kerberos认证的MRS集群中运行程序时,需要准备访问MRS集群的用户认证文件。认证文件中的keytab文件可用于认证用户身份。 该任务指导管理员用户通过Manager下载用户认证文件并导出keytab文件。 修改用户密码后,之前导出的keytab将失效,需要重新导出。
本章节介绍Hive如何对接外部LDAP并访问HiveServer。 为了管理集群中数据与资源的访问控制权限,在安全模式下,客户端应用程序在访问集群中的任意资源之前均需要通过身份认证,建立安全会话链接。 MRS通过KrbServer为所有组件提供Kerberos认证功能,实现了可靠的认证机制。 LdapServer
连接OBS失败。 检查集群和OBS网络是否连通,初始化配置。 是,执行8。 否,执行12。 登录MRS云服务管理控制台,在服务列表选择“统一身份认证服务 IAM > 委托”,在委托列表中单击MRS集群配置的委托名称。 单击“授权记录”,单击权限列表中各个策略的名称。 在“策略内容