-
为什么提交Spark Streaming应用超过token有效期,应用失败 - MapReduce服务 MRS
token (HDFS_DELEGATION_TOKEN token 17410 for spark2x) is expired 回答 问题原因: ApplicationMaster进程中有1个Credential Refresh Thread会根据token renew周期 *
-
构造请求 - MapReduce服务 MRS
例如您需要获取IAM在“华北-北京一”区域的Token,则需使用“华北-北京一”区域的Endpoint(iam.cn-north-1.myhuaweicloud.com),并在获取用户Token的URI部分找到resource-path(/v3/auth/tokens),拼接起来如下所示
-
创建MRS操作用户 - MapReduce服务 MRS
创建MRS操作用户 如果您需要对您所拥有的MapReduce服务(MapReduce Service)进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),通过IAM,您可以: 根据企业的业务组织,在您的华为云账号中
-
Yarn-cluster模式下提交Spark任务报“Can't get the Kerberos realm”异常 - MapReduce服务 MRS
Yarn-cluster模式下提交Spark任务报“Can't get the Kerberos realm”异常 问题背景与现象 认证异常导致提交Spark任务失败,报“Can't get the Kerberos realm”异常。
-
权限管理 - MapReduce服务 MRS
权限管理 如果您需要对华为云上创建的MapReduce服务资源,给企业中的员工设置不同的访问权限,以达到不同员工之间的权限隔离,您可以使用统一身份认证服务(Identity and Access Management,简称IAM)进行精细的权限管理。
-
策略及授权项说明 - MapReduce服务 MRS
策略及授权项说明 如果您需要对您所拥有的MapReduce服务(MapReduce Service)进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),如果华为账号已经能满足您的要求,不需要创建独立的IAM用户
-
配置云服务授权 - MapReduce服务 MRS
同意授权后,MRS将在统一身份认证服务为您创建名为mrs_admin_agency的委托,委托创建成功后请勿修改和删除,授权成功后,您就可以使用MRS服务。 若创建委托失败,则需要您登录到“统一身份认证服务”管理控制台,对委托进行删除或联系管理员增加限额。 父主题: 准备用户
-
配额说明 - MapReduce服务 MRS
MapReduce服务通常使用的基础资源如下,配额由各个基础服务管理,如需扩大配额,请联系对应服务的技术支持进行扩容: 弹性云服务器 裸金属服务器 虚拟私有云 云硬盘 镜像服务 对象存储服务 弹性公网IP 消息通知服务 统一身份认证服务 其配额查看及修改请参见关于配额。
-
配置Guardian服务对接OBS - MapReduce服务 MRS
在服务列表中选择“管理与监管 > 统一身份认证服务”。 选择“委托”,单击创建云服务委托并绑定集群中创建云服务委托名称“mrs_ecs_obs”。
-
返回结果 - MapReduce服务 MRS
对于获取用户Token接口,返回如图1所示的消息头,其中“x-subject-token”就是需要获取的用户Token。有了Token之后,您就可以使用Token认证调用其他API。 图1 获取用户Token响应消息头 响应消息体(可选) 该部分可选。
-
Yarn-client模式提交Spark任务时ApplicationMaster尝试启动两次失败 - MapReduce服务 MRS
启动一个Spark PI任务,会有类似如下打印信息。
-
Spark Streaming任务提交问题 - MapReduce服务 MRS
连接带Kerberos的Kafka,报认证错误。 SparkStreaming任务运行一段时间后开始报TOKEN过期问题。
-
MRS组件应用安全认证说明 - MapReduce服务 MRS
MRS组件应用安全认证说明 Kerberos认证说明 开启了Kerberos认证的安全模式集群,进行应用开发时需要进行安全认证。使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术,并且能够进行相互认证(即客户端和服务器端均可对对方进行身份认证)。
-
ALM-45736 Guardian服务不可用 - MapReduce服务 MRS
检查所有TokenServer实例。 以omm用户登录TokenServer实例所在节点,执行ps -ef|grep "guardian.token.server.Server"命令查看当前节点是否存在TokenServer进程。 是,执行5。
-
获取MRS集群主机列表接口时提示用户无权限 - MapReduce服务 MRS
X-Domain-Id 账号ID,用途: Token认证方式下获取Token。 AK/SK认证方式下,全局服务的接口调用,需在请求消息头中配置X-Domain-Id。 X-Project-Id 子项目ID,在多项目场景中使用。
-
如何避免Kerberos认证过期? - MapReduce服务 MRS
对于Spark作业 通过spark-shell、spark-submit、spark-sql方式提交作业,可以直接在命令行中指定Keytab和Principal以获取认证,定期更新登录凭证和授权tokens,避免认证过期。
-
用户账号一览表 - MapReduce服务 MRS
在管理节点生成,属于操作系统用户,无需设置为统一的密码。该用户不能用于远程登录。 请参见修改操作系统用户密码。 omm 随机密码 系统的内部运行用户。在全部节点生成,属于操作系统用户,无需设置为统一的密码。
-
配置Spark读取HBase表数据 - MapReduce服务 MRS
参数“dfs.namenode.delegation.token.max-lifetime”的值。
-
与其他云服务的关系 - MapReduce服务 MRS
配置数据连接 统一身份认证服务(Identity and Access Management) 统一身份认证服务(IAM)为MRS提供了鉴权功能。
-
身份认证与访问控制 - MapReduce服务 MRS
基于角色的权限控制 MRS基于用户和角色的认证统一体系,遵从账户/角色RBAC(Role-Based Access Control)模型,实现通过角色进行权限管理,对用户进行批量授权管理,同时提供单点登录能力,统一了系统用户和组件用户的管理及认证。