检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
因此如果在下一个任务中再次使用HDFS_DELEGATION_TOKEN,缓存中将会找不到HDFS_DELEGATION_TOKEN。 为了能够在随后的工作中再次使用同一个Token,为MapReduce任务配置参数。当参数为false时,用户能够再次使用同一个Token。
token (HDFS_DELEGATION_TOKEN token 17410 for spark2x) is expired 回答 问题原因: ApplicationMaster进程中有1个Credential Refresh Thread会根据token renew周期 *
token (HDFS_DELEGATION_TOKEN token 17410 for spark2x) is expired 回答 问题原因: ApplicationMaster进程中有1个Credential Refresh Thread会根据token renew周期 *
创建IAM用户并授权使用MRS 如果您需要对您所拥有的MapReduce服务(MapReduce Service)进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),通过IAM,您可以: 根据企业的业务组织,在您的华为云账号中
权限管理 如果您需要对华为云上创建的MapReduce服务资源,给企业中的员工设置不同的访问权限,以达到不同员工之间的权限隔离,您可以使用统一身份认证服务(Identity and Access Management,简称IAM)进行精细的权限管理。
策略及授权项说明 如果您需要对您所拥有的MapReduce服务(MRS)进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),如果华为账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用
进行服务授权后,MRS将在统一身份认证服务(IAM)中创建名为“mrs_admin_agency”的委托,该委托创建成功后请勿修改和删除,删除委托或者删除委托中的Tenant Administrator角色将会自动取消授权,取消授权后将影响集群创建、集群扩容、集群缩容、升级Master
MRS组件应用安全认证说明 Kerberos认证说明 开启了Kerberos认证的安全模式集群,进行应用开发时需要进行安全认证。使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术,并且能够进行相互认证(即客户端和服务器端均可对对方进行身份认证)。可以用于防止窃听
(org.apache.hadoop.security.token.SecretManager$InvalidToken): token (HDFS_DELEGATION_TOKEN token 192 for admin) can't be found in cache 16/03
构造请求 本节介绍REST API请求的组成,并以调用IAM服务的管理员创建IAM用户说明如何调用API,该API获取用户的Token,Token可以用于调用其他API时鉴权。
MapReduce服务通常使用的基础资源如下,配额由各个基础服务管理,如需扩大配额,请联系对应服务的技术支持进行扩容: 弹性云服务器 裸金属服务器 虚拟私有云 云硬盘 镜像服务 对象存储服务 弹性公网IP 消息通知服务 统一身份认证服务 其配额查看及修改请参见关于配额。
对于Spark作业 通过spark-shell、spark-submit、spark-sql方式提交作业,可以直接在命令行中指定Keytab和Principal以获取认证,定期更新登录凭证和授权tokens,避免认证过期。
在服务列表中选择“管理与监管 > 统一身份认证服务 IAM”。 选择“委托 > 创建委托”。 设置“委托名称”,例如:mrs_ecs_obs。
DelegationToken的查询。 Transaction的查询、提交。 storm Admin@123 storm的系统管理员。 用户权限:storm任务提交。 rangerusersync 系统随机生成 用于同步用户及用户组的内部用户。
Guardian日志介绍 日志描述 日志路径:Guardian相关日志的存储路径为:“/var/log/Bigdata/guardian/token-server”。
在服务列表中选择“管理与监管 > 统一身份认证服务 IAM”。 选择“委托 > 创建委托”。 在创建委托页面配置以下参数,并单击“完成”: 委托名称:设置委托名称,例如:agency-MRS-to-OBS。 委托类型:选择“普通账号”。
OBS存算分离细粒度鉴权 对于OBS存算分离集群,如果您想对OBS上的资源进行细粒度的权限控制,可以通过MRS提供的基于IAM委托的细粒度权限控制方案进行配置,请参见配置MRS多用户访问OBS细粒度权限。 父主题: 安全
SparkStreaming任务运行一段时间后开始报TOKEN过期问题。
使用Sasl Kerberos认证 在安全集群环境下,各个组件之间不能够简单地相互通信,而需要在通信之前进行相互认证,以确保通信的安全性。Kafka应用开发需要进行Kafka、ZooKeeper、Kerberos的安全认证,这些安全认证只需要生成一个jaas文件并设置相关环境变量即可
原因分析 Driver端异常: 16/05/11 18:10:56 INFO Client: client token: N/A diagnostics: Application application_1462441251516_0024 failed 2 times due