检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“TOKENID”和“HMAC”参考Kafka Token认证机制工具使用说明为用户生成Token时产生。
查找配置项“delegation.token.master.key”,该配置指定用于生成和验证Token的主密钥。先查看是否已经配置,如果已配置且不为null,则表示Token认证机制是开启的,不用重新配置(重新配置会导致之前生产的Token无法使用)。
“TOKENID”和“HMAC”参考Kafka Token认证机制工具使用说明为用户生成Token时产生。
cd Kafka/kafka/bin 使用kafka-delegation-tokens.sh对Token进行操作 为用户生成Token: .
配置Kafka用户Token认证信息 操作场景 使用Token认证机制时对Token的操作。 本章节内容适用于MRS 3.x及后续版本的启用Kerberos认证的集群。 前提条件 MRS集群管理员已明确业务需求,并准备一个系统用户。 已开启Token认证机制。
查找配置项“delegation.token.master.key”,该配置指定用于生成和验证Token的主密钥。先查看是否已经配置,如果已配置且不为null,则表示Token认证机制是开启的,不用重新配置(重新配置会导致之前生产的Token无法使用)。
POST https://iam.cn-north-4.myhuaweicloud.com/v3.0/OS-USER/users Content-Type: application/json X-Auth-Token: ABCDEFG....
配置HDFS token的最大存活时间 配置场景 安全模式下,HDFS中用户可以对Token的最大存活时间和Token renew的时间间隔进行灵活地设置,根据集群的具体需求合理地配置。
配置HDFS token的最大存活时间 配置场景 安全模式下,HDFS中用户可以对Token的最大存活时间和Token renew的时间间隔进行灵活地设置,根据集群的具体需求合理地配置。
配置Spark任务不获取HBase Token信息 配置场景 使用Spark提交任务时,Driver默认会去HBase获取Token,访问HBase则需要配置文件“jaas.conf”进行安全认证。此时如果用户未配置“jaas.conf”文件,会导致应用运行失败。
配置Spark任务不获取HBase Token信息 配置场景 使用Spark提交任务时,Driver默认会去HBase获取Token,访问HBase则需要配置文件“jaas.conf”进行安全认证。此时若用户未配置“jaas.conf”文件,会导致应用运行失败。
ALM-45744 Guardian TokenServer RPC处理平均时间超过阈值 告警解释 系统每30秒周期性检测TokenServer服务RPC处理平均时间,当连续5次检测到TokenServer实例RPC处理平均时间超出阈值时产生该告警。
因此如果在下一个任务中再次使用HDFS_DELEGATION_TOKEN,缓存中将会找不到HDFS_DELEGATION_TOKEN。 为了能够在随后的工作中再次使用同一个Token,为MapReduce任务配置参数。当参数为false时,用户能够再次使用同一个Token。
出现此告警时,说明当前TokenServer设置的堆内存无法满足当前TokenServer进程所需的堆内存,建议根据2查看“TokenServer堆内存使用率”,调整“GC_OPTS”参数中“-Xmx”的值为“TokenServer使用的堆内存大小”的两倍(可根据实际业务场景进行修改
图1 TokenServer直接内存使用率 查看TokenServer使用的直接内存是否已达到TokenServer设定的阈值(默认值为最大直接内存的80%)。 是,执行4。 否,执行6。
图1 TokenServer堆内存使用率 查看TokenServer使用的堆内存是否已达到TokenServer设定的阈值(默认值为最大堆内存的95%)。 是,执行4。 否,执行6。
ALM-45745 Guardian TokenServer RPC队列平均时间超过阈值 告警解释 系统每30秒周期性检测TokenServer服务RPC队列平均时间,当连续5次检测到TokenServer实例RPC队列平均时间超出阈值时产生该告警。
图1 TokenServer非堆内存使用率 查看TokenServer使用的非堆内存是否已达到TokenServer设定的阈值(默认值为最大非堆内存的80%)。 是,执行4。 否,执行6。
回答 HDFS_DELEGATION_TOKEN到期的异常是由于token没有更新或者超出了最大生命周期。 在token的最大生命周期内确保下面的参数值大于作业的运行时间。
回答 HDFS_DELEGATION_TOKEN到期的异常是由于token没有更新或者超出了最大生命周期。 在token的最大生命周期内确保下面的参数值大于作业的运行时间。