-
使用Kafka Token认证 - MapReduce服务 MRS
使用Kafka Token认证 操作场景 Token认证机制是一种轻量级身份认证机制,无需访问Kerberos认证,可在API中使用。 代码样例 Token认证机制支持API,用户可在二次开发样例的Producer()和Consumer()中对其进行配置。
-
使用Kafka Token认证 - MapReduce服务 MRS
使用Kafka Token认证 场景说明 Token认证机制是一种轻量级身份认证机制,无需访问Kerberos认证,可在API中使用。 代码样例 Token认证机制支持API,用户可在二次开发样例的Producer()和Consumer()中对其进行配置。
-
配置Kafka用户Token认证信息 - MapReduce服务 MRS
配置Kafka用户Token认证信息 操作场景 使用Token认证机制时对Token的操作。 本章节内容适用于MRS 3.x及后续版本的启用Kerberos认证的集群。 前提条件 MRS集群管理员已明确业务需求,并准备一个系统用户。 已开启Token认证机制。
-
配置Kafka用户Token认证信息 - MapReduce服务 MRS
配置Kafka用户Token认证信息 操作场景 使用Token认证机制时对Token的操作。 本章节内容适用于MRS 3.x及后续版本的启用Kerberos认证的集群。 前提条件 MRS集群管理员已明确业务需求,并准备一个系统用户。
-
调测Kafka Token认证机制样例程序 - MapReduce服务 MRS
调测Kafka Token认证机制样例程序 Kafka服务端配置Kafka Token认证。 登录FusionInsight Manager管理界面,选择“集群 > 服务 > Kafka > 配置”,打开Kafka服务配置页面。 开启Token认证机制。
-
配置HDFS Token的最大存活时间 - MapReduce服务 MRS
配置HDFS Token的最大存活时间 配置场景 安全模式下,HDFS中用户可以对token的最大存活时间和token renew的时间间隔进行灵活地设置,根据集群的具体需求合理地配置。
-
配置Spark任务不获取HBase Token信息 - MapReduce服务 MRS
配置Spark任务不获取HBase Token信息 配置场景 使用Spark提交任务时,Driver默认会去HBase获取Token,访问HBase则需要配置文件“jaas.conf”进行安全认证。此时如果用户未配置“jaas.conf”文件,会导致应用运行失败。
-
调测Kafka Token认证机制样例程序 - MapReduce服务 MRS
调测Kafka Token认证机制样例程序 操作步骤 Kafka服务端配置Kafka Token认证。 登录FusionInsight Manager管理界面,选择“集群 > 服务 > Kafka > 配置”,打开Kafka服务配置页面。 开启Token认证机制。
-
配置Spark任务不获取HBase Token信息 - MapReduce服务 MRS
配置Spark任务不获取HBase Token信息 配置场景 使用Spark提交任务时,Driver默认会去HBase获取Token,访问HBase则需要配置文件“jaas.conf”进行安全认证。此时若用户未配置“jaas.conf”文件,会导致应用运行失败。
-
配置HDFS token的最大存活时间 - MapReduce服务 MRS
配置HDFS token的最大存活时间 配置场景 安全模式下,HDFS中用户可以对token的最大存活时间和token renew的时间间隔进行灵活地设置,根据集群的具体需求合理地配置。
-
ALM-45740 TokenServer垃圾回收(GC)时间超过阈值 - MapReduce服务 MRS
出现此告警时,说明当前TokenServer设置的堆内存无法满足当前TokenServer进程所需的堆内存,建议根据2查看“TokenServer堆内存使用率”,调整“GC_OPTS”参数中“-Xmx”的值为“TokenServer使用的堆内存大小”的两倍(可根据实际业务场景进行修改
-
ALM-45738 TokenServer直接内存使用率超过阈值 - MapReduce服务 MRS
图1 TokenServer直接内存使用率 查看TokenServer使用的直接内存是否已达到TokenServer设定的阈值(默认值为最大直接内存的80%)。 是,执行4。 否,执行6。
-
ALM-45737 TokenServer堆内存使用率超过阈值 - MapReduce服务 MRS
图1 TokenServer堆内存使用率 查看TokenServer使用的堆内存是否已达到TokenServer设定的阈值(默认值为最大堆内存的95%)。 是,执行4。 否,执行6。
-
ALM-45739 TokenServer非堆内存使用率超过阈值 - MapReduce服务 MRS
图1 TokenServer非堆内存使用率 查看TokenServer使用的非堆内存是否已达到TokenServer设定的阈值(默认值为最大非堆内存的80%)。 是,执行4。 否,执行6。
-
作业执行失败时会发生HDFS - MapReduce服务 MRS
“dfs.namenode.delegation.token.max-lifetime”=“604800000”(默认是一星期) 参考修改集群服务配置参数,进入HDFS“全部配置”页面,在搜索框搜索该参数。 建议在token的最大生命周期内参数值为多倍小时数。
-
作业执行失败时会发生HDFS - MapReduce服务 MRS
“dfs.namenode.delegation.token.max-lifetime”=“604800000”(默认是一星期) 参考修改集群服务配置参数,进入HDFS“全部配置”页面,在搜索框搜索该参数。 建议在token的最大生命周期内参数值为多倍小时数。
-
在缓存中找不到HDFS - MapReduce服务 MRS
因此如果在下一个任务中再次使用HDFS_DELEGATION_TOKEN,缓存中将会找不到HDFS_DELEGATION_TOKEN。 为了能够在随后的工作中再次使用同一个Token,为MapReduce任务配置参数。当参数为false时,用户能够再次使用同一个Token。
-
在缓存中找不到HDFS - MapReduce服务 MRS
因此如果在下一个任务中再次使用HDFS_DELEGATION_TOKEN,缓存中将会找不到HDFS_DELEGATION_TOKEN。 为了能够在随后的工作中再次使用同一个Token,为MapReduce任务配置参数。当参数为false时,用户能够再次使用同一个Token。
-
认证鉴权 - MapReduce服务 MRS
AK/SK认证就是使用AK/SK对请求进行签名,在请求时将签名信息添加到消息头,从而通过身份认证。 AK(Access Key ID):访问密钥ID。与私有访问密钥关联的唯一标识符;访问密钥ID和私有访问密钥一起使用,对请求进行加密签名。
-
为什么提交Spark Streaming应用超过token有效期,应用失败 - MapReduce服务 MRS
token (HDFS_DELEGATION_TOKEN token 17410 for spark2x) is expired 回答 问题原因: ApplicationMaster进程中有1个Credential Refresh Thread会根据token renew周期 *