检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS应用开发认证失败常见问题 现象描述 MRS样例工程调试运行过程发现认证失败。 处理流程 出现认证失败的原因很多,在不同场景中建议参考以下步骤来排查: 确认本应用所运行设备和集群网络上是否通畅,Kerberos认证所需的各类端口(TCP/UDP)是否可正常访问。 确认各个配置
使用Sasl Plaintext认证 本章节适用于MRS 3.2.0及之后版本。 操作场景 在启用Kerberos认证集群环境下,Kafka当前支持Sasl Plaintext认证。 操作步骤 Kafka服务端配置Sasl Plain认证。 登录FusionInsight Manager页面。
用户认证及权限类 登录MRS集群Manager的用户是什么? 集群内用户密码的过期时间如何查询和修改? 如果不开启Kerberos认证,MRS集群能否支持访问权限细分? 如何给集群内用户添加租户管理权限? Hue WebUI有配置账号权限的功能吗? 为什么IAM子账号添加了MRS权限却无法在控制台提交作业?
用户名过长导致下载认证凭据失败 用户问题 MRS 3.0.2~MRS 3.1.0版本集群,当用户名超过20位时(添加用户时最长限制为32位),下载Keytab文件会下载失败,状态代码:400 Bad Request。 问题现象 MRS 3.0.2~MRS 3.1.0版本集群,当用
Flink的JobManager与YARN的AM是在同一个进程下。 如果用户集群开启Kerberos认证需要使用kerberos认证。 表1 安全认证方式 安全认证方式 说明 配置方法 Kerberos认证 当前只支持keytab认证方式。 从FusionInsight Manager下载用户keytab,
Flink安全认证机制说明 Flink认证和加密 Flink集群中,各部件支持认证。 Flink集群内部各部件和外部部件之间,支持和外部部件如YARN、HDFS、ZooKeeprer进行Kerberors认证。 Flink集群内部各部件之间,如Flink client和JobMa
配置Kafka用户Token认证信息 操作场景 使用Token认证机制时对Token的操作。 本章节内容适用于MRS 3.x及后续版本的启用Kerberos认证的集群。 前提条件 MRS集群管理员已明确业务需求,并准备一个系统用户。 已开启Token认证机制。 已安装Kafka客户端。
Flink安全认证机制说明 Flink认证和加密 Flink集群中,各部件支持认证。 Flink集群内部各部件和外部部件之间,支持和外部部件如YARN、HDFS、ZooKeeprer进行kerberors认证。 Flink集群内部各部件之间,如Flink client和JobMa
请准备新的NTP服务器并获取IP地址,并设置好集群与新NTP服务器的网络。 请确保服务器的NTP服务状态正常,否则将导致本章节操作失败。 修改MRS集群NTP服务器对系统的影响 更换NTP服务器是高危操作,更换后集群时间可能将会变化。 更换NTP服务器前NTP服务器与集群当前时间偏差大于150s,则需先停止集群,防止数据丢失。停止集群期间服务无法访问。
当前Flink系统支持认证和加密传输,要使用认证和加密传输,用户需要安装Flink客户端并配置安全认证,本章节以“/opt/hadoopclient”为客户端安装目录为例,介绍安装客户端及配置安全认证。客户端安装目录请根据实际修改。 安装客户端及配置安全认证步骤 安装客户端。 以在集群内节点安装客户端为例:
那么提交Flink的应用程序中需要设置安全认证,确保Flink程序能够正常运行。 当前Flink系统支持认证和加密传输,要使用认证和加密传输,用户需要做如下准备: 安全认证 Flink整个系统有两种认证方式: 使用kerberos认证:Flink yarn client与Yarn
身份认证与访问控制 身份认证 MRS支持安全协议Kerberos,使用LDAP作为账户管理系统,并通过Kerberos服务对账户信息进行安全认证。 Kerberos安全认证原理和认证机制具体介绍请参见安全认证原理和认证机制。 访问控制 MRS提供两种访问控制权限模型:基于角色的权
使用Sasl Kerberos认证 操作场景 在安全集群环境下,各个组件之间不能够简单地相互通信,而需要在通信之前进行相互认证,以确保通信的安全性。Kafka应用开发需要进行Kafka、ZooKeeper、Kerberos的安全认证,这些安全认证只需要生成一个jaas文件并设置相
准备Kafka应用安全认证 前提条件 MRS服务集群开启了Kerberos认证,没有开启Kerberos认证的集群忽略该步骤。 准备认证机制代码 在开启Kerberos认证的环境下,各个组件之间的相互通信不能够简单地互通,而需要在通信之前进行相互认证,以确保通信的安全性。Kafk
访问HBase ThriftServer认证 操作场景 HBase把Thrift结合起来可以向外部应用提供HBase服务。在HBase服务安装时可选部署ThriftServer实例,ThriftServer系统可访问HBase的用户,拥有HBase所有NameSpace和表的读、
准备Kudu应用安全认证 场景说明 访问安全集群环境中的服务,需要先通过Kerberos安全认证。所以Kudu应用程序中需要有安全认证代码,确保Kudu程序能够正常运行。 安全认证有两种方式: 命令行认证: 提交Kudu应用程序运行前,在Kudu客户端执行如下命令进行认证。 kinit
HostName 异常NTP服务器的IP地址。 对系统的影响 主OMS节点配置的NTP服务器异常,可能会导致主OMS节点与外部服务器不能同步时间,集群时间可能会产生误差。 可能原因 NTP服务器网络异常。 与NTP服务器认证失败。 不能从NTP服务器获取时间。 从NTP服务器获取的时间持续未更新。
配置HDFS应用安全认证 场景说明 访问安全集群环境中的服务,需要先通过Kerberos安全认证。所以HDFS应用程序中需要写入安全认证代码,确保HDFS程序能够正常运行。 安全认证有两种方式: 命令行认证: 提交HDFS应用程序运行前,在HDFS客户端执行如下命令进行认证。 kinit
HBase数据读写示例安全认证(单集群场景) 场景说明 在安全集群环境下,各个组件之间的相互通信不能够简单地互通,而需要在通信之前进行相互认证,以确保通信的安全性。HBase应用开发需要进行ZooKeeper和Kerberos安全认证。用于ZooKeeper认证的文件为“jaas.c
配置HDFS应用安全认证 场景说明 访问安全集群环境中的服务,需要先通过Kerberos安全认证。所以HDFS应用程序中需要写入安全认证代码,确保HDFS程序能够正常运行。 安全认证有两种方式: 命令行认证: 提交HDFS应用程序运行前,在HDFS客户端执行如下命令进行认证。 kinit