检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
x版本。 在MapReduce任务运行过程中禁止重启HDFS服务,否则可能会导致任务失败。 运行样例工程前需要根据实际环境修改认证信息。 针对开启Kerberos认证的安全集群,代码中的“principal”请根据实际环境修改。例如test@FAA12CC3_0996_432F_9D6F_E18F6F9D7F43
= null; } } 获取ZooKeeper的IP列表和端口、集群的认证模式、HiveServer的SASL配置、HiveServer在ZooKeeper中节点名称、客户端对服务端的发现模式、以及服务端进程认证的principal。这些配置样例代码会自动从“hiveclient.properties中”读取。
执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户,具体请参见准备开发用户创建对应用户。如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit MRS集群用户 例如,kinit zookeeperuser。
以客户端安装用户登录客户端安装目录,并配置环境变量。 cd 客户端安装目录 source bigdata_env 执行以下命令认证用户,未开启Kerberos认证的用户跳过该步骤。 kinit 业务用户 执行以下命令删除HDFS上的相关目录。 hdfs dfs -rm -r /tmp
bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户,当前用户需要具有创建HBase表的权限,具体请参见创建HBase权限角色配置拥有对应权限的角色,参考创建用户为用户绑定对应角色。如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit MRS集群用户
false 使用机机用户认证时,参数值修改为true。 如果配置为true,则user和password参数为机机用户的用户名和密码。 说明: 该参数仅适用于MRS 3.1.5及之后版本。 isSupportMachineUser true 是否支持机机用户认证的功能。 true:支持机机用户认证的功能。
修改样例工程“src/main/resources”目录下的“jaas.conf”文件,keyTab、principal分别对应用户认证凭据存放路径、用户名,如下所示。(未开启Kerberos认证集群可跳过此步骤) Client { com.sun.security.auth.module.Krb5LoginModule
/opt/Bigdata/client source bigdata_env 如果当前集群已开启Kerberos认证,执行以下命令进行认证。 如果当前集群未开启Kerberos认证,则无需执行本步骤。 kinit MRS集群业务用户 MRS集群业务用户需在Manager界面中创建一个具
= null; } } 获取ZooKeeper的IP列表和端口、集群的认证模式、HiveServer的SASL配置、HiveServer在ZooKeeper中节点名称、客户端对服务端的发现模式、以及服务端进程认证的principal。这些配置样例代码会自动从“hiveclient.properties中”读取。
txt到此目录,命令如下。 在HDFS客户端,执行如下命令获取安全认证。 cd /opt/client kinit -kt '/opt/client/Spark/spark/conf/user.keytab' <用于认证的业务用户> user.keytab文件位置请根据自己实际路径填写。
常信息,如图3所示。 图3 异常日志信息 认证失败导致创建KafkaChannel失败,导致通过channel(key)方法获取的KafkaChannel为空,以至于疯狂打印NullPointerException,上述日志可以发现,认证失败的原因是用户密码不正确,密码不正确的原因可能是用户名不匹配导致。
已创建包含Doris服务的集群,集群内各服务运行正常。 待连接Doris数据库的节点与MRS集群网络互通。 创建具有Doris管理权限的用户。 集群已启用Kerberos认证(安全模式) 在FusionInsight Manager中创建一个人机用户,例如“dorisuser”,创建一个拥有“Doris管理员权限”的角色绑定给该用户。
的“选择”来选定已创建的MRS集群,CDM会自动填充下面的鉴权参数。 此处选择新创建的包含Hive组件的MRS集群。 认证类型 KERBEROS 访问MRS的认证类型 Hive版本 HIVE_3_X Hive的版本。根据服务端Hive版本设置。 用户名 hiveuser 新创建的拥有Hive权限的用户。
bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户,当前用户需要具有创建ClickHouse表的权限,具体请参见创建ClickHouse角色章节,为用户绑定对应角色。如果当前集群未启用Kerberos认证,则无需执行本步骤。 如果是MRS 3.1.0版本集群,则需要先执行:export
-chmod 777 /user/hive_examples_jars 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。当前用户为准备Hive应用开发用户时增加的开发用户。 kinit Hive业务用户 例如:kinit
subnet:设置网络所属域,例如: nettyconnector.sinkserver.subnet: 10.162.0.0/16 安全认证配置: Zookeeper的SASL认证,依赖“flink-conf.yaml”中有关HA的相关配置,具体配置请参见配置管理Flink。 SSL的keysto
进入IoTDB客户端,将1生成的Jar包导入到IoTDB客户端的lib目录下,如“/opt/client/IoTDB/iotdb/lib”。 上传准备集群认证用户信息获取到的用户认证文件“user.keytab”和“krb5.conf”到“客户端安装目录/IoTDB/iotdb/conf”目录下。 在IoT
注意事项 通过Java API访问Oozie需要先参考环境准备章节进行安全认证,并将依赖的配置文件(配置文件Workflow.xml的开发参见配置Oozie业务运行流程)与jar包上传到HDFS,并确保进行过安全认证的用户有权限访问HDFS上对应的目录(目录的属主是该用户,或与该用户属于同一个用户组)。
sh”,并执行如下命: cd /opt/client source bigdata_env 安全模式(开启Kerberos认证)执行kinit命令,普通模式(关闭Kerberos认证)无需执行: kinit clickhouseuser 运行脚本,导入数据。 ./ClickHouse/cli
据实际安装目录修改。 source /opt/client/bigdata_env 判断集群认证模式。 安全模式,执行kinit命令进行用户认证。 例如,使用oozieuser用户进行认证。 kinit oozieuser 普通模式,执行4。 根据提交任务类型,进入对应样例目录。