MAPREDUCE服务 MRS-配置MRS集群用户的OBS的细粒度访问权限:在开启OBS权限控制功能时各组件访问OBS的说明
在开启OBS权限控制功能时各组件访问OBS的说明
- 以root用户登录集群任意一个节点,密码为用户创建集群时设置的root密码。
- 配置环境变量:
cd 客户端安装目录
source 客户端安装目录/bigdata_env
- 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。
kinit MRS 集群用户
例如:
kinit admin
- 如果当前集群未启用Kerberos认证,执行如下命令登录执行操作的用户,该用户需要属于supergroup组,创建用户可参考创建MRS集群用户,将XXXX替换成用户名。
mkdir /home/XXXX
chown XXXX /home/XXXX
su - XXXX
- 访问OBS,无需再配置AK、SK和Endpoint。
OBS路径格式:obs://OBS并行文件系统名称/XXX
hadoop fs -ls "obs://obs-example/job/hadoop-mapreduce-examples-3.1.2.jarobs-example/job/hadoop-mapreduce-examples-3.1.2.jar"
- 如需使用hadoop fs删除OBS上文件,请使用hadoop fs -rm -skipTrash来删除文件。
- spark-sql、spark-beeline在创建表时,若不涉及数据导入,则不会访问OBS。即若在一个无权限的OBS目录下创建表,CREATE TABLE仍会成功,但插入数据会报403 AccessDeniedException。
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- MRS优势_什么是MRS_MRS功能
- MapReduce服务_什么是ZooKeeper_如何使用ZooKeeper
- 对象存储与自建存储服务器对比_OBS对象存储的优势_OBS对象存储好用的功能
- MapReduce服务_什么是Hive_如何使用Hive
- 什么是Manager_Manager的功能_MRS运维管理
- MapReduce服务_什么是Loader_如何使用Loader
- MapReduce服务_什么是存算分离_如何配置MRS集群存算分离
- 大数据分析是什么_使用MapReduce_创建MRS服务
- 大数据存储_OBS怎么设置_免费的对象存储