MAPREDUCE服务 MRS-运行HiveSql作业:通过集群客户端提交作业
通过集群客户端提交作业
- 安装 MRS 集群客户端,具体操作可参考安装MRS集群客户端。
MRS集群中默认安装了一个客户端用于作业提交,也可直接使用该客户端。MRS 3.x及之后版本客户端默认安装路径为Master节点上的“/opt/Bigdata/client”,MRS 3.x之前版本为Master节点上的“/opt/client”。
- 使用MRS集群客户端安装用户登录客户端所在的节点。
- 执行以下命令初始化环境变量。
cd /opt/Bigdata/client
source bigdata_env
- 如果当前集群已开启Kerberos认证,执行以下命令进行认证。
如果当前集群未开启Kerberos认证,则无需执行本步骤。
kinit MRS集群业务用户
MRS集群业务用户需在Manager界面中创建一个具有对应作业提交权限的业务用户,该用户需要加入“hive”用户组,请参考创建MRS集群用户。
例如:
kinit testuser
- 执行beeline命令连接集群Hive,运行相关任务。
beeline -f SQL文件(执行文件里的SQL)
普通模式,可执行以下命令指定组件业务用户,如果不指定则会以当前操作系统用户连接HiveServer。
beeline -nMRS集群业务用户
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- MapReduce服务_什么是Loader_如何使用Loader
- 大数据分析是什么_使用MapReduce_创建MRS服务
- ModelArts模型训练_创建训练作业_如何创建训练作业
- MapReduce服务_什么是Yarn_如何使用Yarn
- 什么是Spark SQL作业_数据湖探索DLISpark SQL作业
- MapReduce服务_什么是Hue_如何使用Hue
- MapReduce服务_什么是存算分离_如何配置MRS集群存算分离
- MapReduce服务_什么是Flink_如何使用Flink
- MRS优势_什么是MRS_MRS功能