MAPREDUCE服务 MRS-运行HiveSql作业:通过集群客户端提交作业

时间:2024-08-18 05:14:17

通过集群客户端提交作业

  1. 安装 MRS 集群客户端,具体操作可参考安装MRS集群客户端

    MRS集群中默认安装了一个客户端用于作业提交,也可直接使用该客户端。MRS 3.x及之后版本客户端默认安装路径为Master节点上的“/opt/Bigdata/client”,MRS 3.x之前版本为Master节点上的“/opt/client”。

  2. 使用MRS集群客户端安装用户登录客户端所在的节点。
  3. 执行以下命令初始化环境变量。

    cd /opt/Bigdata/client

    source bigdata_env

  4. 如果当前集群已开启Kerberos认证,执行以下命令进行认证。

    如果当前集群未开启Kerberos认证,则无需执行本步骤。

    kinit MRS集群业务用户

    MRS集群业务用户需在Manager界面中创建一个具有对应作业提交权限的业务用户,该用户需要加入“hive”用户组,请参考创建MRS集群用户

    例如:

    kinit testuser

  5. 执行beeline命令连接集群Hive,运行相关任务。

    beeline -f SQL文件(执行文件里的SQL)

    普通模式,可执行以下命令指定组件业务用户,如果不指定则会以当前操作系统用户连接HiveServer。

    beeline -nMRS集群业务用户

support.huaweicloud.com/usermanual-mrs/mrs_01_0525.html