Oozie-华为云

MAPREDUCE服务 MRS-Oozie作业执行失败常用排查手段

Oozie作业执行失败常用排查手段根据任务在Yarn上的任务日志排查，首先把实际的运行任务，比如Hive SQL通过beeline运行一遍，确认Hive无问题。出现“classnotfoundException”等报错，排查“/user/oozie/share/lib”路径下各组件有没有报错的类的Jar包，如果没有，添加Jar包并执行HDFS上更新了Oozie的share lib目录但没有生效。如果执行了更新“share lib”目录依然报找不到类，那么可以查看执行更新“share lib”的命令打印出来的路径“sharelibDirNew”是否是“ /user/oozie/share/lib”，一定不能是其他目录。出现NosuchMethodError，排查“/user/oozie/share/lib”路径下各组件的Jar包是不是有多个版本，注意业务本身上传的Jar包冲突，可通过Oozie在Yarn上的运行日志打印的加载的Jar包排查是否有Jar包冲突。自研代码运行异常，可以先运行Oozie的自带样例，排除Oozie自身的异常。寻求技术人员的支持，需要收集Yarn上Oozie任务运行日志、Oozie自身的日志及组件的运行的日志，例如使用Oozie运行Hive报异常，需收集Hive的日志。父主题： Oozie常见问题

MAPREDUCE服务 MRS Oozie常见问题

MAPREDUCE服务 MRS-开启Oozie HA机制:前提条件

前提条件已安装Oozie、ZooKeeper服务，且服务正常运行。没有任务正在运行。如果当前集群不是安装最新的版本包，需要从“$BIGDATA_HOME/ FusionInsight _Porter_x.x.x/install/FusionInsight-Oozie-x.x.x/oozie-x.x.x/embedded-oozie-server/webapp/WEB-INF/lib”路径复制“curator-x-discovery-x.x.x.jar”包到“$BIGDATA_HOME/FusionInsight_Porter_x.x.x/install/FusionInsight-Oozie-x.x.x/oozie-x.x.x/lib”目录下。

MAPREDUCE服务 MRS Oozie企业级能力增强

MAPREDUCE服务 MRS-使用Hue提交Oozie Hive2作业:操作步骤

操作步骤创建工作流，请参考使用Hue创建工作流。在工作流编辑页面，选择“HiveServer2 脚本”按钮，将其拖到操作区中。在弹出的“HiveServer2 Script”窗口中配置HDFS上的脚本路径，例如“/user/admin/examples/apps/hive2/script.q”，然后单击“添加”。单击“参数+”，添加输入输出参数。例如输入参数为“INPUT=/user/admin/examples/input-data/table”，输出参数为“OUTPUT=/user/admin/examples/output-data/hive2_workflow”。单击右上角的配置按钮。在打开的配置界面中，单击“删除+”，添加删除目录，例如“/user/admin/examples/output-data/hive2_workflow”。配置“作业 XML”，值为“客户端安装目录/Oozie/oozie-client-*/examples/apps/hive/hive-site.xml”上传至HDFS目录中所在路径，例如“/user/admin/examples/apps/hive2/hive-site.xml”。HiveServer2 URL”及其他参数无需配置。如果以上的参数和值在使用过程中发生了修改，可在“Oozie客户端安装目录/oozie-client-*/conf/hive-site.xml”文件中查询。单击Oozie编辑器右上角的。保存前如果需要修改作业名称（默认为“My Workflow”），可以直接单击该名称进行修改，例如“Hive2-Workflow”。保存完成后，单击，提交该作业。作业提交后，可通过Hue界面查看作业的详细信息、日志、进度等相关内容。

MAPREDUCE服务 MRS 使用Hue提交Oozie作业

MAPREDUCE服务 MRS-使用Oozie客户端提交Hive任务:操作步骤

操作步骤以客户端安装用户，登录安装Oozie客户端的节点。执行以下命令，获取安装环境信息。其中“/opt/client”为客户端安装路径，该操作的客户端目录只是举例，请根据实际安装目录修改。 source /opt/client/bigdata_env 判断集群认证模式。安全模式，执行kinit命令进行用户认证。例如，使用oozieuser用户进行认证。 kinit oozieuser 普通模式，执行4。执行以下命令，进入样例目录。 cd /opt/client/Oozie/oozie-client-*/examples/apps/hive/ 该目录下需关注文件如表1所示。表1 文件说明文件名称描述 hive-site.xml Hive任务的配置文件。 job.properties 工作流的参数变量定义文件。 script.q Hive任务的SQL脚本。 workflow.xml 工作流的规则定制文件。执行以下命令，编辑“job.properties”文件。 vi job.properties 修改如下内容：更改“userName”的参数值为提交任务的人机用户名，例如“userName=oozieuser”。执行oozie job命令，运行工作流文件。 oozie job -oozie https://oozie角色的主机名:21003/oozie/ -config job.properties -run 命令参数解释如下： -oozie 实际执行任务的Oozie服务器URL -config 工作流属性文件 -run 运行工作流执行完工作流文件，显示job id表示提交成功，例如：job: 0000021-140222101051722-oozie-omm-W。登录Oozie管理页面，查看运行情况。使用oozieuser用户，登录Oozie WebUI页面：https://oozie角色的ip地址:21003/oozie 。 Oozie的WebUI界面中，可在页面表格根据jobid查看已提交的工作流信息。

MAPREDUCE服务 MRS 使用Oozie客户端提交作业

MAPREDUCE服务 MRS-使用Oozie客户端提交Hive任务:前提条件

前提条件 Hive和Oozie组件及客户端已经安装，并且正常运行。已创建或获取访问Oozie服务的人机用户账号及密码。该用户需要从属于hadoop、supergroup、hive组，同时添加Oozie的角色操作权限。如果使用Hive多实例，该用户还需要从属于具体的Hive实例组，如hive3。用户同时还需要至少有manager_viewer权限的角色。获取运行状态的Oozie服务器（任意实例）URL，如“https://10.1.130.10:21003/oozie”。获取运行状态的Oozie服务器主机名，如“10-1-130-10”。获取Yarn ResourceManager主节点IP，如10.1.130.11。

MAPREDUCE服务 MRS 使用Oozie客户端提交作业

MAPREDUCE服务 MRS-使用Oozie客户端提交Hive任务:操作场景

操作场景该任务指导用户在使用Oozie客户端提交Hive任务 Hive任务有如下类型： Hive作业使用JDBC方式连接的Hive作业。 Hive2作业使用Beeline方式连接的Hive作业。本文以使用Oozie客户端提交Hive作业为例介绍。使用Oozie客户端提交Hive2作业与提交Hive作业操作步骤一致，只需将操作步骤中对应路径的“/Hive”改成“/Hive2”即可。例如，Hive作业运行目录“/opt/client/Oozie/oozie-client-*/examples/apps/hive/”，则Hive2对应的运行目录为“/opt/client/Oozie/oozie-client-*/examples/apps/hive2/”。建议下载使用最新版本的客户端。

MAPREDUCE服务 MRS 使用Oozie客户端提交作业

MAPREDUCE服务 MRS-配置Oozie应用安全认证:场景说明

场景说明在安全集群环境下，各个组件之间的相互通信不能够简单的互通，而需要在通信之前进行相互认证，以确保通信的安全性。用户在开发Oozie应用程序时，某些场景下需要Oozie与Hadoop、Hive等之间进行通信。那么Oozie应用程序中需要写入安全认证代码，确保Oozie程序能够正常运行。安全认证有两种方式：命令行认证：提交Oozie应用程序运行前，在Oozie客户端执行如下命令获得认证。 kinit 组件业务用户代码认证（Kerberos安全认证）：通过获取客户端的principal和keytab文件在应用程序中进行认证，用于Kerberos安全认证的keytab文件和principal文件您可以联系管理员创建并获取，具体使用方法在样例代码中会有详细说明。目前样例代码统一调用LoginUtil类进行安全认证，支持Oracle JAVA平台和IBM JAVA平台。代码示例中请根据实际情况，修改“USERNAME”为实际用户名，例如“developuser”。 private static void login(String keytabFilePath, String krb5FilePath, String user) throws IOException { Configuration conf = new Configuration(); conf.set(KERBEROS_PRINCIPAL, user); conf.set(KEYTAB_FILE, keytabFilePath); conf.set(HADOOP_SECURITY_AUTHENTICATION, "kerberos"); conf.set(HADOOP_SECURITY_AUTHORIZATION, "true"); /* * if need to connect zk, please provide jaas info about zk. of course, * you can do it as below: * System.setProperty("java.security.auth.login.config", confDirPath + * "jaas.conf"); but the demo can help you more : Note: if this process * will connect more than one zk cluster, the demo may be not proper. you * can contact us for more help */ LoginUtil.setJaasConf(ZOOKEEPER_DEFAULT_ LOG IN_CONTEXT_NAME, user, keytabFilePath); LoginUtil.setZookeeperServerPrincipal(ZOOKEEPER_DEFAULT_SERVER_PRINCIPAL); LoginUtil.login(user, keytabFilePath, krb5FilePath, conf); }

MAPREDUCE服务 MRS 准备Oozie应用开发环境

MAPREDUCE服务 MRS-配置Coordinator定时调度作业:参数解释

参数解释 “coordinator.xml”中包含的各参数及其含义，请参见表1。表1 参数含义参数含义 frequency 流程定时执行的时间间隔 start 定时流程任务启动时间 end 定时流程任务终止时间 workflowAppUri Workflow流程任务在HDFS上的存放路径 resourceManager MapReduce ResourceManager地址 queueName 任务处理时使用的MapReduce队列名 nameNode HDFS NameNode集群地址 “${变量名}”表示：该值来自job.properties所定义。例如：${nameNode}表示的就是“hdfs://hacluster”。（可参见配置Oozie作业运行参数）

MAPREDUCE服务 MRS Oozie代码样例说明

MAPREDUCE服务 MRS-配置Coordinator定时调度作业:参数解释

参数解释 “coordinator.xml”中包含的各参数及其含义，请参见表1。表1 参数含义参数含义 frequency 流程定时执行的时间间隔 start 定时流程任务启动时间 end 定时流程任务终止时间 workflowAppUri Workflow流程任务在HDFS上的存放路径 resourceManager MapReduce ResourceManager地址 queueName 任务处理时使用的MapReduce队列名 nameNode HDFS NameNode集群地址 “${变量名}”表示：该值来自“job.properties”所定义。例如：${nameNode}表示的就是“hdfs://hacluster”。（可参见配置Oozie作业运行参数）

MAPREDUCE服务 MRS Oozie样例代码说明

MAPREDUCE服务 MRS-Oozie Java接口介绍

Oozie Java接口介绍 Java API主要由org.apache.oozie.client.OozieClient提供。表1 接口介绍方法说明 public String run(Properties conf) 运行job public void start(String jobId) 启动指定的job public String submit(Properties conf) 提交job public void kill(String jobId) 删除指定的job public void suspend(String jobId) 暂停指定的job public void resume(String jobId) 恢复指定的job public WorkflowJob getJobInfo(String jobId) 获取job信息父主题：常用Oozie API接口介绍

MAPREDUCE服务 MRS 常用Oozie API接口介绍

MAPREDUCE服务 MRS-在本地Windows环境中调测Oozie应用:操作步骤

操作步骤在Windows本地运行程序，需要配置https ssl证书。登录集群任意节点，进入如下目录下载ca.crt文件。 cd ${BIGDATA_HOME}/om-agent_8.1.0.1/nodeagent/security/cert/subcert/certFile/ 将ca.crt文件下载到本地，以管理员的身份打开cmd。输入如下命令： keytool -import -v -trustcacerts -alias ca -file "D:\xx\ca.crt" -storepass changeit -keystore "%JAVA_HOME%\jre\lib\security\cacerts" 其中“D:\xx\ca.crt”是实际ca.crt文件存放路径；“%JAVA_HOME% ”为JDK安装路径。在开发环境中（例如IDEA中），右击OozieRestApiMain.java，单击“Run 'OozieRestApiMain.main()'”运行对应的应用程序工程。使用Oozie客户端执行以下命令运行样例程序： oozie job -oozie https://Oozie业务IP:21003/oozie -config job.properties -run 其中需要提前将待使用样例工程目录“src\main\resources”中的“job.properties”文件复制到Oozie客户端所在目录。

MAPREDUCE服务 MRS 调测Oozie应用

MAPREDUCE服务 MRS-使用Oozie客户端提交Spark2x任务:操作步骤

操作步骤以客户端安装用户登录安装Oozie客户端的节点。执行以下命令，获取安装环境信息。其中“/opt/client”为客户端安装路径，该操作的客户端目录只是举例，请根据实际安装目录修改。 source /opt/client/bigdata_env 判断集群认证模式。安全模式，执行kinit命令进行用户认证。例如，使用oozieuser用户进行认证。 kinit oozieuser 普通模式，执行4。执行以下命令，进入样例目录。 cd /opt/client/Oozie/oozie-client-*/examples/apps/spark2x/ 该目录下需关注文件如表1所示。表1 文件说明文件名称描述 job.properties 工作流的参数变量定义文件。 workflow.xml 工作流的规则定制文件。 lib 工作流运行依赖的jar包目录。执行以下命令，编辑“job.properties”文件。 vi job.properties 修改如下内容：更改“userName”的参数值为提交任务的人机用户名，例如“userName=oozieuser”。执行oozie job命令，运行工作流文件。 oozie job -oozie https://oozie角色的主机名:21003/oozie/ -config job.properties -run 命令参数解释如下： -oozie：实际执行任务的Oozie服务器URL。 -config：工作流属性文件。 -run：运行工作流。执行完工作流文件，显示“job id”表示提交成功，例如“job: 0000021-140222101051722-oozie-omm-W”。登录Oozie管理页面，查看运行情况。使用oozieuser用户，登录Oozie WebUI页面：https://oozie角色的ip地址:21003/oozie 。 Oozie的WebUI界面中，可在页面表格根据“job id”查看已提交的工作流信息。

MAPREDUCE服务 MRS 使用Oozie客户端提交作业

MAPREDUCE服务 MRS-使用Oozie客户端提交Spark2x任务:前提条件

前提条件 Spark2x和Oozie组件安装完成且运行正常，客户端安装成功。如果当前客户端为旧版本，需要重新下载和安装客户端。已创建或获取访问Oozie服务的人机用户账号及密码。该用户需要从属于hadoop、supergroup、hive组，同时添加Oozie的角色操作权限。若使用Hive多实例，该用户还需要从属于具体的Hive实例组，如hive3。用户同时还需要至少有manager_viewer权限的角色。

MAPREDUCE服务 MRS 使用Oozie客户端提交作业

MAPREDUCE服务 MRS-使用Hue提交Oozie Shell作业:操作步骤

操作步骤创建工作流，请参考使用Hue创建工作流。在工作流编辑页面，选择“Shell”按钮，将其拖到操作区中。在弹出的“Shell”窗口中配置“Shell command”的值，例如“oozie_shell.sh”，然后单击“添加”。单击“文件+”，添加Shell命令执行文件或Oozie样例执行文件，可以选择存储在HDFS的文件或本地文件。若文件存储在HDFS上，选择“.sh”文件所在路径即可，例如“user/hueuser/shell/oozie_shell.sh”。若选择本地文件，则需在“选择文件”界面，单击“上传文件”，上传本地文件，文件上传成功后，选择该文件即可。如果执行的Shell文件需要传递参数，可单击“参数+”设置参数。传递参数的顺序需要和Shell脚本中保持一致。单击Oozie编辑器右上角的。保存前如果需要修改作业名称（默认为“My Workflow”），可以直接单击该名称进行修改，例如“Shell-Workflow”。保存完成后，单击，提交该作业。作业提交后，可通过Hue界面查看作业的详细信息、日志、进度等相关内容。配置Shell命令为Linux指令时，请指定为原始指令，不要使用快捷键指令。例如：ls -l ,不要配置成ll。可配置成Shell命令ls ，参数添加一个 “-l”。 Windows上传Shell脚本到HDFS时，请保证Shell脚本的格式为Unix，格式不正确会导致Shell作业提交失败。

MAPREDUCE服务 MRS 使用Hue提交Oozie作业

MAPREDUCE服务 MRS-Oozie作业执行失败常用排查手段

Oozie作业执行失败常用排查手段根据任务在Yarn上的任务日志排查，首先把实际的运行任务，比如Hive SQL通过beeline运行一遍，确认Hive无问题。出现“classnotfoundException”等报错，排查“/user/oozie/share/lib”路径下各组件有没有报错的类的Jar包，如果没有，添加Jar包并执行HDFS上更新了oozie的share lib目录但没有生效。如果执行了更新“share lib”目录依然报找不到类，那么可以查看执行更新“share lib”的命令打印出来的路径“sharelibDirNew”是否是“ /user/oozie/share/lib”，一定不能是其它目录。出现NosuchMethodError，排查“/user/oozie/share/lib”路径下各组件的Jar包是不是有多个版本，注意业务本身上传的Jar包冲突，可通过Oozie在Yarn上的运行日志打印的加载的Jar包排查是否有Jar包冲突。自研代码运行异常，可以先运行Oozie的自带样例，排除Oozie自身的异常。寻求技术人员的支持，需要收集Yarn上Oozie任务运行日志、Oozie自身的日志及组件的运行的日志，例如使用Oozie运行Hive报异常，需收集Hive的日志。父主题： Oozie常见问题

MAPREDUCE服务 MRS Oozie常见问题

云服务器内容精选

Oozie

7*24

备案

专业服务

退订

建议反馈

售前咨询热线