使用Hue-华为云

MAPREDUCE服务 MRS-使用Hue提交Oozie Loader作业:操作步骤

操作步骤创建工作流，请参考使用Hue创建工作流。在工作流编辑页面，选择“Loader”按钮，将其拖到操作区中。在弹出的“Loader”窗口中配置“Job id”的值，例如“1”。然后单击“添加”。 “Job id”是需要编排的Loader作业的ID值，可从Loader页面获取。创建需要调度的Loader作业，并获取该作业ID，具体操作请参见使用Loader相关章节。单击Oozie编辑器右上角的。保存前如果需要修改作业名称（默认为“My Workflow”），可以直接单击该名称进行修改，例如“Loader-Workflow”。保存完成后，单击，提交该作业。作业提交后，可通过Hue界面查看作业的详细信息、日志、进度等相关内容。

MAPREDUCE服务 MRS 使用Hue提交Oozie作业

MAPREDUCE服务 MRS-使用Hue提交Oozie Hive2作业:操作步骤

操作步骤创建工作流，请参考使用Hue创建工作流。在工作流编辑页面，选择“HiveServer2 脚本”按钮，将其拖到操作区中。在弹出的“HiveServer2 Script”窗口中配置HDFS上的脚本路径，例如“/user/admin/examples/apps/hive2/script.q”，然后单击“添加”。单击“参数+”，添加输入输出参数。例如输入参数为“INPUT=/user/admin/examples/input-data/table”，输出参数为“OUTPUT=/user/admin/examples/output-data/hive2_workflow”。单击右上角的配置按钮。在打开的配置界面中，单击“删除+”，添加删除目录，例如“/user/admin/examples/output-data/hive2_workflow”。配置“作业 XML”，值为“客户端安装目录/Oozie/oozie-client-*/examples/apps/hive/hive-site.xml”上传至HDFS目录中所在路径，例如“/user/admin/examples/apps/hive2/hive-site.xml”。HiveServer2 URL”及其他参数无需配置。如果以上的参数和值在使用过程中发生了修改，可在“Oozie客户端安装目录/oozie-client-*/conf/hive-site.xml”文件中查询。单击Oozie编辑器右上角的。保存前如果需要修改作业名称（默认为“My Workflow”），可以直接单击该名称进行修改，例如“Hive2-Workflow”。保存完成后，单击，提交该作业。作业提交后，可通过Hue界面查看作业的详细信息、日志、进度等相关内容。

MAPREDUCE服务 MRS 使用Hue提交Oozie作业

MAPREDUCE服务 MRS-使用Hue提交Oozie Sub workflow作业:操作步骤

操作步骤创建工作流，请参考使用Hue创建工作流。在工作流编辑页面，选择“子Workflow”按钮，将其拖到操作区中。在弹出的“Sub workflow”窗口中配置“Sub-workflow”的值，例如从下拉列表中选取“Java-Workflow”（这个值是已经创建好的工作流之一），然后单击“添加”。单击Oozie编辑器右上角的。保存前如果需要修改作业名称（默认为“My Workflow”），可以直接单击该名称进行修改，例如“Subworkflow-Workflow”。保存完成后，单击，提交该作业。作业提交后，可通过Hue界面查看作业的详细信息、日志、进度等相关内容。

MAPREDUCE服务 MRS 使用Hue提交Oozie作业

MAPREDUCE服务 MRS-Hue常用配置参数:参数说明

参数说明 Hue常用参数请参见表1。表1 Hue常用参数配置参数说明缺省值范围 HANDLER_AC CES S LOG _LEVEL Hue的访问日志级别。 DEBUG ERROR WARN INFO DEBUG HANDLER_AUDITSLOG_LEVEL Hue的审计日志级别。 DEBUG ERROR WARN INFO DEBUG HANDLER_ERRORLOG_LEVEL Hue的错误日志级别。 ERROR ERROR WARN INFO DEBUG HANDLER_LOGFILE_LEVEL Hue的运行日志级别。 INFO ERROR WARN INFO DEBUG HANDLER_LOGFILE_MAXBACKUPINDEX Hue日志文件最大个数。 20 1～999 HANDLER_LOGFILE_SIZE Hue日志文件最大大小。 5MB - Hue自定义参数请参见表2。以下自定义参数仅 MRS 3.1.2及之后版本适用。

MAPREDUCE服务 MRS 使用Hue

MAPREDUCE服务 MRS-Hue日志介绍:日志级别

日志级别 Hue提供了如表2所示的日志级别。日志的级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG，程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。表2 日志级别级别描述 ERROR ERROR表示系统运行的错误信息。 WARN WARN表示当前事件处理存在异常信息。 INFO INFO表示记录系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及系统的调试信息。如果您需要修改日志级别，请执行如下操作：参考修改集群服务配置参数进入Hue服务“全部配置”页面。在左侧导航栏选择需修改的角色所对应的“日志”菜单。在右侧选择所需修改的日志级别。保存配置，在弹出窗口中单击“确定”使配置生效。重新启动配置过期的服务或实例以使配置生效。

MAPREDUCE服务 MRS 使用Hue

MAPREDUCE服务 MRS-Hue日志介绍:日志描述

日志描述日志路径：Hue相关日志的默认存储路径为“/var/log/Bigdata/hue”（运行日志），“/var/log/Bigdata/audit/hue”（审计日志）。日志归档规则：Hue的日志启动了自动压缩归档功能，默认情况下，当“access.log”、“error.log”、“runcpserver.log”和“hue-audits.log”大小超过5MB的时候，会自动压缩。最多保留最近的20个压缩文件，压缩文件保留个数和压缩文件阈值可以配置。表1 Hue日志列表日志类型日志文件名描述运行日志 access.log 访问日志。 error.log 错误日志。 gsdb_check.log gaussDB检查日志。 kt_renewer.log Kerberos认证日志。 kt_renewer.out.log Kerberos认证日志的异常输出日志。 runcpserver.log 操作记录日志。 runcpserver.out.log 进程运行异常日志。 supervisor.log 进程启动日志。 supervisor.out.log 进程启动异常日志。 dbDetail.log 数据库初始化日志 initSecurityDetail.log keytab文件下载初始化日志。 postinstallDetail.log Hue服务安装后工作日志。 prestartDetail.log Prestart日志。 statusDetail.log Hue服务健康状态日志。 startDetail.log 启动日志。 get-hue-ha.log Hue HA状态日志。 hue-ha-status.log Hue HA状态监控日志。 get-hue-health.log Hue健康状态日志。 hue-health-check.log Hue健康检查日志。 hue-refresh-config.log Hue配置刷新日志。 hue-script-log.log Manager界面的Hue操作日志。 hue-service-check.log Hue服务状态监控日志。 db_pwd.log Hue连接DBService数据库密码修改日志 modifyDBPwd_日期.log - watch_config_update.log 参数更新日志。审计日志 hue-audits.log 审计日志。

MAPREDUCE服务 MRS 使用Hue

MAPREDUCE服务 MRS-配置Oozie节点间用户互信:操作步骤

操作步骤在外部节点上确保连接SSH时使用的用户存在，且该用户“~/.ssh”目录存在。使用omm用户登录Oozie所在节点，查看“~/.ssh/id_rsa.pub”文件是否存在。是，执行3。否，执行以下命令生成公私钥： ssh-keygen -t rsa 以omm用户登录oozie实例所在节点，执行以下命令配置互信： ssh-copy-id -i ~/.ssh/id_rsa.pub 运行SSH任务的用户@运行SSH任务的节点的IP地址执行该命令后需要输入运行SSH任务的用户的密码。 Shell所在节点（外部节点）的账户需要有权限执行Shell脚本并对于所有Shell脚本里涉及到的所有目录文件有足够权限。如果Oozie具有多个节点，需要在所有Oozie节点执行2~3。使用omm用户登录依次其他Oozie所在节点，重复执行2-3。

MAPREDUCE服务 MRS 使用Hue提交Oozie作业

MAPREDUCE服务 MRS-Hive on Hue:典型场景

典型场景通过Hue界面对Hive进行创建表的操作如下：单击Hue的WebUI界面左上角的，选择要操作的Hive实例，进入Hive命令的执行页面。在命令输入框内输入一条HQL语句，例如： create table hue_table(id int,name string,company string) row format delimited fields terminated by ',' stored as textfile; 单击执行HQL。图1 执行语句在命令输入框内输入： show tables; 单击，查看“结果”中有创建的表hue_table。图2 查看结果

MAPREDUCE服务 MRS 使用Hue WebUI典型场景

MAPREDUCE服务 MRS-Hive on Hue:元数据浏览器使用介绍

元数据浏览器使用介绍访问Hue WebUI。查看Hive表的元数据在左侧导航栏单击表，单击某一表名称，界面将显示Hive表的元数据信息。管理Hive表的元数据在Hive表的元数据信息界面：单击右上角的“导入”可导入数据。单击“概述”，在“属性”域可查看表文件的位置信息。可查看Hive表各列字段的信息，并手动添加描述信息，注意此处添加的描述信息并不是Hive表中的字段注释信息（comment）。单击“样本”可浏览数据。管理Hive元数据表单击左侧列表中的可在数据库中根据上传的文件创建一个新表，也可手动创建一个新表。 Hue界面主要用于文件、表等数据的查看与分析，禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作，建议在确认对业务没有影响后通过各组件的相应操作方法进行处理，例如使用HDFS客户端对HDFS文件进行操作，使用Hive客户端对Hive表进行操作。

MAPREDUCE服务 MRS 使用Hue WebUI典型场景

MAPREDUCE服务 MRS-在Hue WebUI使用元数据浏览器:管理Hive表

管理Hive表访问“Metastore Manager”，在“Databases”选择一个数据库，页面显示数据库中所有的表。默认数据库为“default”。单击数据库中的表名称，打开表的详细信息。支持导入数据、浏览数据或查看文件存储位置。查看数据库所有的表时，可以直接勾选表然后执行查看、浏览数据操作。 Hue界面主要用于文件、表等数据的查看与分析，禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作，建议在确认对业务没有影响后通过各组件的相应操作方法进行处理，例如使用HDFS客户端对HDFS文件进行操作，使用Hive客户端对Hive表进行操作。

MAPREDUCE服务 MRS 使用Hue（MRS 3.x之前版本）

MAPREDUCE服务 MRS-在Hue WebUI使用元数据浏览器:使用文件创建一个Hive表

使用文件创建一个Hive表访问“Metastore Manager”，在“Databases”选择一个数据库。默认数据库为“default”。单击，进入“Create a new table from a file”页面。选择文件。在“Table Name”填写Hive表的名称。支持字母、数字、下划线，首位必须为字母或数字，且长度不能超过128位。根据需要，在“Description”填写Hive表的描述信息。在“Input File or Location”单击，在HDFS中选择一个用于创建Hive表文件。此文件将存储Hive表的新数据。如果文件未在HDFS中保存，可以单击“Upload a file”从本地选择文件并上传。支持同时上传多个文件，文件不可为空。如果需要将文件中的数据导入Hive表，选择“Import data”作为“Load method”。默认选择“Import data”。选择“Create External Table”时，创建的是Hive外部表。当选择“Create External Table”时，参数“Input File or Location”需要选择为路径。选择“Leave Empty”则创建空的Hive表。单击“Next”。设置分隔符。在“Delimiter”选择一个分隔符。如果分隔符不在列表中，选择“Other..”，然后输入新定义的分隔符。单击“Preview”查看数据处理预览。单击“Next”。定义字段列。单击“Use first row as column names”右侧的，则使用文件中第一行数据作为列名称。取消则不使用数据作为列名称。在“Column name”编辑每个列的名称。支持字母、数字、下划线，首位必须为字母或数字，且长度不能超过128位。单击“Bulk edit column names”右侧的，可批量对列重新命名。输入所有列的名称并使用逗号分隔。在“Column Type”选择每个列的类型。单击“Create Table”创建表，等待Hue显示Hive表的信息。

MAPREDUCE服务 MRS 使用Hue（MRS 3.x之前版本）

MAPREDUCE服务 MRS-在Hue WebUI使用元数据浏览器:手工创建一个Hive表

手工创建一个Hive表访问“Metastore Manager”，在“Databases”选择一个数据库。默认数据库为“default”。单击，进入“Create a new table manually”页面。设置表名称。在“Table Name”填写Hive表的名称。支持字母、数字、下划线，首位必须为字母或数字，且长度不能超过128位。根据需要，在“Description”填写Hive表的描述信息。单击“Next”。选择一个存储数据的格式。需要使用分隔符分隔数据时，选择“Delimited”，然后执行5。需要使用序列化格式保存数据时，选择“SerDe”，执行6。配置分隔符。在“Field terminator”设置一个列分隔符。如果分隔符不在列表中，选择“Other..”，然后输入新定义的分隔符。在“Collection terminator”设置一个分隔符，用于分隔Hive中类型为“array”的列的数据集合。例如一个列为array类型，其中一个值需要保存“employee”和“manager”，用户指定分隔符为“:”，则最终的值为“employee:manager”。在“Map key terminator”设置一个分隔符，用于分隔Hive中类型为“map”的列的数据。例如某个列为map类型，其中一个值需要保存描述为“aaa”的“home”，和描述为“bbb”的“company”，用户指定分隔符为“|”，则最终的值为“home|aaa:company|bbb”。单击“Next”，执行7。设置序列化属性。在“SerDe Name”输入序列化格式的类名称“org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe”。用户可扩展Hive支持更多自定义的序列化类。在“Serde properties”输入序列化的样式的值：“"field.delim"="," "colelction.delim"=":" "mapkey.delim"="|"”。单击“Next”，执行7。选择一个数据表的格式，并单击“Next”。 “TextFile”表示使用文本类型文件存储数据。 “SequenceFile”表示使用二进制类型文件存储数据。 “InputFormat”表示使用自定义的输入输出格式来使用文件中的数据。用户可扩展Hive支持更多的自定义格式化类。在“InputFormat Class”填写输入数据使用的类“org.apache.hadoop.hive.ql.io.RCFileInputFormat”。在“OutputFormat Class”填写输出数据使用的类“org.apache.hadoop.hive.ql.io.RCFileOutputFormat”。选择一个文件保存位置，并单击“Next”。默认勾选“Use default location”。如果需要自定义存储位置，请取消选中状态并在“External location”单击指定一个文件存储位置。设置Hive表的字段。在“Column name”设置列的名称。支持字母、数字、下划线，首位必须为字母或数字，且长度不能超过128位。在“Column type”选择一个数据类型。单击“Add a column”可增加新的列。单击“Add a partition”为Hive表增加分区，可提高查询效率。单击“Create Table”创建表，等待Hue显示Hive表的信息。

MAPREDUCE服务 MRS 使用Hue（MRS 3.x之前版本）

MAPREDUCE服务 MRS-使用Hue提交Oozie Shell作业:操作步骤

操作步骤创建工作流，请参考使用Hue创建工作流。在工作流编辑页面，选择“Shell”按钮，将其拖到操作区中。在弹出的“Shell”窗口中配置“Shell command”的值，例如“oozie_shell.sh”，然后单击“添加”。单击“文件+”，添加Shell命令执行文件或Oozie样例执行文件，可以选择存储在HDFS的文件或本地文件。若文件存储在HDFS上，选择“.sh”文件所在路径即可，例如“user/hueuser/shell/oozie_shell.sh”。若选择本地文件，则需在“选择文件”界面，单击“上传文件”，上传本地文件，文件上传成功后，选择该文件即可。如果执行的Shell文件需要传递参数，可单击“参数+”设置参数。传递参数的顺序需要和Shell脚本中保持一致。单击Oozie编辑器右上角的。保存前如果需要修改作业名称（默认为“My Workflow”），可以直接单击该名称进行修改，例如“Shell-Workflow”。保存完成后，单击，提交该作业。作业提交后，可通过Hue界面查看作业的详细信息、日志、进度等相关内容。配置Shell命令为Linux指令时，请指定为原始指令，不要使用快捷键指令。例如：ls -l ,不要配置成ll。可配置成Shell命令ls ，参数添加一个 “-l”。 Windows上传Shell脚本到HDFS时，请保证Shell脚本的格式为Unix，格式不正确会导致Shell作业提交失败。

MAPREDUCE服务 MRS 使用Hue提交Oozie作业

MAPREDUCE服务 MRS-使用Hue WebUI操作Hive表:操作步骤

操作步骤访问Hue WebUI，请参考访问Hue WebUI界面。在左侧导航栏单击编辑器，然后选择“Hive”。在“Database”右侧下拉列表选择一个Hive中的数据库，默认数据库为“default”。系统将自动显示数据库中的所有表。可以输入表名关键字，系统会自动搜索包含此关键字的全部表。单击指定的表名，可以显示表中所有的列。在HiveQL语句编辑区输入HiveQL语句。 create table hue_table(id int,name string,company string) row format delimited fields terminated by ',' stored as textfile; 单击开始执行HiveQL语句。图1 执行语句在命令输入框内输入show tables;，单击按钮，查看“结果”中有5创建的表hue_table。

MAPREDUCE服务 MRS 使用Hue（MRS 3.x及之后版本）

MAPREDUCE服务 MRS-在Hue WebUI使用HiveQL编辑器:修改在Hue使用“Query Editors”的会话配置

修改在Hue使用“Query Editors”的会话配置在“Hive”页签，单击。在“Files”的右侧单击，然后单击指定该文件的存储目录。可以单击新增加一个文件资源。在“Functions”的右侧单击，输入用户自定义的名称和函数的类名称。可以单击新增加一个自定义函数。在“Settings”的右侧单击，在“Key”输入Hive的参数名，在“Value”输入对应的参数值，则当前Hive会话会以用户定义的配置连接Hive。可以单击新增加一个参数。

MAPREDUCE服务 MRS 使用Hue（MRS 3.x之前版本）

云服务器内容精选

使用Hue

7*24

备案

专业服务

退订

建议反馈

售前咨询热线