云服务器内容精选
-
操作步骤 创建工作流，请参考使用Hue创建工作流。 在工作流编辑页面，选择“HiveServer2 脚本”按钮，将其拖到操作区中。 在弹出的“HiveServer2 Script”窗口中配置HDFS上的脚本路径，例如“/user/admin/examples/apps/hive2/script.q”，然后单击“添加”。 单击“参数+”，添加输入输出参数。 例如输入参数为“INPUT=/user/admin/examples/input-data/table”，输出参数为“OUTPUT=/user/admin/examples/output-data/hive2_workflow”。 单击右上角的配置按钮。在打开的配置界面中，单击“删除+”，添加删除目录，例如“/user/admin/examples/output-data/hive2_workflow”。 配置“作业 XML”，值为“客户端安装目录/Oozie/oozie-client-*/examples/apps/hive/hive-site.xml”上传至HDFS目录中所在路径，例如“/user/admin/examples/apps/hive2/hive-site.xml”。HiveServer2 URL”及其他参数无需配置。 如果以上的参数和值在使用过程中发生了修改，可在“Oozie客户端安装目录/oozie-client-*/conf/hive-site.xml”文件中查询。 单击Oozie编辑器右上角的。 保存前如果需要修改作业名称（默认为“My Workflow”），可以直接单击该名称进行修改，例如“Hive2-Workflow”。 保存完成后，单击，提交该作业。 作业提交后，可通过Hue界面查看作业的详细信息、日志、进度等相关内容。
-
参数说明 Hue常用参数请参见表1。 表1 Hue常用参数 配置参数 说明 缺省值 范围 HANDLER_AC CES S LOG _LEVEL Hue的访问日志级别。 DEBUG ERROR WARN INFO DEBUG HANDLER_AUDITSLOG_LEVEL Hue的审计日志级别。 DEBUG ERROR WARN INFO DEBUG HANDLER_ERRORLOG_LEVEL Hue的错误日志级别。 ERROR ERROR WARN INFO DEBUG HANDLER_LOGFILE_LEVEL Hue的运行日志级别。 INFO ERROR WARN INFO DEBUG HANDLER_LOGFILE_MAXBACKUPINDEX Hue日志文件最大个数。 20 1～999 HANDLER_LOGFILE_SIZE Hue日志文件最大大小。 5MB - Hue自定义参数请参见表2。以下自定义参数仅 MRS 3.1.2及之后版本适用。
-
典型场景 通过Hue界面对Hive进行创建表的操作如下： 单击Hue的WebUI界面左上角的，选择要操作的Hive实例，进入Hive命令的执行页面。 在命令输入框内输入一条HQL语句，例如： create table hue_table(id int,name string,company string) row format delimited fields terminated by ',' stored as textfile; 单击执行HQL。 图1 执行语句 在命令输入框内输入： show tables; 单击，查看“结果”中有创建的表hue_table。 图2 查看结果
-
元数据浏览器使用介绍 访问Hue WebUI。 查看Hive表的元数据 在左侧导航栏单击表，单击某一表名称，界面将显示Hive表的元数据信息。 管理Hive表的元数据 在Hive表的元数据信息界面： 单击右上角的“导入”可导入数据。 单击“概述”，在“属性”域可查看表文件的位置信息。 可查看Hive表各列字段的信息，并手动添加描述信息，注意此处添加的描述信息并不是Hive表中的字段注释信息（comment）。 单击“样本”可浏览数据。 管理Hive元数据表 单击左侧列表中的可在数据库中根据上传的文件创建一个新表，也可手动创建一个新表。 Hue界面主要用于文件、表等数据的查看与分析，禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作，建议在确认对业务没有影响后通过各组件的相应操作方法进行处理，例如使用HDFS客户端对HDFS文件进行操作，使用Hive客户端对Hive表进行操作。
-
操作步骤 创建工作流，请参考使用Hue创建工作流。 在工作流编辑页面，选择“HiveServer2 脚本”按钮，将其拖到操作区中。 在弹出的“HiveServer2 Script”窗口中配置HDFS上的脚本路径，例如“/user/admin/examples/apps/hive2/script.q”，然后单击“添加”。 单击“参数+”，添加输入输出参数。 例如输入参数为“INPUT=/user/admin/examples/input-data/table”，输出参数为“OUTPUT=/user/admin/examples/output-data/hive2_workflow”。 单击右上角的配置按钮。在打开的配置界面中，单击“删除+”，添加删除目录，例如“/user/admin/examples/output-data/hive2_workflow”。 配置“作业 XML”，值为“客户端安装目录/Oozie/oozie-client-*/examples/apps/hive/hive-site.xml”上传至HDFS目录中所在路径，例如“/user/admin/examples/apps/hive2/hive-site.xml”。“HiveServer2 URL”及其他参数无需配置。 若以上的参数和值在使用过程中发生了修改，可在“Oozie客户端安装目录/oozie-client-*/conf/hive-site.xml”文件中查询。 单击Oozie编辑器右上角的。 保存前如果需要修改作业名称（默认为“My Workflow”），可以直接单击该名称进行修改，例如“Hive2-Workflow”。 保存完成后，单击，提交该作业。 作业提交后，可通过Hue界面查看作业的详细信息、日志、进度等相关内容。
-
访问“Job Browser” 访问Hue WebUI，请参考访问Hue WebUI界面。 单击“Job Browser”。 默认显示当前集群的所有作业。 “Job Browser”显示的数字表示集群中所有作业的总数。 “Job Browser”将显示作业以下信息： 表1 MRS作业属性介绍 属性名 描述 “Logs” 表示作业的日志信息。如果作业有输出日志，则显示。 “ID” 表示作业的编号，由系统自动生成。 “Name” 表示作业的名称。 “Application Type” 表示作业的类型。 “Status” 表示作业的状态，包含“RUNNING”、“SUCCEEDED”、“FAILED”和“KILLED”。 “User” 表示启动该作业的用户。 “Maps” 表示作业执行Map过程的进度。 “Reduces” 表示作业执行Reduce过程的进度。 “Queue” 表示作业运行时使用的YARN队列。 “Priority” 表示作业运行时的优先级。 “Duration” 表示作业运行使用的时间。 “Submitted” 表示作业提交到MRS集群的时间。 如果MRS集群安装了Spark组件，则默认会启动一个作业“Spark-JD BCS erver”，用于执行任务。
-
操作步骤 访问Hue WebUI，请参考访问Hue WebUI界面。 在左侧导航栏单击编辑器，然后选择“Hive”。 在“Database”右侧下拉列表选择一个Hive中的数据库，默认数据库为“default”。 系统将自动显示数据库中的所有表。可以输入表名关键字，系统会自动搜索包含此关键字的全部表。 单击指定的表名，可以显示表中所有的列。 在HiveQL语句编辑区输入HiveQL语句。 create table hue_table(id int,name string,company string) row format delimited fields terminated by ',' stored as textfile; 单击 开始执行HiveQL语句。 图1 执行语句 在命令输入框内输入show tables;，单击按钮，查看“结果”中有5创建的表hue_table。
-
编辑器使用介绍 访问Hue WebUI，请参考访问Hue WebUI界面。 在左侧导航栏单击，然后选择“Workflow”。 支持创建Workflow、计划和Bundles的操作。支持提交运行、共享、复制和导出已创建的应用。 每个Workflow可以包含一个或多个作业，形成完整的工作流，用于实现指定的业务。 创建Workflow时，可直接在Hue的编辑器设计作业，并添加到Workflow中。 每个计划可定义一个时间触发器，用于定时触发执行一个指定的Workflow。不支持多个Workflow。 每个Bundles可定义一个集合，用于触发执行多个计划，使不同Workflow批量执行。
-
操作步骤 创建工作流，请参考使用Hue创建工作流。 在工作流编辑页面，选择“子Workflow”按钮，将其拖到操作区中。 在弹出的“Sub workflow”窗口中配置“Sub-workflow”的值，例如从下拉列表中选取“Java-Workflow”（这个值是已经创建好的工作流之一），然后单击“添加”。 单击Oozie编辑器右上角的。 保存前如果需要修改作业名称（默认为“My Workflow”），可以直接单击该名称进行修改，例如“Subworkflow-Workflow”。 保存完成后，单击，提交该作业。 作业提交后，可通过Hue界面查看作业的详细信息、日志、进度等相关内容。
-
管理Hive表 访问“Metastore Manager”，在“Databases”选择一个数据库，页面显示数据库中所有的表。 默认数据库为“default”。 单击数据库中的表名称，打开表的详细信息。 支持导入数据、浏览数据或查看文件存储位置。查看数据库所有的表时，可以直接勾选表然后执行查看、浏览数据操作。 Hue界面主要用于文件、表等数据的查看与分析，禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作，建议在确认对业务没有影响后通过各组件的相应操作方法进行处理，例如使用HDFS客户端对HDFS文件进行操作，使用Hive客户端对Hive表进行操作。
-
使用文件创建一个Hive表 访问“Metastore Manager”，在“Databases”选择一个数据库。 默认数据库为“default”。 单击，进入“Create a new table from a file”页面。 选择文件。 在“Table Name”填写Hive表的名称。 支持字母、数字、下划线，首位必须为字母或数字，且长度不能超过128位。 根据需要，在“Description”填写Hive表的描述信息。 在“Input File or Location”单击，在HDFS中选择一个用于创建Hive表文件。此文件将存储Hive表的新数据。 如果文件未在HDFS中保存，可以单击“Upload a file”从本地选择文件并上传。支持同时上传多个文件，文件不可为空。 如果需要将文件中的数据导入Hive表，选择“Import data”作为“Load method”。默认选择“Import data”。 选择“Create External Table”时，创建的是Hive外部表。 当选择“Create External Table”时，参数“Input File or Location”需要选择为路径。 选择“Leave Empty”则创建空的Hive表。 单击“Next”。 设置分隔符。 在“Delimiter”选择一个分隔符。 如果分隔符不在列表中，选择“Other..”，然后输入新定义的分隔符。 单击“Preview”查看数据处理预览。 单击“Next”。 定义字段列。 单击“Use first row as column names”右侧的，则使用文件中第一行数据作为列名称。取消则不使用数据作为列名称。 在“Column name”编辑每个列的名称。 支持字母、数字、下划线，首位必须为字母或数字，且长度不能超过128位。 单击“Bulk edit column names”右侧的，可批量对列重新命名。输入所有列的名称并使用逗号分隔。 在“Column Type”选择每个列的类型。 单击“Create Table”创建表，等待Hue显示Hive表的信息。
-
手工创建一个Hive表 访问“Metastore Manager”，在“Databases”选择一个数据库。 默认数据库为“default”。 单击，进入“Create a new table manually”页面。 设置表名称。 在“Table Name”填写Hive表的名称。 支持字母、数字、下划线，首位必须为字母或数字，且长度不能超过128位。 根据需要，在“Description”填写Hive表的描述信息。 单击“Next”。 选择一个存储数据的格式。 需要使用分隔符分隔数据时，选择“Delimited”，然后执行5。 需要使用序列化格式保存数据时，选择“SerDe”，执行6。 配置分隔符。 在“Field terminator”设置一个列分隔符。 如果分隔符不在列表中，选择“Other..”，然后输入新定义的分隔符。 在“Collection terminator”设置一个分隔符，用于分隔Hive中类型为“array”的列的数据集合。例如一个列为array类型，其中一个值需要保存“employee”和“manager”，用户指定分隔符为“:”，则最终的值为“employee:manager”。 在“Map key terminator”设置一个分隔符，用于分隔Hive中类型为“map”的列的数据。例如某个列为map类型，其中一个值需要保存描述为“aaa”的“home”，和描述为“bbb”的“company”，用户指定分隔符为“|”，则最终的值为“home|aaa:company|bbb”。 单击“Next”，执行7。 设置序列化属性。 在“SerDe Name”输入序列化格式的类名称“org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe”。 用户可扩展Hive支持更多自定义的序列化类。 在“Serde properties”输入序列化的样式的值：“"field.delim"="," "colelction.delim"=":" "mapkey.delim"="|"”。 单击“Next”，执行7。 选择一个数据表的格式，并单击“Next”。 “TextFile”表示使用文本类型文件存储数据。 “SequenceFile”表示使用二进制类型文件存储数据。 “InputFormat”表示使用自定义的输入输出格式来使用文件中的数据。 用户可扩展Hive支持更多的自定义格式化类。 在“InputFormat Class”填写输入数据使用的类“org.apache.hadoop.hive.ql.io.RCFileInputFormat”。 在“OutputFormat Class”填写输出数据使用的类“org.apache.hadoop.hive.ql.io.RCFileOutputFormat”。 选择一个文件保存位置，并单击“Next”。 默认勾选“Use default location”。如果需要自定义存储位置，请取消选中状态并在“External location”单击指定一个文件存储位置。 设置Hive表的字段。 在“Column name”设置列的名称。 支持字母、数字、下划线，首位必须为字母或数字，且长度不能超过128位。 在“Column type”选择一个数据类型。 单击“Add a column”可增加新的列。 单击“Add a partition”为Hive表增加分区，可提高查询效率。 单击“Create Table”创建表，等待Hue显示Hive表的信息。
-
修改在Hue使用“Query Editors”的会话配置 在“Hive”页签，单击。 在“Files”的右侧单击 ，然后单击 指定该文件的存储目录。 可以单击 新增加一个文件资源。 在“Functions”的右侧单击 ，输入用户自定义的名称和函数的类名称。 可以单击 新增加一个自定义函数。 在“Settings”的右侧单击 ，在“Key”输入Hive的参数名，在“Value”输入对应的参数值，则当前Hive会话会以用户定义的配置连接Hive。 可以单击 新增加一个参数。
-
参数说明 表1 Hue常用参数 配置参数 说明 缺省值 范围 HANDLER_ACCESSLOG_LEVEL 表示Hue的访问日志级别。 DEBUG ERROR WARN INFO DEBUG HANDLER_AUDITSLOG_LEVEL 表示Hue的审计日志级别。 DEBUG ERROR WARN INFO DEBUG HANDLER_ERRORLOG_LEVEL 表示Hue的错误日志级别。 ERROR ERROR WARN INFO DEBUG HANDLER_LOGFILE_LEVEL 表示Hue的运行日志级别。 INFO ERROR WARN INFO DEBUG HANDLER_LOGFILE_MAXBACKUPINDEX 表示Hue日志文件最大个数。 20 1～999 HANDLER_LOGFILE_SIZE 表示Hue日志文件最大大小。 5MB -
-
访问文件浏览器（File Browser） 访问Hue WebUI。 单击，进入“File Browser”。 默认进入当前登录用户的主目录。 文件浏览器将显示目录中的子目录或文件以下信息： 表1 HDFS文件属性介绍 属性名 描述 “Name” 表示目录或文件的名称。 “Size” 表示文件的大小。 “User” 表示目录或文件的属主。 “Group” 表示目录或文件的属组。 “Permissions” 表示目录或文件的权限设置。 “Date” 表示目录或文件创建时间。 在搜索框输入关键字，系统会在当前目录自动搜索目录或文件。 清空搜索框的内容，系统会重新显示所有目录和文件。
更多精彩内容
CDN加速
GaussDB
文字转换成语音
免费的服务器
如何创建网站
域名网站购买
私有云桌面
云主机哪个好
域名怎么备案
手机云电脑
SSL证书申请
云点播服务器
免费OCR是什么
电脑云桌面
域名备案怎么弄
语音转文字
文字图片识别
云桌面是什么
网址安全检测
网站建设搭建
国外CDN加速
SSL免费证书申请
短信批量发送
图片OCR识别
云数据库MySQL
个人域名购买
录音转文字
扫描图片识别文字
OCR图片识别
行驶证识别
虚拟电话号码
电话呼叫中心软件
怎么制作一个网站
Email注册网站
华为VNC
图像文字识别
企业网站制作
个人网站搭建
华为云计算
免费租用云托管
云桌面云服务器
ocr文字识别免费版
HTTPS证书申请
图片文字识别转换
国外域名注册商
使用免费虚拟主机
云电脑主机多少钱
鲲鹏云手机
短信验证码平台
OCR图片文字识别
SSL证书是什么
申请企业邮箱步骤
免费的企业用邮箱
云免流搭建教程
域名价格
