云服务器内容精选

华为云首页用户手册

准备Hive应用开发环境

MAPREDUCE服务 MRS-准备本地应用开发环境:准备JDBC/HCatalog开发环境

准备JDBC/HCatalog开发环境表1 JDBC/HCatalog开发环境准备项说明操作系统开发环境：Windows系统，支持Windows7以上版本。运行环境：Windows系统或Linux系统。如需在本地调测程序，运行环境需要和集群业务平面网络互通。安装JDK 开发和运行环境的基本配置。版本要求如下：服务端和客户端仅支持自带的OpenJDK，版本为1.8.0_272，不允许替换。对于客户应用需引用SDK类的Jar包运行在客户应用进程中的。 X86客户端：Oracle JDK：支持1.8版本；IBM JDK：支持1.8.5.11版本。 TaiShan客户端：OpenJDK：支持1.8.0_272版本。说明：基于安全考虑，服务端只支持TLS V1.2及以上的加密协议。 IBM JDK默认只支持TLS V1.0，若使用IBM JDK，请配置启动参数“com.ibm.jsse2.overrideDefaultTLS”为“true”，设置后可以同时支持TLS V1.0/V1.1/V1.2，详情参见https://www.ibm.com/support/knowledgecenter/zh/SSYKE2_8.0.0/com.ibm.java.security.component.80.doc/security-component/jsse2Docs/matchsslcontext_tls.html#matchsslcontext_tls。安装和配置IntelliJ IDEA 用于开发Hive应用程序的工具。版本要求如下： JDK使用1.8版本，IntelliJ IDEA使用2019.1或其他兼容版本。说明：若使用IBM JDK，请确保IntelliJ IDEA中的JDK配置为IBM JDK。若使用Oracle JDK，请确保IntelliJ IDEA中的JDK配置为Oracle JDK。若使用Open JDK，请确保IntelliJ IDEA中的JDK配置为Open JDK。安装Maven 开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。华为提供开源镜像站，各服务样例工程依赖的Jar包通过华为开源镜像站下载，剩余所依赖的开源Jar包请直接从Maven中央库或者其他用户自定义的仓库地址下载，详情请参考配置华为开源镜像仓。 7-zip 用于解压“*.zip”和“*.rar”文件，支持7-Zip 16.04版本。

MAPREDUCE服务 MRS 准备Hive应用开发环境
MAPREDUCE服务 MRS-准备连接Hive集群配置文件:Hive操作权限

Hive操作权限在进行应用程序开发之前，使用的用户的基本权限要求是属于Hive组，额外操作权限需从系统管理员处获取，具体权限要求请参见表2。用户运行样例程序，需要在default数据库中有CREATE权限。表2 操作权限要求操作类型/作用对象操作权限要求 DATABASE CREATE DATABASE dbname [LOCATION "hdfs_path"] 如果指定了HDFS路径hdfs_path，需要是路径hdfs_path的所有者和具有RWX权限。 DROP DATABASE dbname 拥有数据库dbname的所有权。 ALTER DATABASE dbnameSET OWNERuser_or_role 具有admin权限。 TABLE CREATE TABLE table_a 拥有数据库的CREATE权限。 CREATE TABLE table_aAS SELECTtable_b 拥有数据库的CREATE权限，对表table_b拥有SELECT权限。 CREATE TABLE table_a LIKEtable_b 拥有数据库的CREATE权限。 CREATE [EXTERNAL] TABLE table_a LOCATION "hdfs_path" 拥有数据库的CREATE权限，是HDFS上的数据路径hdfs_path的所有者和具有RWX权限。 DROP TABLE table_a 是表table_a的所有者。 ALTER TABLE table_a SET LOCATION "hdfs_path" 是表table_a的所有者，是HDFS上的数据路径hdfs_path的所有者和具有RWX权限。 ALTER TABLE table_aSETFILEFORMAT 是表table_a的所有者。 TRUNCATE TABLE table_a 是表table_a的所有者。 ANALYZE TABLE table_a COMPUTE STATIS TICS 对表table_a拥有SELECT和INSERT权限。 SHOW TBLPROPERTIES table_a 对表table_a拥有SELECT权限。 SHOW CREATE TABLE table_a 对表table_a拥有SELECT且带有WITH GRANT OPTION的权限。 Alter ALTER TABLE table_a ADD COLUMN 是表table_a的所有者。 ALTER TABLE table_a REPLACE COLUMN 是表table_a的所有者。 ALTER TABLE table_a RENAME 是表table_a的所有者。 ALTER TABLE table_a SET SERDE 是表table_a的所有者。 ALTER TABLE table_a CLUSTER BY 是表table_a的所有者。 PARTITION ALTER TABLE table_a ADD PARTITIONpartition_spec LOCATION "hdfs_path" 对表table_a拥有INSERT权限，是HDFS上的数据路径hdfs_path的所有者和具有RWX权限。 ALTER TABLE table_a DROP PARTITIONpartition_spec 对表table_a拥有DELETE权限。 ALTER TABLE table_a PARTITIONpartition_spec SET LOCATION "hdfs_path" 是表table_a的所有者，是HDFS上的数据路径hdfs_path的所有者和具有RWX权限。 ALTER TABLE table_aPARTITIONpartition_spec SET FILEFORMAT 是表table_a的所有者。 LOAD LOAD INPATH 'hdfs_path' INTO TABLE table_a 对表table_a拥有INSERT权限，是HDFS上的数据路径hdfs_path的所有者和具有RWX权限。 INSERT INSERT TABLE table_a SELECT FROMtable_b 对表table_a拥有INSERT权限，对表table_b拥有SELECT权限。拥有Yarn的default队列的Submit权限。 SELECT SELECT * FROM table_a 对表table_a拥有SELECT权限。 SELECT FROM table_aJOINtable_b 对表table_a、表table_b拥有SELECT权限，拥有Yarn的default队列的Submit权限。 SELECT FROM (SELECT FROM table_aUNION ALL SELECT FROMtable_b) 对表table_a、表table_b拥有SELECT权限。拥有Yarn的default队列的Submit权限。 EXPLAIN EXPLAIN [EXTENDED|DEPENDENCY] query 对相关表目录具有RX权限。 VIEW CREATE VIEW view_name AS SELECT ... 对相关表拥有SELECT且带有WITH GRANT OPTION的权限。 ALTER VIEW view_name RENAME TOnew_view_name 是视图view_name的所有者。 DROP VIEW view_name 是视图view_name的所有者。 FUNCTION CREATE [TEMPORARY] FUNCTION function_name AS 'class_name' 具有admin权限。 DROP [TEMPORARY] function_name 具有admin权限。 MACRO CREATE TEMPORARY MACRO macro_name ... 具有admin权限。 DROP TEMPORARY MACRO macro_name 具有admin权限。以上所有的操作只要拥有Hive的admin权限以及对应的HDFS目录权限就能做相应的操作。如果当前组件使用了Ranger进行权限控制，需基于Ranger配置相关策略进行权限管理。

MAPREDUCE服务 MRS 准备Hive应用开发环境
MAPREDUCE服务 MRS-配置Hive JDBC接口访问Hive安全认证:配置安全登录

配置安全登录安全认证主要采用代码认证方式，支持Oracle JAVA平台和IBM JAVA平台。以下代码在“hive-examples/hive-jdbc-example”样例工程的“com.huawei.bigdata.hive.example”包中，该包包括JDBCExample和JDBCExamplePreLogin类，实现的功能相同，只是认证方式有区别。JDBCExample使用JDBC连接中拼接keytab的方式进行认证；JDBCExamplePreLogin的JDBC连接中不包含认证信息，使用Hadoop通用接口UserGroupInformation认证。根据实际情况，在JDBCExample或JDBCExamplePreLogin类中修改“USER_NAME”为实际用户名，例如“developuser”，样例代码如下： // 设置新建用户的USER_NAME，其中"xxx"为已创建的用于认证的用户名，例如创建的用户为developuser，则USER_NAME为developuser USER_NAME = "xxx"; if ("KERBEROS".equalsIgnoreCase(auth)) { // 设置客户端的keytab和zookeeper认证principal USER_KEYTAB_FILE = "src/main/resources/user.keytab"; ZOOKEEPER_DEFAULT_SERVER_PRINCIPAL = "zookeeper/" + getUserRealm(); System.setProperty(ZOOKEEPER_SERVER_PRINCIPAL_KEY, ZOOKEEPER_DEFAULT_SERVER_PRINCIPAL); }

MAPREDUCE服务 MRS 准备Hive应用开发环境
MAPREDUCE服务 MRS-Hive应用开发环境简介

Hive应用开发环境简介在进行应用开发时，要准备的本地开发环境如表1所示。同时需要准备运行调测的Linux环境，用于验证应用程序运行正常。表1 开发环境准备项说明操作系统开发环境：Windows系统，推荐Windows7以上版本。运行环境：Linux系统。安装JDK 开发和运行环境的基本配置。版本要求如下： MRS 集群的服务端和客户端仅支持自带的Oracle JDK（版本为1.8），不允许替换。对于客户应用需引用SDK类的Jar包运行在客户应用进程中的，支持Oracle JDK和IBM JDK。 Oracle JDK：支持1.7和1.8版本。 IBM JDK：推荐1.7.8.10、1.7.9.40和1.8.3.0版本。说明：在HCatalog的开发环境中，基于安全考虑，MRS服务端只支持TLS 1.1和TLS 1.2加密协议，IBM JDK默认TLS只支持1.0，若使用IBM JDK，请配置启动参数“com.ibm.jsse2.overrideDefaultTLS”为“true”，设置后可以同时支持TLS1.0/1.1/1.2。详情请参见：https://www.ibm.com/support/knowledgecenter/zh/SSYKE2_8.0.0/com.ibm.java.security.component.80.doc/security-component/jsse2Docs/matchsslcontext_tls.html#matchsslcontext_tls。安装和配置Eclipse 用于开发Hive应用程序的工具。版本要求如下： JDK使用1.7版本，Eclipse使用3.7.1及以上版本。 JDK使用1.8版本，Eclipse使用4.3.2及以上版本。说明：若使用IBM JDK，请确保Eclipse中的JDK配置为IBM JDK。若使用Oracle JDK，请确保Eclipse中的JDK配置为Oracle JDK。不同的Eclipse不要使用相同的workspace和相同路径下的示例工程。网络确保客户端与Hive服务主机在网络上互通。父主题：准备Hive应用开发环境

MAPREDUCE服务 MRS 准备Hive应用开发环境
MAPREDUCE服务 MRS-准备Hive应用开发和运行环境:准备开发环境

准备开发环境 Hive组件可以使用JDBC/Python/Python3接口进行应用开发，要准备的开发和运行环境分别如下表所示。表1 JDBC开发环境准备项说明操作系统开发环境：Windows系统，支持Windows7以上版本。运行环境：Windows系统或Linux系统。如需在本地调测程序，运行环境需要和集群业务平面网络互通。安装JDK 开发和运行环境的基本配置。版本要求如下：服务端和客户端仅支持自带的OpenJDK，版本为1.8.0_272，不允许替换。对于客户应用需引用SDK类的Jar包运行在客户应用进程中的。 X86客户端：Oracle JDK：支持1.8版本；IBM JDK：支持1.8.5.11版本。 TaiShan客户端：OpenJDK：支持1.8.0_272版本。说明：基于安全考虑，服务端只支持TLS V1.2及以上的加密协议。 IBM JDK默认只支持TLS V1.0，若使用IBM JDK，请配置启动参数“com.ibm.jsse2.overrideDefaultTLS”为“true”，设置后可以同时支持TLS V1.0/V1.1/V1.2，详情参见https://www.ibm.com/support/knowledgecenter/zh/SSYKE2_8.0.0/com.ibm.java.security.component.80.doc/security-component/jsse2Docs/matchsslcontext_tls.html#matchsslcontext_tls。安装和配置IntelliJ IDEA 用于开发Hive应用程序的工具。版本要求如下： JDK使用1.8版本，IntelliJ IDEA使用2019.1或其他兼容版本。说明：若使用IBM JDK，请确保IntelliJ IDEA中的JDK配置为IBM JDK。若使用Oracle JDK，请确保IntelliJ IDEA中的JDK配置为Oracle JDK。若使用Open JDK，请确保IntelliJ IDEA中的JDK配置为Open JDK。安装Maven 开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。准备开发用户参考准备MRS应用开发用户进行操作，准备用于应用开发的集群用户并授予相应权限。 7-zip 用于解压“*.zip”和“*.rar”文件，支持7-Zip 16.04版本。表2 Python开发环境准备项说明操作系统开发环境和运行环境：Linux系统。安装Python 用于开发Hive应用程序的工具，版本要求不低于2.6.6，最高不超过2.7.13。安装setuptools Python开发环境的基本配置，版本要求5.0以上。准备开发用户参考准备MRS应用开发用户进行操作，准备用于应用开发的集群用户并授予相应权限。 Python开发工具的详细安装配置可参见配置Hive Python样例工程。表3 Python3开发环境准备项说明操作系统开发环境和运行环境：Linux系统。安装Python3 用于开发Hive应用程序的工具，版本要求不低于3.6，最高不超过3.8。安装setuptools Python3开发环境的基本配置，版本要求为47.3.1。准备开发用户参考准备MRS应用开发用户进行操作，准备用于应用开发的集群用户并授予相应权限。 Python3开发工具的详细安装配置可参见配置Hive Python3样例工程。

MAPREDUCE服务 MRS 准备Hive应用开发环境
MAPREDUCE服务 MRS-准备Hive应用开发和运行环境:准备开发环境

准备开发环境 Hive组件可以使用JDBC/Python/Python3接口进行应用开发，要准备的开发和运行环境分别如下表所示。表1 JDBC开发环境准备项说明操作系统开发环境：Windows系统，支持Windows7以上版本。运行环境：Windows系统或Linux系统。如需在本地调测程序，运行环境需要和集群业务平面网络互通。安装JDK 开发和运行环境的基本配置。版本要求如下：服务端和客户端仅支持自带的OpenJDK，版本为1.8.0_272，不允许替换。对于客户应用需引用SDK类的Jar包运行在客户应用进程中的。 X86客户端：Oracle JDK：支持1.8版本；IBM JDK：支持1.8.5.11版本。 TaiShan客户端：OpenJDK：支持1.8.0_272版本。说明：基于安全考虑，服务端只支持TLS V1.2及以上的加密协议。 IBM JDK默认只支持TLS V1.0，若使用IBM JDK，请配置启动参数“com.ibm.jsse2.overrideDefaultTLS”为“true”，设置后可以同时支持TLS V1.0/V1.1/V1.2，详情参见https://www.ibm.com/support/knowledgecenter/zh/SSYKE2_8.0.0/com.ibm.java.security.component.80.doc/security-component/jsse2Docs/matchsslcontext_tls.html#matchsslcontext_tls。安装和配置IntelliJ IDEA 用于开发Hive应用程序的工具。版本要求如下： JDK使用1.8版本，IntelliJ IDEA使用2019.1或其他兼容版本。说明：若使用IBM JDK，请确保IntelliJ IDEA中的JDK配置为IBM JDK。若使用Oracle JDK，请确保IntelliJ IDEA中的JDK配置为Oracle JDK。若使用Open JDK，请确保IntelliJ IDEA中的JDK配置为Open JDK。安装Maven 开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。 7-zip 用于解压“*.zip”和“*.rar”文件，支持7-Zip 16.04版本。表2 Python开发环境准备项说明操作系统开发环境和运行环境：Linux系统。安装Python 用于开发Hive应用程序的工具，版本要求不低于2.6.6，最高不超过2.7.13。安装setuptools Python开发环境的基本配置，版本要求5.0以上。 Python开发工具的详细安装配置可参见配置Hive Python样例工程。表3 Python3开发环境准备项说明操作系统开发环境和运行环境：Linux系统。安装Python3 用于开发Hive应用程序的工具，版本要求不低于3.6，最高不超过3.8。安装setuptools Python3开发环境的基本配置，版本要求为47.3.1。 Python3开发工具的详细安装配置可参见配置Hive Python3样例工程。

MAPREDUCE服务 MRS 准备Hive应用开发环境