调测Hive应用-华为云

MAPREDUCE服务 MRS-在Windows环境中调测Hive JDBC样例程序:操作步骤

操作步骤编译JDBC样例程序：在IDEA界面左下方单击“Terminal”进入终端，执行命令mvn clean package进行编译。当输出“BUILD SUC CES S”，表示编译成功，如下图所示。编译成功后将会在样例工程的target下生成含有“-with-dependencies”字段的jar包。运行JDBC样例程序：使用Windows命令行形式运行JDBC样例工程：在Windows上创建一个目录作为运行目录，如“D:\jdbc_example”，将1中生成的“target”目录下包名中含有“-with-dependencies”字段的Jar包放到该路径下，并在该目录下创建子目录“src/main/resources”，将已获取的“hive-jdbc-example\src\main\resources”目录下的所有文件复制到“resources”下。执行以下命令运行Jar包： cd /d d:\jdbc_example java -jar hive-jdbc-example-1.0-SNAPSHOT-jar-with-dependencies.jar 以上Jar包名称仅供参考，具体名称以实际生成为主。在命令行终端查看样例代码中的HQL所查询出的结果，运行成功结果会有如下信息： Create table success! _c0 0 Delete table success! 使用IntelliJ IDEA形式运行JDBC样例工程：在IntelliJ IDEA的jdbc-examples工程的“JDBCExample”类上单击右键，在弹出菜单中选择“Run JDBCExample.main()”，如下图所示：在IntelliJ IDEA输出窗口查看样例代码中的HQL所查询出的结果，会有如下信息： Create table success! _c0 0 Delete table success!

MAPREDUCE服务 MRS 调测Hive应用

MAPREDUCE服务 MRS-在Linux环境中调测Hive JDBC样例程序:操作步骤

操作步骤编译JDBC样例程序：在IDEA界面左下方单击“Terminal”进入终端，执行命令mvn clean package进行编译。当输出“BUILD SUCCESS”，表示编译成功，如下图所示。编译成功后将会在样例工程的target下生成含有“-with-dependencies”字段的jar包。运行JDBC样例程序：在Linux上创建一个目录作为运行目录，如“/opt/jdbc_example”，将1中生成的“target”目录下包名中含有“-with-dependencies”字段的Jar包放进该路径下，并在该目录下创建子目录“src/main/resources”，将已获取的“hive-jdbc-example\src\main\resources”目录下的所有文件复制到“resources”下。执行以下命令运行Jar包： chmod +x /opt/jdbc_example -R cd /opt/jdbc_example java -jar hive-jdbc-example-1.0-SNAPSHOT-jar-with-dependencies.jar 以上Jar包名称仅供参考，具体名称以实际生成为主。在命令行终端查看样例代码中的HQL所查询出的结果，运行成功会显示如下信息： Create table success! _c0 0 Delete table success!

MAPREDUCE服务 MRS 调测Hive应用

MAPREDUCE服务 MRS-在Linux环境中调测Hive JDBC样例程序:操作步骤

操作步骤编译JDBC样例程序：在IDEA界面左下方单击“Terminal”进入终端，执行命令mvn clean package进行编译。当输出“BUILD SUCCESS”，表示编译成功，如下图所示。编译成功后将会在样例工程的target下生成含有“-with-dependencies”字段的jar包。运行JDBC样例程序：在Linux上创建一个目录作为运行目录，如“/opt/jdbc_example”，将1中生成的“target”目录下包名中含有“-with-dependencies”字段的Jar包放进该路径下，并在该目录下创建子目录“src/main/resources”，将已获取的“hive-jdbc-example\src\main\resources”目录下的所有文件复制到“resources”下。执行以下命令运行Jar包： chmod +x /opt/jdbc_example -R cd /opt/jdbc_example java -jar hive-jdbc-example-1.0-SNAPSHOT-jar-with-dependencies.jar 以上Jar包名称仅供参考，具体名称以实际生成为主。在命令行终端查看样例代码中的HQL所查询出的结果，运行成功会显示如下信息： Create table success! _c0 0 Delete table success!

MAPREDUCE服务 MRS 调测Hive应用

MAPREDUCE服务 MRS-在本地Windows环境中调测Hive JDBC样例程序:操作步骤

操作步骤编译JDBC样例程序：在IDEA界面左下方单击“Terminal”进入终端，执行命令mvn clean package进行编译。当输出“BUILD SUCCESS”，表示编译成功，如下图所示。编译成功后将会在样例工程的target下生成含有“-with-dependencies”字段的jar包。运行JDBC样例程序：使用Windows命令行形式运行JDBC样例工程：在Windows上创建一个目录作为运行目录，如“D:\jdbc_example”，将1中生成的“target”目录下包名中含有“-with-dependencies”字段的Jar包放到该路径下，并在该目录下创建子目录“src/main/resources”，将已获取的“hive-jdbc-example\src\main\resources”目录下的所有文件复制到“resources”下。执行以下命令运行Jar包： cd /d d:\jdbc_example java -jar hive-jdbc-example-1.0-SNAPSHOT-jar-with-dependencies.jar 以上Jar包名称仅供参考，具体名称以实际生成为主。在命令行终端查看样例代码中的HQL所查询出的结果，运行成功结果会有如下信息： Create table success! _c0 0 Delete table success! 使用IntelliJ IDEA形式运行JDBC样例工程：在IntelliJ IDEA的jdbc-examples工程的“JDBCExample”类上单击右键，在弹出菜单中选择“Run JDBCExample.main()”，如下图所示：在IntelliJ IDEA输出窗口查看样例代码中的HQL所查询出的结果，会有如下信息： Create table success! _c0 0 Delete table success!

MAPREDUCE服务 MRS 调测Hive应用

MAPREDUCE服务 MRS-在Linux中调测Hive JDBC应用

在Linux中调测Hive JDBC应用执行mvn package生成jar包，在工程目录target目录下获取，比如:hive-examples-1.0.jar。在运行调测环境上创建一个目录作为运行目录，如“/opt/hive_examples”(Linux环境)，并在该目录下创建子目录“conf”。将1导出的hive-examples-1.0.jar拷贝到“/opt/hive_examples”下。将客户端下的配置文件拷贝到“conf”下，开启Kerberos认证的安全集群下把从5获取的user.keytab和krb5.conf拷贝到的/opt/hive_examples/conf下，未开启Kerberos认证集群可不必拷贝user.keytab和krb5.conf文件。复制${HIVE_HOME}/../config/hiveclient.properties文件到/opt/hive_examples/conf目录下。 cd /opt/hive_examples/conf cp /opt/client/Hive/config/hiveclient.properties . 准备样例程序相关依赖jar包。在调测环境上创建一个目录作为存放依赖jar包的目录，如"/opt/hive_examples/lib"(Linux环境)，将${HIVE_HOME}/lib/下面的包全部复制到该目录下，然后删除里面的derby-10.10.2.0.jar(jar包版本号以实际为准)。 mkdir /opt/hive_examples/lib cp ${HIVE_HOME}/lib/* /opt/hive_examples/lib rm -f /opt/hive_examples/lib/derby-10.10.2.0.jar 在Linux环境下执行如下命令运行样例程序。 chmod +x /opt/hive_examples -R cd /opt/hive_examples source /opt/client/bigdata_env java -cp .:hive-examples-1.0.jar:/opt/hive_examples/conf:/opt/hive_examples/lib/*:/opt/client/HDFS/hadoop/lib/* com.huawei.bigdata.hive.example.ExampleMain 在命令行终端查看样例代码中的HiveQL所查询出的结果。 Linux环境运行成功结果会有如下信息。 Create table success! _c0 0 Delete table success! 父主题：调测Hive应用

MAPREDUCE服务 MRS 调测Hive应用

MAPREDUCE服务 MRS-调测Hive SpringBoot样例程序:SpringBoot样例工程的命令行形式运行

SpringBoot样例工程的命令行形式运行在IDEA界面左下方单击“Terminal”进入终端，执行命令mvn clean package进行编译。当输出“BUILD SUCCESS”，表示编译成功，如下图所示。编译成功后将会在样例工程的target下生成含有“-with-dependencies”字段的Jar包。在Windows或Linux上创建一个目录作为运行目录，如“D:\hive-rest-client-example”（Windows环境）或“/opt/hive-rest-client-example”（Linux环境），将1中生成的“target”目录下包名中含有“-with-dependencies”字段的Jar包放进该路径下，并在该目录下创建子目录“src/main/resources"。将hive-rest-client-example工程resources目录下的所有文件复制到“resources”下。执行以下命令启动SpringBoot服务：在Windows环境下执行： cd /d d:\hive-rest-client-example java -jar hive-rest-client-example-8.1.0.1-3.5.0-SNAPSHOT-jar-with-dependencies.jar 在Linux环境下执行： chmod +x /opt/hive-rest-client-example -R cd /opt/hive-rest-client-example java -jar hive-rest-client-example-8.1.0.1-3.5.0-SNAPSHOT-jar-with-dependencies.jar 以上Jar包名称仅供参考，具体名称以实际生成为主。调用Hive的SpringBoot样例接口触发样例代码运行： Windows环境运行方式：打开浏览器，输入：http://localhost:8080/hive/example/executesql。 Linux环境下执行运行方式：在2中存放Jar的节点上执行curl http://localhost:8080/hive/example/executesql命令。运行样例代码时日志中可能会打印以下日志信息，虽然日志级别显示ERROR，但是不影响执行结果： ERROR 51320 --- [c-8-EventThread] o.a.c.framework.imps.EnsembleTracker : Invalid config event received: {version=100000000, server.48=ZooKeeper节点IP地址:ZooKeeper端口号:ZooKeeper端口号:participant...} 查看样例代码中的HQL所查询出的结果。 Windows环境运行成功结果会有如下信息： =========================== Hive Example Start =========================== Start create table. Table created successfully. Start to insert data into the table. Inserting data to the table succeeded. Start to query table data. Query result : employees_infoa.id employees_infoa.age employees_infoa.name 1 31 SJK 2 25 HS 3 28 HT Querying table data succeeded. Start to delete the table. Table deleted successfully. =========================== Hive Example End =========================== Linux环境运行成功结果会有如下信息： =========================== Hive Example Start =========================== Start create table. Table created successfully. Start to insert data into the table. Inserting data to the table succeeded. Start to query table data. Query result : employees_infoa.id employees_infoa.age employees_infoa.name 1 31 SJK 2 25 HS 3 28 HT Querying table data succeeded. Start to delete the table. Table deleted successfully. =========================== Hive Example End ===========================

MAPREDUCE服务 MRS 调测Hive应用

MAPREDUCE服务 MRS-调测Hive Python3样例程序:Python3样例工程的命令行形式运行

Python3样例工程的命令行形式运行赋予“python3-examples”文件夹中脚本的可执行权限。在命令行终端执行以下命令： chmod +x python3-examples -R。在python3-examples/pyCLI_nosec.py中的host的值修改为安装HiveServer的节点的业务平面IP，port的值修改为Hive提供Thrift服务的端口（hive.server2.thrift.port），默认为21066。 Hive多实例的python客户端命令行形式：“python3-examples/pyCLI_nosec.py”不仅要修改host，还需根据所使用的实例修改port，port为Hive提供Thrift服务的端口（hive.server2.thrift.port）。执行以下命令运行Python3客户端： cd python3-examples python pyCLI_nosec.py 在命令行终端查看样例代码中的HQL所查询出的结果。例如： [['default', '']] [{'comment': 'from deserializer', 'columnName': 'tab_name', 'type': 'STRING_TYPE'}] ['xx']

MAPREDUCE服务 MRS 调测Hive应用

云服务器内容精选

调测Hive应用

7*24

备案

专业服务

退订

建议反馈

售前咨询热线