MAPREDUCE服务 MRS-Hive应用开发开发流程

时间:2024-06-29 14:11:26

Hive应用开发开发流程

开发流程中各阶段的说明如图1表1所示。

图1 Hive应用程序开发流程
表1 Hive应用开发的流程说明

阶段

说明

参考文档

准备开发环境

在进行应用开发前,需首先准备开发环境,推荐使用Java语言进行开发,使用IntelliJ IDEA工具,同时完成JDK、Maven等初始配置。

准备本地应用开发环境

准备连接集群配置文件

应用程序开发或运行过程中,需通过集群相关配置文件信息连接 MRS 集群,配置文件通常包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。

用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts 域名 信息。

准备连接Hive集群配置文件

配置并导入样例工程

HIve提供了不同场景下的多种样例程序,用户可获取样例工程并导入本地开发环境中进行程序学习。

导入并配置Hive样例工程

配置安全认证

如果您使用的是JDBC访问开启了Kerberos认证的MRS集群,需要进行安全认证。

配置Hive JDBC接口访问Hive安全认证

根据业务场景开发程序

根据实际业务场景开发程序,调用组件接口实现对应功能。

开发Hive应用

编译并运行程序

指导用户将开发好的程序编译提交运行并查看结果。

调测Hive应用

support.huaweicloud.com/devg3-mrs/mrs_07_110005.html