检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive应用开发简介 Hive介绍 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：
在，具体的版本号可从客户端Hive的lib目录下获取。 运行前准备。 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。当前用户为准备Hive应用开发用户时增加的开发用户。 人机用户：kinit MRS集群用户
so，也使用了libssl.so。而一旦LD_LIBRARY_PATH添加了hadoop的native库目录，则使用的就是hadoop native库中的libcrypto.so，而使用系统自带的libssl.so（因为hadoop native目录没有带该包） 。由于这两个库版本不匹配，导致了python文件运行时出现段错误。
so，也使用了libssl.so。而一旦LD_LIBRARY_PATH添加了hadoop的native库目录，则使用的就是hadoop native库中的libcrypto.so，而使用系统自带的libssl.so（因为hadoop native目录没有带该包） 。由于这两个库版本不匹配，导致了python文件运行时出现段错误。
业、控制作业执行以及查询作业状态。 org.apache.hadoop.mapred.JobConf：MapReduce作业的配置类，是用户向Hadoop提交作业的主要配置接口。 表1 类org.apache.hadoop.mapreduce.Job的常用接口 功能 说明 Job(Configuration
LDAP管理员用户：cn=root,dc=hadoop,dc=com LDAP用户：cn=pg_search_dn,ou=Users,dc=hadoop,dc=com MRS 2.x及之前版本用户名称： LDAP管理员用户：rootdn:cn=root,dc=hadoop,dc=com LDAP用
xx.jar到程序的classpath或者lib目录中。 hadoop-plugins-xxx.jar包一般在HDFS客户端目录下：$HADOOP_HOME/share/hadoop/common/lib/hadoop-plugins-xxx.jar 方式二：将HDFS的如下配置项修改为开源类。
作“更多 > 下载认证凭据”下载认证凭据文件，保存后解压得到用户的“user.keytab”文件与“krb5.conf”文件。Keytab文件用于在样例工程中进行安全认证，具体使用请参考各服务的开发指南指导。 如果用户类型是人机，需要先修改初始密码后再下载认证凭据文件，否则在使用时会提示“Password
Issuer: C=CountryName, ST=State, L=Locality, O=Organization, OU=IT, CN=HADOOP.COM Validity Not Before: Dec 13 06:38:26 2016
MRS应用开发安全认证说明 MRS安全认证原理和认证机制 准备MRS应用开发用户 MRS应用开发认证失败常见问题
Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(MySQL、PostgreSQL...)间进行数据的传递，可以将一个关系型数据库（例如：MySQL、Oracle、PostgreSQL等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
Manager，选择“集群 > 服务 > Ranger”，单击“Ranger WebUI”右侧的链接进入Ranger管理界面。 在首页中单击“HADOOP SQL”区域的组件插件名称，例如“Hive”。 在“Access”页签单击“Add New Policy”，添加Hive权限控制策略。
运行HBase应用开发程序产生异常如何处理 提示信息包含org.apache.hadoop.hbase.ipc.controller.ServerRpcControllerFactory的解决办法 检查应用开发工程的配置文件hbase-site.xml中是否包含配置项hbase.rpc
jar执行wordcount作业。 yarn jar /opt/share/hadoop-mapreduce-examples-<hadoop版本号>-mrs-<mrs集群版本号>/hadoop-mapreduce-examples-<hadoop版本号>-mrs-<mrs集群版本号>.jar wordcount
下载MRS集群用户认证凭据文件 用户开发大数据应用程序并在支持Kerberos认证的MRS集群中运行程序时，需要准备访问MRS集群的用户认证文件。认证文件中的keytab文件可用于认证用户身份。 该任务指导管理员用户通过Manager下载用户认证文件并导出keytab文件。 修改
rn、MapReduce组件？ 答： HDFS、Yarn和MapReduce组件包含在Hadoop组件中，当购买MRS集群时无法看到HDFS、Yarn和MapReduce组件，勾选Hadoop组件并等待集群创建完成后即可在“组件管理”页签看到HDFS、Yarn和MapReduce组件。
本章节介绍如何使用Python3连接Hive执行数据分析任务。 样例代码 安全模式连接Hive前需要使用集群客户端进行认证，使用kinit命令认证相应权限的Kerberos用户，认证后执行分析任务示例在“hive-examples/python3-examples/pyCLI_sec.py”文件中。
如果集群为安全模式，执行distcp命令的用户所属的用户组必须为supergroup组，且执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 直接执行distcp命令。例如： hadoop distcp hdfs://hacluster/source hdfs://hacluster/target
安全认证有两种方式： 命令行认证： 提交MapReduce应用程序运行前，在MapReduce客户端执行如下命令获得认证。 kinit 组件业务用户 代码认证： 通过获取客户端的principal和keytab文件在应用程序中进行认证。 MapReduce的安全认证代码 目前
安全认证有两种方式： 命令行认证： 提交MapReduce应用程序运行前，在MapReduce客户端执行如下命令获得认证。 kinit 组件业务用户 代码认证： 通过获取客户端的principal和keytab文件在应用程序中进行认证。 MapReduce的安全认证代码 目前
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
