使用HBase-华为云

MAPREDUCE服务 MRS-HBase客户端使用实践:前提条件

前提条件已安装客户端。例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。各组件业务用户由 MRS 集群管理员根据业务需要创建。 “机机”用户需要下载keytab文件，“人机”用户第一次登录时需修改密码。非root用户使用HBase客户端，请确保该HBase客户端目录的属主为该用户，否则请参考如下命令修改属主。 chown user:group -R 客户端安装目录/HBase

MAPREDUCE服务 MRS 使用HBase

MAPREDUCE服务 MRS-HBase客户端使用实践:使用HBase客户端

使用HBase客户端安装客户端，具体请参考安装客户端章节。以客户端安装用户，登录安装客户端的节点。执行以下命令切换到客户端目录。 cd /opt/hadoopclient 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户，当前用户需要具有创建HBase表的权限，具体请参见角色管理配置拥有对应权限的角色，参考创建用户章节，为用户绑定对应角色。如果当前集群未启用Kerberos认证，则无需执行此命令。 kinit 组件业务用户例如，kinit hbaseuser。直接执行HBase组件的客户端命令。 hbase shell

MAPREDUCE服务 MRS 使用HBase

表格存储服务 CLOUDTABLE-使用HBase Shell访问集群:一键部署客户端

一键部署客户端准备Linux弹性云服务器。使用一键部署客户端工具，建议Linux弹性云服务器的操作系统类型为EulerOS，CentOS，Ubuntu和SUSE。具体操作请参见准备弹性云服务器。下载客户端一键部署工具。使用SSH登录工具（如PuTTY）通过“弹性IP”远程登录到Linux弹性云服务器，然后执行如下命令，获取客户端一键部署工具： curl -O -k "https://cloudtable-publish.obs.myhuaweicloud.com/cloudtable-client/quick_start_hbase_shell.sh" 此命令适用于HBase 2.x版本。一键部署包内置校验文件。准备集群访问地址。登录表格存储服务管理控制台，在左侧导航树单击集群管理，然后在集群列表中找到所需要的集群，并获取相应的“ZK链接地址（内网）”。该参数值就是集群访问地址，如图1所示。图1 ZK链接地址使用工具部署客户端。请将以下命令中的"$zookeeper_address"参数替换为3获取的ZK链接地址，然后在弹性云服务器命令行窗口，执行该命令一键部署客户端。普通集群一键部署命令。 source quick_start_hbase_shell.sh $zookeeper_address 启动Shell访问集群。在上一步执行source命令自动部署客户端后，就已自动启动了HBase Shell。在后续使用过程中，您也可以执行“bin/hbase shell”命令启动Shell访问集群。

表格存储服务 CLOUDTABLE 使用HBase

MAPREDUCE服务 MRS-HBase客户端使用实践:前提条件

前提条件已安装客户端。例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。各组件业务用户由MRS集群管理员根据业务需要创建。 “机机”用户需要下载keytab文件，“人机”用户第一次登录时需修改密码。非root用户使用HBase客户端，请确保该HBase客户端目录的属主为该用户，否则请参考如下命令修改属主。 chown user:group -R 客户端安装目录/HBase

MAPREDUCE服务 MRS 使用HBase

MAPREDUCE服务 MRS-HBase客户端使用实践:使用HBase客户端（MRS 3.x及之后版本）

使用HBase客户端（MRS 3.x及之后版本）安装客户端，具体请参考安装客户端章节。以客户端安装用户，登录安装客户端的节点。执行以下命令切换到客户端目录。 cd /opt/hadoopclient 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户，当前用户需要具有创建HBase表的权限，具体请参见角色管理配置拥有对应权限的角色，参考创建用户章节，为用户绑定对应角色。如果当前集群未启用Kerberos认证，则无需执行此命令。 kinit 组件业务用户例如，kinit hbaseuser。直接执行HBase组件的客户端命令。 hbase shell

MAPREDUCE服务 MRS 使用HBase

MAPREDUCE服务 MRS-HBase客户端使用实践:使用HBase客户端（MRS 3.x之前版本）

使用HBase客户端（MRS 3.x之前版本）安装客户端，具体请参考安装客户端章节。以客户端安装用户，登录安装客户端的节点。执行以下命令切换到客户端目录。 cd /opt/hadoopclient 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户，当前用户需要具有创建HBase表的权限，具体请参见创建角色配置拥有对应权限的角色，参考创建用户章节，为用户绑定对应角色。如果当前集群未启用Kerberos认证，则无需执行此命令。 kinit 组件业务用户例如，kinit hbaseuser。直接执行HBase组件的客户端命令。 hbase shell

MAPREDUCE服务 MRS 使用HBase

MAPREDUCE服务 MRS-HBase用户认证失败:处理步骤

处理步骤以root用户登录集群Master1节点。执行如下命令，查看MRS服务认证的jar包。 ll /opt/share/local_policy/local_policy.jar ll /opt/Bigdata/jdk{version}/jre/lib/security/local_policy.jar 将步骤2中的jar包下载到本地。将下载的jar包替换到本地JDK目录/opt/Bigdata/jdk/jre/lib/security。执行cd 客户端安装目录/HBase/hbase/bin命令，进入到HBase的bin目录。执行sh start-hbase.sh命令，重启HBase组件。

MAPREDUCE服务 MRS 使用HBase

MAPREDUCE服务 MRS-HBase用户认证失败:问题现象

问题现象客户侧HBase用户认证失败，报错信息如下： 2019-05-13 10:53:09,975 ERROR [localhost-startStop-1] xxxConfig.LoginUtil: login failed with hbaseuser and /usr/local/linoseyc/hbase-tomcat/webapps/bigdata_hbase/WEB-INF/classes/user.keytab. 2019-05-13 10:53:09,975 ERROR [localhost-startStop-1] xxxConfig.LoginUtil: perhaps cause 1 is (wrong password) keytab file and user not match, you can kinit -k -t keytab user in client server to check. 2019-05-13 10:53:09,975 ERROR [localhost-startStop-1] xxxConfig.LoginUtil: perhaps cause 2 is (clock skew) time of local server and remote server not match, please check ntp to remote server. 2019-05-13 10:53:09,975 ERROR [localhost-startStop-1] xxxConfig.LoginUtil: perhaps cause 3 is (aes256 not support) aes256 not support by default jdk/jre, need copy local_policy.jar and US_export_policy.jar from remote server in path ${BIGDATA_HOME}/jdk/jre/lib/security.

MAPREDUCE服务 MRS 使用HBase

MAPREDUCE服务 MRS-配置MOB:配置场景

配置场景在实际应用中，需要存储大大小小的数据，比如图像数据、文档。小于10MB的数据一般都可以存储在HBase上，对于小于100KB的数据，HBase的读写性能是更优的。如果存放在HBase的数据大于100KB甚至到10MB大小时，插入同样个数的数据文件，但是总的数据量会很大，会导致频繁的compaction和split，占用很多CPU，磁盘IO频率很高，性能严重下降。通过将MOB（Medium-sized Objects）数据（即100KB到10MB大小的数据）直接以HFile的格式存储在文件系统上（例如HDFS文件系统），通过expiredMobFileCleaner和Sweeper工具集中管理这些文件，然后把这些文件的地址信息及大小信息作为value存储在普通HBase的store上。这样就可以大大降低HBase的compaction和split频率，提升性能。 HBase当前默认开启MOB功能，相关配置项如表1所示。如果需要使用MOB功能，用户需要在创建表或者修改表属性时在指定的列族上指定使用mob方式存储数据。 MRS 3.3.0及之后版本不推荐使用HBase MOB功能。

MAPREDUCE服务 MRS 使用HBase

云服务器内容精选

使用HBase

7*24

备案

专业服务

退订

建议反馈

售前咨询热线