表格存储服务 CLOUDTABLE-使用catalog连接kerberos安全认证hive on obs:SQL命令

时间：2024-07-01 10:59:01

SQL命令

创建CATA LOG 的SQL命令以及参数说明。

CREATE CATALOG hive_catalog_OBS PROPERTIES (
    'type'='hms',
    'hive.metastore.uris' = 'thrift://192.x.x.x:port,thrift://192.x.x.x:port',
    'hive.metastore.sasl.enabled' = 'true',
    'hive.server2.thrift.sasl.qop'='auth-conf',
    'hive.server2.authentication' = 'KERBEROS',
    'hive.server2.authentication.kerberos.principal' = 'hive/hadoop.99261318_1115_4b1a_bcbd_f944f2d68731.com@99261318_1115_4B1A_BCBD_F944F2D68731.COM',
    'hive.metastore.kerberos.principal' = 'hive/hadoop.99261318_1115_4b1a_bcbd_f944f2d68731.com@99261318_1115_4B1A_BCBD_F944F2D68731.COM',
    'hadoop.security.authentication'='kerberos',
    'hadoop.kerberos.principal' = 'USER_NAME',
    'hive.version' = '3.1.0',
    'fs.defaultFS'='hdfs://hacluster',
    'hadoop.rpc.protection'='privacy',
    'AWS_AC CES S_KEY' = '***',
    'AWS_SECRET_KEY' = '***',
    'AWS_ENDPOINT' = 'obs.cn-north-7.ulanqab.huawei.com',
    'AWS_REGION' = 'cn-north-7',
    'yarn.resourcemanager.address' = '192.X.X.X:port',   
    'yarn.resourcemanager.principal' = 'mapred/hadoop.hadoop.com@HADOOP.COM'
);

表2 参数说明
参数	说明
type	对接外部数据类型。
hive.metastore.uris	hive元数据uri，可在hive-site.xml配置文件查看。
hive.metastore.sasl.enabled	可在hive-site.xml配置文件查看。
hive.server2.thrift.sasl.qop	可在hive-site.xml配置文件查看。
hive.server2.authentication	认证类型，在集群连接页面查看。
hive.server2.authentication.kerberos.principal	可在hive-site.xml配置文件查看。
hive.metastore.kerberos.principal	可在hive-site.xml配置文件查看。
hadoop.security.authentication	可在core-site.xml配置文件查看。
hadoop.kerberos.principal	\
hive.version	Hive版本。
fs.defaultFS	可在core-site.xml配置文件查看。
hadoop.rpc.protection	可在core-site.xml配置文件查看。
AWS_ACCESS_KEY	access key，获取方式请参见对象存储服务的获取访问密钥（AK/SK）章节。
AWS_SECRET_KEY	secret key，获取方式请参见对象存储服务的获取访问密钥（AK/SK）章节。
AWS_ENDPOINT	obs地址，获取方式见请参见对象存储服务的获取终端节点章节。
AWS_REGION	obs region，在obs页面查看。

参数获取方法。
1. 连接mrs集群，请参见使用mrs客户端章节。
2. 进入client目录下，显示出 MRS 的全部组件，目前使用的组件有HDFS和Hive组件。
```
cd /opt/Bigdata/client/
```
  HDFS组件中包含了core-site.xml、hdfs-site.xml配置文件，Hive组件中包含了hive-site.xml配置。
3. 进入组件中的配置文件查看参数。
  1. HDFS组件查看。
```
cd ./HDFS/hadoop/etc/
```
    进入hadoop目录。
```
cd hadoop/hdfs-site.xml
```
    打开hdfs-site.xml配置文件，查找相关参数。
```
vim hdfs-site.xml
```
  2. Hive组件查看。
```
/opt/Bigdata/client/Hive/config/hive-site.xml
```
    打开hive-site.xml配置文件，查找相关参数。
```
vim hive-site.xml
```
    catalog中的obs指的是obs桶，不是obs并行文件系统，目前还不支持obs并行文件系统。