Hive-华为云

MAPREDUCE服务 MRS-Hive服务启动失败:处理步骤1

处理步骤1 执行以下命令： source /opt/Bigdata/ MRS _XXX/install/dbservice/.dbservice_profile gsql -h DBservice浮动IP地址 -p 20051 -d hivemeta -U hive -W hive用户密码如果不能正确进入交互界面，说明数据库初始化失败。如果报如下错误说明在DBservice所在的节点的配置文件可能丢失了hivemeta的配置。 org.postgresql.util.PSQLException: FATAL: no pg_hba.conf entry for host "192.168.0.146", database "HIVEMETA"。编辑“/srv/BigData/dbdata_service/data/pg_hba.conf”，在文件最后面追加host hivemeta hive 0.0.0.0/0 sha256配置。执行source /opt/Bigdata/MRS_XXX/install/dbservice/.dbservice_profile命令配置环境变量。执行gs_ctl -D $GAUSSDATA reload #命令使修改后的配置生效。

MAPREDUCE服务 MRS 使用Hive

数据治理中心 DATAARTS STUDIO-步骤3：数据集成入湖:新建表/文件迁移作业

新建表/文件迁移作业在 DataArts Studio 数据集成控制台，进入“集群管理”页面，在集群列表中找到所需要的集群，单击“作业管理”。在“作业管理”页面，单击“表/文件迁移”，再单击“新建作业”。图8 表/文件迁移按照如下步骤完成作业参数的配置。如图9所示，配置作业名称、源端作业参数和目的端作业参数，然后单击“下一步”。作业名称：source-sdi 源端作业配置源连接名称：obs-link 桶名：fast-demo 源目录或文件：/2017_Yellow_Taxi_Trip_Data.csv 文件格式： CS V格式显示高级属性：单击“显示高级属性”，在“高级属性”中，系统提供了默认值，请根据实际业务数据的格式设置各项参数。在本示例中，根据准备数据源中的样例数据格式，需注意以下参数的设置，其他参数经过一一确认均保留默认值即可。字段分隔符：默认值为逗号，本示例保留默认值即可。前N行为标题行：设置为“是”，本示例首行是标题行。标题行数：配置为1。编码类型：默认值为UTF-8，本示例保留默认值即可。目的端作业配置目的连接名称：mrs-link。数据库名称：demo_sdi_db。表名：sdi_taxi_trip_data。导入前清空数据：是。在本示例中，目的端作业参数“导入前清空数据”配置为“是”，表示每次作业运行都会先清空数据再导入。在实际业务中，请视情况而定，需谨慎设置，以免造成数据丢失。图9 作业配置在字段映射中，请参考以下说明配置字段映射以及日期字段的时间格式，如图10所示，配置完成后，单击“下一步”。字段映射：在本示例中，由于数据迁移的目标表字段顺序和原始数据的字段顺序是一样的，因此这里不需要调整字段映射的顺序。如果目标表字段顺序和原始数据不一致，请一一将源字段指向含义相同的目的字段。请将鼠标移至某一个字段的箭头起点，当光标显示为“+”的形状时，按住鼠标，将箭头指向相同含义的目的字段，然后松开鼠标。时间格式：样例数据中第2、第3个字段为时间字段，数据格式如“02/14/2017 04:08:11 PM”，因此此处设置这两个字段的时间格式为“MM/dd/yyyy hh:mm:ss a”，可以在输入框中手动输入该格式。时间格式请根据实际的数据格式进行设置，例如： “yyyy/MM/dd HH:mm:ss”代表将时间转换为24小时制，例如2019/08/18 15:35:45。 “yyyy/MM/dd hh:mm:ss a”代表将时间转换为12小时制，例如2019/06/27 03:24:21 PM。图10 字段映射根据需要配置任务的重试和定时执行。图11 任务配置单击“显示高级属性”，可配置“抽取并发数”以及“是否写入脏数据”，如图12所示。抽取并发数：您可以根据业务量进行配置。数据源端如果是文件类型，当有多个文件时，增大并发数可以提升抽取速率。是否写入脏数据：建议配置为“是”，然后参考图12配置相关参数。脏数据是指与目的端字段不匹的数据，该数据可以被记录到指定的OBS桶中。用户配置脏数据归档后，正常数据可以写入目的端，迁移作业不会因脏数据中断。在本示例中，“OBS桶”配置为在准备数据源中的桶fast-demo，您需要前往OBS控制台，在fast-demo桶中单击“新建文件夹”创建一个目录，例如error-data，然后再将图12中的“脏数据目录”配置为该目录。图12 任务高级属性单击“保存”完成作业的创建。返回“表/文件迁移”页面后，可在作业列表中查看到新建的作业。图13 迁移作业运行结果

数据治理中心 DATAARTS STUDIO 企业版：基于MRS Hive的出租车出行数据治理流程

表格存储服务 CLOUDTABLE-使用catalog连接非安全认证hive on obs:创建MRS Hive连接步骤

创建MRS Hive连接步骤通过访问以下地址登录表格存储服务管理控制台：https://console.huaweicloud.com/cloudtable。用户在CloudTable集群管理界面，选择需要操作的集群进入集群详情页面。单击tab页中的“连接设置”，弹出连接页面。单击左上角“新建连接”创建MRS Hive连接。新建连接类型：非安全认证hive on OBS，认证类型选择SIMPLE，OBS按钮开启状态。图1 新建连接表1 参数说明参数描述名称根据连接的数据源类型，用户可以自定义连接名。说明：必须以字母开头，由字母、数字、中划线组成，不能包含其他的特殊字符，并且长度为4～64个字符。连接器 Doris支持的外部数据目录组件，目前支持可选：Hive。 Hadoop类型 Doris支持hadoop组件，目前支持的可选：MRS。集群名称 MRS集群名称。说明： Doris只能对接一个kerberos集群中的一个用户。 Manager IP MRS Manager的浮动IP地址，选择连接的集群后，ip地址会自动填充。认证类型 MRS集群鉴权类型，安全集群可选“KERBEROS”，非安全集群可选“SIMPLE”。选择连接的集群后，安全类型会自动填充。连接器版本 MRS集群的数据源组件的版本，HIVE支持3版本，可选：3.X。用户名 MRS集群的用户名。密码 MRS集群mrs_user_name对应的密码。 OBS支持打开按钮，则支持OBS。关闭按钮则不支持OBS。配置好参数后，单击测试。如果测试失败请检查用户名和密码是否正确。测试完成后，单击确定按钮，连接设置页面会出现一条新的连接记录。

表格存储服务 CLOUDTABLE 创建MRS Hive连接

MAPREDUCE服务 MRS-配置Hive分区元数据冷热存储:查询冻结表的冻结分区

查询冻结表的冻结分区查询冻结分区： show frozen partitions 表名; 默认元数据库冻结分区类型只支持int、string、varchar、date、timestamp类型。外置元数据库只支持PostgreSQL数据库，且冻结分区类型只支持int、string、varchar、timestamp类型。对冻结后的表进行Msck元数据修复时，需要先解冻数据。如果对冻结表进行过备份后恢复操作，则可以直接执行Msck元数据修复操作，且解冻只能通过msck repair命令进行操作。对冻结后的分区进行rename时，需要先解冻数据，否则会提示分区不存在。删除存在冻结数据的表时，被冻结的数据会同步删除。删除存在冻结数据的分区时，被冻结的分区信息不会被删除，HDFS业务数据也不会被删除。 select查询数据时，会自动添加排查冷分区数据的过滤条件，查询结果将不包含冷分区的数据。 show partitions table查询表下的分区数据时，查询结果将不包含冷分区，可通过show frozen partitions table进行冷冻分区查询。

MAPREDUCE服务 MRS Hive数据存储及加密配置

MAPREDUCE服务 MRS-配置Hive表、列或数据库的用户权限:前提条件

前提条件获取一个拥有管理员权限的用户，例如“admin”。请参考创建Hive角色，在Manager界面创建一个角色，例如“hrole”，不需要设置Hive权限、设置提交HQL命令到Yarn执行的权限。在Manager界面创建两个使用Hive的“人机”用户并加入“hive”组，例如“huser1”和“huser2”。“huser2”需绑定“hrole”。使用“huser1”创建一个数据库“hdb”，并在此数据库中创建表“htable”。

MAPREDUCE服务 MRS Hive用户权限管理

MAPREDUCE服务 MRS-配置Hive表、列或数据库的用户权限:操作场景

操作场景使用Hive表或者数据库时，如果用户访问别人创建的表或数据库，需要授予对应的权限。为了实现更严格权限控制，Hive也支持列级别的权限控制。如果要访问别人创建的表上某些列，需要授予列权限。以下介绍使用Manager角色管理功能在表授权、列授权和数据库授权三个场景下的操作。安全模式支持配置Hive表、列或数据库的权限，普通模式不支持配置Hive表、列或数据库的权限。如果当前组件使用了Ranger进行权限控制，须基于Ranger配置相关策略进行权限管理，具体操作可参考添加Hive的Ranger访问权限策略。

MAPREDUCE服务 MRS Hive用户权限管理

MAPREDUCE服务 MRS-配置Hive表、列或数据库的用户权限:相关概念

相关概念表1 使用Hive表、列或数据库场景权限一览操作场景用户需要的权限 DESCRIBE TABLE 查询（Select） SHOW PARTITIONS 查询（Select） ANALYZE TABLE 查询（Select）、插入（Insert） SHOW COLUMNS 查询（Select） SHOW TABLE STATUS 查询（Select） SHOW TABLE PROPERTIES 查询（Select） SELECT 查询（Select） EXPLAIN 查询（Select） CREATE VIEW 查询（Select）、Select授权（Grant Of Select）、建表（Create） SHOW CREATE TABLE 查询（Select）、Select授权（Grant Of Select） CREATE TABLE 建表（Create） ALTER TABLE ADD PARTITION 插入（Insert） INSERT 插入（Insert） INSERT OVERWRITE 插入（Insert）、删除（Delete） LOAD 插入（Insert）、删除（Delete） ALTER TABLE DROP PARTITION 删除（Delete） CREATE FUNCTION Hive管理员权限（Hive Admin Privilege） DROP FUNCTION Hive管理员权限（Hive Admin Privilege） ALTER DATABASE Hive管理员权限（Hive Admin Privilege）

MAPREDUCE服务 MRS Hive用户权限管理

MAPREDUCE服务 MRS-Hive支持的传统关系型数据库语法说明:Grouping

Grouping 语法简介：当group by语句带with rollup/cube选项时，Grouping才有意义。 CUBE生成的结果集显示了所选列中值的所有组合的聚合。 ROLLUP生成的结果集显示了所选列中值的某一层次结构的聚合。 Grouping：当用CUBE或ROLLUP运算符添加行时，附加的列输出值为1；当所添加的行不是由CUBE或ROLLUP产生时，附加列值为0。例如，Hive中有一张表“table_test”，表结构如下所示： +----------------+-------------------+--+ | table_test.id | table_test.value | +----------------+-------------------+--+ | 1 | 10 | | 1 | 15 | | 2 | 20 | | 2 | 5 | | 2 | 13 | +----------------+-------------------+--+ 执行如下语句： select id,grouping(id),sum(value) from table_test group by id with rollup; 得到如下结果： +-------+-----------------+------+--+ | id | groupingresult | sum | +-------+-----------------+------+--+ | 1 | 0 | 25 | | NULL | 1 | 63 | | 2 | 0 | 38 | +-------+-----------------+------+--+

MAPREDUCE服务 MRS Hive常见SQL语法参考

MAPREDUCE服务 MRS-Hive支持的传统关系型数据库语法说明:EXCEPT、INTERSECT

EXCEPT、INTERSECT EXCEPT返回两个结果集的差（即从左查询中返回右查询没有找到的所有非重复值）。 INTERSECT返回两个结果集的交集（即两个查询都返回的所有非重复值）。例如，Hive中有两张表“test_table1”、“test_table2”。 “test_table1”表结构如下所示： +-----------------+--+ | test_table1.id | +-----------------+--+ | 1 | | 2 | | 3 | | 4 | +-----------------+--+ “test_table2”表结构如下所示： +-----------------+--+ | test_table2.id | +-----------------+--+ | 2 | | 3 | | 4 | | 5 | +-----------------+--+ 执行如下的EXCEPT语句： select id from test_table1 except select id from test_table2; 显示如下结果： +--------------+--+ | _alias_0.id | +--------------+--+ | 1 | +--------------+--+ 执行INTERSECT语句： select id from test_table1 intersect select id from test_table2; 显示如下结果： +--------------+--+ | _alias_0.id | +--------------+--+ | 2 | | 3 | | 4 | +--------------+--+

MAPREDUCE服务 MRS Hive常见SQL语法参考

MAPREDUCE服务 MRS-建立Hive表分区提升查询效率:操作步骤

操作步骤以root用户登录已安装Hive客户端的节点。执行以下命令，进入客户端安装目录，例如“/opt/client”。 cd /opt/client 执行source bigdata_env命令，配置客户端环境变量。在客户端中执行如下命令，执行登录操作。 kinit 用户名执行以下命令登录Hive客户端。 beeline 指定静态分区或者动态分区。静态分区：静态分区是手动输入分区名称，在创建表时使用关键字PARTITIONED BY指定分区列名及数据类型。应用开发时，使用ALTER TABLE ADD PARTITION语句增加分区，以及使用LOAD DATA INTO PARTITON语句将数据加载到分区时，只能加载到静态分区。动态分区：通过查询命令，将结果插入到某个表的分区时，可以使用动态分区。动态分区通过在客户端工具执行如下命令开启： set hive.exec.dynamic.partition=true; 动态分区默认模式是“strict”，也就是必须至少指定一列为静态分区，在静态分区下建立动态子分区，可以通过如下设置开启完全的动态分区： set hive.exec.dynamic.partition.mode=nonstrict; 动态分区可能导致一个DML语句创建大量的分区，对应的创建大量新文件夹，对系统性能可能带来影响。在文件数量大的情况下，执行一个SQL语句启动时间较长，可以在执行SQL语句之前执行“set mapreduce.input.fileinputformat.list-status.num-threads = 100;”命令缩短启动时间。“mapreduce.input.fileinputformat.list-status.num-threads”参数需要先添加到Hive的白名单才可设置。

MAPREDUCE服务 MRS Hive性能调优

MAPREDUCE服务 MRS-配置Hive支持创建超过32个角色:操作场景

操作场景因为MRS操作系统用户组个数限制，导致Hive不能创建超过32个角色，开启此功能后，Hive将支持创建超过32个角色。开启本功能并对表库等授权后，对表库目录具有相同权限的角色将会用“|”合并。查询ACL权限时，将显示合并后的结果，与开启该功能前的显示会有区别。此操作不可逆，请充分考虑实际应用场景，再决定是否作出调整。如果当前组件使用了Ranger进行权限控制，需基于Ranger配置相关策略进行权限管理，具体操作可参考添加Hive的Ranger访问权限策略。开启此功能后，包括owner在内默认最大可支持512个角色，由MetaStore自定义参数“hive.supports.roles.max”控制，可根据实际应用场景进行修改。

MAPREDUCE服务 MRS Hive企业级能力增强

MAPREDUCE服务 MRS-快速使用Hive进行数据分析:操作步骤

操作步骤以客户端安装用户，登录安装客户端的节点，客户端安装详细操作请参见安装客户端（3.x及之后版本）。执行以下命令切换到客户端目录，客户端安装目录如：/opt/client。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户，当前用户需要具有创建Hive表的权限，具体请参见创建角色配置拥有对应权限的角色，参考创建用户为用户绑定对应角色。如果当前集群未启用Kerberos认证，则无需执行此命令。 kinit MRS集群用户例如，kinit hiveuser。运行Hive客户端命令，实现A业务。内部表操作执行以下命令登录Hive客户端命令行： beeline 根据表1创建用户信息表user_info并添加相关数据，例如： create table user_info(id string,name string,gender string,age int,addr string); insert into table user_info(id,name,gender,age,addr) values("12005000201","A","男",19,"A城市"); 在用户信息表user_info中新增用户的学历、职称信息。以增加编号为12005000201的用户的学历、职称信息为例，其他用户类似。 alter table user_info add columns(education string,technical string); 根据用户编号查询用户姓名和地址。以查询编号为12005000201的用户姓名和地址为例，其他用户类似。 select name,addr from user_info where id='12005000201'; 删除用户信息表。 drop table user_info; 执行以下命令退出Hive客户端。 !q 外部分区表操作可使用insert语句直接向外部表中插入数据，也可以使用load data命令导入HDFS中的文件数据到外部表中。如果需要使用load data命令导入文件数据，需执行以下操作：根据表1数据创建文件。例如，文件名为“txt.log”，以空格拆分字段，以换行符作为行分隔符。执行以下命令上传文件至HDFS中，例如“/tmp”目录下。 hdfs dfs -put txt.log /tmp 执行以下命令创建外部表数据存储路径： hdfs dfs -mkdir /hive/ hdfs dfs -mkdir /hive/user_info 执行以下命令登录Hive客户端命令行： beeline 执行以下命令创建表： create external table user_info(id string,name string,gender string,age int,addr string) partitioned by(year string) row format delimited fields terminated by ' ' lines terminated by '\n' stored as textfile location '/hive/user_info'; fields terminated：表示分隔的字符，如按空格分隔，' '。 lines terminated：表示分行的字符，如按换行分隔，'\n'。 /hive/user_info：存储表user_info数据的HDFS路径。导入数据。使用insert语句插入数据，以插入编号为12005000201的用户相关信息为例，其他用户类似。 insert into user_info partition(year="2018") values ("12005000201","A","男",19,"A城市"); 使用load data命令导入文件数据。 load data inpath '/tmp/txt.log' into table user_info partition (year='2011'); 其中，“/tmp/txt.log”为5.a上传至HDFS的数据文件。执行以下命令查询导入数据。 select * from user_info; 执行以下命令删除用户信息表。 drop table user_info; 执行以下命令退出Hive客户端。 !q

MAPREDUCE服务 MRS 使用Hive

MAPREDUCE服务 MRS-快速使用Hive进行数据分析:背景信息

背景信息假定用户开发一个应用程序，用于管理企业中的使用A业务的用户信息，使用Hive客户端实现A业务操作流程如下：普通表的操作：创建用户信息表user_info。在用户信息中新增用户的学历、职称信息。根据用户编号查询用户姓名和地址。 A业务结束后，删除用户信息表。表1 用户信息编号姓名性别年龄地址 12005000201 A 男 19 A城市 12005000202 B 女 23 B城市 12005000203 C 男 26 C城市 12005000204 D 男 18 D城市 12005000205 E 女 21 E城市 12005000206 F 男 32 F城市 12005000207 G 女 29 G城市 12005000208 H 女 30 H城市 12005000209 I 男 26 I城市 12005000210 J 女 25 J城市

MAPREDUCE服务 MRS 使用Hive

MAPREDUCE服务 MRS-配置Hive业务使用其他组件的用户权限:操作场景

操作场景 Hive业务还可能需要关联使用其他组件，例如HQL语句触发MapReduce任务需要设置Yarn权限，或者Hive over HBase的场景需要HBase权限。以下介绍Hive关联Yarn和Hive over HBase两个场景下的权限操作。安全模式下Yarn和HBase的权限管理默认是开启的，因此在安全模式下默认需要配置Yarn和HBase权限。在普通模式下，Yarn和HBase的权限管理默认是关闭的，即任何用户都有权限，因此普通模式下默认不需要配置Yarn和HBase权限。如果用户修改了Yarn或者HBase的配置来开启权限管理，则修改后也需要配置Yarn和HBase权限。如果当前组件使用了Ranger进行权限控制，须基于Ranger配置相关策略进行权限管理，具体操作可参考添加Hive的Ranger访问权限策略。

MAPREDUCE服务 MRS Hive用户权限管理

MAPREDUCE服务 MRS-Hive Join数据优化:Sort Merge Bucket Map Join

Sort Merge Bucket Map Join 使用Sort Merge Bucket Map Join必须满足以下2个条件： join的两张表都很大，内存中无法存放。两张表都按照join key进行分桶（clustered by (column)）和排序（sorted by(column)），且两张表的分桶数正好是倍数关系。通过如下设置，启用Sort Merge Bucket Map Join： set hive.optimize.bucketmapjoin=true; set hive.optimize.bucketmapjoin.sortedmerge=true; 这种Map Join也没有Reduce任务，是在Map任务前启动MapReduce Local Task，将小表内容按桶读取到本地，在本机保存多个桶的HashTable备份并写入HDFS，并保存在Distributed Cache中，在Map Task中从本地磁盘或者Distributed Cache中按桶一个一个读取小表内容，然后与大表做匹配直接得到结果并输出。

MAPREDUCE服务 MRS Hive性能调优

云服务器内容精选

Hive

7*24

备案

专业服务

退订

建议反馈

售前咨询热线