使用HetuEngine-华为云

MAPREDUCE服务 MRS-HetuEngine交互查询引擎概述

HetuEngine交互查询引擎概述 HetuEngine能够支持多种数据源的快速联合查询并提供可视化的数据源配置、管理页面，用户可通过HSConsole界面快速添加数据源。当前版本HetuEngine支持对接的数据源如下表所示。表1 HetuEngine对接数据源一览表 HetuEngine模式数据源数据源模式支持对接的数据源版本安全模式 Hive 安全模式 MRS 3.x、 FusionInsight 6.5.1 HBase MRS 3.x、FusionInsight 6.5.1 HetuEngine MRS 3.1.1及以后 GaussDB GaussDB 200、GaussDB A 8.0.0及以后 Hudi MRS 3.1.2及以后 ClickHouse MRS 3.1.1及以后 IoTDB MRS 3.2.0及以后 MySQL MySQL 5.7、MySQL 8.0及以后 Oracle Oracle 12及以后版本 GBase GBase8a V950及以后版本普通模式 Hive 普通模式 MRS 3.x、FusionInsight 6.5.1 HBase MRS 3.x、FusionInsight 6.5.1 Hudi MRS 3.1.2及以后 ClickHouse MRS 3.1.1及以后 IoTDB MRS 3.2.0及以后 GaussDB 安全模式 GaussDB 200、GaussDB A 8.0.0及以后 MySQL MySQL 5.7、MySQL 8.0及以后 Oracle Oracle 12及以后版本 GBase GBase8a V950及以后版本 HetuEngine数据源的添加、配置、删除等操作支持动态生效，无须重启集群。目前动态生效不支持关闭，数据源动态生效时间默认为60秒。如需修改动态生效时间，请参考3.e修改“coordinator.config.properties”和“worker.config.properties”中的参数“catalog.scanner-interval”值为需要设定的动态生效时间，例如： catalog.scanner-interval =120s HetuEngine支持查询下推（pushdown），它能把查询，或者部分查询，下推到连接的数据源。这意味着特殊的谓词，聚合函数或者其他一些操作，可以被传递到底层数据库或者文件系统进行处理。查询下推能带来以下好处：提升整体的查询性能。减少HetuEngine和数据源之间的网络流量。减少远端数据源的负载。 HetuEngine对查询下推的具体支持情况，依赖于具体的Connector，以及Connector相关的底层数据源或存储系统。数据源集群域名与HetuEngine集群域名不能相同，HetuEngine也不支持同时对接两个相同域名的数据源（Hive，Hbase，Hudi数据源）。数据源集群与HetuEngine集群节点业务平面网络互通。父主题：使用HetuEngine

MAPREDUCE服务 MRS 使用HetuEngine

MAPREDUCE服务 MRS-快速使用HetuEngine访问Hive数据源:前提条件

前提条件集群已安装HetuEngine、Hive服务及其所依赖的服务（DBService、KrbServer、Zookeeper、HDFS、Yarn、MapReduce）且运行正常。如集群已启用Kerberos认证，需提前创建HetuEngine的用户并授予相关权限，具体操作请参见创建HetuEngine权限角色。且需要通过Ranger为该用户配置操作数据源的数据库、表、列的管理权限，具体操作请参考添加HetuEngine的Ranger访问权限策略。已安装集群客户端，例如安装目录为“/opt/client”。

MAPREDUCE服务 MRS 使用HetuEngine

MAPREDUCE服务 MRS-使用HetuEngine客户端:操作步骤

操作步骤以客户端安装用户登录HetuEngine服务客户端所在节点，切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 根据集群认证模式，完成HetuEngine客户端登录。安全模式：执行以下命令，完成用户认证并登录HetuEngine客户端。 kinit hetu_test hetu-cli --catalog hive --tenant default --schema default 普通模式：执行以下命令，登录HetuEngine客户端。 hetu-cli --catalog hive --tenant default --schema default --user hetu_test hetu_test是一个至少具备“--tenant”指定租户角色的业务用户，且不能是操作系统用户。参数说明： --catalog：（可选）指定的数据源名称。 --tenant：（可选）指定集群启动的租户资源队列，不指定为租户的默认队列。使用此参数时，业务用户需要具有该租户对应角色的权限。MRS 3.3.0及以后版本是否可选根据如下判断：可选：未启用租户的严格校验模式。必选：启用了租户的严格校验模式。 --schema：（可选）指定要访问数据源下的schema名称。 --user：（普通模式下必选）指定要登录客户端执行业务的用户名称，该用户至少需要具有“--tenant”指定队列的相应角色。首次登录客户端需要启动后台HetuEngine集群，大约需等待120秒，可以进入客户端界面。支持SQL语法，兼容开源openLooKeng 1.2.0版本SQL语法。其他参数可以执行hetu-cli --help查看。

MAPREDUCE服务 MRS 使用HetuEngine

云服务器内容精选

使用HetuEngine

7*24

备案

专业服务

退订

建议反馈

售前咨询热线