HetuEngine-华为云

MAPREDUCE服务 MRS-调整HetuEngine元数据缓存:HetuEngine元数据缓存介绍

HetuEngine元数据缓存介绍当HetuEngine访问Hive数据源时，需要访问Hive metastore获取元数据信息。HetuEngine提供了元数据缓存的功能，当首次访问Hive数据源的库或表时，会将该库或表的元数据信息（数据库名、表名、表字段、分区信息、权限信息等）缓存起来，后续访问时不需要再次访问Hive metastore，在Hive数据源的表数据变化不频繁的场景下，可以一定程度上提升查询的性能。

MAPREDUCE服务 MRS HetuEngine性能调优

MAPREDUCE服务 MRS-START TRANSACTION:示例

示例 START TRANSACTION; START TRANSACTION ISOLATION LEVEL REPEATABLE READ; START TRANSACTION READ WRITE; START TRANSACTION ISOLATION LEVEL READ COMMITTED, READ ONLY; START TRANSACTION READ WRITE, ISOLATION LEVEL SERIALIZABLE; 不支持嵌套事务，也就是开启事务后，在commit之前不能再开启其他事务。

MAPREDUCE服务 MRS HetuEngine TCL SQL语法说明

MAPREDUCE服务 MRS-HetuEngine物化视图概述:使用HetuEngine物化视图介绍

使用HetuEngine物化视图介绍表2 物化视图使用介绍阶段说明参考章节物化视图SQL示例介绍物化视图支持的操作，包括创建物化视图、列举物化视图、查询物化视图等 HetuEngine物化视图SQL示例配置物化视图改写能力开启物化视图能力，提高查询的响应效率配置HetuEngine物化视图改写能力配置物化视图推荐能力自动学习并推荐对业务最有价值的物化视图SQL，使在线查询效率获得倍数提升，同时有效降低系统负载压力配置HetuEngine物化视图推荐能力配置物化视图缓存能力可将多次执行并改写后的SQL保存到缓存中，再次执行这条SQL时会直接从缓存中获取改写后的SQL，而不是重新对SQL进行改写，提高查询效率配置HetuEngine物化视图缓存能力配置物化视图有效期与数据刷新设置物化视图的有效期，当前系统只会使用有效期内的物化视图进行自动改写设置数据定期更新，可定时手动刷新或自动刷新物化视图配置HetuEngine物化视图的有效期与数据刷新能力配置智能物化视图提供自动化物化视图的创建，无需手动执行SQL创建物化视图（推荐使用）配置HetuEngine智能物化视图能力查看物化视图自动化任务记录看任务执行情况，帮助评估集群运行健康状况查看HetuEngine物化视图自动化任务

MAPREDUCE服务 MRS 配置HetuEngine物化视图

MAPREDUCE服务 MRS-HetuEngine物化视图概述:HetuEngine物化视图权限介绍

HetuEngine物化视图权限介绍物化视图权限如表1。物化视图权限控制依赖Ranger，若关闭Ranger鉴权会带来权限失效的风险。表1 HetuEngine物化视图权限介绍操作 catalog mv权限物化视图存储表的权限原始物理表的权限创建物化视图表的Create权限 NA 对应列的查询权限删除物化视图删除表权限 NA NA 刷新物化视图表的更新权限 NA 对应列的查询权限修改物化视图属性或状态表的Alter权限 NA NA 使用物化视图重写查询语句 NA NA 对应列的查询权限使用物化视图重写查询语句的执行计划（EXPLAIN） NA 对应列的查询权限对应列的查询权限查询物化视图对应列的查询权限 NA NA 物化视图和非物化视图的物理表联合查询对应列的查询权限 NA 对应列的查询权限查看物化视图 NA NA NA 查看物化视图的创建语句表的Show权限表的Show权限 NA

MAPREDUCE服务 MRS 配置HetuEngine物化视图

MAPREDUCE服务 MRS-HetuEngine物化视图概述:HetuEngine物化视图背景介绍

HetuEngine物化视图背景介绍 HetuEngine具备物化视图能力。在实际运用中，将高频访问的SQL查询和有高耗时的算子（连接，聚合等算子）的SQL通过建立物化视图进行预计算，然后在查询的SQL中将能匹配到物化视图的查询或者子查询转换为物化视图，避免了数据的重复计算，这种情况下往往能较大地提高查询的响应效率。物化视图通常基于对数据表进行聚合和连接的查询结果创建。物化视图支持“查询重写”，这是一种优化技术，即将基于原始表编写的查询语句转换为查询一个或多个物化视图语句的等效请求。如下物化视图的SQL示例： create materialized view mv.default.mv1 with(storage_table='hive.default.mv1') AS select id from hive.mvschema.t1; 该物化视图实际数据的存储表为“hive.default.mv1”，在查询重写时，查询SQL“select id from hive.mvschema.t1”会被重写成查询物化视图的表，即“select id from hive.default.mv1”。

MAPREDUCE服务 MRS 配置HetuEngine物化视图

MAPREDUCE服务 MRS-HetuEngine物化视图概述:使用HetuEngine物化视图场景

使用HetuEngine物化视图场景与普通的视图相比，物化视图会存储实际数据，占用存储资源，并且会有预计算带来的数据滞后性的问题，因此物化视图推荐在如下场景中使用：执行频次高的查询。查询包含非常耗时的操作，比如聚合、连接操作等。对查询结果数据可以允许有一定的滞后性。物化视图仅支持对接共部署Hive和外接Hive数据源，并且数据源表的存储格式为ORC或者PARQUET，不支持跨源跨域场景。

MAPREDUCE服务 MRS 配置HetuEngine物化视图

MAPREDUCE服务 MRS-INSERT:示例

示例创建fruit和fruit_copy表： create table fruit (name varchar,price double); create table fruit_copy (name varchar,price double); 向fruit表中插入一行数据： insert into fruit values('LIchee',32); -- 兼容写法示例,带上table关键字 insert into table fruit values('Cherry',88); 向fruit表中插入多行数据： insert into fruit values('banana',10),('peach',6),('lemon',12),('apple',7); 将fruit表中的数据行加载到fruit_copy表中，执行后表中有5条记录： insert into fruit_copy select * from fruit; 先清空fruit_copy表，再将fruit中的数据加载到表中，执行之后表中有2条记录： insert overwrite fruit_copy select * from fruit limit 2; 对于varchar类型，仅当目标表定义的列字段长度大于源表的实际字段长度时，才可以使用INSERT... SELECT...的形式从源表中查数据并且插入到目标表： create table varchar50(c1 varchar(50)); insert into varchar50 values('hetuEngine'); create table varchar100(c1 varchar(100)); insert into varchar100 select * from varchar50; 分区表使用insert overwrite语句时，只会清理插入值所在分区的数据，而不是整个表： --创建表 create table test_part (id int, alias varchar) partitioned by (dept_id int, status varchar); insert into test_part partition(dept_id=10, status='good') values (1, 'xyz'), (2, 'abc'); select * from test_part order by id; id | alias | dept_id | status ----|-------|---------|-------- 1 | xyz | 10 | good 2 | abc | 10 | good (2 rows) --清理分区partition(dept_id=25, status='overwrite')，并插入一条数据 insert overwrite test_part (id, alias, dept_id, status) values (3, 'uvw', 25, 'overwrite'); select * from test_part ; id | alias | dept_id | status ----|-------|---------|----------- 1 | xyz | 10 | good 2 | abc | 10 | good 3 | uvw | 25 | overwrite --清理分区partition(dept_id=10, status='good')，并插入一条数据 insert overwrite test_part (id, alias, dept_id, status) values (4, 'new', 10, 'good'); select * from test_part ordr; id | alias | dept_id | status ----|-------|---------|----------- 3 | uvw | 25 | overwrite 4 | new | 10 | good (2 rows) --分区表插入数据 create table test_p_1(name string, age int) partitioned by (provice string, city string); create table test_p_2(name string, age int) partitioned by (provice string, city string); -- 填充数据到test_p_1 insert into test_p_1 partition (provice = 'hebei', city= 'baoding') values ('xiaobei',15),( 'xiaoming',22); -- 根据test_p_1 插入数据到test_p_2 -- 方式一 from test_p_1 insert into table test_p_2 partition (provice = 'hebei', city= 'baoding') select name,age; -- 方式二 insert into test_p_2 partition(provice = 'hebei', city= 'baoding') select name,age from test_p_1;

MAPREDUCE服务 MRS HetuEngine DML SQL语法说明

MAPREDUCE服务 MRS-INSERT:语法

语法 INSERT { INTO | OVERWRITE } [TABLE] table_name [(column_list)] [ PARTITION (partition_clause)] {select_statement | VALUES (value [, value ...]) [, (value [, value ...]) ...] } FROM from_statement INSERT OVERWRITE TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement FROM from_statement INSERT INTO TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...) select_statement

MAPREDUCE服务 MRS HetuEngine DML SQL语法说明

MAPREDUCE服务 MRS-INSERT:限制

限制如果数据表中只有一个字段，且字段类型为row、struct，那么插入数据时需要用row对类型进行包裹。 -- 单字段表插入复杂类型需要用row()包裹 CREATE TABLE test_row (id row(c1 int, c2 string)); INSERT INTO test_row values row(row(1, 'test')); --多字段表复杂类型可以直接插入 CREATE TABLE test_multy_value(id int, col row(c1 int, c2 string)); INSERT INTO test_multy_value values (1,row(1,'test'));

MAPREDUCE服务 MRS HetuEngine DML SQL语法说明

MAPREDUCE服务 MRS-INSERT:描述

描述向表中插入新的数据行。如果指定了列名列表，那么这些列名列表必须与query语句产生列列表名完全匹配。表中不在列名列表中的每一列，其值会设置为null。如果没有指定列名列表，则query语句产生的列必须与将要插入的列完全匹配。使用insert into时，会往表中追加数据，而使用insert overwrite时，如果表属性“auto.purge”被设置为“true”，直接删除原表数据，再写入新的数据。如果对象表是分区表时，insert overwrite会删除对应分区的数据而非所有数据。 insert into后面的table关键字为可选，以兼容hive语法。

MAPREDUCE服务 MRS HetuEngine DML SQL语法说明

MAPREDUCE服务 MRS-Json函数和运算符:JSON函数

JSON函数 NULL到JSON的转换并不能简单地实现。从独立的NULL进行转换将产生一个SQLNULL，而不是JSON 'null'。不过，在从包含NULL的数组或Map进行转换时，生成的JSON将包含NULL。在从ROW转换为JSON时，结果是一个JSON数组，而不是一个JSON对象。这是因为对于SQL中的行，位置比名称更重要。支持从BOOLEAN、TINYINT、SMALLINT、INTEGER、BIGINT、REAL、DOUBLE或VARCHAR进行转换。当数组的元素类型为支持的类型之一、Map的键类型是VARCHAR且Map的值类型是支持的类型之一或行的每个字段类型是支持的类型之一时支持从ARRAY、MAP或ROW进行转换。下面通过示例展示了转换的行为： SELECT CAST(NULL AS JSON);-- NULL SELECT CAST(1 AS JSON);-- JSON '1' SELECT CAST(9223372036854775807 AS JSON);-- JSON '9223372036854775807' SELECT CAST('abc' AS JSON);-- JSON '"abc"' SELECT CAST(true AS JSON);-- JSON 'true' SELECT CAST(1.234 AS JSON);-- JSON '1.234' SELECT CAST(ARRAY[1, 23, 456] AS JSON);-- JSON '[1,23,456]' SELECT CAST(ARRAY[1, NULL, 456] AS JSON);-- JSON '[1,null,456]' SELECT CAST(ARRAY[ARRAY[1, 23], ARRAY[456]] AS JSON);-- JSON '[[1,23],[456]]' SELECT CAST(MAP(ARRAY['k1', 'k2', 'k3'], ARRAY[1, 23, 456]) AS JSON);-- JSON '{＂k1＂:1,＂k2＂:23,＂k3＂:456}' SELECT CAST(CAST(ROW(123, 'abc', true) AS ROW(v1 BIGINT, v2 VARCHAR, v3 BOOLEAN)) AS JSON);-- JSON '[123,"abc",true]'

MAPREDUCE服务 MRS HetuEngine SQL函数和操作符说明

MAPREDUCE服务 MRS-Json函数和运算符:JSON 转其他类型

JSON 转其他类型 SELECT CAST(JSON 'null' AS VARCHAR);-- NULL SELECT CAST(JSON '1' AS INTEGER);-- 1 SELECT CAST(JSON '9223372036854775807' AS BIGINT);-- 9223372036854775807 SELECT CAST(JSON '"abc"' AS VARCHAR);-- abc SELECT CAST(JSON 'true' AS BOOLEAN);-- true SELECT CAST(JSON '1.234' AS DOUBLE);-- 1.234 SELECT CAST(JSON '[1,23,456]' AS ARRAY(INTEGER));-- [1, 23, 456] SELECT CAST(JSON '[1,null,456]' AS ARRAY(INTEGER));-- [1, NULL, 456] SELECT CAST(JSON '[[1,23],[456]]' AS ARRAY(ARRAY(INTEGER)));-- [[1, 23], [456]] SELECT CAST(JSON '{"k1":1, "k2":23, "k3":456}' AS MAP(VARCHAR, INTEGER));-- {k1=1, k2=23, k3=456} SELECT CAST(JSON '{"v1":123, "v2":"abc","v3":true}' AS ROW(v1 BIGINT, v2 VARCHAR, v3 BOOLEAN));-- {v1=123, v2=abc, v3=true} SELECT CAST(JSON '[123, "abc",true]' AS ROW(v1 BIGINT, v2 VARCHAR, v3 BOOLEAN));-- {value1=123, value2=abc, value3=true} SELECT CAST(JSON'[[1, 23], 456]'AS ARRAY(JSON));-- [JSON '[1,23]', JSON '456'] SELECT CAST(JSON'{"k1": [1, 23], "k2": 456}'AS MAP(VARCHAR,JSON));-- {k1 = JSON '[1,23]', k2 = JSON '456'} SELECT CAST(JSON'[null]'AS ARRAY(JSON));-- [JSON 'null']

MAPREDUCE服务 MRS HetuEngine SQL函数和操作符说明

MAPREDUCE服务 MRS-添加Hudi数据源:添加Hudi数据源前提条件

添加Hudi数据源前提条件创建Hudi数据源的代理用户，该代理用户为人机用户且需拥有hive组。在HetuEngine所在集群的所有节点的“/etc/hosts”文件中，添加待对接数据源所在集群的主机名称和对应的IP映射，及其“/etc/hosts”文件中的“10.10.10.10 hadoop.系统域名 ”（如“10.10.10.10 hadoop.hadoop.com”），否则HetuEngine无法根据主机名称连接到非本集群节点。参考创建HetuEngine权限角色创建HetuEngine管理员用户。

MAPREDUCE服务 MRS 添加HetuEngine数据源

MAPREDUCE服务 MRS-配置HetuEngine SQL诊断功能:HetuEngine SQL诊断功能介绍

HetuEngine SQL诊断功能介绍 HetuEngine QAS实例可对用户的SQL执行历史记录提供自动感知、自动学习、自动诊断服务，提升在线SQL运维能力，自动加速在线SQL分析任务，开启SQL诊断能力后，系统可实现如下能力：自动感知并向集群管理员展现不同时间周期范围内的租户级、用户级的SQL任务统计，帮助集群管理员快速预判业务运行状态和潜在风险。自动诊断出大SQL、慢SQL及相关提交信息，面向集群管理员多维度可视化呈现，同时提供大SQL、慢SQL的诊断与优化建议。

MAPREDUCE服务 MRS 使用HetuEngine

MAPREDUCE服务 MRS-Color 函数

Color 函数 bar(x, width) 描述：使用默认的低频红色和高频绿色渲染ANSI条形图中的单个条形。例如，如果将25％的x和40的宽度传递给此函数。将绘制一个10个字符的红色条形，后跟30个空格，以创建一个40个字符的条形。 bar(x, width, low_color, high_color) 描述：在ANSI条形图中以指定宽度绘制一条直线。参数x是0到1之间的一个双精度值。x的值超出[0，1]范围将被截断为0或1值。low_color和high_color捕获用于水平条形图任一端的颜色。例如，如果x为0.5，宽度为80，low_color为0xFF0000，high_color为0x00FF00，则此函数将返回一个40个字符的条形，该条形由红色（0xFF0000）和黄色（0xFFFF00）组成，其余80个字符条为用空格填充。 select bar(0.75,80,rgb(255,0,0),rgb(0,255,0)); render(b) 描述：根据布尔值返回对错符号。 select render(true),render(false); 父主题： HetuEngine SQL函数和操作符说明

MAPREDUCE服务 MRS HetuEngine SQL函数和操作符说明

云服务器内容精选

HetuEngine

7*24

备案

专业服务

退订

建议反馈

售前咨询热线