检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置列统计值直方图Histogram用以增强CBO准确度 配置场景 Spark优化sql的执行,一般的优化规则都是启发式的优化规则,启发式的优化规则,仅仅根据逻辑计划本身的特点给出优化,没有考虑数据本身的特点,也就是未考虑算子本身的执行代价。Spark在2.2中引入了基于代价的优化规则
ClickHouse Projection设计 Projection仅在MRS 3.2.0及以上的版本集群中支持。 projection定义 CREATE TABLE test_projection_table( level String, type String,
离线数据加载:通过Spark视图读取Hive外表数据并写入Doris 应用场景 通过Spark视图读取Hive外表数据写入到Doris,并按照Unique指定字段自动去重。 方案架构 离线数据可以从数据湖加载,也可以直接加载本地文件。从数据湖加载可以使用工具CDM,在没有CDM工具时
如何处理视图拥有者权限不足缺少函数的grant权限 问题 访问独立部署Hive数据源的视图时,如果Hive视图中使用了函数,可能会出现如下报错信息:view owner does not have sufficient privileges。 图1 报错信息 回答 HetuEngine
HBase操作请求次数指标中的多级图表统计如何理解? 问: HBase操作请求次数指标中的多级图表统计如何理解? 答: 以“RegionServer级别操作请求次数”监控项为例: 登录FusionInsight Manager,选择“集群 > 服务 > HBase > 资源”,在该界面即可查看
MRS集群管理员可根据需要动态修改配置参数以实现在线集群管理。 Capacity Scheduler中每个队列可以限制资源使用量。队列间的资源分配以使用量作为排列依据,使得容量小的队列有竞争优势。
compaction.schedule.enabled 否 true 是否阶段性生成压缩plan,即使关闭在线压缩的情况下也建议开启 compaction.tasks 否 10 压缩Hudi表task并行度 index.state.ttl 否 7D 索引保存的时间,默认为7天(单位
HDFS基本原理 HDFS是Hadoop的分布式文件系统(Hadoop Distributed File System),实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写,多次读”的特征,而数据“写”操作是顺序写,也就是在文件创建时的写入或者在现有文件之后的添加操作
DROP MATERIALIZED VIEW 语法 DROP MATERIALIZED VIEW [IF EXISTS] view_name 描述 用于删除现有的物化视图。若删除的视图不存在,且指定了可选参数if exists,则不会抛出错误信息。 删除物化视图将导致删除与指定视图关联的元数据和表数据
DROP VIEW 语法 DROP VIEW [ IF EXISTS ] view_name 描述 删除存在的视图,可选参数IF EXISTS指定时,如果删除的视图不存在,则不会报错。 示例 创建视图 create view orders_by_date as select * from
REFRESH MATERIALIZED VIEW 语法 REFRESH MATERIALIZED VIEW materialized_view_name 描述 用于更新物化视图的数据。 需提前获取物化视图名称。 如下为示例。 示例 hetuengine:tpcds_orc_hive
SHOW CREATE VIEW 语法 SHOW CREATE VIEW view_name 描述 显示指定数据视图的SQL创建语句。 示例 显示能够创建order_view视图的SQL语句: SHOW CREATE VIEW test_view; Create
SHOW CREATE MATERIALIZED VIEW 语法 SHOW CREATE MATERIALIZED VIEW materialized_view_name 描述 显示用于创建物化视图的SQL语句。 示例 显示创建物化视图的SQL语句。 hetuengine:tpcds
配置Hive读取Hudi表 Hudi表对应的Hive外部表介绍 Hudi源表对应一份HDFS的数据,通过Spark组件、Flink组件或者Hudi客户端,可以将Hudi表的数据映射为Hive外部表,基于该外部表,Hive可以进行实时视图查询、读优化视图查询以及增量视图查询。 根据Hudi
ALTER MATERIALIZED VIEW STATUS 语法 ALTER MATERIALIZED VIEW qualifiedName SET STATUS <status> 描述 修改物化视图的状态,仅支持ENABLE和SUSPEND相互转换,以及将DISABLE状态修改为
SHOW VIEWS 语法 SHOW VIEWS [IN/FROM database_name] [ LIKE pattern [ESCAPE escapeChar] ] 描述 列举指定Schema中所有满足条件的视图。 默认使用当前Schema,也可以通过in/from子句来指定
Doris应用开发流程介绍 开发流程中各阶段的说明如下图所示。 图1 Doris应用程序开发流程 表1 Doris应用开发的流程说明 阶段 说明 参考文档 准备开发环境 在进行应用开发前,需首先准备开发环境,推荐使用Java语言进行开发,使用IntelliJ IDEA工具,同时完成
Doris应用开发开发流程介绍 开发流程中各阶段的说明如下图所示。 图1 Doris应用程序开发流程 表1 Doris应用开发的流程说明 阶段 说明 参考文档 准备开发环境 在进行应用开发前,需首先准备开发环境,推荐使用Java语言进行开发,使用IntelliJ IDEA工具,同时完成
Hue与其他组件的关系 Hue与Hadoop集群的关系 Hue与Hadoop集群的交互关系如图1所示。 图1 Hue与Hadoop集群 表1 Hue与其它组件的关系 名称 描述 HDFS HDFS提供REST接口与Hue交互,用于查询、操作HDFS文件。 在Hue把用户请求从用户界面组装成接口数据
SELECT VIEW CONTENT 语法 SELECT column_name FROM view_name 描述 用于查询视图内容。 示例 SELECT * FROM test_view; 父主题: HetuEngine DQL SQL语法说明