检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
hindex.mapreduce.TableIndexer -Dtablename.to.index=<table_name> -Dindexspecs.to.add='IDX1=>cf1:[q1->datatype];cf2:[q1->datatype],[q2->datatype],[
建表的时候,指定inputformat为SpecifiedDelimiterInputFormat,然后在每次查询前,都设置如下参数来指定分隔符,就可以以指定的分隔符查询表数据。 set hive.textinput.record.delimiter=''; 当前版本的Hue组件
databases show tables 使用示例 --查询数据库 show databases; ┌─name────┐ │ default │ │ system │ │ test │ └───────┘ --查询表信息 show tables; ┌─name──┐
WITH TABLE tbl2 [PROPERTIES('swap' = 'true')]; 对于部分查询,可能执行时间比较长,查询比较耗费内存和CPU等资源,需要在SQL或user级别设置查询超时时间参数:query_timeout Doris数据变更建议 执行特殊的大SQL操作时,可以使用类似SELECT
Hive Group By语句优化 操作场景 优化Group by语句,可提升命令执行速度和查询速度。 Group by的时候, Map端会先进行分组, 分组完后分发到Reduce端, Reduce端再进行分组。可采用Map端聚合的方式来进行Group by优化,开启Map端初步聚合,减少Map的输出数据量。
配置过滤掉分区表中路径不存在的分区 配置场景 当读取HIVE分区表时,如果指定的分区路径在HDFS上不存在,则执行select查询时会报FileNotFoundException异常。此时可以通过配置“spark.sql.hive.verifyPartitionPath”参数来过
show functions能够查到相应的函数,但是无法使用,这是由于连接上的JDBC节点上没有相应路径的jar包,添加上相应的jar包能够查询成功。 图2 场景二异常信息 回答 场景一: add jar语句只会将jar加载到当前连接的JDBCServer的jarClassLoad
常见的操作。开发程序示例中,全部通过clickhouse-jdbc API接口来进行描述。 设置属性 建立连接 创建库 创建表 插入数据 查询数据 删除表 父主题: 开发ClickHouse应用
配置过滤掉分区表中路径不存在的分区 配置场景 当读取Hive分区表时,如果指定的分区路径在HDFS上不存在,则执行select查询时会报FileNotFoundException异常。此时可以通过配置“spark.sql.hive.verifyPartitionPath”参数来过
show functions能够查到相应的函数,但是无法使用,这是由于连接上的JDBC节点上没有相应路径的jar包,添加上相应的jar包能够查询成功。 图2 场景二异常信息 回答 场景一: add jar语句只会将jar加载到当前连接的JDBCServer的jarClassLoad
在同一cell。 查询频繁属性放在Rowkey前面部分。Rowkey的设计在排序上必须与主要的查询条件契合。 离散度较好的属性作为RowKey组成部分。分析数据离散度特点以及查询场景,综合各种场景进行设计。 存储冗余信息,提高检索性能。使用二级索引,适应更多查询场景。 利用过期时
HBase全局二级索引样例程序 HBase全局二级索引样例程序开发思路 创建HBase全局二级索引 查询HBase全局二级索引信息 基于全局二级索引查询HBase表数据 禁用HBase全局二级索引 删除HBase全局二级索引 父主题: 开发HBase应用
default”,勾选表“thc”的“查询”,单击“确定”保存。 MRS 3.x之前版本,Hive over HBase授权 用户如果需要使用类似SQL语句的方式来操作HBase表,授予权限后可以在Hive中使用HQL命令访问HBase表。以授予用户在Hive中查询HBase表的权限为例,操作步骤如下
集群业务规划、容量规划、数据分布。 数据库设计 Database设计、宽表设计、分布式表设计、本地表设计、分区设计、索引设计、物化视图设计。 数据库开发 简单查询、聚合查询、join查询、数据增/删/改等SQL开发。 数据库调优 调优思路、参数调优、系统调优、SQL改写调优。 数据库运维 监控、告警、日志、系统表/视图。
CarbonData故障排除 当在Filter中使用Big Double类型数值时,过滤结果与Hive不一致 executor内存不足导致查询性能下降 为什么数据查询/加载失败,且发生“org.apache.carbondata.core.memory.MemoryException: Not
databases show tables 使用示例 --查询数据库 show databases; ┌─name────┐ │ default │ │ system │ │ test │ └───────┘ --查询表信息 show tables; ┌─name──┐
的key获取对应的信息。这样在Spark2x中去读取Spark1.5创建的DataSource表时,就无法成功读取到key对应的信息,导致解析DataSource表信息失败。 而在处理Hive格式的表时,Spark2x与Spark1.5的存储方式一致,所以Spark2x可以直接读取Spark1
标签管理接口 集群操作默认标签 查询默认标签状态 查询标签配额 父主题: API V2
FROM Orders WHERE id = 10 WITH语句 WITH子句提供了一种用于更大查询而编写辅助语句的方法。这些语句通常被称为公用表表达式,表达式可以理解为仅针对某个查询而存在的临时视图。 语法: WITH <with_item_definition> [ , ..
配置流式读取Spark Driver执行结果 配置场景 在执行查询语句时,返回结果有可能会很大(10万数量以上),此时很容易导致JDBCServer OOM(Out of Memory)。因此,提供数据汇聚功能特性,在基本不牺牲性能的情况下尽力避免OOM。 配置描述 提供两种不同