检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
多级嵌套子查询以及混合Join的SQL调优 操作场景 本章节介绍在多级嵌套以及混合Join SQL查询的调优建议。 前提条件 例如有一个复杂的查询样例如下: select s_name, count(1) as numwait from ( select s_name from (
Spark增量读取Hudi参数规范 规则 增量查询之前必须指定当前表的查询为增量查询模式,并且查询后重写设置表的查询模式 如果增量查询完,不重新将表查询模式设置回去,将影响后续的实时查询 示例 set hoodie.tableName.consume.mode=INCREMENT
使用HBase BulkLoad导入数据成功,执行相同的查询时却返回不同的结果 问题 在使用HBase bulkload导入数据时,如果导入的数据存在相同的rowkey值,数据可以导入成功,但是执行相同的查询时可能返回不同的结果。 回答 正常情况下,相同rowkey值的数据加载到
为什么数据查询/加载失败,且发生“org.apache.carbondata.core.memory.MemoryException: Not enough memory”异常? 问题 为什么数据查询/加载失败,且发生“org.apache.carbondata.core.memory
快速使用HetuEngine访问Hive数据源 本章节指导用户从零开始使用HetuEngine对接Hive数据源,并通过HetuEngine查询本集群Hive数据源的数据库表。 前提条件 集群已安装HetuEngine、Hive服务及其所依赖的服务(DBService、KrbSer
Hive使用WHERE条件查询超过3.2万分区的表报错 问题: Hive创建超过3.2万分区的表,执行带有WHERE分区的条件查询时出现异常,且“metastore.log”中打印的异常信息包含以下信息: Caused by: java.io.IOException: Tried
作。 查看已创建的索引 listIndices() 该API可用于列出给定表中的所有索引。 无 基于HBase本地二级索引查询数据 在具有索引的用户表中,可以使用Filter来查询数据。对于创建单索引和组合索引的用户表,使用过滤器查询的结果与没有使用索引的表相同,但数据查询性能高于没有使用索引的表。
Hive使用WHERE条件查询超过3.2万分区的表报错 问题 Hive创建超过3.2万分区的表,执行带有WHERE分区的条件查询时出现异常。 “metastore.log”中打印的异常信息包含以下信息: Caused by: java.io.IOException: Tried to
多副本场景下,运行在副本丢失损坏的BE节点的查询任务报错 现象描述 如果多个副本直接从磁盘上丢失了副本,比如mv改名,内核不会感知到该副本丢失,执行查询时如果请求运行在副本丢失的BE节点,报错: 处理步骤 登录安装了MySQL的节点,连接Doris数据库。 调用BE的check_
使用HBase BulkLoad导入数据成功,执行相同的查询时却可能返回不同的结果 问题 在使用HBase bulkload导入数据时,如果导入的数据存在相同的rowkey值,数据可以导入成功,但是执行相同的查询时可能返回不同的结果。 回答 正常情况下,相同rowkey值的数据加
在System.disks表中查询到磁盘status是fault或者abnormal 问题 在System.disks表中查询到磁盘status是fault或者abnormal。 回答 这种情况是由于磁盘存在IO错误,处理方法如下: 方法一:登录FusionInsight Man
在System.disks表中查询到磁盘status是fault或者abnormal 问题 在System.disks表中查询到磁盘status是fault或者abnormal。 回答 这种情况是由于磁盘存在IO错误,处理方法如下: 方法一:登录FusionInsight Man
Spark SQL无法查询到ORC类型的Hive表的新插入数据 问题 为什么通过Spark SQL无法查询到存储类型为ORC的Hive表的新插入数据?主要有以下两种场景存在这个问题: 对于分区表和非分区表,在Hive客户端中执行插入数据的操作后,会出现Spark SQL无法查询到最新插入的数据的问题。
Spark SQL无法查询到ORC类型的Hive表的新插入数据 问题 为什么通过Spark SQL无法查询到存储类型为ORC的Hive表的新插入数据?主要有以下两种场景存在这个问题: 对于分区表和非分区表,在Hive客户端中执行插入数据的操作后,会出现Spark SQL无法查询到最新插入的数据的问题。
后,会在外表数据路径下生成新的数据文件,且文件属组是userB,当userA查询tableA时,会读取外表数据目录下的所有的文件,此时会因没有userB生成的文件的读取权限而查询失败。 实际上,不只是查询场景,还有其他场景也会出现问题。例如:inset overwrite操作将会把此目录下的其他表文件也一起复写。
避免指定时间戳的方式写入索引列。 索引查询约束 索引查询时索引的状态必须为ACTIVE。 索引查询不支持指定时间戳范围查询。如果需要通过索引查询时间范围内的数据,请添加时间列存储该条数据时间戳,否则会使用数据表进行查询。 索引查询不支持指定StartRow和StopRow进行区间查询。如果指定了其中任
ACTIVE:索引正常,可以正常读写。 UNUSABLE:索引被禁用,索引数据会正常写入,查询时无法使用这个索引。 INACTIVE:索引异常,索引数据与数据表不一致,跳过生成该索引的索引数据,查询数据时无法使用该索引。 BUILDING:索引数据正常批量生成,索引数据生成工具执行结
更新,导致Spark SQL查询不到新插入的数据。 对于存储类型为Parquet的Hive分区表,在执行插入数据操作后,如果分区信息未改变,则缓存的元数据信息未更新,导致Spark SQL查询不到新插入的数据。 解决措施:在使用Spark SQL查询之前,需执行Refresh操作更新元数据信息。
LoadIncrementalHFiles /user/hbase/output_t1_idx t1 父主题: 配置HBase本地二级索引提升查询效率
使用BulkLoad工具查询HBase表的行统计数 操作场景 HBase BulkLoad工具支持根据rowkey的命名规则、rowkey的范围、字段名以及字段值统计符合条件的行数。 操作步骤 直接执行如下命令统计满足如下条件的行数。rowkey在从“row_start”到“ro