检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用HBase BulkLoad导入数据成功,执行相同的查询时却返回不同的结果 问题 在使用HBase bulkload导入数据时,如果导入的数据存在相同的rowkey值,数据可以导入成功,但是执行相同的查询时可能返回不同的结果。 回答 正常情况下,相同rowkey值的数据加载到
库连接器来说,导出、导入速度更快。 使用mysql-fastpath-connector时,要求在NodeManager节点上有MySQL的mysqldump和mysqlimport命令,并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容,如果没有这两个命令或版本不兼容,请参考http://dev
库连接器来说,导出、导入速度更快。 使用mysql-fastpath-connector时,要求在NodeManager节点上有MySQL的mysqldump和mysqlimport命令,并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容,如果没有这两个命令或版本不兼容,请参考http://dev
库连接器来说,导出、导入速度更快。 使用mysql-fastpath-connector时,要求在NodeManager节点上有MySQL的mysqldump和mysqlimport命令,并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容,如果没有这两个命令或版本不兼容,请参考http://dev
加载空的part文件时,app无法显示在JobHistory的页面上 问题 在分组模式下执行应用,当HDFS上的part文件为空时,发现JobHistory首页面上不显示该part对应的app。 回答 JobHistory服务更新页面上的app时,会根据HDFS上的part文件大
如果待创建的表有一个常用于过滤的列 ,例如80%以上的场景使用此列过滤。 针对此类场景,调优方法如下: 将常用于过滤的列放在sort_columns第一列。 例如,msname作为过滤条件在查询中使用的最多,则将其放在第一列。创建表的命令如下,其中采用msname作为过滤条件的查询性能将会很好。
或“TIMESTAMP”时,需指定特定时间格式,其他类型指定无效。时间格式如:“yyyyMMdd HH:mm:ss”。 长度:配置字段长度,字段值实际长度太长则按配置的长度截取,“类型”为“CHAR”时实际长度不足则空格补齐,“类型”为“VARCHAR”时实际长度不足则不补齐。 常量值:配置符合类型的常量值。
创建HBase索引进行数据查询 操作场景 HBase是一个Key-Value类型的分布式存储数据库,HIndex为HBase提供了按照某些列的值进行索引的能力,缩小搜索范围并缩短时延。 使用约束 列族应以“;”分隔。 列和数据类型应包含在“[]”中。 列数据类型在列名称后使用“->”指定。
配置资源权限: 在配置资源权限列表中,选择“待操作的集群名称 > Doris”,勾选“Doris管理员权限”。 图1 创建具有Doris管理员权限的角色 单击“用户”,集群已启用Kerberos认证(安全模式)添加一个人机用户,集群未启用Kerberos认证(普通模式)添加一个机机用户,并绑定已创建的角色。
或“TIMESTAMP”时,需指定特定时间格式,其他类型指定无效。时间格式如:“yyyyMMdd HH:mm:ss”。 长度:配置字段长度,字段值实际长度太长则按配置的长度截取,“类型”为“CHAR”时实际长度不足则空格补齐,“类型”为“VARCHAR”时实际长度不足则不补齐。 常量值:配置符合类型的常量值。
创建HBase索引进行数据查询 操作场景 HBase是一个Key-Value类型的分布式存储数据库,HIndex为HBase提供了按照某些列的值进行索引的能力,缩小搜索范围并缩短时延。 使用约束 列族应以“;”分隔。 列和数据类型应包含在“[]”中。 列数据类型在列名称后使用“->”指定。
集群中创建的新用户执行查询Hive操作时无权限 问题现象 创建了新用户,但是执行查询的时候报无权限的错。 Error: Error while compiling statement: FAILED: HiveAccessControlException Permission denied:
快速创建和使用HBase离线数据查询集群 操作场景 本入门提供从零开始创建HBase查询集群并通过集群客户端进行HBase表的创建与查询操作指导。 HBase集群使用Hadoop和HBase组件提供一个稳定可靠、性能优异、可伸缩、面向列的分布式云存储系统,适用于海量数据存储以及分
=120s HetuEngine支持查询下推(pushdown),它能把查询,或者部分查询,下推到连接的数据源。这意味着特殊的谓词,聚合函数或者其他一些操作,可以被传递到底层数据库或者文件系统进行处理。查询下推能带来以下好处: 提升整体的查询性能。 减少HetuEngine和数据源之间的网络流量。
Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言,称为HQL,它允许熟悉SQL的用户查询数据。Hive的数据计算依赖于MapReduce、Spark、Tez。
、交互式SQL查询。除了使用相同的统一存储平台之外,Impala还使用与Apache Hive相同的元数据,SQL语法(Hive SQL),ODBC驱动程序和用户界面(Hue中的Impala查询UI)。这为实时或面向批处理的查询提供了一个熟悉且统一的平台。作为查询大数据的工具的补
默认对应Spark中的一个Partition,即一个Task。在有很多小文件时,Spark会启动很多Task,此时当SQL逻辑中存在Shuffle操作时,会大大增加hash分桶数,严重影响系统性能。 针对小文件很多的场景,DataSource在创建RDD时,先将Table中的sp
默认对应Spark中的一个Partition,即一个Task。在有很多小文件时,Spark会启动很多Task,此时当SQL逻辑中存在Shuffle操作时,会大大增加hash分桶数,严重影响系统性能。 针对小文件很多的场景,DataSource在创建RDD时,先将Table中的sp
DESC查询表结构 本章节主要介绍ClickHouse查询表结构的SQL基本语法和使用说明。 基本语法 DESC|DESCRIBE TABLE [database_name.]table [INTO OUTFILE filename] [FORMAT format] 使用示例 例如查询表t1的表结构:
解决的问题 MRS 3.2.0-LTS.1.8修复问题列表: 解决Spark JDBCServer在session关闭超时的时候会出现session一直存在的问题。 解决Spark列字段中的子查询带有distinct聚合函数时执行查询语法报错的问题。 解决DataArts Studio