云服务器内容精选

  • HetuEngine元数据缓存介绍 当HetuEngine访问Hive数据源时,需要访问Hive metastore获取元数据信息。HetuEngine提供了元数据缓存的功能,当首次访问Hive数据源的库或表时,会将该库或表的元数据信息(数据库名、表名、表字段、分区信息、权限信息等)缓存起来,后续访问时不需要再次访问Hive metastore,在Hive数据源的表数据变化不频繁的场景下,可以一定程度上提升查询的性能。
  • 操作场景 GaussDB MDE特性是指在使用HetuEngine服务向GaussDB写入数据时( CTS 和ITS语法),解除数据仅通过GaussDB的Coordinator流通的限制,使数据也可通过GaussDB的Worker节点流入GaussDB,减少GaussDB的Coordinator节点压力,并提升数据写入性能。 GaussDB MDE特性需要借助GaussDB的SQL On Hadoop能力,使用外部服务器作为数据传递的载体。HetuEngine目前仅支持使用HDFS外部服务器,并且该HDFS外部服务器需与HetuEngine服务在同一个Hadoop集群。 使用HetuEngine执行SQL向GaussDB写入数据,当前仅支持以下两类语法可通过GaussDB MDE特性进行性能提升: CREATE TABLE AS SELECT FROM hive INSERT INTO SELECT FROM hive 当前仅支持GaussDB(DWS) 8.0.0及以后版本