检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
若存在无用数据,可删除对应数据以减小HBase存储文件数量,若以上情况都不满足,则需考虑扩容。 父主题: HBase故障排除
配置HDFS存储策略 功能简介 为HDFS上某个文件或文件夹指定存储策略。 代码样例 登录FusionInsight Manager页面,选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”。
父主题: Hive数据存储及加密配置
父主题: Hive数据存储及加密配置
父主题: Hive数据存储及加密配置
父主题: Hive数据存储及加密配置
配置底层存储系统 用户想要通过统一的客户端API和全局命名空间访问包括HDFS和OBS在内的持久化存储系统,从而实现了对计算和存储的分离时,可以在MRS Manager页面中配置Alluxio的底层存储系统来实现。
如何配置HBase文件存储 使用条件 集群版本小于MRS 3.x。
Hive数据存储及加密配置 使用HDFS Colocation存储Hive表 配置Hive分区元数据冷热存储 Hive支持ZSTD压缩格式 配置Hive列加密功能 父主题: 使用Hive
更改Broker角色的存储目录,所有Broker实例的存储目录将同步修改。 更改Broker单个实例的存储目录,只对单个实例生效,其他节点Broker实例存储目录不变。 对系统的影响 更改Broker角色的存储目录需要重新启动服务,服务重启时无法访问。
Hive数据存储及加密配置 使用HDFS Colocation存储Hive表 配置Hive分区元数据冷热存储 Hive支持ZSTD压缩格式 使用ZSTD_JNI压缩算法压缩Hive ORC表 配置Hive列加密功能 父主题: 使用Hive
适用于以下场景: 更改DataNode角色的存储目录,所有DataNode实例的存储目录将同步修改。 更改DataNode单个实例的存储目录,只对单个实例生效,其他节点DataNode实例存储目录不变。
同时用户可以任意变更数据的冷热分界点,数据可以从热存储到冷存储,也可以从冷存储到热存储。 图1 HBase冷热分离原理图 配置HBase冷热数据分离存储 通过在Manager界面修改HBase配置开启冷热分离特性,支持将冷数据存储在OBS,热数据存储在HDFS中。
适用于以下场景: 更改DataNode角色的存储目录,所有DataNode实例的存储目录将同步修改。 更改DataNode单个实例的存储目录,只对单个实例生效,其他节点DataNode实例存储目录不变。
使用LZC压缩算法存储HDFS文件 配置场景 文件压缩可以减少储存文件的空间,并且提高数据从磁盘读取和网络传输的速度。HDFS有Gzip和Snappy这两种默认压缩格式。本章节为HDFS新增加的压缩格式LZC(Lempel-Ziv Compression)提供配置方法。
更改Broker角色的存储目录,所有Broker实例的存储目录将同步修改。 更改Broker单个实例的存储目录,只对单个实例生效,其他节点Broker实例存储目录不变。 对系统的影响 更改Broker角色的存储目录需要重新启动服务,服务重启时无法访问。
MRS支持什么类型的分布式存储? 问: MRS集群支持什么类型的分布式存储?有哪些版本? 答: MRS集群内使用主流的大数据Hadoop,目前支持Hadoop 3.x版本,并且随集群演进更新版本。
回答 Spark SQL可以将表cache到内存中,并且使用压缩存储来尽量减少内存压力。通过将表cache,查询可以直接从内存中读取数据,从而减少读取磁盘带来的内存开销。 但需要注意的是,被cache的表会占用executor的内存。
使用LZC压缩算法存储HDFS文件 配置场景 文件压缩可以减少储存文件的空间,并且提高数据从磁盘读取和网络传输的速度。HDFS有Gzip和Snappy这两种默认压缩格式。本章节为HDFS新增加的压缩格式LZC(Lempel-Ziv Compression)提供配置方法。
更改NodeManager的存储目录 操作场景 Yarn NodeManager定义的存储目录不正确或Yarn的存储规划变化时,MRS集群管理员需要在Manager中修改NodeManager的存储目录,以保证Yarn正常工作。