MAPREDUCE服务 MRS-为什么存储小文件过程中,缓存中的数据会丢失:回答
回答
由于断电,当写操作完成之后,缓存中的block不会立即被写入磁盘,如果要同步地将缓存的block写入磁盘,用户需要将“客户端安装路径/HDFS/hadoop/etc/hadoop/hdfs-site.xml”中的“dfs.datanode.synconclose”设置为“true”。
默认情况下,“dfs.datanode.synconclose”为“false”,虽然性能很高,但是断电之后,存储在缓存中的数据会丢失。将“dfs.datanode.synconclose”设置为“true”,可以解决此问题,但对性能有很大影响。请根据具体的应用场景决定是否开启该参数。
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- 大数据分析是什么_使用MapReduce_创建MRS服务
- 分布式缓存数据迁移_分布式缓存_数据迁移-华为云
- 免费缓存数据库_KV数据库redis场景_云数据库资源免费领取_缓存数据库2
- MapReduce服务_什么是MapReduce服务_什么是HBase
- 大数据存储_OBS怎么设置_免费的对象存储
- 分布式缓存服务Redis的安全能力_分布式缓存服务Redis的数据安全性
- 数据缓存_数据高并发_数据高可用-华为云
- OBS对象存储是免费的吗_对象存储服务_对象存储如何使用
- 大数据存储_一站式数据存储管理_数据存储方式有哪些