检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MapReduce日志介绍 日志描述 日志默认存储路径： JobhistoryServer：“/var/log/Bigdata/mapreduce/jobhistory”（运行日志），“/var/log/Bigdata/audit/mapreduce/jobhistory”（审计日志
使用LZC压缩算法存储HDFS文件 配置场景 文件压缩可以减少储存文件的空间，并且提高数据从磁盘读取和网络传输的速度。HDFS有Gzip和Snappy这两种默认压缩格式。本章节为HDFS新增加的压缩格式LZC（Lempel-Ziv Compression）提供配置方法。
更改Broker角色的存储目录，所有Broker实例的存储目录将同步修改。 更改Broker单个实例的存储目录，只对单个实例生效，其他节点Broker实例存储目录不变。 对系统的影响 更改Broker角色的存储目录需要重新启动服务，服务重启时无法访问。
父主题： Hive数据存储及加密配置
使用LZC压缩算法存储HDFS文件 配置场景 文件压缩可以减少储存文件的空间，并且提高数据从磁盘读取和网络传输的速度。HDFS有Gzip和Snappy这两种默认压缩格式。本章节为HDFS新增加的压缩格式LZC（Lempel-Ziv Compression）提供配置方法。
更改NodeManager的存储目录 操作场景 Yarn NodeManager定义的存储目录不正确或Yarn的存储规划变化时，MRS集群管理员需要在Manager中修改NodeManager的存储目录，以保证Yarn正常工作。
更改NodeManager的存储目录 操作场景 Yarn NodeManager定义的存储目录不正确或Yarn的存储规划变化时，MRS集群管理员需要在Manager中修改NodeManager的存储目录，以保证Yarn正常工作。
父主题： Hive数据存储及加密配置
配置Ranger元数据存储至RDS 本章节旨在指导用户将现有集群的Ranger元数据切换为RDS数据库中存储的元数据。该操作可以使多个MRS集群共用同一份元数据，且元数据不随集群的删除而删除，也能够避免集群迁移时Ranger元数据的迁移。
MRS支持什么类型的分布式存储？ 问： MRS集群支持什么类型的分布式存储？有哪些版本？ 答： MRS集群内使用主流的大数据Hadoop，目前支持Hadoop 3.x版本，并且随集群演进更新版本。
存储资源 为当前租户选择存储资源。 选择“HDFS”时，系统将自动在HDFS父租户目录中，以子租户名称创建文件夹。 不选择“HDFS”时，系统不会分配存储资源。 文件\目录数上限 配置文件和目录数量配额。 存储空间配额 配置当前租户使用的HDFS存储空间配额。
这将用于排序数据，存储列页面等。单位是MB。
存储资源目前支持HDFS存储，可以添加删除租户HDFS存储目录，设置目录的文件数量配额和存储空间配额。 Manager作为MRS的统一租户管理平台，用户可以在界面上根据业务需要，在集群中创建租户、管理租户。 创建租户时将自动创建租户对应的角色、计算资源和存储资源。
是否可以手动调整DataNode数据存储目录 问题 数据块在DataNode上的存储目录由“dfs.datanode.data.dir”配置项指定，是否可以修改该配置项来修改数据存储目录？ 是否可以手动拷贝数据存储目录下的文件？
输入“日志存储时间”，如果不设置，系统默认存储时间为30天。日志组创建后，日志存储时间支持修改。 云日志服务的计费单位为日志使用量，免费额度为500MB/月，包括日志读写、日志存储和日志索引，超过免费额度后将按照日志使用量进行收费。 单击“确定”，完成日志组的创建。
是否可以手动调整DataNode数据存储目录 问题 数据块在DataNode上的存储目录由“dfs.datanode.data.dir”配置项指定，是否可以修改该配置项来修改数据存储目录？ 是否可以手动拷贝数据存储目录下的文件？
RDD的生成： 从HDFS输入创建，或从与Hadoop兼容的其他存储系统中输入创建。 从父RDD转换得到新RDD。 从数据集合转换而来，通过编码实现。 RDD的存储： 用户可以选择不同的存储级别缓存RDD以便重用（RDD有11种存储级别）。
当分级存储策略为LAZY_PERSIST时为什么文件的副本的存储类型为DISK 问题 当文件的存储策略为LAZY_PERSIST时，文件的第一副本的存储类型应为RAM_DISK，其余副本为DISK。 为什么文件的所有副本的存储类型都是DISK？
DEFAULT state.backend 状态后端存储介质，建议“rocksdb”。 rocksdb 表2 HBase作为冷数据二级状态后端存储 参数名称 参数说明 取值示例 table.exec.state.cold.enabled 是否开启冷热分级存储。
如何设置开源Flink中的znode存储目录 问题现象 如何将开源Flink中的znode存储目录设置为自定义目录。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
