云服务器内容精选

华为云首页用户手册

HDFS常见问题

MAPREDUCE服务 MRS-执行distcp命令报错如何处理:回答

回答当用户在distcp命令中使用webhdfs://时，会发生上述异常，是由于集群所使用的HTTP政策为HTTPS，即配置在“hdfs-site.xml”（文件路径为“客户端安装目录/HDFS/hadoop/etc/hadoop”）的“dfs.http.policy”值为“HTTPS_ONLY”。所以要避免出现此异常，应使用swebhdfs://替代webhdfs://。例如： ./hadoop distcpswebhdfs://IP:PORT/testfile hdfs://IP:PORT/testfile1

MAPREDUCE服务 MRS HDFS常见问题
MAPREDUCE服务 MRS-执行distcp命令报错如何处理:回答

回答当用户在distcp命令中使用webhdfs://时，会发生上述异常，是由于集群所使用的HTTP政策为HTTPS，即配置在“hdfs-site.xml”（文件路径为“客户端安装目录/HDFS/hadoop/etc/hadoop”）的“dfs.http.policy”值为“HTTPS_ONLY”。所以要避免出现此异常，应使用swebhdfs://替代webhdfs://。例如： ./hadoop distcpswebhdfs://IP:PORT/testfile hdfs://IP:PORT/testfile1

MAPREDUCE服务 MRS HDFS常见问题
MAPREDUCE服务 MRS-是否可以手动调整DataNode数据存储目录:回答

回答 “dfs.datanode.data.dir”配置项用于指定数据块在DataNode上的存储目录，在系统安装时需要指定根目录，并且可以指定多个根目录。请谨慎修改该配置项，可以添加新的数据根目录。禁止删除原有存储目录，否则会造成数据块丢失，导致文件无法正常读写。禁止手动删除或修改存储目录下的数据块，否则可能会造成数据块丢失。 NameNode和JournalNode存在类似的配置项，也同样禁止删除原有存储目录，禁止手动删除或修改存储目录下的数据块。 dfs.namenode.edits.dir dfs.namenode.name.dir dfs.journalnode.edits.dir

MAPREDUCE服务 MRS HDFS常见问题