检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HDFS样例程序开发思路 场景说明 HDFS的业务操作对象是文件，代码样例中所涉及的文件操作主要包括创建文件夹、写文件、追加文件内容、读文件和删除文件/文件夹；HDFS还有其他的业务处理，例如设置文件权限等，其他操作可以在掌握本代码样例之后，再扩展学习。 本代码样例讲解顺序为： HDFS初始化
创建HDFS文件并写入内容 功能简介 写文件过程为： 使用FileSystem实例的create方法获取写文件的输出流。 使用该数据流将内容写入到HDFS的指定文件中。 在写完文件后，需关闭所申请资源。 代码样例 如下是写文件的代码片段，详细代码请参考com.huawei.bigdata
HDFS访问OBS 功能简介 访问OBS过程为： 设置“fs.obs.access.key”和“fs.obs.secret.key”。 由此FileSystem实例可以读取、新增和删除各类资源。 不支持追加操作。 前提条件 对接OBS前需要提前在OBS服务中创建相关目录，并确保访问用户具有对应目录的访问操作权限。
往HDFS写数据时报错“java.net.SocketException” 问题 为什么在往HDFS写数据时报“java.net.SocketException: No buffer space available”异常？ 这个问题发生在往HDFS写文件时。查看客户端和DataNode的错误日志。
配置HDFS存储策略 功能简介 为HDFS上某个文件或文件夹指定存储策略。 代码样例 登录FusionInsight Manager页面，选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”。 搜索并查看“dfs.storage.policy.ena
HDFS Shell命令介绍 HDFS Shell 您可以使用HDFS Shell命令对HDFS文件系统进行操作，例如读文件、写文件等操作。 执行HDFS Shell的方法： 初始化环境变量。 source /opt/client/bigdata_env 如果当前集群已启用Ker
将参数值设置为“org.apache.hadoop.hdfs.server.namenode.ha.BlackListingFailoverProxyProvider”， 可使用从NameNode支持读的特性。 org.apache.hadoop.hdfs.server.namenode.ha
配置HDFS存储策略 功能简介 为HDFS上某个文件或文件夹指定存储策略。 代码样例 登录FusionInsight Manager页面，选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”。 搜索并查看“dfs.storage.policy.ena
配置HDFS存储策略 功能简介 为HDFS上某个文件或文件夹指定存储策略。 代码样例 登录FusionInsight Manager页面，选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”。 搜索并查看“dfs.storage.policy.ena
删除HDFS指定目录 功能简介 删除HDFS上某个指定目录。 被删除的目录会被直接删除，且无法恢复。所以，执行删除操作需谨慎。 代码样例 如下是删除文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 /**
删除HDFS指定文件 功能简介 删除HDFS上某个指定文件。 被删除的文件会被直接删除，且无法恢复。所以，执行删除操作需谨慎。 代码样例 如下是删除文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 /**
HDFS网络不稳定场景调优 配置场景 在网络不稳定的情况下，调整如下参数，降低客户端应用运行异常概率。 配置描述 请参考修改集群服务配置参数，进入HDFS的“全部配置”页面，在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 ha.health-monitor.rpc-timeout
enable 是否开启细粒度锁特性。开启之后可以有效提升HDFS读写性能。 默认为：false 参数修改后保存配置。 在HDFS“实例”界面，勾选主备NameNode实例，选择“更多 > 滚动重启实例”，等待滚动重启完成生效。 父主题： HDFS企业级能力增强
配置HDFS应用安全认证 场景说明 访问安全集群环境中的服务，需要先通过Kerberos安全认证。所以HDFS应用程序中需要写入安全认证代码，确保HDFS程序能够正常运行。 安全认证有两种方式： 命令行认证： 提交HDFS应用程序运行前，在HDFS客户端执行如下命令进行认证。 kinit
化。 操作步骤 登录FusionInsight Manager页面。 选择“集群 > 服务 > HDFS > 配置 > 全部配置”进入HDFS全部配置页面。 搜索“hdfs.hdfs-site.customized.configs”参数，增加如下自定义参数，参数值根据实际需求进行配置。
删除HDFS指定目录 功能简介 删除HDFS上某个指定目录。 被删除的目录会被直接删除，且无法恢复。所以，执行删除操作需谨慎。 代码样例 如下是删除文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 /**
HDFS调用FileInputFormat的getsplit的时候出现数组越界 问题 HDFS调用FileInputFormat的getSplit方法的时候，出现ArrayIndexOutOfBoundsException: 0，日志如下： java.lang.ArrayInde
准备HDFS应用开发用户 前提条件 MRS服务集群开启了Kerberos认证，没有开启Kerberos认证的集群忽略该步骤。 操作场景 开发用户用于运行样例工程。用户需要有HDFS权限，才能运行HDFS样例工程。 操作步骤 登录MRS Manager，在MRS Manager界面选择“系统设置
设置HDFS存储策略 功能简介 为HDFS上某个文件或文件夹指定存储策略。 代码样例 在“${HADOOP_HOME}/etc/hadoop/”下的“Hdfs-site.xml”中设置如下参数。 <name>dfs.storage.policy.enabled</name> <value>true</value>
统操作都获取此实例，会创建过多HDFS链接，消耗HDFS资源。 Colocation提供了文件同分布的功能，执行集群Balancer或Mover操作时，会移动数据块，使Colocation功能失效。因此，使用Colocation功能时，建议将HDFS配置项dfs.datanode
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
