检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
1/hadoop-project-dist/hadoop-hdfs/LibHdfs.html。 代码样例 下面代码片段仅为演示，具体代码请参见获取样例代码解压目录中“HDFS/hdfs-c-example/hdfs_test.c”文件。 设置HDFS NameNode参数，建立HDFS文件系统连接。 hdfsFS
非HDFS数据残留导致数据分布不均衡 问题背景与现象 数据出现不均衡，某磁盘过满而其他磁盘未写满。 HDFS DataNode数据存储目录配置为“/export/data1/dfs--/export/data12/dfs”，看到的现象是大量数据都是存储到了“/export/data1/dfs”，其他盘的数据比较均衡。
HDFS Colocation 功能简介 同分布（Colocation）功能是将存在关联关系的数据或可能要进行关联操作的数据存储在相同的存储节点上。HDFS文件同分布的特性，将那些需进行关联操作的文件存放在相同数据节点上，在进行关联操作计算时避免了到别的数据节点上获取数据，大大降低网络带宽的占用。
户可根据需要调整内存值。 查看HDFS容量状态 NameNode信息 登录FusionInsight Manager，选择“集群 > 服务 > HDFS > NameNode(主)”，单击“Overview”，查看“Summary”显示的当前HDFS文件对象、文件数量、目录数量和Block数量信息。
HDFS常见问题 执行distcp命令报错如何处理 HDFS执行Balance时被异常停止如何处理 访问HDFS WebUI时，界面提示无法显示此页 HDFS WebUI无法正常刷新损坏数据的信息 NameNode节点长时间满负载导致客户端无响应 为什么主NameNode重启后系统出现双备现象
HDFS文件系统的应用开发。 C API 提供HDFS文件系统的应用接口，使用C语言开发的用户可参考C接口HDFS C API接口介绍 的描述进行应用开发。 Shell 提供shell命令 HDFS Shell命令介绍 完成HDFS文件系统的基本操作。 HTTP REST API 提供除Shell、Java
HDFS容量达到100%导致上层服务HBase、Spark等不可用 用户问题 集群的HDFS容量使用达到100%，HDFS服务状态为只读，导致上层服务HBase、Spark等上报服务不可用告警。 问题现象 HDFS使用容量100%，磁盘容量只使用85%左右，HDFS服务状态为只读
配置HDFS DiskBalancer磁盘均衡 配置场景 DiskBalancer是一个在线磁盘均衡器，旨在根据各种指标重新平衡正在运行的DataNode上的磁盘数据。工作方式与HDFS的Balancer工具类似。不同的是，HDFS Balancer工具用于DataNode节点间的数据均衡，而HDFS
读HDFS文件 功能简介 获取HDFS上某个指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsMain类。 /** * 读文件 * *
删除HDFS指定文件 功能简介 删除HDFS上某个指定文件。 被删除的文件会被直接删除，且无法恢复。所以，执行删除操作需谨慎。 代码样例 如下是删除文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 /**
删除HDFS指定文件 功能简介 删除HDFS上某个指定文件。 被删除的文件会被直接删除，且无法恢复。所以，执行删除操作需谨慎。 代码样例 如下是删除文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 /**
删除HDFS指定目录 功能简介 删除HDFS上某个指定目录。 被删除的目录会被直接删除，且无法恢复。所以，执行删除操作需谨慎。 代码样例 如下是删除文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 /**
创建HDFS目录 功能简介 创建目录过程为： 调用FileSystem实例的exists方法查看该目录是否存在。 如果存在，则直接返回。 如果不存在，则调用FileSystem实例的mkdirs方法创建该目录。 代码样例 如下是写文件的代码片段，详细代码请参考com.huawei
写HDFS文件 功能简介 写文件过程为： 实例化一个FileSystem。 由此FileSystem实例获取写文件的各类资源。 将待写内容写入到HDFS的指定文件中。 在写完文件后，需关闭所申请资源。 代码样例 如下是写文件的代码片段，详细代码请参考com.huawei.bigdata
初始化HDFS 功能简介 在使用HDFS提供的API之前，需要先进行HDFS初始化操作。过程为： 加载HDFS服务配置文件，并进行kerberos安全认证。 认证通过后，实例化Filesystem。 此处kerberos安全认证需要使用到的keytab文件，请提前准备。 代码样例
HDFS Java API接口介绍 HDFS完整和详细的接口可以直接参考官方网站上的描述：http://hadoop.apache.org/docs/r3.1.1/api/index.html。 HDFS常用接口 HDFS常用的Java类有以下几个： FileSystem：是客户端应用的核心类。常用接口参见表1。
读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为： 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei
配置HDFS快速关闭文件功能 操作场景 默认情况下关闭HDFS文件时需要等待所有的Block都上报成功（处于COMPLETED状态）。因此HDFS的一部分写性能消耗为等待DataNode块上报以及NameNode处理块上报。对于一个负载较大的集群，等待的消耗对集群影响较大。HDF
初始化HDFS 功能简介 在使用HDFS提供的API之前，需要先进行HDFS初始化操作。过程为： 加载HDFS服务配置文件，并进行kerberos安全认证。 认证通过后，实例化Filesystem。 使用HDFS的API。 此处kerberos安全认证需要使用到的keytab文件，请提前准备。
HDFS Java API接口介绍 HDFS完整和详细的接口可以直接参考官方网站上的描述： http://hadoop.apache.org/docs/r3.1.1/api/index.html HDFS常用接口 HDFS常用的Java类有以下几个： FileSystem：是客户端应用的核心类。常用接口参见表1。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
