检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
初始化HDFS 功能简介 在使用HDFS提供的API之前，需要先进行HDFS初始化操作。过程为： 加载HDFS服务配置文件。 实例化Filesystem。 代码样例 如下是代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。
创建HDFS权限角色 操作场景 该任务指导MRS集群管理员在FusionInsight Manager创建并设置HDFS的角色。HDFS角色可设置HDFS目录或文件的读、写和执行权限。 用户在HDFS中对自己创建的目录或文件拥有完整权限，可直接读取、写入以及授权他人访问此HDFS目录与文件。
在左侧导航栏中选择“监控中心”-“流量监控”。 查看整个系统的监控情况。 拓扑图中显示了系统处于运行中和未就绪的应用数量。 图1 流量拓扑 查看某个组件的监控情况。 选择服务网格、集群及命名空间，单击拓扑图上的组件，进入组件监控详情页面，如图2所示。 图2 流量监控详情页 其中， 流
namespace内协调HDFS的各种操作。这些操作包括获取数据块位置，列出目录及创建文件。NameNode接受HDFS的操作，将其视作RPC调用并置入FIFO调用队列，供读取线程处理。虽然FIFO在先到先服务的情况下足够公平，但如果用户执行的I/O操作较多，相比I/O操作较少的
hdfs_path 格式 无。 说明 HDFS的路径，如“hdfs:///tmp”。 父主题： 标示符
HDFS网络不稳定场景调优 配置场景 在网络不稳定的情况下，调整如下参数，降低客户端应用运行异常概率。 配置描述 请参考修改集群服务配置参数，进入HDFS的“全部配置”页面，在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 ha.health-monitor.rpc-timeout
启动HDFS和Yarn服务报错“Permission denied” 用户问题 启动HDFS和Yarn时报错。 问题现象 无法启动HDFS、Yarn服务组件，报错内容：/dev/null Permission denied。 原因分析 用户修改了虚机系统的“/dev/null”的权限值为775。
原因分析 出现这个报错可能的场景有： 开源HDFS客户端访问MRS集群的HDFS时报错。 使用jar包连接MRS集群的HDFS（包括提交任务时连接HDFS）时报错。 解决办法 方法一： 找到命令或者jar包使用的HDFS配置文件hdfs-site.xml。 修改“dfs.client.failover
概览 主机监控分为基础监控、操作系统监控和进程监控。 基础监控：ECS自动上报的监控指标，数据采集频率为5分钟1次。可以监控CPU使用率等指标，详见云产品监控指标。BMS不支持基础监控，需要安装主机监控Agent插件。 操作系统监控：通过在ECS或BMS中安装Agent插件，为用
HDFS执行Balance时被异常停止如何处理 问题 在HDFS客户端启动一个Balance进程，该进程被异常停止后，再次执行Balance操作，操作会失败。 回答 通常，HDFS执行Balance操作结束后，会自动释放“/system/balancer.id”文件，可再次正常执行Balance。
容器监控 容器监控和组件监控的区别在于所监控的对象不同。 组件监控是全量监控，监控对象为通过CCE部署的工作负载、通过ServiceStage创建的应用，或直接在ECS或BMS上部署的组件。 容器监控的对象仅为通过CCE部署的工作负载、通过ServiceStage创建的应用。 组件监控详细操作请参见：组件监控。
API、WEB UI五种方式，可参考HDFS常用API介绍、HDFS Shell命令介绍。 JAVA API 提供HDFS文件系统的应用接口，本开发指南主要介绍如何使用Java API进行HDFS文件系统的应用开发。 C API 提供HDFS文件系统的应用接口，使用C语言开发的用户可参考C接口的描述进行应用开发。
创建监控看板 用户添加监控视图之前，需要先创建监控看板。目前云监控服务支持创建10个监控看板，满足您对云服务运行情况不同的监控需求。 操作步骤 登录管理控制台。 单击“服务列表 > 云监控服务”。 选择“监控看板 > Dashboards”，单击“创建Dashboard”。 系统弹出“创建Dashboard”窗口。
户可根据需要调整内存值。 查看HDFS容量状态 NameNode信息 登录FusionInsight Manager，选择“集群 > 服务 > HDFS > NameNode(主)”，单击“Overview”，查看“Summary”显示的当前HDFS文件对象、文件数量、目录数量和Block数量信息。
（首次配置时）选择站点监控存储数据所属的区域。 您可以更改站点监控存储数据所属区域。该区域用于存储站点监控数据，例如您创建的告警规则数据、监控视图数据和导出的监控数据。 在弹出的“创建站点监控”对话框中根据界面提示配置参数，如创建站点监控所示，参数说明如表1所示。 图1 创建站点监控 表1 配置参数
果等效于下面的命令： hadoop distcp -f hdfs://cluster1/srclist \ hdfs://cluster2/bar/foo 其中srclist里面的内容如下。注意运行distcp命令前，需要将srclist文件上传到HDFS上。 hdfs://cluster1/foo/a
配置HDFS DiskBalancer磁盘均衡 配置场景 DiskBalancer是一个在线磁盘均衡器，旨在根据各种指标重新平衡正在运行的DataNode上的磁盘数据。工作方式与HDFS的Balancer工具类似。不同的是，HDFS Balancer工具用于DataNode节点间的数据均衡，而HDFS
非HDFS数据残留导致数据分布不均衡 问题背景与现象 数据出现不均衡，某磁盘过满而其他磁盘未写满。 HDFS DataNode数据存储目录配置为“/export/data1/dfs--/export/data12/dfs”，看到的现象是大量数据都是存储到了“/export/data1/dfs”，其他盘的数据比较均衡。
HDFS性能调优 提升HDFS写数据性能 配置HDFS客户端元数据缓存提高读取性能 使用活动缓存提升HDFS客户端连接性能 HDFS网络不稳定场景调优 优化HDFS NameNode RPC的服务质量 优化HDFS DataNode RPC的服务质量 执行HDFS文件并发操作命令
HDFS常用配置参数 参数入口 请参考修改集群服务配置参数进入HDFS服务配置页面。 参数说明 表1 HDFS参数说明 参数 参数说明 默认值 fs.obs.security.provider 指定获取访问OBS文件系统密钥的实现方式。 参数取值： com.huawei.mrs.
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
