检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在左侧导航栏中选择“监控中心”-“流量监控”。 查看整个系统的监控情况。 拓扑图中显示了系统处于运行中和未就绪的应用数量。 图1 流量拓扑 查看某个组件的监控情况。 选择服务网格、集群及命名空间,单击拓扑图上的组件,进入组件监控详情页面,如图2所示。 图2 流量监控详情页 其中, 流
数,用户可根据需要调整内存值。 查看HDFS容量状态 NameNode信息 MRS 3.x之前版本:登录MRS控制台,选择“组件管理 > HDFS > NameNode(主)”,单击“Overview”,查看“Summary”显示的当前HDFS文件对象、文件数量、目录数量和Block数量信息。
果等效于下面的命令: hadoop distcp -f hdfs://cluster1/srclist \ hdfs://cluster2/bar/foo 其中srclist里面的内容如下。注意运行distcp命令前,需要将srclist文件上传到HDFS上。 hdfs://cluster1/foo/a
概览 主机监控分为基础监控、操作系统监控和进程监控。 基础监控:ECS自动上报的监控指标,数据采集频率为5分钟1次。可以监控CPU使用率等指标,详见云产品监控指标。BMS不支持基础监控,需要安装主机监控Agent插件。 操作系统监控:通过在ECS或BMS中安装Agent插件,为用
创建监控看板 用户添加监控视图之前,需要先创建监控看板。目前云监控服务支持创建10个监控看板,满足您对云服务运行情况不同的监控需求。 操作步骤 登录管理控制台。 单击“服务列表 > 云监控服务”。 选择“监控看板 > Dashboards”,单击“创建Dashboard”。 系统弹出“创建Dashboard”窗口。
果等效于下面的命令: hadoop distcp -f hdfs://cluster1/srclist \ hdfs://cluster2/bar/foo 其中srclist里面的内容如下。注意运行distcp命令前,需要将srclist文件上传到HDFS上。 hdfs://cluster1/foo/a
初始化HDFS 功能简介 在使用HDFS提供的API之前,需要先进行HDFS初始化操作。过程为: 加载HDFS服务配置文件。 实例化Filesystem。 代码样例 如下是代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。
HDFS文件系统目录简介 HDFS是Hadoop的分布式文件系统(Hadoop Distributed File System),实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写,多次读”的特征,而数据“写”操作是顺序写,也就是在文件创建时的写入或者在
HDFS目录配额不足导致写文件失败 问题背景与现象 给某目录设置quota后,往目录中写文件失败,出现如下问题“The DiskSpace quota of /tmp/tquota2 is exceeded”。 [omm@189-39-150-115 client]$ hdfs dfs
容器监控 容器监控和组件监控的区别在于所监控的对象不同。 组件监控是全量监控,监控对象为通过CCE部署的工作负载、通过ServiceStage创建的应用,或直接在ECS或BMS上部署的组件。 容器监控的对象仅为通过CCE部署的工作负载、通过ServiceStage创建的应用。 组件监控详细操作请参见:组件监控。
访问HDFS WebUI时,界面提示无法显示此页 问题 通过IE 9、IE 10和IE 11等浏览器访问HDFS的原生UI界面,偶尔出现访问失败情况。 现象 访问页面失败,浏览器无法显示此页,如下图所示: 原因 IE 9、IE 10、IE 11浏览器的某些版本在处理SSL握手有问题导致访问失败。
配置HDFS用户访问HDFS文件权限 配置HDFS目录权限 默认情况下,某些HDFS的文件目录权限为777或者750,存在安全风险。建议您在安装完成后修改该HDFS目录的权限,增加用户的安全性。 在HDFS客户端中,使用具有HDFS管理员权限的用户,执行如下命令,将“/user”的目录权限进行修改。
配置HDFS用户访问HDFS文件权限 配置HDFS目录权限 默认情况下,某些HDFS的文件目录权限为777或者750,存在安全风险。建议您在安装完成后修改该HDFS目录的权限,增加用户的安全性。 在HDFS客户端中,使用具有HDFS管理员权限的用户,执行如下命令,将“/user”的目录权限进行修改。
namespace内协调HDFS的各种操作。这些操作包括获取数据块位置,列出目录及创建文件。NameNode接受HDFS的操作,将其视作RPC调用并置入FIFO调用队列,供读取线程处理。虽然FIFO在先到先服务的情况下足够公平,但如果用户执行的I/O操作较多,相比I/O操作较少的
(首次配置时)选择站点监控存储数据所属的区域。 您可以更改站点监控存储数据所属区域。该区域用于存储站点监控数据,例如您创建的告警规则数据、监控视图数据和导出的监控数据。 在弹出的“创建站点监控”对话框中根据界面提示配置参数,如创建站点监控所示,参数说明如表1所示。 图1 创建站点监控 表1 配置参数
启动HDFS和Yarn服务报错“Permission denied” 用户问题 启动HDFS和Yarn时报错。 问题现象 无法启动HDFS、Yarn服务组件,报错内容:/dev/null Permission denied。 原因分析 用户修改了虚机系统的“/dev/null”的权限值为775。
使用Python远程连接HDFS的端口失败 用户问题 使用Python远程连接HDFS的端口失败,如何解决? 问题现象 用户使用Python远程连接HDFS的50070端口失败。 原因分析 HDFS开源3.0.0以下版本的默认端口为50070,3.0.0及以上的默认端口为9870
配置HDFS DataNode数据均衡 操作场景 本章节适用于MRS 3.x及后续版本。 HDFS集群可能出现DataNode节点间磁盘利用率不平衡的情况,比如集群中添加新数据节点的场景。如果HDFS出现数据不平衡的状况,可能导致多种问题,比如MapReduce应用程序无法很好地
原因分析 出现这个报错可能的场景有: 开源HDFS客户端访问MRS集群的HDFS时报错。 使用jar包连接MRS集群的HDFS(包括提交任务时连接HDFS)时报错。 解决办法 方法一: 找到命令或者jar包使用的HDFS配置文件hdfs-site.xml。 修改“dfs.client.failover
HDFS网络不稳定场景调优 配置场景 在网络不稳定的情况下,调整如下参数,降低客户端应用运行异常概率。 配置描述 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 ha.health-monitor.rpc-timeout