检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HDFS Java API接口介绍 HDFS完整和详细的接口可以直接参考官方网站上的描述:http://hadoop.apache.org/docs/r3.1.1/api/index.html。 HDFS常用接口 HDFS常用的Java类有以下几个: FileSystem:是客户端应用的核心类。常用接口参见表1。
监控云专线 监控是保持云专线可靠性、可用性和性能的重要部分,通过监控,用户可以观察云专线资源。为使用户更好地掌握自己的云专线运行状态,公有云平台提供了云监控。您可以使用该服务监控您的云专线,执行自动实时监控、告警和通知操作,帮助您更好地了解云专线的各项性能指标。 通过后续章节,您可以了解以下内容:
Connect的运行情况。 开通云监控服务 云监控服务默认开通使用。 如果需要查看ROMA Connect相关的监控指标,请参见查看云服务监控指标。 如果需要在监控数据满足指定条件时发送报警通知,可参见创建告警规则。 FDI支持的监控指标 表1 FDI支持的监控指标 指标ID 指标名称 指标含义
分为如下两类。 所有监控器:通知范围覆盖所有监控器,包括后续新增的监控器。一个账号仅能创建一次。 部分监控器:通知覆盖您选择的监控器。 异常成本类型 选择异常成本通知覆盖的成本类型,包括按需异常成本和包年包月异常成本两种。 通知阈值 关联的监控器中,某条异常记录的影响成本大于或等于该阈值时,成本中心发送通知给指定接收人。
配置HDFS文件回收站机制 配置场景 在HDFS中,如果删除HDFS的文件,删除的文件将被移动到回收站(trash)中,不会被立即清除,以便在误操作的情况下恢复被删除的数据。被删除的文件在超过老化时间后将变为老化文件,会基于系统机制清除或用户手动清除。 您可以设置文件保留在回收站
t/hadoop-hdfs/LibHdfs.html 代码样例 下面代码片段仅为演示,具体代码请参见样例代码解压目录中HDFS的C样例代码“HDFS/hdfs-c-example/hdfs_test.c”文件。 设置HDFS NameNode参数,建立HDFS文件系统连接。 hdfsFS
配置HDFS存储策略 功能简介 为HDFS上某个文件或文件夹指定存储策略。 代码样例 登录FusionInsight Manager页面,选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”。 搜索并查看“dfs.storage.policy.ena
配置HDFS存储策略 功能简介 为HDFS上某个文件或文件夹指定存储策略。 代码样例 登录FusionInsight Manager页面,选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”。 搜索并查看“dfs.storage.policy.ena
创建HDFS目录 功能简介 创建目录过程为: 调用FileSystem实例的exists方法查看该目录是否存在。 如果存在,则直接返回。 如果不存在,则调用FileSystem实例的mkdirs方法创建该目录。 代码样例 如下是写文件的代码片段,详细代码请参考com.huawei
删除HDFS指定目录 功能简介 删除HDFS上某个指定目录。 被删除的目录会被直接删除,且无法恢复。所以,执行删除操作需谨慎。 代码样例 如下是删除文件的代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 /**
执行下列命令,查看当前是否存在名为“huawei”的目录。 hdfs dfs -ls / 执行结果如下: linux1:/opt/client # hdfs dfs -ls / 16/04/22 16:10:02 INFO hdfs.PeerCache: SocketCache disabled
监控 使用Prometheus监控多个集群 使用dcgm-exporter监控GPU指标 将Prometheus监控数据上报至第三方监控平台 通过PromQL语句查询Prometheus数据
使用HDFS 修改RPC端口后HDFS NameNode实例都变为备状态 通过公网IP连接使用HDFS客户端报错 使用Python远程连接HDFS的端口失败 HDFS容量达到100%导致上层服务HBase、Spark等不可用 启动HDFS和Yarn服务报错“Permission denied”
1/hadoop-project-dist/hadoop-hdfs/WebHDFS.html。 准备运行环境 安装集群客户端,例如客户端安装目录为“/opt/client”。 执行下列命令进行用户认证,这里以hdfs为例,用户可根据实际用户名修改。 kinit hdfs kinit认证的默认时效为24小
设置HDFS存储策略 功能简介 为HDFS上某个文件或文件夹指定存储策略。 代码样例 在“${HADOOP_HOME}/etc/hadoop/”下的“Hdfs-site.xml”中设置如下参数。 <name>dfs.storage.policy.enabled</name> <value>true</value>
追加HDFS文件内容 功能简介 追加文件内容,是指在HDFS的某个指定文件后面,追加指定的内容。过程为: 实例化一个FileSystem。 由此FileSystem实例获取各类相关资源。 将待追加内容添加到HDFS的指定文件后面。 在完成后,需关闭所申请资源。 代码样例 如下是代码片段,详细代码请参考com
删除HDFS文件 功能简介 删除HDFS上某个指定文件或者文件夹。 被删除的文件或文件夹,会被放在当前用户目录下的.Trash/Current文件夹中。若发生误删除,可从该文件夹中恢复。 代码样例 如下是删除文件的代码片段,详细代码请参考com.huawei.bigdata.hdfs
HDFS显示磁盘空间不足,其实还有10%磁盘空间 问题背景与现象 出现“HDFS磁盘空间使用率超过阈值”告警。 查看HDFS页面,查看磁盘空间使用率非常高。 原因分析 HDFS中配置了dfs.datanode.du.reserved.percentage参数:每个磁盘的保留空间所
事件监控简介 事件监控提供了事件类型数据上报、查询和告警的功能。方便您将业务中的各类重要事件或对云资源的操作事件收集到云监控服务,并在事件发生时进行告警。事件监控不依赖于Agent插件。 事件即云监控服务保存并监控的云服务资源的关键操作。您可以通过“事件”了解到谁在什么时间对系统
读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为: 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后,需关闭所申请资源。 代码样例 如下是读文件的代码片段,详细代码请参考com.huawei