-
读取HDFS指定文件内容 - MapReduce服务 MRS
读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为: 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后,需关闭所申请资源。
-
通过Hue管理HDFS文件 - MapReduce服务 MRS
文件:表示创建一个文件,输入文件名后单击“创建”完成。 目录:表示创建一个目录,输入目录名后单击“创建”完成。 上传用户文件 在“文件浏览器”界面,单击“上传”。 在弹出的上传文件窗口中单击“选择文件”或将文件拖至窗口中,完成文件上传。
-
如何配置HBase文件存储 - MapReduce服务 MRS
由于HBase接口以及内部机制的原因,一些较大的文件也不适合直接保存到HBase中。 HFS的出现,就是为了解决需要在Hadoop中存储海量小文件,同时也要存储一些大文件的混合场景。
-
读取HDFS指定文件内容 - MapReduce服务 MRS
读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为: 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后,需关闭所申请资源。
-
查询或者删除HDFS文件失败 - MapReduce服务 MRS
查询或者删除HDFS文件失败 问题背景与现象 使用HDFS的shell客户端查询或者删除文件失败,父目录可以看见此文件(不可见字符)。 图1 父目录文件列表 原因分析 可能是该文件写入时有异常,写入了不可见字符。可以将该文件名重定向写入本地文本中,使用vi命令打开。
-
查看实例配置文件 - MapReduce服务 MRS
单击需要查看配置的实例名称,在概览页面的“配置文件”区域内,系统会显示该实例相关的配置文件列表。 图1 查看实例配置文件 单击要查看的配置文件的名称,可查看配置文件内具体的配置参数值内容。 如需获取该配置文件,可单击“下载至本地”按钮,将该配置文件内容下载到本地PC。
-
ALM-12054 证书文件失效(2.x及以前版本) - MapReduce服务 MRS
ALM-12054 证书文件失效(2.x及以前版本) 告警解释 系统在每天二十三点检查当前系统中的证书文件是否失效(即当前集群中的证书文件是否过期,或者尚未生效)。如果证书文件失效,产生该告警。 当重新导入一个正常证书,并且状态不为失效状态,该告警恢复。
-
读取HDFS文件失败,报错“FileNotFoundException” - MapReduce服务 MRS
搜索文件创建到出现异常时间范围的NameNode的审计日志,搜索该文件是否被删除或者移动到其他目录。 如果该文件没有被删除或者移动,可能是该文件的父目录,或者更上层目录被删除或者移动,需要继续搜索上层目录。如本样例中,是文件的父目录被删除。
-
批量刷新hosts文件 - MapReduce服务 MRS
执行批量刷新“/etc/hosts”文件时,输入的客户端包可以是完整客户端,也可以是仅包含配置文件的客户端软件包,推荐使用仅包含配置文件的客户端软件包。 需要更新“/etc/hosts”文件的主机所配置的用户必须为root用户,否则会刷新失败。 父主题: 客户端管理
-
开发Oozie配置文件 - MapReduce服务 MRS
开发Oozie配置文件 Oozie样例程序开发思路 Oozie应用开发步骤 父主题: 开发Oozie应用
-
开发Oozie配置文件 - MapReduce服务 MRS
开发Oozie配置文件 Oozie样例程序开发思路 Oozie应用开发步骤 父主题: 开发Oozie应用
-
开发Oozie配置文件 - MapReduce服务 MRS
开发Oozie配置文件 Oozie样例程序开发思路 Oozie应用开发步骤 父主题: 开发Oozie应用
-
使用Hue提交Oozie Shell作业 - MapReduce服务 MRS
单击“文件+”,添加Shell命令执行文件或Oozie样例执行文件,可以选择存储在HDFS的文件或本地文件。 若文件存储在HDFS上,选择“.sh”文件所在路径即可,例如“user/hueuser/shell/oozie_shell.sh”。
-
HBase version文件损坏导致启动失败 - MapReduce服务 MRS
通过hadoop fs -cat /hbase/hbase.version命令发现文件不能正常查看,该文件损坏。 解决办法 执行hbase hbck -fixVersionFile命令修复文件。 如1不能解决,从同版本的其他集群中获取hbase.version文件上传进行替换。
-
开发Oozie配置文件 - MapReduce服务 MRS
开发Oozie配置文件 Oozie样例程序开发思路 Oozie应用开发步骤 父主题: 开发Oozie应用
-
HDFS目录配额不足导致写文件失败 - MapReduce服务 MRS
原因分析 HDFS支持设置某目录的配额,即限制某目录下的文件最多占用空间大小,例如如下命令是设置“/tmp/tquota”目录最多写入150MB的文件(文件大小*副本数)。
-
配置HDFS文件目录标签策略 - MapReduce服务 MRS
配置HDFS文件目录标签策略 配置场景 用户需要通过数据特征灵活配置HDFS文件数据块的存储节点。通过设置HDFS目录/文件对应一个标签表达式,同时设置每个Datanode对应一个或多个标签,从而给文件的数据块存储指定了特定范围的Datanode。
-
配置HDFS文件目录标签策略 - MapReduce服务 MRS
配置HDFS文件目录标签策略 配置场景 用户需要通过数据特征灵活配置HDFS文件数据块的存储节点。通过设置HDFS目录/文件对应一个标签表达式,同时设置每个DataNode对应一个或多个标签,从而给文件的数据块存储指定了特定范围的DataNode。
-
Flink业务程序无法读取NFS盘上的文件 - MapReduce服务 MRS
执行如下命令查看用户权限,文件所在路径请使用该文件的绝对路径。 ll <文件所在路径> 建议与总结 当用户提交的任务中要访问自定义的配置文件时,特别是挂载NFS盘时,除了确认文件的权限之外,还要确认文件所在父目录的权限是否正确。
-
HDFS客户端写文件close失败 - MapReduce服务 MRS
HDFS客户端写文件close失败 问题背景与现象 HDFS客户端写文件close失败,客户端提示数据块没有足够副本数。