-
HDFS客户端写文件close失败 - MapReduce服务 MRS
HDFS客户端写文件close失败 问题背景与现象 HDFS客户端写文件close失败,客户端提示数据块没有足够副本数。
-
配置Oozie作业操作HDFS文件 - MapReduce服务 MRS
表1 参数含义 参数 含义 name FS活动的名称 delete 删除指定的文件和目录的标签 move 将文件从源目录移动到目标目录的标签 chmod 修改文件或目录权限的标签 path 当前文件路径 source 源文件路径 target 目标文件路径 permissions
-
配置Oozie作业操作HDFS文件 - MapReduce服务 MRS
表1 参数含义 参数 含义 name FS活动的名称 delete 删除指定的文件和目录的标签 move 将文件从源目录移动到目标目录的标签 chmod 修改文件或目录权限的标签 path 当前文件路径 source 源文件路径 target 目标文件路径 permissions
-
追加信息到HDFS指定文件 - MapReduce服务 MRS
追加信息到HDFS指定文件 功能简介 追加文件内容,是指在HDFS的某个指定文件后面,追加指定的内容。过程为: 使用FileSystem实例的append方法获取追加写入的输出流。 使用该输出流将待追加内容添加到HDFS的指定文件后面。 在完成后,需关闭所申请资源。
-
追加信息到HDFS指定文件 - MapReduce服务 MRS
追加信息到HDFS指定文件 功能简介 追加文件内容,是指在HDFS的某个指定文件后面,追加指定的内容。过程为: 使用FileSystem实例的append方法获取追加写入的输出流。 使用该输出流将待追加内容添加到HDFS的指定文件后面。 在完成后,需关闭所申请资源。
-
追加信息到HDFS指定文件 - MapReduce服务 MRS
追加信息到HDFS指定文件 功能简介 追加文件内容,是指在HDFS的某个指定文件后面,追加指定的内容。过程为: 使用FileSystem实例的append方法获取追加写入的输出流。 使用该输出流将待追加内容添加到HDFS的指定文件后面。 在完成后,需关闭所申请资源。
-
ALM-12054 证书文件失效 - MapReduce服务 MRS
ALM-12054 证书文件失效 告警解释 系统每天二十三点检查当前系统中的证书文件是否失效(即当前集群中的证书文件是否过期,或者尚未生效)。如果证书文件失效,产生该告警。 当重新导入一个正常证书,并且状态不为失效状态,在下一个整点触发告警检测机制后,该告警恢复。
-
BulkLoad工具配置文件说明 - MapReduce服务 MRS
传入参数“regulation”为配置导入文件信息(一般情况下并不需要使用)。 将该实现类与其依赖包同时打包成Jar文件,保存到HBase客户端所在节点的任意位置并确保执行命令的用户具有读取和执行该Jar包的权限。
-
上传数据库驱动文件 - MapReduce服务 MRS
选择“驱动管理 > 上传驱动”,在弹出的窗口选择本地已准备的数据库驱动文件,单击“打开”,等待驱动上传完成。 在“驱动管理”界面,查看驱动文件名列表是否显示正常。 如果驱动不再使用,或者上传错误,可单击“删除”,删除对应驱动文件。 驱动文件列表较多时,可通过搜索框快速检索。
-
HDFS写文件失败,报错“item limit of xxx is exceeded” - MapReduce服务 MRS
如果该目录下拥有100万文件不正常,需要清理不需要的文件。 父主题: 使用HDFS
-
配置HDFS文件回收站机制 - MapReduce服务 MRS
配置HDFS文件回收站机制 配置场景 在HDFS中,删除的文件将被移动到回收站(trash)中,以便在误操作的情况下恢复被删除的数据。 您可以设置文件保留在回收站中的时间阈值,一旦文件保存时间超过此阈值,将从回收站中永久地删除。如果回收站被清空,回收站中的所有文件将被永久删除。
-
准备连接集群配置文件 - MapReduce服务 MRS
准备运行环境配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。
-
配置HDFS快速关闭文件功能 - MapReduce服务 MRS
配置HDFS快速关闭文件功能 操作场景 默认情况下关闭HDFS文件时需要等待所有的Block都上报成功(处于COMPLETED状态)。因此HDFS的一部分写性能消耗为等待DataNode块上报以及NameNode处理块上报。对于一个负载较大的集群,等待的消耗对集群影响较大。
-
BulkLoad工具配置文件说明 - MapReduce服务 MRS
传入参数“regulation”为配置导入文件信息(一般情况下并不需要使用)。 将该实现类与其依赖包同时打包成Jar文件,保存到HBase客户端所在节点的任意位置并确保执行命令的用户具有读取和执行该Jar包的权限。
-
使用distcp命令拷贝空文件夹报错 - MapReduce服务 MRS
使用distcp命令拷贝空文件夹报错 问题背景与现象 通过MRS客户端使用以下distcp命令,无法从HDFS复制空文件夹到OBS。
-
配置HDFS文件回收站机制 - MapReduce服务 MRS
配置HDFS文件回收站机制 配置场景 在HDFS中,删除的文件将被移动到回收站(trash)中,以便在误操作的情况下恢复被删除的数据。 您可以设置文件保留在回收站中的时间阈值,一旦文件保存时间超过此阈值,将从回收站中永久地删除。如果回收站被清空,回收站中的所有文件将被永久删除。
-
HBase日志文件过大导致OS盘空间不足 - MapReduce服务 MRS
因为HBase的内存监控使用了JVM的jinfo命令,而jinfo依赖“/tmp/.java_pid*”文件,当该文件不存在时,jinfo会执行kill -3将jstack信息打印到.out日志文件里,从而导致.out日志文件过大。
-
配置HDFS单目录文件数量 - MapReduce服务 MRS
配置HDFS单目录文件数量 操作场景 通常一个集群上部署了多个服务,且大部分服务的存储都依赖于HDFS文件系统。当集群运行时,不同组件(例如Spark、Yarn)或客户端可能会向同一个HDFS目录不断写入文件。
-
配置HDFS单目录文件数量 - MapReduce服务 MRS
配置HDFS单目录文件数量 操作场景 通常一个集群上部署了多个服务,且大部分服务的存储都依赖于HDFS文件系统。当集群运行时,不同组件(例如Spark、Yarn)或客户端可能会向同一个HDFS目录不断写入文件。
-
如何查看各组件配置文件路径? - MapReduce服务 MRS
如何查看各组件配置文件路径?