检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-12015 设备分区文件系统只读(2.x及以前版本) 告警解释 系统周期性进行扫描,如果检测到挂载服务目录的设备分区变为只读模式(如设备有坏扇区、文件系统存在故障等原因),则触发此告警。
spark-shell执行SQL跨文件系统load数据到Hive表失败 用户问题 使用spark-shell命令执行SQL或者spark-submit提交的Spark任务里面有SQL的load命令,并且原数据和目标表存储位置不是同一套文件系统,上述两种方式MapReduce任务启动时会报错
可通过如下方法确认单个备份或恢复任务的znode数量: 单个备份或恢复任务的znode数量要少于操作系统的文件句柄限制。查看句柄限制的方式如下: 使用shell命令输入:cat /proc/sys/fs/file-max,用于查看系统级的最大限制。
开启Native Task特性后,Reduce任务在部分操作系统运行失败 问题 开启Native Task特性后,Reduce任务在部分操作系统运行失败。
开启Native Task特性后,Reduce任务在部分操作系统运行失败 问题 开启Native Task特性后,Reduce任务在部分操作系统运行失败。
单击“并行文件系统”进入并行文件系统页面。 在OBS控制台并行文件系统列表中,单击已新建的文件系统名称进入详情页面。 在左侧导航栏选择“文件 > 新建文件夹”新建“testFlumeOutput”文件夹。 使用root用户登录安装Flume客户端的节点。
父主题: 修改MRS集群系统用户密码
提交作业时系统提示当前用户在Manager不存在如何处理? 问: 安全集群在提交作业时,未进行IAM用户同步,会出现“当前用户在MRS Manager不存在,请先在IAM给予该用户足够的权限,再在概览页签进行IAM用户同步”的错误提示。
为什么将非ViewFS文件系统配置为ViewFS时MapReduce作业运行失败 问题 为什么将非ViewFS文件系统配置为ViewFS时MR作业运行失败?
父主题: 修改MRS集群系统用户密码
为什么将非ViewFS文件系统配置为ViewFS时MapReduce作业运行失败 问题 为什么将非ViewFS文件系统配置为ViewFS时MR作业运行失败?
父主题: 修改MRS集群系统用户密码
父主题: 修改MRS集群系统用户密码
父主题: 修改MRS集群系统用户密码
运行,在配置Flink对接OBS文件系统之前需要确保Yarn对接OBS文件系统功能是正常的。
JAVA API 提供HDFS文件系统的应用接口,本开发指南主要介绍如何使用Java API进行HDFS文件系统的应用开发。 C API 提供HDFS文件系统的应用接口,使用C语言开发的用户可参考C接口的描述进行应用开发。
父主题: 修改MRS集群系统用户密码
集群节点创建成功后,节点的操作系统磁盘分区说明如表1所示。 表1 MRS集群节点OS盘分区说明 分区类型 分区目录 容量 用途 OS分区 / 220GB 操作系统根分区目录和程序存放目录,包括了所有目录(除去下面指定的目录)。 /tmp 10GB 临时文件存放目录。
obs://桶名</value> </property> 为了减少OBS的日志,log4j.properties文件中增加如下配置: log4j.logger.org.apache.hadoop.fs.obs=WARN log4j.logger.com.obs=WARN OBS文件系统打印大量日志可能导致读写性能受影响
在安装了Ranger服务的普通模式集群中,Ranger可以支持基于OS用户进行组件资源的权限控制,支持启用Ranger鉴权的组件包括:HBase、HDFS、Hive、Spark2x、Yarn。