-
ALM-45655 Flink HA证书文件已过期 - MapReduce服务 MRS
对系统的影响 用户HA证书文件已过期,功能受限,无法正常使用Flink服务。 可能原因 用户HA证书文件已过期。 处理步骤 查看告警信息。
-
spark-shell执行SQL跨文件系统load数据到Hive表失败 - MapReduce服务 MRS
处理步骤 方案一: 如果文件较小,则可以将默认长度设置得大于文件最大长度,例如最大的文件是95 MB,则设置: hive.exec.copyfile.maxsize=104857600 方案二: 如果确实文件较大,需要使用distcp任务来提高数据迁移效率,则可以在Spark任务启动的时候增加设置参数
-
通过Flume采集指定目录日志系统文件至HDFS - MapReduce服务 MRS
写入日志文件后,执行ll命令查看文件列表,日志文件自动增加了后缀“.COMPLETED”,表示该文件已被采集。
-
ALM-14025 租户文件对象使用率超过阈值 - MapReduce服务 MRS
ALM-14025 租户文件对象使用率超过阈值 告警解释 系统每小时周期性检测租户所关联的每个目录的文件对象使用率(每个目录已使用的文件对象个数/每个目录分配的文件对象个数),并把每个目录实际的文件对象使用率和该目录设置的阈值相比较。
-
ALM-19025 HBase存在损坏的StoreFile文件 - MapReduce服务 MRS
对系统的影响 HBase存在损坏的StoreFile文件,可能会导致数据丢失。 可能原因 StoreFile文件内容损坏。
-
删除大量文件后重启NameNode耗时长 - MapReduce服务 MRS
删除大量文件后重启NameNode耗时长 问题 删除大量文件之后立刻重启NameNode(例如删除100万个文件),NameNode启动慢。 回答 由于在删除了大量文件之后,DataNode需要时间去删除对应的Block。
-
ALM-12015 设备分区文件系统只读 - MapReduce服务 MRS
ALM-12015 设备分区文件系统只读 告警解释 系统按60秒周期进行扫描,如果检测到挂载服务目录的设备分区变为只读模式(如设备有坏扇区、文件系统存在故障等原因),则触发此告警。
-
ALM-24010 Flume证书文件非法或已损坏 - MapReduce服务 MRS
ALM-24010 Flume证书文件非法或已损坏 本章节适用于MRS 3.2.0及以后版本。 告警解释 Flume每隔一个小时,检查当前Flume证书文件是否合法(证书是否存在,证书格式是否正确),如果证书文件非法或已损坏,产生该告警。证书文件恢复合法时,告警恢复。
-
通过Sqoop读取MySQL数据并写parquet文件到OBS时失败 - MapReduce服务 MRS
通过Sqoop读取MySQL数据并写parquet文件到OBS时失败 用户问题 通过Sqoop读取MySQL数据,然后直接写到OBS,指定parquet格式时写入报错,不指定parquet时不报错。
-
ALM-12053 主机文件句柄使用率超过阈值 - MapReduce服务 MRS
对系统的影响 系统应用无法打开文件、网络等IO操作,程序异常。 可能原因 应用进程存在异常,如打开的文件或socket没有关闭。 文件句柄数不满足当前业务需求。 系统环境异常。 处理步骤 查看进程打开文件情况。
-
上传数据 - MapReduce服务 MRS
请确保导出的文件夹为非空文件夹,如果导出的文件夹为空文件夹,OBS无法显示该文件夹,仅生成一个命名为“folder name_$folder$”的文件。 单击“确定”。 文件上传进度可在“文件操作记录”中查看。
-
优化小文件场景下的Spark SQL性能 - MapReduce服务 MRS
优化小文件场景下的Spark SQL性能 配置场景 Spark SQL的表中,经常会存在很多小文件(大小远小于HDFS块大小),每个小文件默认对应Spark中的一个Partition,也就是一个Task。在很多小文件场景下,Spark会起很多Task。
-
准备连接IoTDB集群配置文件 - MapReduce服务 MRS
需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。
-
使用Hue WebUI访问HDFS文件失败 - MapReduce服务 MRS
使用Hue WebUI访问HDFS文件失败 问题 在使用Hue WebUI访问HDFS文件时,报如下图所示无法访问的错误提示,该如何处理? 回答 查看登录Hue WebUI的用户是否具有“hadoop”用户组权限。 查看HDFS服务是否安装了HttpFS实例且运行正常。
-
在Hue WebUI使用文件浏览器 - MapReduce服务 MRS
文件浏览器将显示目录中的子目录或文件以下信息: 表1 HDFS文件属性介绍 属性名 描述 “Name” 表示目录或文件的名称。 “Size” 表示文件的大小。 “User” 表示目录或文件的属主。 “Group” 表示目录或文件的属组。
-
HDFS客户端对接OBS文件系统 - MapReduce服务 MRS
kinit 组件业务用户 在hdfs命令行显式添加要访问的OBS文件系统。 例如: 使用以下命令访问OBS文件系统。 hdfs dfs -ls obs://OBS并行文件系统名称/路径 使用以下命令上传客户端节点“/opt/test.txt”文件到OBS文件系统路径下。
-
准备连接MapReduce集群配置文件 - MapReduce服务 MRS
准备运行环境配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。
-
集群异常掉电导致HBase文件损坏,如何快速自恢复? - MapReduce服务 MRS
集群异常掉电导致HBase文件损坏,如何快速自恢复? 问题 集群异常掉电导致HBase的StoreFile文件或WAL文件损坏,如何快速恢复? 该操作仅MRS 3.3.0及之后版本支持。
-
如何在Hive自定义函数中操作本地文件 - MapReduce服务 MRS
如何在Hive自定义函数中操作本地文件 问题 在Hive自定义函数中需要操作本地文件,例如读取文件的内容,需要如何操作?
-
如何在Hive自定义函数中操作本地文件 - MapReduce服务 MRS
如何在Hive自定义函数中操作本地文件 问题 在Hive自定义函数中需要操作本地文件,例如读取文件的内容,需要如何操作?