-
HDFS用户可在其他用户目录下创建或删除文件 - MapReduce服务 MRS
HDFS用户可在其他用户目录下创建或删除文件 问题现象 在使用MRS服务时,某个用户可以在其他用户的HDFS目录下面删除或者创建文件。 原因分析 客户配置的用户具有ficommon组的权限,所以可以对HDFS任意操作。需要移除用户的ficommon组权限。
-
准备连接Kafka集群配置文件 - MapReduce服务 MRS
准备运行环境配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。
-
准备连接HBase集群配置文件 - MapReduce服务 MRS
访问HBase ThriftServer应用开发示例工程所需的配置文件还需参考准备ThriftServer实例配置文件获取。 复制解压目录下的“hosts”文件中的内容到本地hosts文件中。
-
准备连接Doris集群配置文件 - MapReduce服务 MRS
在安装客户端过程中,系统会自动配置客户端节点“hosts”文件,建议检查“/etc/hosts”文件内是否包含集群内节点的主机名信息,如未包含,需要手动复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中,确保本地机器能与集群各主机在网络上互通。
-
准备连接Hive集群配置文件 - MapReduce服务 MRS
准备运行环境配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。
-
准备连接Kafka集群配置文件 - MapReduce服务 MRS
准备运行环境配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。
-
准备连接Doris集群配置文件 - MapReduce服务 MRS
在安装客户端过程中,系统会自动配置客户端节点“hosts”文件,建议检查“/etc/hosts”文件内是否包含集群内节点的主机名信息,如未包含,需要手动复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中,确保本地机器能与集群各主机在网络上互通。
-
ALM-24011 Flume证书文件即将过期 - MapReduce服务 MRS
ALM-24011 Flume证书文件即将过期 本章节适用于MRS 3.2.0及以后版本。 告警解释 Flume每隔一个小时,检查当前Flume证书文件是否即将过期,如果剩余有效期小于或等于30天,产生该告警。证书文件剩余有效期大于30天,告警恢复。
-
ALM-24012 Flume证书文件已过期 - MapReduce服务 MRS
ALM-24012 Flume证书文件已过期 本章节适用于MRS 3.2.0及以后版本。 告警解释 Flume每隔一个小时,检查当前系统中的证书文件是否已过期。如果服务端证书已过期,产生该告警。服务的证书文件恢复到有效期内,告警恢复。
-
ALM-19026 HBase存在损坏的WAL文件 - MapReduce服务 MRS
ALM-19026 HBase存在损坏的WAL文件 告警解释 系统每120秒周期性检测每个HBase服务在HDFS上的“hdfs://hacluster/hbase/corrupt”目录,当检测到“/hbase/corrupt”目录下存在WAL文件时产生该告警。
-
ALM-45655 Flink HA证书文件已过期 - MapReduce服务 MRS
对系统的影响 用户HA证书文件已过期,功能受限,无法正常使用Flink服务。 可能原因 用户HA证书文件已过期。 处理步骤 查看告警信息。
-
通过Flume采集指定目录日志系统文件至HDFS - MapReduce服务 MRS
写入日志文件后,执行ll命令查看文件列表,日志文件自动增加了后缀“.COMPLETED”,表示该文件已被采集。
-
spark-shell执行SQL跨文件系统load数据到Hive表失败 - MapReduce服务 MRS
处理步骤 方案一: 如果文件较小,则可以将默认长度设置得大于文件最大长度,例如最大的文件是95 MB,则设置: hive.exec.copyfile.maxsize=104857600 方案二: 如果确实文件较大,需要使用distcp任务来提高数据迁移效率,则可以在Spark任务启动的时候增加设置参数
-
删除大量文件后重启NameNode耗时长 - MapReduce服务 MRS
删除大量文件后重启NameNode耗时长 问题 删除大量文件之后立刻重启NameNode(例如删除100万个文件),NameNode启动慢。 回答 由于在删除了大量文件之后,DataNode需要时间去删除对应的Block。
-
准备连接IoTDB集群配置文件 - MapReduce服务 MRS
准备连接IoTDB集群配置文件 准备运行环境配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。
-
ALM-12015 设备分区文件系统只读 - MapReduce服务 MRS
ALM-12015 设备分区文件系统只读 告警解释 系统按60秒周期进行扫描,如果检测到挂载服务目录的设备分区变为只读模式(如设备有坏扇区、文件系统存在故障等原因),则触发此告警。
-
为什么存储小文件过程中缓存中的数据会丢失 - MapReduce服务 MRS
为什么存储小文件过程中缓存中的数据会丢失 问题 在存储小文件过程中,系统断电,缓存中的数据丢失。
-
为什么存储小文件过程中,缓存中的数据会丢失 - MapReduce服务 MRS
为什么存储小文件过程中,缓存中的数据会丢失 问题 在存储小文件过程中,系统断电,缓存中的数据丢失。
-
ALM-45654 Flink HA证书文件即将过期 - MapReduce服务 MRS
检查系统中合法HA证书文件的有效期,重新生成HA证书文件。 以omm用户登录告警所在节点主机。
-
删除大量文件后重启NameNode耗时长 - MapReduce服务 MRS
删除大量文件后重启NameNode耗时长 问题 删除大量文件之后立刻重启NameNode(例如删除100万个文件),NameNode启动慢。 回答 由于在删除了大量文件之后,DataNode需要时间去删除对应的Block。