检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HDFS用户可在其他用户目录下创建或删除文件 问题现象 在使用MRS服务时，某个用户可以在其他用户的HDFS目录下面删除或者创建文件。 原因分析 客户配置的用户具有ficommon组的权限，所以可以对HDFS任意操作。需要移除用户的ficommon组权限。 处理步骤 以root用户登录集群的Master节点。
WebHCat/etc/”目录下面，且该文件内容为空。 登录到Master1节点，将“/opt/Bigdata/*/*_WebHCat/etc/mapred-default.xml”文件拷贝到Master2节点，并修改文件的属组为“omm:wheel”。 登录Manager，重启
设备 > 主机 > 主机状态 > 主机文件句柄使用率 > 主机文件句柄使用率”修改阈值。 平滑次数为1，主机文件句柄使用率小于或等于阈值时，告警恢复；平滑次数大于1，主机文件句柄使用率小于或等于阈值的90%时，告警恢复。 告警属性 告警ID 告警级别 可自动清除 12053 严重
使用Hue WebUI访问HDFS文件失败 问题 在使用Hue WebUI访问HDFS文件时，报如下图所示无法访问的错误提示，该如何处理？ 回答 查看登录Hue WebUI的用户是否具有“hadoop”用户组权限。 查看HDFS服务是否安装了HttpFS实例且运行正常。如果未安装
Kafka 样例工程配置文件说明 Conf目录下各配置文件及重要参数配置说明。 Producer API配置项。 表1 producer.properties文件配置项 参数 描述 备注 security.protocol 安全协议类型 生产者使用的安全协议类型，当前Kerber
删除大量文件后重启NameNode耗时长 问题 删除大量文件之后立刻重启NameNode（例如删除100万个文件），NameNode启动慢。 回答 由于在删除了大量文件之后，DataNode需要时间去删除对应的Block。当立刻重启NameNode时，NameNode会去检查所有
duce会报类找不到。 处理步骤 方案一： 如果文件较小，则可以将默认长度设置得大于文件最大长度，例如最大的文件是95 MB，则设置： hive.exec.copyfile.maxsize=104857600 方案二： 如果确实文件较大，需要使用distcp任务来提高数据迁移效率
HDFS文件读写时报错“Failed to place enough replicas” 问题背景与现象 当用户在HDFS上执行写操作时，出现“Failed to place enough replicas:expected…”信息。 原因分析 DataNode的数据接收器不可用。
system”，观察HDFS上“/flume/test”目录下是否有产生数据。 图8 查看HDFS文件 如上所示，文件目录下产生了收集的日志文件，文件名统一增加了前缀“over_”。 下载日志文件“over_log1.txt”并查看内容，与写入的日志文件“log1.txt”内容一致。 Test log file 1
使用Hue WebUI访问HDFS文件失败 问题 在使用Hue WebUI访问HDFS文件时，报如下图所示无法访问的错误提示，该如何处理？ 回答 查看登录Hue WebUI的用户是否具有“hadoop”用户组权限。 查看HDFS服务是否安装了HttpFS实例且运行正常。如果未安装
t写入小数据量时可能触发更新数据的小文件合并，使在Mor表的读优化视图中能查到部分更新数据。 当update的数据对应的base文件是小文件时，insert中的数据和update中的数据会被合在一起和base文件直接做合并产生新的base文件，而不是写log。 分区设置操作 Hu
ALM-12015 设备分区文件系统只读 告警解释 系统按60秒周期进行扫描，如果检测到挂载服务目录的设备分区变为只读模式（如设备有坏扇区、文件系统存在故障等原因），则触发此告警。 系统如果检测到挂载服务目录的设备分区的只读模式消失（比如文件系统修复为读写模式、设备拔出、设备被重新格式化等原因），则告警恢复。
TEXTFILE类型文件使用ARC4压缩时查询结果乱码 问题现象 Hive查询结果表做压缩存储（ARC4），对结果表做select * 查询时返回结果为乱码。 可能原因 Hive默认压缩格式不是ARC4格式或者未开启输出压缩。 解决方案 在select结果乱码时，在beeline中进行如下设置。
//失效时间 导入证书文件。 导入新的CA证书文件。 请参考更换MRS集群CA证书章节，申请或生成新的CA证书文件并导入。手动清除该告警信息，查看系统在定时检查时是否会再次产生此告警。 是，执行7。 否，处理完毕。 导入新的HA证书文件。 请参考更换MRS集群HA证书章
ALM-24012 Flume证书文件已过期 本章节适用于MRS 3.2.0及以后版本。 告警解释 Flume每隔一个小时，检查当前系统中的证书文件是否已过期。如果服务端证书已过期，产生该告警。服务的证书文件恢复到有效期内，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 24012
当“/hbase/corrupt”目录不存在或不包含WAL文件时，告警消除。 该告警仅适用于MRS 3.3.0及之后版本。 “hdfs://hacluster”为HBase使用的文件系统名，“/hbase”为HBase在文件系统上的根目录，可登录FusionInsight Manager，选择“集群 >
ALM-45653 Flink HA证书文件失效 本章节适用于MRS 3.3.0及以后版本。 告警解释 Flink首次或者每天01:00:00开始健康检查时，检查当前系统中的HA证书文件是否失效（证书是否存在，证书格式是否正确），如果证书文件失效，产生该告警。证书文件恢复，告警恢复。 告警属性
删除大量文件后重启NameNode耗时长 问题 删除大量文件之后立刻重启NameNode（例如删除100万个文件），NameNode启动慢。 回答 由于在删除了大量文件之后，DataNode需要时间去删除对应的Block。当立刻重启NameNode时，NameNode会去检查所有
优化小文件场景下的Spark SQL性能 配置场景 Spark SQL的表中，经常会存在很多小文件（大小远小于HDFS块大小），每个小文件默认对应Spark中的一个Partition，也就是一个Task。在很多小文件场景下，Spark会起很多Task。当SQL逻辑中存在Shuff
原因分析 MapReduce任务提交前对输入文件数的检查策略：在提交的MapReduce任务中，允许的最大输入文件数和HiveServer最大堆内存的比值，例如500000/4（默认值），表示每4GB堆内存最大允许500000个输入文件。在输入的文件数超出此限制时则会发生此错误。 解决办法
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
