检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS作业类型介绍 MRS作业分类 MRS作业是MRS为用户提供的程序执行平台，用于处理和分析用户数据。用户可以在MRS管理控制台中在线创建作业任务，也可以通过集群客户端后台方式提交作业。 MRS作业处理的数据通常来源于OBS或HDFS，用户创建作业前需要将待分析数据上传至OBS系统
无法访问MRS集群Manager页面如何处理？ 问题现象 MRS集群创建完成后，无法通过管理控制台访问集群Manager管理页面。 排查思路 检查集群状态：Manager页面无法正常访问，请首先确认MRS集群状态是否正常，如果集群已关闭或者正在创建中，或集群正在发生主备倒换，将无法访问Manager。
Hive使用beeline -e执行多条语句报错如何处理？ MRS 3.x版本Hive使用beeline执行beeline -e "use default;show tables;"命令报错： Error while compiling statement: FAILED: ParseException
Spark作业访问OBS报错“requestId=XXX”如何处理？ 问： Spark作业访问OBS报错，错误信息如下，如何处理？ xxx requestId=4971883851071737250 xxx 答： 登录Spark客户端节点，进入conf目录，修改配置文件“core-site
数据集成；通过强大的作业调度与灵活的监控告警，轻松管理数据作业运维。 目前MRS集群支持在线创建如下几种类型的作业： MapReduce：提供快速并行处理大量数据的能力，是一种分布式数据处理模式和执行环境，MRS支持提交MapReduce Jar程序。 Spark：基于内存进行计
访问Hue原生页面时页面加载时间较长，访问Hue的HDFS文件浏览器报错Read timed out，如何解决。 回答 检查HDFS服务中是否安装Httpfs实例。 否，请联系运维人员处理。 是，重启HttpFS实例解决。 父主题： Hue常见问题
MRS节点访问OBS报错408如何处理？ 问： MRS节点访问OBS报错408，怎么办？ 答： MRS节点访问OBS报错408时，用户需要更换OBS域名。 修改OBS域名为myhuaweicloud.com后缀的域名即可。 父主题： 作业管理类
MRS集群内节点互信异常如何处理？ 当Manager报“ALM-12066 节点间互信失效”告警，或者发现节点间无ssh互信时，可参考如下步骤操作。 分别在互信集群的两端节点执行ssh-add -l 确认是否有identities信息。 如果没有identities信息，执行ps
提交作业失败，报错与OBS相关如何处理？ 问 为什么提交作业失败，报错与OBS相关？ 答 与OBS相关的报错，一般与读写OBS相关，可通过以下步骤进行排查。 查看作业管理中失败作业详情，找到作业详情中的实际作业编号。如果实际作业编号为空，则执行4。 登录Manager界面，选择“集群
访问Hue原生页面时页面加载时间较长，访问Hue的HDFS文件浏览器报错Read timed out，如何解决。 回答 检查HDFS服务中是否安装Httpfs实例。 否，请联系运维人员处理。 是，重启HttpFS实例解决。 父主题： Hue故障排除
MRS导出数据到OBS加密桶失败如何处理？ 问： MRS导出数据到OBS加密桶失败如何处理？ 答： 目前仅MRS 1.9.x及之后版本支持OBS加密桶功能，MRS 1.8.x及之前版本不支持OBS加密桶功能。 如需使用OBS加密桶请使用MRS 1.9.x及之后版本集群。 父主题：
MRS集群节点时间信息不正确如何处理？ 如果集群内节点时间不正确，请分别登录集群内时间不正确的节点，并从2开始执行。 如果集群内节点与集群外节点时间不同步，请登录集群外节点，并从1开始执行。 执行vi /etc/ntp.conf命令编辑NTP客户端配置文件，并增加MRS集群中Ma
使用二次开发程序产生Unable to read HiveServer2异常如何处理 问题 使用二次开发程序产生异常，提示“Unable to read HiveServer2 configs from ZooKeeper”信息。 回答 问题原因 使用的krb5.conf、user
Hive查询结果表做压缩存储（ARC4），对结果表做select * 查询时返回结果为乱码。 可能原因 Hive默认压缩格式不是ARC4格式或者未开启输出压缩。 解决方案 在select结果乱码时，在beeline中进行如下设置。 set mapreduce.output.fileoutputformat
Kafka Topic监控页签在Manager页面不显示如何处理？ 问： Kafka Topic监控页签在Manager页面不显示怎么办？ 答： 分别登录集群Master节点，并切换用户为omm。 进入目录“/opt/Bigdata/apache-tomcat-7.0.78/we
消费Kafka Topic时报错“Not Authorized to access group XXX”如何处理？ 该问题是由于集群的Ranger鉴权和集群自带的ACL鉴权冲突导致。Kafka集群使用自带的ACL进行权限访问控制，且集群的Kafka服务也开启Ranger鉴权控制时
执行Spark任务报内存不足告警如何处理？ 问题现象 执行Spark任务就会报内存不足告警，告警id：18022，可用内存会陡降到0。 处理步骤 在SQL脚本前设置executor参数，限制executor的核数和内存。 例如设置如下： set hive.execution.engine=spark;
Hue WebUI界面中下载的Excel无法打开如何处理？ 本案例适用于MRS 3.x之前版本。 以root用户登录任意一个Master节点，切换到omm用户。 su - omm 使用如下命令查看当前节点是否为OMS主节点。 sh ${BIGDATA_HOME}/om-0.0.1/sbin/status-oms
ctive NameNode出现异常时接管其服务。 Observer NameNode：与Active NameNode中的数据保持同步，处理来自客户端的读请求。 DataNode 用于存储每个文件的“数据块”数据，并且会周期性地向NameNode报告该DataNode的数据存放情况。
购买MRS集群时找不到HDFS、Yarn、MapReduce组件如何处理？ 问： 购买MRS集群时，为什么找不到HDFS、Yarn、MapReduce组件？ 答： HDFS、Yarn和MapReduce组件包含在Hadoop组件中，当购买MRS集群时无法看到HDFS、Yarn和M
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
