检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive表的HDFS数据目录被误删，但是元数据仍然存在，导致执行任务报错 问题 Hive表HDFS数据目录被误删，但是元数据仍然存在，导致执行任务报错。 回答 这是一种误操作的异常情况，需要手动删除对应表的元数据后重试。 例如： 执行以下命令进入控制台： source ${BIGDATA
执行复杂SQL语句时报“Code of method ... grows beyond 64 KB”的错误 问题 当执行一个很复杂的SQL语句时，例如有多层语句嵌套，且单层语句中对字段有大量的逻辑处理（如多层嵌套的case when语句），此时执行该语句会报如下所示的错误日志，该错误表明某个方法的代码超出了64KB。
配置受信任IP地址访问LDAP 操作场景 默认情况下，部署在OMS和集群中的LDAP服务允许任意IP访问。如果需要只允许受信任的IP地址访问LDAP服务，可以配置iptables过滤列表的INPUT策略。 该章节仅适用于MRS 3.x及之后版本。 对系统的影响 配置受信任IP访问
当表名为table时，执行相关操作时出现异常 问题 当创建了表名为table的表后，执行drop table table上报以下错误，或者执行其他操作也会出现类似错误。 16/07/12 18:56:29 ERROR SparkSQLDriver: Failed in [drop
设置HBase和HDFS的句柄数限制 操作场景 当打开一个HDFS文件时，句柄数限制导出，出现如下错误： IOException (Too many open files) 此时可以参考该章节设置HBase和HDFS的句柄数。 设置HBase和HDFS的句柄数限制 联系集群管理员
移动到其他队列时，应用程序不能继续执行 问题 当删除一个有部分应用程序正在运行的队列，这些应用程序会被移动到“lost_and_found”队列上。当这些应用程序移回运行正常的队列时，某些任务会被挂起，不能正常运行。 回答 如果应用程序没有设置标签表达式，那么该应用程序上新增的c
在Spark应用执行过程中NodeManager出现OOM异常 问题 当开启Yarn External Shuffle服务时，在Spark应用执行过程中，如果当前shuffle连接过多，Yarn External Shuffle会出现“java.lang.OutofMemoryError:
exitVM：允许代码关闭整个虚拟机。 getClassLoader：允许代码访问类加载器以获得某个特定的类。 setContextClassLoader：允许代码为某线程设置上下文类加载器。 setFactory：允许代码创建套接字工厂。 setIO：允许代码重定向System
在Spark应用执行过程中NodeManager出现OOM异常 问题 当开启Yarn External Shuffle服务时，在Spark应用执行过程中，如果当前shuffle连接过多，Yarn External Shuffle会出现“java.lang.OutofMemoryError:
设置HBase和HDFS的句柄数限制 操作场景 当打开一个HDFS文件时，句柄数限制导出，出现如下错误： IOException (Too many open files) 此时可以参考该章节设置HBase和HDFS的句柄数。 设置HBase和HDFS的句柄数限制 联系集群管理员
采用Hcatalog的方式，参数指定对应的Hive库和表，需要修改SQL语句指定到具体字段（需要修改脚本）。命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。 原来的脚本： sqoop import --connect 'jdbc:mysql://10
Cloud-init预配置的用户名“root”，密码为创建集群时设置的密码。 执行以下命令切换用户。 sudo su - root su - omm 执行以下命令确认主备管理节点： MRS 3.x之前版本集群执行命令： sh ${BIGDATA_HOME}/om-0.0.1/sbin/status-oms
MRS集群节点时间信息不正确如何处理？ 如果集群内节点时间不正确，请分别登录集群内时间不正确的节点，并从2开始执行。 如果集群内节点与集群外节点时间不同步，请登录集群外节点，并从1开始执行。 执行vi /etc/ntp.conf命令编辑NTP客户端配置文件，并增加MRS集群中Ma
确认上报告警的节点是否为虚拟化环境。 是，执行3。 否，执行6。 请检查虚拟化环境提供的存储性能是否满足硬件要求，检查完毕之后执行4。 以root用户登录告警节点，执行df -h命令，查看输出内容是否包含“磁盘名”字段的值。 是，执行6。 否，执行5。 执行lsblk命令，是否可以查到“磁盘名”字段值与磁盘设备的映射关系。
配置资源权限，详细配置请参见表1。 表1 设置角色 任务场景 角色授权操作 设置HDFS管理员权限 在“配置资源权限”的表格中选择“待操作集群的名称 > HDFS”，勾选“集群管理操作权限”。 说明： 设置HDFS管理员权限需要重启HDFS服务才可生效。 设置用户执行HDFS检查和HDFS修复的权限
执行大数据量的shuffle过程时Executor注册shuffle service失败 问题 执行超过50T数据的shuffle过程时，出现部分Executor注册shuffle service超时然后丢失从而导致任务失败的问题。错误日志如下所示： 2016-10-19 01:33:34
护操作会话中，还需要执行以下操作： 以客户端安装用户，登录安装Hive客户端的节点。 执行以下命令配置环境变量。 例如，Hive客户端安装目录为“/opt/hiveclient”，执行source /opt/hiveclient/bigdata_env 执行以下命令认证用户。 kinit
Hive是否支持向量化查询 问题 当设置向量化参数hive.vectorized.execution.enabled=true时，为什么执行hive on Tez/Mapreduce/Spark时会偶现一些空指针或类型转化异常？ 回答 当前MRS Hive不支持向量化执行。 向量化执行有很多社区问题引入目前没有稳定修复，默认hive
执行复杂SQL语句时报“Code of method ... grows beyond 64 KB”的错误 问题 当执行一个很复杂的SQL语句时，例如有多层语句嵌套，且单层语句中对字段有大量的逻辑处理（如多层嵌套的case when语句），此时执行该语句会报如下所示的错误日志，该错误表明某个方法的代码超出了64KB。
件失败。 解决办法 执行ulimit -a命令查看有问题节点文件句柄数最多设置是多少，如果很小，建议修改成640000。 图1 查看文件句柄数 执行vi /etc/security/limits.d/90-nofile.conf命令编辑文件，修改文件句柄数设置。如果没有这个文件，可以新建一个文件，并按照下图内容修改。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
