检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HDFS部署在具有多个NameNode实例的HA（High Availability）模式中，HDFS客户端需要依次连接到每个NameNode，以确定当前活动的NameNode是什么，并将其用于客户端操作。 一旦识别出来，当前活动的NameNode的详细信息就可以被缓存并共享给在客户端机器中运行的所有客户端。
HDFS部署在具有多个NameNode实例的HA（High Availability）模式中，HDFS客户端需要依次连接到每个NameNode，以确定当前活动的NameNode是什么，并将其用于客户端操作。 一旦识别出来，当前活动的NameNode的详细信息就可以被缓存并共享给在客户端机器中运行的所有客户端。
网络连接超时导致FetchFailedException 问题 在380节点的大集群上，运行29T数据量的HiBench测试套中ScalaSort测试用例，使用以下关键配置（--executor-cores 4）出现如下异常： org.apache.spark.shuffle.FetchFailedException:
任务完成后Container挂载的文件目录未清除 问题 使用了CGroups功能的场景下，任务完成后Container挂载的文件目录未清除。 回答 即使任务失败，Container挂载的目录也应该被清除。 上述问题是由于删除动作超时导致的。完成某些任务所使用的时间已远超过删除时间。
如何处理由于Region处于FAILED_OPEN状态而造成的建表失败异常 问题 如何处理由于Region处于FAILED_OPEN状态而造成的建表失败异常。 回答 建表过程中如果发生网络故障、HDFS故障或者Active HMaster故障等情况时，可能会造成部分Region上线失败而处于FAILED_OPEN状态，导致建表失败。
如何处理由于Region处于FAILED_OPEN状态而造成的建表失败异常 问题 如何处理由于Region处于FAILED_OPEN状态而造成的建表失败异常。 回答 建表过程中如果发生网络故障、HDFS故障或者Active HMaster故障等情况时，可能会造成部分Region上线失败而处于FAILED_OPEN状态，导致建表失败。
任务完成后Container挂载的文件目录未清除 问题 使用了CGroups功能的场景下，任务完成后Container挂载的文件目录未清除。 回答 即使任务失败，Container挂载的目录也应该被清除。 上述问题是由于删除动作超时导致的。完成某些任务所使用的时间已远超过删除时间。
Hive执行msck repair table命令时报错 现象描述 Hive执行msck repair table table_name命令报错： FAILED: Execution Error, return code 1 from org.apache.hadoop.hive
Shell客户端连接提示“authentication failed” 问题现象 安全集群中，HiveServer服务正常的情况下，Shell客户端中执行beeline命令失败，界面提示“authentication failed”，如下： Debug is true storeKey
怎么通过客户端设置Map/Reduce内存？ 问题现象 客户端怎么设置Map/Reduce内存？ 处理步骤 Hive在执行SQL语句前，可以通过set命令来设置Map/Reduce相关客户端参数。 以下为与Map/Reduce内存相关的参数： set mapreduce.map.memory
运行Manager应用报错“authorize failed” 问题 运行应用程序时，操作失败，日志显示如图1所示。 图1 操作失败日志 回答 可能的原因为用户名、密码的配置错误。 可排查“UserInfo.properties”文件中“username”和“password”的值是否配置正确。 父主题：
end of data”。 原因分析 Hive中一个中文字符长度为“1”；而Impala中一个中文字符的长度为“3”，从而导致在Impala SQL中使用substr()，substring()，strleft()等函数截取中文字符时，不能把中文当做1个字符长度来处理，导致报编码问题。
at index” 问题 运行应用程序时，操作失败，日志显示如图1所示。 图1 操作失败日志 回答 可能的原因是URL中带空格导致服务器端无法正确识别URL。 需要去掉URL中的空格。 父主题： Manager应用开发常见问题
beeline客户端报错“Failed to execute session hooks: over max connections” 问题背景与现象 HiveServer连接的最大连接数默认为200，当超过200时，beeline会报Failed to execute session
java:745) DataNode的磁盘空间不足。 DataNode的心跳有延迟。 解决办法 如果DataNode的数据接收器不可用，通过在Manager页面，增加HDFS参数“dfs.datanode.max.transfer.threads”的值解决。 如果没有足够的硬盘空间或者CPU，试
因此怀疑此语句查询的表对应的HDFS上的文件有问题，Map日志中打印出了解析的对应的文件名，将其从HDFS上下载到本地，看到是gz结尾的文件，使用tar命令解压报错，格式不正确无法解压。使用file命令查看文件属性发现此文件来自于FAT系统的压缩而非UNIX。 解决办法 将格式不正确的文件移
keytab file failed，the keytab file is ：/tmp/user.keytab，具体信息如下： [main] WARN b.s.StormSubmitter - Delete the tmp keytab file failed, the keytab
tolerated”的值时，DataNode启动失败。 回答 默认情况下，单个磁盘的故障将会引起HDFS DataNode进程关闭，导致NameNode为每一个存在DataNode上的block调度额外的副本，在没有故障的磁盘中引起不必要的块复制。 为了防止此情况，用户可以通过配置DataNodes来承受dfs
tolerated”的值时，DataNode启动失败。 回答 默认情况下，单个磁盘的故障将会引起HDFS DataNode进程关闭，导致NameNode为每一个存在DataNode上的block调度额外的副本，在没有故障的磁盘中引起不必要的块复制。 为了防止此情况，用户可以通过配置DataNodes来承受dfs
CGroups功能限制Container CPU使用率 配置场景 CGroups是一个Linux内核特性。它可以将任务集及其子集聚合或分离成具备特定行为的分层组。在YARN中，CGroups特性对容器（container）使用的资源（例如CPU使用率）进行限制。本特性大大降低了限制容器CPU使用的难度。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
