检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
某个节点),启动时先在集群中启动AppMaster进程,进程启动后要向Driver进程注册信息,注册成功后,任务才能继续。从AppMaster日志中可以看出,无法连接至Driver,所以任务失败。 解决办法 请检查Driver进程所在的IP是否可以ping通。 启动一个Spark
EditLog不连续导致NameNode启动失败 问题 在JournalNode节点有断电,数据目录磁盘占满,网络异常时,会导致JournalNode上的EditLog不连续。此时如果重启NameNode,很可能会失败。 现象 重启NameNode会失败。在NameNode运行日志中会报如下的错误:
CGroups是一个Linux内核特性。它可以将任务集及其子集聚合或分离成具备特定行为的分层组。在Yarn中,CGroups特性对容器(Container)使用的资源(例如CPU使用率)进行限制。本特性大大降低了限制容器CPU使用的难度。 当前CGroups仅用于限制CPU使用率。 本章节适用于MRS 3.x及后续版本集群。
EditLog不连续导致NameNode启动失败 问题 在JournalNode节点有断电,数据目录磁盘占满,网络异常时,会导致JournalNode上的EditLog不连续。此时如果重启NameNode,很可能会失败。 现象 重启NameNode会失败。在NameNode运行日志中会报如下的错误:
mapred-default.xml文件解析异常导致WebHCat启动失败 用户问题 MRS的Hive服务故障,重新启动后,Master2节点上的HiveServer和WebHCat进程启动失败,Master1节点进程正常。 原因分析 登录Master2节点,查看“/var/lo
如何查询MRS节点的启动时间? 在MRS服务管理控制台中单击集群名称,进入集群详情页面。 在集群节点管理页面中,查看具体节点IP地址信息。 登录当前节点,执行如下命令查询节点启动时间。 date -d "$(awk -F. '{print $1}' /proc/uptime) second
SConsole WebUI”后的链接,进入HSConsole界面。 停止正在运行的计算实例,然后单击待操作实例所在行的“操作”列的“启动”,启动HetuEngine计算实例。 查看Coordinator运行的节点范围。 返回Manager页面。 选择“集群 > 服务 > Yar
单击“组件管理”,查看各服务的角色操作状态,如果存在“未启动”的角色,单击“更多 > 启动实例”,启动该实例。 如果启动失败,根据任务列表里中任务的报错信息进行修复再尝试重启。 如果异常角色较多,可单击右上角的“管理操作”选择启动所有组件。 如果存在其他情况导致服务异常无法解决,请联系技术服务协助处理。
在启动HBase shell时报错“java.lang.UnsatisfiedLinkError: Permission denied” 问题 在启动HBase shell时,为什么会发生“java.lang.UnsatisfiedLinkError: Permission denied”异常?
JDK版本不匹配导致启动spark-sql和spark-shell失败 问题背景与现象 JDK版本不匹配导致客户端启动spark-sql、spark-shell失败。 原因分析 在Driver端打印异常如下: Exception Occurs: BadPadding 16/02/22
在启动HBase shell时,报错“java.lang.UnsatisfiedLinkError: Permission denied” 问题 在启动HBase shell时,为什么会发生“java.lang.UnsatisfiedLinkError: Permission denied”异常?
配置AM失败重试次数 配置场景 在资源不足导致ApplicationMaster启动失败的情况下,调整如下参数值,提高容错性,保证客户端应用的正常运行。 配置描述 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面,在搜索框中输入表1中参数名称。 表1 参数说明 参数 描述 默认值
配置AM失败重试次数 配置场景 在资源不足导致ApplicationMaster启动失败的情况下,调整如下参数值,提高容错性,保证客户端应用的正常运行。 配置描述 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面,在搜索框中输入表1中参数名称。 表1 参数说明 参数 描述 默认值
HetuEngine计算实例启动失败报错Python不存在 问题 启动HetuEngine计算实例失败,查看coordinator Container下面的“stderr.txt”日志报错如下: /usr/bin/env: ‘python’: No such file or directory
通过客户端启动HetuEngine集群超时如何处理 问题 通过客户端启动集群,集群启动时间过长会等待超时并退出等待界面。 回答 等待集群启动超时,会自动退出等待界面,用户可以等待集群启动成功后再重新登录。 用户还可以在HSConsole页面上查看集群的运行状态当集群处于运行中状态时再重新登录。
HBase RegionServer GC参数Xms和Xmx的配置为31GB,导致RegionServer启动失败 问题 查看RegionServer启动失败节点的hbase-omm-*.out日志,发现日志中存在“An error report file with more information
HBase RegionServer GC参数Xms和Xmx的配置为31GB,导致RegionServer启动失败 问题 MRS 3.x及之后版本,查看RegionServer启动失败节点的hbase-omm-*.out日志,发现日志中存在“An error report file with
手动指定运行Yarn任务的用户 配置场景 目前YARN支持启动NodeManager的用户运行所有用户提交的任务,也支持以提交任务的用户运行任务。 配置描述 在Manager系统中,选择“集群 > 待操作集群的名称 > 服务 > Yarn > 配置”,选择“全部配置”。在搜索框中输入参数名称。 表1
启动从PgSQL中抓取数据到Hudi任务报错 现象描述 启动从PgSQL中抓取数据到Hudi任务报错:Record key is empty 可能原因 Hudi表主键参数“table.primarykey.mapping”未配置。 处理步骤 登录FusionInsight Manager,选择“集群
当备NameNode存储元数据时,断电后备NameNode启动失败 问题 当Standby NameNode存储元数据(命名空间)时,出现断电的情况,Standby NameNode启动失败并发生如下错误信息。 回答 当Standby NameNode存储元数据(命名空间)时,出现断电的情况,Standby