检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS租户管理中的动态资源计划页面无法刷新怎么办? 问: MRS租户管理中的动态资源计划页面无法刷新怎么办? 答: 以root用户分别登录Master1和Master2节点。 执行ps -ef |grep aos命令检查aos进程号。 执行kill -9 aos进程号 结束aos进程。
产生Yarn队列资源不足告警时正在运行的资源队列如何查看? 问: 产生“ALM-18022 Yarn队列资源不足”告警时,正在运行的资源队列可以在哪查看? 答: Yarn资源队列可以登录Manager界面,选择“集群 > 服务 > Yarn > ResourceManager(主)”,登录Yarn的原生页面进行查看。
通过专线访问Manager页面方式出现503报错 问题现象 通过专线方式访问Manager界面,出现503报错:当前无法使用此页面”。 原因分析 随着任务量的增大或者任务并发较高,有可能会导致Executor内存不足,进而导致访问Manager异常。 处理步骤 通过root用户登录M
调整Yarn资源分配 HetuEngine依赖Yarn服务提供的资源分配、控制等能力,需要根据实际业务和集群的服务器配置情况调整Yarn服务配置,以获得最佳的性能效果。 登录FusionInsight Manager页面。 选择“集群 > 服务 > Yarn > 配置 > 全部配置“,参考表1配置Yarn服务参数。
MRS节点访问OBS报错408如何处理? 问: MRS节点访问OBS报错408,怎么办? 答: MRS节点访问OBS报错408时,用户需要更换OBS域名。 修改OBS域名为myhuaweicloud.com后缀的域名即可。 父主题: 作业管理类
ALM-18022 Yarn队列资源不足 告警解释 MRS 3.3.1之前版本:告警模块按60秒周期检测Yarn队列资源,当队列可用资源或队列AM(ApplicationMaster)可用资源不足时,产生该告警。 当可用资源充足时,该告警自动消除。 MRS 3.3.1及之后版本:告警模块按周期(“alarm
原因分析 出现这个报错可能的场景有: 开源HDFS客户端访问MRS集群的HDFS时报错。 使用jar包连接MRS集群的HDFS(包括提交任务时连接HDFS)时报错。 解决办法 方法一: 找到命令或者jar包使用的HDFS配置文件hdfs-site.xml。 修改“dfs.client.failover
查看MRS集群静态资源 大数据管理平台支持通过静态服务资源池对没有运行在Yarn上的服务资源进行管理和隔离。系统支持基于时间的静态服务资源池自动调整策略,使集群在不同的时间段自动调整参数值,从而更有效地利用资源。 系统管理员可以在Manager查看静态服务池各个服务使用资源的监控指标结果,包含监控指标如下:
jar方式创建function,执行drop function时出现问题 问题 问题一: 用户没有drop function的权限,能够drop成功。具体场景如下: 在FusionInsight Manager页面上添加user1用户,给予用户admin权限,执行下列操作: set role admin;add
属于此资源池。 该任务指导用户通过MRS添加一个自定义的资源池,并将未加入自定义资源池的主机加入此资源池。 前提条件 如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 如果通过Manag
ALM-12067 tomcat资源异常 告警解释 HA每85秒周期性检测Manager的Tomcat资源。当HA连续2次都检测到Tomcat资源异常时,产生该告警。 当HA检测到Tomcat资源正常后,告警恢复。 Tomcat资源为单主资源,一般资源异常会导致主备倒换,看到告警时
配置MRS集群外节点用户访问普通模式集群资源 操作场景 集群安装为普通模式时,各组件客户端不支持安全认证且无法使用kinit命令,所以集群外的节点默认无法使用集群中的用户,可能导致在这些节点访问某个组件服务端时用户鉴权失败。 如果需要在集群外节点以组件用户身份访问集群资源,管理员需为集
配置MRS集群静态资源 当需要控制集群服务可以使用节点资源的情况,或者控制集群服务在不同时间段节点可用配额的CPU与I/O资源时,集群管理员可以在Manager调整资源基数,并自定义资源配置组。 配置MRS集群静态资源对系统的影响 配置静态服务池后,受影响的服务的配置状态将配置过期,需要重启服务,重启期间服务不可用。
jar方式创建function,执行drop function时出现问题 问题 问题一: 用户没有drop function的权限,能够drop成功。具体场景如下: 在FusionInsight Manager页面上添加user1用户,给予用户admin权限,执行下列操作: set role admin;add
配置HetuEngine资源组 资源组介绍 资源组机制从资源分配的角度控制实例的整体查询负载,并可以对查询实施排队策略。可以在一个计算实例资源下创建多个资源组,并且每个提交的查询将分配给一个特定的资源组执行。在资源组执行新查询之前,将检查当前资源组的资源负载是否超过实例分配给它的资源量。如果超
如果通过Manager界面操作,需要已登录MRS集群Manager界面,详情请参考访问MRS集群Manager。 如果需要删除资源池,需满足以下要求: 集群中任何一个队列不能使用待删除资源池为默认资源池,删除资源池前需要先取消默认资源池,请参见配置MRS租户队列。 集群中任何一个队列不能在待删除资源池中配置过
晚上分析服务的资源不够用,查询服务的资源空闲。 集群资源利用率不高,而且服务能力也打了折扣。因此: 白天多配置HBase服务资源。 晚上多配置Hive服务资源。 这种基于时间的动态调度机制可以更高效地利用资源,运行任务。 父主题: 管理MRS集群静态服务资源
HDFS访问OBS 功能简介 访问OBS过程为: 设置“fs.obs.access.key”和“fs.obs.secret.key”。 由此FileSystem实例可以读取、新增和删除各类资源。 不支持追加操作。 前提条件 对接OBS前需要提前在OBS服务中创建相关目录,并确保访问用户具有对应目录的访问操作权限。
Forbidden 使用当前用户访问Yarn WebUI界面,无法查看作业信息: 使用当前用户登录Hue WebUI后,在界面左侧导航栏单击 ,选择“Workflow”后报错: 建议使用新建的具有对于组件管理权限的用户访问,此时可以参考创建用户章节,创建一个业务用户,例如创建一个具有HDFS管理权限的用户登录并访问HDFS
配置MRS集群远程运维 当用户使用集群过程中出现问题需要华为云支持人员协助解决时,用户可先联系华为云支持人员,再通过运维授权功能授权华为云支持人员访问用户机器的权限用于定位问题,或通过“日志共享”功能提供特定时间段内的日志给华为云支持人员以便定位问题。 开启MRS集群远程运维授权 登录MRS管理控制台。