检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
结果,包含监控指标如下: 服务总体CPU使用率 服务总体磁盘IO读速率 服务总体磁盘IO写速率 服务总体内存使用大小 查看静态资源(3.x及之后版本) 在FusionInsight Manager界面,选择“集群 > 静态服务池”。 在“配置组列表”,单击一个配置组,例如“default”。
WARN WARN表示当前事件处理存在异常信息,但认为是正常范围,不会导致系统出错。 INFO INFO表示系统及各事件正常运行状态信息。 DEBUG DEBUG表示系统及系统的调试信息。 如果您需要修改日志级别,请执行如下操作: 参考修改集群服务配置参数章节,进入ZooKeeper服务“全部配置”页面。
ERROR表示错误日志,可能会导致进程异常。 WARN WARN表示当前事件处理存在异常信息。 INFO INFO表示系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及数据库底层数据传输的信息。 如果您需要修改日志级别,请执行如下操作: 登录FusionInsight Manager系统。
支持用户分企业项目查看具体的财务信息,包括订单、消费汇总、消费明细等。 若MRS集群与VPC不在同一个企业项目中,用户需要在IAM视图添加VPC查看权限后方可查看VPC及集群相关信息。 父主题: 产品功能
自研代码运行异常,可以先运行Oozie的自带样例,排除Oozie自身的异常。 寻求技术人员的支持,需要收集Yarn上Oozie任务运行日志、Oozie自身的日志及组件的运行的日志,例如使用Oozie运行Hive报异常,需收集Hive的日志。 父主题: Oozie常见问题
设置为true时,进行虚拟内存检测; 设置为false时,不进行虚拟内存检测。 MRS 3.x之前的版本集群:false MRS 3.x及后续版本集群:true yarn.nodemanager.pmem-check-enabled 是否进行物理内存检测的开关。如果任务使用的内存量超出分配值,则直接将任务强制终止。
务不可用。 可能原因 该节点Yarn ResourceManager实例堆内存使用量过大,或分配的堆内存不合理,导致使用量超过阈值。 处理步骤 检查堆内存使用量。 在FusionInsight Manager界面,选择“运维 > 告警 > 告警 > Yarn ResourceManager堆内存使用率超过阈值
Spark DAG设计规范说明 操作场景 合理的设计程序结构,可以优化执行效率。在程序编写过程中要尽量减少shuffle操作,合并窄依赖操作。 操作步骤 以“同行车判断”例子讲解DAG设计的思路。 数据格式:通过收费站时间、车牌号、收费站编号...... 逻辑:以下两种情况下判定这两辆车是同行车:
max_suppkey)) ) c group by s_name order by numwait desc, s_name limit 100; 操作步骤 分析业务。 从业务入手分析是否可以简化SQL,例如可以通过合并表去减少嵌套的层级和Join的次数。 如果业务需求对应的SQL无法简化,则需要配置DRIVER内存:
serA,userB groupA,groupB。当配置为*时表示所有用户或用户组。 MRS 3.x之前版本:mapred MRS 3.x及之后版本: mapred supergroup,System_administrator_186 父主题: 使用MapReduce
WARN WARN表示当前事件处理存在异常信息,但认为是正常范围,不会导致系统出错。 INFO INFO表示系统及各事件正常运行状态信息。 DEBUG DEBUG表示系统及系统的调试信息。 如果您需要修改日志级别,请执行如下操作: 参考修改集群服务配置参数章节,进入ZooKeeper服务“全部配置”页面。
2集群。 在健康检查的报告面板上单击“导出报告”导出健康检查报告,可查看检查项的完整信息。 在Manager查看健康检查报告(MRS 3.x及之后版本) 登录FusionInsight Manager。 选择“运维 > 健康检查”。 查看健康检查报告: 默认显示所有已保存的检查报告
background_pool_size 后台用于merge的线程池大小。 16 4u16G:cpu核数 8u32G:cpu核数 16u64G及以上:CPU内核数 * 2 否 log_queries system.query_log表的开关。默认值为0,不存在该表。修改为1,系统会自动创建system
ERROR表示系统运行的错误信息。 WARN WARN表示当前事件处理存在异常信息。 INFO INFO表示记录系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别,请执行如下操作: 参考修改集群服务配置参数进入Hue服务“全部配置”页面。
自研代码运行异常,可以先运行Oozie的自带样例,排除Oozie自身的异常。 寻求技术人员的支持,需要收集Yarn上Oozie任务运行日志、Oozie自身的日志及组件的运行的日志,例如使用Oozie运行Hive报异常,需收集Hive的日志。 父主题: Oozie常见问题
128小时~256小时:每个间隔1小时,要求集群至少安装1小时以上,最多保留90天监控数据。 256小时~256天及以上:每个间隔1天,要求集群至少安装1天以上,最多保留90天监控数据。 通过Manager查看集群监控(MRS 2.x及之前版本) 登录Manager页面,选择“系统概览”。 在“时间区间”选择需要查
Ldap用户或管理账户连续使用错误密码操作Ldap次数大于5次时,会造成LDAP用户或管理账户被锁定。用户被锁定之后,5分钟后会自动解锁。 该操作仅适用于MRS 3.x及之后版本。 以omm用户登录主管理节点。 执行以下命令,切换到目录: cd ${BIGDATA_HOME}/om-server/om/lda
enable=true 关闭Ranger鉴权:spark.ranger.plugin.authorization.enable=false 操作步骤 登录Manager页面,选择“系统 > 权限 > 角色”。 单击“添加角色”,然后“角色名称”和“描述”输入角色名字与描述。 设置角色“配置资源权限”请参见表1。
ZooKeeper服务异常 HDFS服务异常 Yarn服务异常 DBService服务异常 Hive服务异常 HetuEngine缺少HSBroker实例 处理步骤 检查KrbServer服务状态。 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”。 在告警列表中,查看是否有“ALM-25500
现请求超时。 可能原因 该节点HBase实例内存使用率过大,或配置的堆内存不合理,或HBase存在大量的IO操作,导致进程GC频繁。 处理步骤 检查GC时间 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,选中“告警ID”为“19007”的告警