检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
节点标签管理 标签是集群/节点的标识,为集群/节点添加标签,可以方便用户识别和管理拥有的集群/节点资源。MRS服务通过与标签管理服务(TMS)关联,可以让拥有大量云资源的用户,通过给云资源打标签,快速查找具有同一标签属性的云资源,进行统一检视、修改、删除等管理操作,方便用户对大数据集群及其他相关云资源的统一管理
org.apache.hadoop.hbase.master.MasterCoprocessorHost$12.call(MasterCoprocessorHost.java:348) at org.apache.hadoop.hbase.coprocessor.CoprocessorHost$ObserverOperationWithoutResult.callObserver
org.apache.hadoop.hbase.master.MasterCoprocessorHost$12.call(MasterCoprocessorHost.java:348) at org.apache.hadoop.hbase.coprocessor.CoprocessorHost$ObserverOperationWithoutResult.callObserver
在重启服务或实例期间,可能会造成访问Guardian失败,从而导致作业无法访问OBS。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Guardian”。
企业项目管理 企业项目是一种云资源管理方式。企业管理提供面向企业客户的云上资源管理、人员管理、权限管理、财务管理等综合管理服务。区别于管理控制台独立操控、配置云产品的方式,企业管理控制台以面向企业资源管理为出发点,帮助企业以公司、部门、项目等分级管理方式实现企业云上的人员、资源、权限
脚本路径 obs://mrs-samples/test.sh 脚本的路径。路径可以是OBS文件系统的路径或虚拟机本地的路径。 OBS文件系统的路径,必须以obs://开头,以.sh结尾。
操作步骤 获取MapReduce上已完成任务的具体信息 命令: curl -k -i --negotiate -u : "https://10.120.85.2:26014/ws/v1/history/mapreduce/jobs" 其中10.120.85.2为MapReduce的
对系统的影响 Guardian TokenServer实例非堆内存溢出可能导致业务无法正常访问OBS。 可能原因 该节点TokenServer实例非堆内存使用率过大,或配置的非堆内存不合理,导致使用率超过阈值。 处理步骤 检查非堆内存使用率。
对系统的影响 Guardian TokenServer实例直接内存溢出可能导致业务无法正常访问OBS。 可能原因 节点TokenServer实例直接内存使用率过大,或配置的直接内存不合理,导致使用率超过阈值。 处理步骤 检查直接内存使用率。
当task数多时driver端相应的一些对象就变大了,而且每个task完成时executor和driver都要通信,这就会导致由于内存不足,进程之间通信断连等问题。 当把Driver的内存设置到4g时,应用成功跑完。
当task数多时driver端相应的一些对象就变大了,而且每个task完成时executor和driver都要通信,这就会导致由于内存不足,进程之间通信断连等问题。 当把Driver的内存设置到4g时,应用成功跑完。
操作步骤 获取MapReduce上已完成任务的具体信息 命令: curl -k -i --negotiate -u : "https://10.120.85.2:26014/ws/v1/history/mapreduce/jobs" 其中10.120.85.2为MapReduce的
搜索“jobsystem.customized.properties”,添加用户自定义配置名称为“hetuserver.engine.jobsystem.inner.principal”,值为如下内容,添加完成后单击“保存”,根据界面提示保存配置。
对系统的影响 Guardian TokenServer实例RPC队列平均时间超过阈值可能导致业务访问OBS变慢,严重时会导致无法正常访问OBS。 可能原因 告警阈值配置不合理。 或Guardian TokenServer实例设置的内存太小,频繁Full GC造成JVM卡顿。
场景下Spark调度时延 开启对于OBS存储,可以关闭Spark的本地性进行优化,尽可能提升Spark调度效率 配置项 集群默认值 调整后 --conf spark.locality.wait 3s 0s --conf spark.locality.wait.process 3s
对系统的影响 Guardian TokenServer实例RPC处理平均时间超过阈值可能导致业务访问OBS变慢,严重时会导致无法正常访问OBS。 可能原因 告警阈值配置不合理。 Guardian TokenServer实例设置的内存太小,频繁Full GC造成JVM卡顿。
为增大数据存储容量,创建集群时可同时添加磁盘,每个Core或者Task节点最多支持添加10块磁盘,有如下应用场景: 数据存储和计算分离,数据存储在OBS中,集群存储成本低,存储量不受限制,并且集群可以随时删除,但计算性能取决于OBS访问性能,相对HDFS有所下降,建议在数据计算不频繁场景下使用
Kafka、Storm ClickHouse集群 ClickHouse是一个用于联机分析的列式数据库管理系统,具有压缩率和极速查询性能。被广泛的应用于互联网广告、App和Web流量、电信、金融、物联网等众多领域。
false spark.serializer 用于串行化将通过网络发送或需要缓存的对象的类以序列化形式展现。
false spark.serializer 用于串行化将通过网络发送或需要缓存的对象的类以序列化形式展现。