检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
搜索“jobsystem.customized.properties”,添加用户自定义配置名称为“hetuserver.engine.jobsystem.inner.principal”,值为如下内容,添加完成后单击“保存”,根据界面提示保存配置。
对系统的影响 Guardian TokenServer实例RPC队列平均时间超过阈值可能导致业务访问OBS变慢,严重时会导致无法正常访问OBS。 可能原因 告警阈值配置不合理。 或Guardian TokenServer实例设置的内存太小,频繁Full GC造成JVM卡顿。
操作步骤 获取MapReduce上已完成任务的具体信息 命令: curl -k -i --negotiate -u : "https://10.120.85.2:26014/ws/v1/history/mapreduce/jobs" 其中10.120.85.2为MapReduce的
对系统的影响 Guardian TokenServer实例直接内存溢出可能导致业务无法正常访问OBS。 可能原因 节点TokenServer实例直接内存使用率过大,或配置的直接内存不合理,导致使用率超过阈值。 处理步骤 检查直接内存使用率。
对系统的影响 Guardian TokenServer实例非堆内存溢出可能导致业务无法正常访问OBS。 可能原因 该节点TokenServer实例非堆内存使用率过大,或配置的非堆内存不合理,导致使用率超过阈值。 处理步骤 检查非堆内存使用率。
在“恢复对象”选择待操作的集群。 在“恢复配置”,勾选“业务数据”下的“HBase”。 在“HBase”的“路径类型”,选择一个备份目录的类型。 备份目录支持以下类型: “RemoteHDFS”:表示将备份文件保存在备集群的HDFS目录。
如何获取Spark Jar包? 华为提供开源镜像站(网址为https://mirrors.huaweicloud.com/),各服务样例工程依赖的jar包都可在华为开源镜像站下载,剩余所依赖的开源jar包请直接从Maven中央库或者其他用户自定义的仓库地址下载。 本地环境使用开发工具下载依赖的
企业项目管理 企业项目是一种云资源管理方式。企业管理提供面向企业客户的云上资源管理、人员管理、权限管理、财务管理等综合管理服务。区别于管理控制台独立操控、配置云产品的方式,企业管理控制台以面向企业资源管理为出发点,帮助企业以公司、部门、项目等分级管理方式实现企业云上的人员、资源、权限
- number of splits:2 13405 [main] INFO org.apache.hadoop.mapreduce.JobSubmitter - Submitting tokens for job: job_1456738266914_0006 13405
= null; try { // 获取hbase连接 connection = ConnectionFactory.createConnection(hbConf); // 获取table对象
getRow()); // 计算结果 int resultValue = Integer.parseInt(hbase1Value) + Integer.parseInt(hbase2Value); // 设置结果到put对象
numberOfSubscribedJobs:为订阅本NettySink的作业数量,该数量必须是明确的,只有当所有订阅者都连接上NettySink,NettySink才发送数据。
参考信息 OBS证书过期请参考如何处理集群内部OBS证书过期。 父主题: MRS集群告警处理参考
numberOfSubscribedJobs:为订阅本NettySink的作业数量,该数量必须是明确的,只有当所有订阅者都连接上NettySink,NettySink才发送数据。
参考信息 OBS证书过期请参考如何处理集群内部OBS证书过期。 父主题: MRS集群告警处理参考
图1 聚合日志失败页面 回答 原因:弹出的URL地址(如https://<hostname>:20026/Spark2x/JobHistory2x/xx/history/application_xxx/jobs/),其中的<hostname>没有在Windows系统的hosts文件中添加域名信息
场景下Spark调度时延 开启对于OBS存储,可以关闭Spark的本地性进行优化,尽可能提升Spark调度效率 配置项 集群默认值 调整后 --conf spark.locality.wait 3s 0s --conf spark.locality.wait.process 3s
为增大数据存储容量,创建集群时可同时添加磁盘,每个Core或者Task节点最多支持添加10块磁盘,有如下应用场景: 数据存储和计算分离,数据存储在OBS中,集群存储成本低,存储量不受限制,并且集群可以随时删除,但计算性能取决于OBS访问性能,相对HDFS有所下降,建议在数据计算不频繁场景下使用
对系统的影响 Guardian TokenServer实例RPC处理平均时间超过阈值可能导致业务访问OBS变慢,严重时会导致无法正常访问OBS。 可能原因 告警阈值配置不合理。 Guardian TokenServer实例设置的内存太小,频繁Full GC造成JVM卡顿。
_2.getRow) // 计算结果 val resultValue = hbase1Value.toInt + hbase2Value.toInt // 设置结果到put对象 put.addColumn