云服务器内容精选

华为云首页用户手册

作业管理类

MAPREDUCE服务 MRS-为什么MRS Console页面Flink作业状态与Yarn上的作业状态不一致？

为什么 MRS Console页面Flink作业状态与Yarn上的作业状态不一致？问：为什么MRS Console页面Flink作业状态与Yarn上的作业状态不一致？答：为了节约存储空间，用户修改了Yarn的配置项yarn.resourcemanager.max-completed-applications，减小yarn上历史作业的记录保存个数。由于Flink是长时作业，在yarn上realJob还在运行，但launcherJob已经被删除，导致因从Yarn上查不到launcherJob，从而更新作业状态失败。该问题在2.1.0.6补丁中解决。解决方法：终止找不到launcherJob的作业，后续提交的作业状态就会更新。父主题：作业管理类

MAPREDUCE服务 MRS 作业管理类
MAPREDUCE服务 MRS-提交Flink作业时报错slot request timeout如何处理？:问题现象

问题现象 Flink作业提交时，jobmanager启动成功，但taskmanager一直是启动中直到超时，报错如下： org.apache.flink.runtime.jobmanager.scheduler.NoResourceAvailableException: Could not allocate the required slot within slot request timeout. Please make sure that the cluster has enough resources

MAPREDUCE服务 MRS 作业管理类
MAPREDUCE服务 MRS-Spark作业的Client模式和Cluster模式有什么区别？

Spark作业的Client模式和Cluster模式有什么区别？理解YARN-Client和YARN-Cluster深层次的区别之前先清楚一个概念：Application Master。在YARN中，每个Application实例都有一个ApplicationMaster进程，它是Application启动的第一个容器。它负责和ResourceManager打交道并请求资源，获取资源之后告诉NodeManager为其启动Container。从深层次的含义讲YARN-Cluster和YARN-Client模式的区别其实就是ApplicationMaster进程的区别。 YARN-Cluster模式下，Driver运行在AM(Application Master)中，它负责向YARN申请资源，并监督作业的运行状况。当用户提交了作业之后，就可以关掉Client，作业会继续在YARN上运行，因而YARN-Cluster模式不适合运行交互类型的作业。 YARN-Client模式下，Application Master仅仅向YARN请求Executor，Client会和请求的Container通信来调度工作，也就是说Client不能离开。父主题：作业管理类

MAPREDUCE服务 MRS 作业管理类