华为云用户手册

MRS 如何连接spark-beeline？ 用root用户登录集群Master节点。 配置环境变量。 source 客户端安装目录/bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。 kinit MRS集群业务用户 例如： “机机”用户请执行：kinit -kt user.keytab sparkuser “人机”用户请执行：kinit sparkuser 执行如下命令连接Spark组件的客户端。 spark-beeline 在spark-beeline中执行命令，例如在obs://mrs-word001/table/目录中创建表test。 create table test(id int) location 'obs://mrs-word001/table/'; 执行如下命令查询所有表，返回结果中存在表test，即表示访问OBS成功。 show tables; 图1 Spark验证返回已创建的表名 使用“Ctrl + C”退出spark beeline。 父主题： 客户端使用类

MRS集群版本如何进行升级？ MRS普通版本集群 MRS普通版本集群无法实现低版本到高版本的平滑升级。如需体验新版本集群相关能力，建议重新创建一个新版本的集群，然后将老版本集群的数据迁移到新的集群。 MRS LTS版本集群 MRS LTS版集群支持版本升级能力，可从历史版本升级至目标LTS版本。如果需要使用版本升级能力，需联系运维人员确认支持的升级路径并购买相关专业服务进行升级。 父主题： 升级补丁类

答： 不同版本的集群对应的主机操作系统不同，具体对应关系如表1所示。 表1 MRS集群版本与主机操作系统对应关系 MRS集群版本 x86计算 鲲鹏计算(ARM) MRS 3.2.0-LTS.1 EulerOS 2.10 EulerOS 2.10 MRS 3.1.5 EulerOS 2.9 EulerOS 2.9 MRS 3.1.2-LTS.3 EulerOS 2.9 EulerOS 2.9 MRS 3.1.0 EulerOS 2.5 EulerOS 2.8 MRS 1.9.2 EulerOS 2.2 EulerOS 2.8

答： 在为集群Manager绑定了EIP后，通常不建议用户进行解绑，以免影响其他用户正常访问集群的Manager管理界面。 在MRS管理控制台为MRS的Manager界面绑定了EIP后，通过弹性公网IP列表界面无法直接解绑EIP。 如需解绑，可通过调用EIP服务的相关API接口进行解绑： 登录EIP管理控制台，在EIP列表中查看并记录需要解绑的公网IP地址对应的ID信息。 参考解绑弹性公网IP接口说明，在 API Explorer 中解绑EIP。 例如使用当前用户登录API Explorer后，根据实际情况选择Region信息，设置“project_id”为当前Region的项目ID信息、“publicip_id”为1查询到的待解绑EIP的ID。 接口调用成功后，登录EIP管理控制台，在EIP列表中可查看到当前EIP已变为未绑定状态。 登录MRS管理控制台，进入集群概览页面后，可为MRS集群重新绑定其他EIP。

Hue下载的Excel无法打开如何处理？ 本案例适用于MRS 3.x之前版本。 以root用户登录任意一个Master节点，切换到omm用户。 su - omm 使用如下命令查看当前节点是否为 OMS 主节点。 sh ${BIGDATA_HOME}/om-0.0.1/sbin/status-oms.sh 回显active即为主节点，否则请登录另一个Master节点。 图1 oms主节点 进入“{BIGDATA_HOME}/Apache-httpd-*/conf”目录。 cd ${BIGDATA_HOME}/Apache-httpd-*/conf 打开httpd.conf文件。 vim httpd.conf 在文件中搜索21201，并删除文件中的如下内容。proxy_ip和proxy_port对应实际环境中的值。 ProxyHTMLEnable On SetEnv PROXY_PREFIX=https://[proxy_ip]:[proxy_port] ProxyHTMLURLMap (https?:\/\/[^:]*:[0-9]*.*) ${PROXY_PREFIX}/proxyRedirect=$1 RV 图2 待删除内容 退出并保存修改。 再次打开httpd.conf文件，搜索proxy_hue_port，并删除如下内容。 ProxyHTMLEnable On SetEnv PROXY_PREFIX=https://[proxy_ip]:[proxy_port] ProxyHTMLURLMap (https?:\/\/[^:]*:[0-9]*.*) ${PROXY_PREFIX}/proxyRedirect=$1 RV 图3 待删除内容 退出并保存修改。 执行如下命令重启httpd。 sh ${BIGDATA_HOME}/Apache-httpd-*/setup/restarthttpd.sh 检查备Master节点上的httpd.conf文件是否已修改，如果已修改则处理完成，如果未修改，参考上述步骤进行修改备Master节点的httpd.conf文件，无需重启httpd。 重新下载Excel即可打开。 父主题： Web页面访问类

LauncherJob作业执行失败，报错信息为“jobPropertiesMap is null”如何处理？ 问：Launcher作业失败的，提示原因为：提交作业用户无“hdfs /mrs/job-properties”目录的写权限如何处理？ 答：该问题已在MRS 2.1.0.6的补丁中修复，也可通过在MRS Manager页面给同步的提交作业用户赋予该目录“/mrs/job-properties”的写入权限进行处理。 父主题： 作业管理类

添加Hive服务后，提交hivesql/hivescript作业失败如何处理？ 该问题是由于提交作业的用户所在用户组绑定的MRS CommonOperations策略权限在同步到Manager中后没有Hive相关权限，处理方法如下： 添加Hive服务完成。 登录 IAM 服务控制台，创建一个用户组，该用户组所绑定策略和提交作业用户所在用户组权限相同。 将提交作业的用户添加到新用户组中。 刷新MRS控制台集群详情页面，“IAM用户同步”会显示“未同步”。 单击“IAM用户同步”右侧的“同步”。同步状态在MRS控制台页面选择“操作日志”查看当前用户是否被修改。 是，则可以重新提交Hive作业。 否，则检视上述步骤是否全部已执行完成。 是，请联系运维人员处理。 否，请等待执行完成后再提交Hive作业。 父主题： 作业管理类

解决方法 调大launcher-job的heap size值。 使用omm用户登录主OMS节点。 修改“/opt/executor/webapps/executor/WEB-INF/classes/servicebroker.xml”中参数“job.launcher.resource.memory.mb”的值为“2048”。 使用sh /opt/executor/bin/restart-executor.sh重启executor进程。

SparkStreaming作业运行几十个小时后失败，报OBS访问403如何处理？ 问：SparkStreaming作业运行几十个小时后失败，报OBS访问403如何处理？ 答：当用户提交作业需要读写OBS时，提交作业程序会默认为用户添加访问OBS的临时accesskey和secretkey，但是临时accesskey和secretkey有过期时间。 如果需要运行像Flink和SparkStreaming这样的长时作业时，用户可通过“服务配置参数”选项框传入永久的accesskey和secretkey，以保证作业不会在运行过程中因密钥过期而执行失败。 父主题： 作业管理类

如何使用PySpark连接MRS Spark？ 问：如何在E CS 服务器上用PySpark连接内网开启Kerberos认证的MRS Spark集群？ 答：将Spark的“spark-defaults.conf”文件中“spark.yarn.security.credentials.hbase.enabled”修改为“true”，然后使用spark-submit --master yarn --keytab keytabfile --principal principal指定Kerberos认证文件。 父主题： 周边生态对接类

为什么MRS Console页面Flink作业状态与Yarn上的作业状态不一致？ 问：为什么MRS Console页面Flink作业状态与Yarn上的作业状态不一致？ 答：为了节约存储空间，用户修改了Yarn的配置项yarn.resourcemanager.max-completed-applications，减小yarn上历史作业的记录保存个数。由于Flink是长时作业，在yarn上realJob还在运行，但launcherJob已经被删除，导致因从Yarn上查不到launcherJob，从而更新作业状态失败。该问题在2.1.0.6补丁中解决。 解决方法：终止找不到launcherJob的作业，后续提交的作业状态就会更新。 父主题： 作业管理类

解决步骤 通过root用户登录Master1或Master2其中任意一节点，执行以下命令切换到omm用户。 su - omm 执行以下命令，修改“catalina.sh”脚本，搜索“JAVA_OPTS” ，找到类似如下的配置JAVA_OPTS=“-Xms1024m -Xmx4096m”，将其修改为需要的值大小，保存修改。 vim /opt/executor/bin/catalina.sh 重启manager-executor进程，该进程在Master1和Master2节点上为主备部署，同一时刻只有一个节点上运行该进程，首先确认节点上是否有该进程，如果有该进程则进行重启操作。 分别登录Master1节点和Master2节点，执行以下命令确认当前节点是否存在该进程。当有输出时则进程存在。 ps -ef | grep "/opt/executor" | grep -v grep 重启命令如下。 sh /opt/executor/bin/shutdown.shsh /opt/executor/bin/startup.sh

MRS是否支持同时运行多个Flume任务？ Flume客户端可以包含多个独立的数据流，即在一个配置文件properties.properties中配置多个Source、Channel、Sink。这些组件可以链接以形成多个流。 例如在一个配置中配置两个数据流，示例如下： server.sources = source1 source2 server.sinks = sink1 sink2 server.channels = channel1 channel2 #dataflow1 server.sources.source1.channels = channel1 server.sinks.sink1.channel = channel1 #dataflow2 server.sources.source2.channels = channel2 server.sinks.sink2.channel = channel2 父主题： 组件配置类

Hue连接HiveServer报错“over max user connections”如何处理？ 适用版本：MRS 3.1.0及之前的MRS 3.x版本。 修改所有Hue节点上的以下配置文件： /opt/Bigdata/ FusionInsight _Porter_8.*/install/FusionInsight-Hue-*/hue/apps/beeswax/src/beeswax/models.py 修改文件中的396和404行的值。 q = self.filter(owner=user, application=application).exclude(guid='').exclude(secret='') 修改为： q = self.filter(owner=user, application=application).exclude(guid=None).exclude(secret=None) 图1 修改Hue配置文件 父主题： 组件配置类

如何修改FlumeClient的日志为标准输出日志？ 登录Flume客户端安装节点。 进入Flume客户端安装目录，假设Flume客户端安装路径为“/opt/FlumeClient”，可以执行以下命令。 cd /opt/FlumeClient/fusioninsight-flume-1.9.0/bin 执行./flume-manage.sh stop force命令，停止FlumeClient。 执行vi ../conf/log4j.properties命令，打开log4j.properties文件，修改“flume.root.logger”的取值为“${flume.log.level},console”。 执行./flume-manage.sh start force命令，重启FlumeClient。 修改完成后，请检查docker配置信息是否正确。 父主题： 组件配置类

如何查看指定Yarn任务的日志？ 以root用户登录主Master节点。 执行如下命令初始化环境变量。 source 客户端安装目录/bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。 kinit MRS集群用户 执行以下命令获取指定任务的日志信息。 yarn logs -applicationId 待查看作业的application_ID 父主题： 作业管理类

操作步骤 在MRS主机上安装ICAgent，详情请参考：安装ICAgent（华为云主机）。 首次安装先安装一台服务器，然后按照继承批量安装的方式安装其他所有主机。 创建主机组，把1中已安装的ICAgent的主机加到主机组里面。 在 云日志 服务管理控制台，单击“主机管理”，进入主机管理页面，单击右上角“新建主机组”。 在弹出的新建主机组页面，输入“主机组名称”，选择主机类型“Linux主机”或“Windows主机”。 在列表中选择需要加入该主机组的主机，单击“确定”，完成主机组的创建。 可以通过主机名称或主机IP对列表进行过滤，也可以单击“批量搜索主机IP”，并在弹出的搜索框中输入多个主机IP，进行批量搜索。 当列表中没有所需主机时，单击“安装ICAgent”，在弹出的页面安装指引完成主机安装。 创建日志组。 登录云日志服务管理控制台，在“日志管理”页面单击“创建日志组”。 在“创建日志组”页面中，输入日志组名称，名称需要满足如下要求： 只支持输入英文、数字、中文、中划线、下划线及小数点。 不能以小数点、下划线开头或以小数点结尾。 长度为1-64个字符。 在“企业项目”处选择业务需要的企业项目，也可单击“查看企业项目”，在企业项目管理页面查看全部企业项目。 输入“日志存储时间”，如果不设置，系统默认存储时间为30天。日志组创建后，日志存储时间支持修改。 云日志服务的计费单位为日志使用量，免费额度为500MB/月，包括日志读写、日志存储和日志索引，超过免费额度后将按照日志使用量进行收费。 单击“确定”，完成日志组的创建。 在“日志管理”页面中，可以查看日志组名称、日志存储时间、创建时间、创建类型和标签（支持修改）。单击日志组操作列的“修改”可修改日志组名称和日志存储时间。 单击日志组名称，可跳转到日志流详情页面。 创建日志流。 在云日志服务管理控制台，单击日志组名称对应的下拉按钮。 单击展开页面左上角的“创建日志流”，输入日志流名称，名称需要满足如下要求： 只支持输入英文、数字、中文、中划线、下划线及小数点。 不能以小数点、下划线开头或以小数点结尾。 长度为1-64个字符。 在“企业项目”处选择业务需要的企业项目，也可单击“查看企业项目”，在企业项目管理页面查看全部企业项目。 单击“确定”，完成日志流的创建。 在日志流页面中，可以查看日志流的名称、企业项目、日志存储时间、创建时间和创建类型。 可以给不同的组件设置不同的日志流进行区分。 主机接入。 在云日志服务管理控制台，单击“日志接入”。 在“全部分类”页签单击“云主机ECS”。 在“选择日志流”中，“所属日志组”和“所属日志流”选择创建的日志组和日志流名称，单击“下一步”。 在“选择主机组（可选）”中勾选2创建的主机组，单击“下一步”。 在“采集配置”中，输入“采集配置名称”和“路径配置”，单击“下一步”。 路径配置： 采集路径可以配置多条，单击“添加采集路径”可以添加采集路径。 采集路径不能重复配置，即同一主机下的同一路径，即使跨日志组和日志流，也只能配置一次。 采集路径支持递归路径，**表示递归5层目录。 采集路径支持模糊匹配，匹配目录或文件名中的任何字符。 采集路径如果配置的是目录，示例：/var/logs/，则只采集目录下后缀为“.log”、“.trace”和“.out”的文件。 例如，配置如下采集路径： Yarn任务日志路径： /srv/BigData/*/nm/containerlogs/**/container-localizer-syslog /srv/BigData/*/nm/containerlogs/**/directory.info /srv/BigData/*/nm/containerlogs/**/launch_container.sh /srv/BigData/*/nm/containerlogs/**/prelaunch.err /srv/BigData/*/nm/containerlogs/**/prelaunch.out /srv/BigData/*/nm/containerlogs/**/stderr /srv/BigData/*/nm/containerlogs/**/stdout /srv/BigData/*/nm/containerlogs/**/syslog* /srv/BigData/*/nm/containerlogs/**/*.log HDFS服务全部日志： /var/log/Bigdata/audit/hdfs/jn/hdfs-audit-journalnode.log /var/log/Bigdata/audit/hdfs/jn/SecurityAuth.audit /var/log/Bigdata/hdfs/*/ 其他组件可以参考HDFS服务日志进行配置。 “索引配置”直接跳过并提交。 如果需要配置“索引配置”请参考《云日志服务》相关章节。 查看日志。 在云日志服务管理控制台，单击“日志管理”。 在“日志组名称”中单击创建的日志组名称，可查看当前日志组的相关日志。

如何配置knox内存？ 以root用户登录集群Master节点。 在Master节点执行如下命令打开gateway.sh文件。 su omm vim /opt/knox/bin/gateway.sh 将“APP_MEM_OPTS=""” 修改为 “APP_MEM_OPTS="-Xms256m -Xmx768m"” 保存并退出文件。 在Master节点执行如下命令重启knox进程。 sh /opt/knox/bin/gateway.sh stop sh /opt/knox/bin/gateway.sh start 在其他Master节点上重复执行如上步骤。 执行ps -ef |grep knox命令可查看已设置的内存信息。 图1 knox内存 父主题： 性能优化类

Hive使用beeline -e执行多条语句报错如何处理？ MRS 3.x版本Hive使用beeline执行beeline -e "use default;show tables;"命令报错： Error while compiling statement: FAILED: ParseException line 1:11 missing EOF at ';' near 'default' (state=42000,code=40000) 处理方法： 方法一：使用beeline --entirelineascommand=false -e "use default;show tables;"命令。 方法二： 在Hive客户端如“/opt/Bigdata/client/Hive”目录下修改component_env文件，修改export CLIENT_HIVE_ENTIRELINEASCOMMAND=true为export CLIENT_HIVE_ENTIRELINEASCOMMAND=false。 图1 修改component_env文件 执行如下命令验证配置。 source /opt/Bigdata/client/bigdata_env beeline -e "use default;show tables;" 父主题： 组件配置类

MRS集群内节点互信异常如何处理？ 当Manager报“ALM-12066 节点间互信失效”告警，或者发现节点间无ssh互信时，可参考如下步骤操作。 分别在互信集群的两端节点执行ssh-add -l 确认是否有identities信息。 如果没有identities信息，执行ps -ef|grep ssh-agent找到ssh-agent进程，并kill该进程等待该进程自动重启。 执行ssh-add -l 查看是否已经添加identities信息，如果已经添加，请手动ssh确认互信是否正常。 如果有identities信息，需要确认/home/omm/.ssh/authorized_keys中是否有对端节点/home/omm/.ssh/id_rsa.pub文件中的信息，如果没有手动添加对端节点信息。 检查/home/omm/.ssh目录下的文件权限是否正确。 排查日志文件 “/var/log/Bigdata/nodeagent/scriptlog/ssh-agent-monitor.log”。 如果把omm的用户目录删除了，需要联系MRS运维人员修复。 父主题： 节点管理类

原因分析 从Spark 2.3版本开始，推荐使用新参数spark.executor.memoryOverhead设置executor的overhead内存大小，如果任务两个参数都设置，则spark.yarn.executor.memoryOverhead的值不生效，以spark.executor.memoryOverhead的值为最终值。 同样的参数还有driver的overhead内存设置：spark.driver.memoryOverhead

Hadoop组件jar包位置和环境变量的位置在哪里？ hadoopstreaming.jar位置在/opt/share/hadoop-streaming-*目录下。其中*由Hadoop版本决定。 jdk环境变量：/opt/client/JDK/component_env Hadoop组件的环境变量位置：/opt/client/HDFS/component_env Hadoop客户端路径：/opt/client/HDFS/hadoop 父主题： 组件配置类

如何查看MRS作业的日志？ MRS Console页面作业管理，每一条作业支持查看日志，包含launcherJob日志和realJob日志。 launcherJob作业的日志，一般会在stderr和stdout中打印错误日志，如下图所示： realJob的日志，可以通过MRS Manager中Yarn服务提供的ResourceManager Web UI查看。 登录集群Master节点，可获取1作业的日志文件 ，具体hdfs路径为“/tmp/logs/{submit_user}/logs/{application_id}”。 提交作业后，在Yarn的WEB UI未找到对应作业的application_id，说明该作业没有提交成功，可登录集群主Master节点，查看提交作业进程日志“/var/log/executor/logs/exe.log”。 父主题： 作业管理类

如何修改现有集群的HDFS fs.defaultFS？ 问：如何修改现有集群的HDFS NameSpace（fs.defaultFS）？ 答：当前不建议在服务端修改或者新增集群内HDFS NameSpace（fs.defaultFS），如果只是为了客户端更好的识别，则一般可以通过修改客户端内“core-site.xml”，“hdfs-site.xml”两个文件的相关参数进行实现。 父主题： 组件配置类

如何修改HDFS主备倒换类？ 当MRS 3.x版本集群使用HDFS连接NameNode报类org.apache.hadoop.hdfs.server.namenode.ha.AdaptiveFailoverProxyProvider无法找到时，是由于MRS 3.x版本集群HDFS的主备倒换类默认为该类，可通过如下方式解决。 方式一：添加hadoop-plugins-xxx.jar到程序的classpath或者lib目录中。 hadoop-plugins-xxx.jar包一般在HDFS客户端目录下：$HADOOP_HOME/share/hadoop/common/lib/hadoop-plugins-8.0.2-302023.jar 方式二：将HDFS的如下配置项修改为开源类： dfs.client.failover.proxy.provider.hacluster=org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider 父主题： 组件配置类

答： MRS集群内节点上的sudo log文件是omm用户的操作记录，以方便问题的定位，用户可以清理。 因为日志占用了一部分存储空间，建议管理员清除比较久远的操作日志释放资源空间。 日志文件较大，可以将此文件目录添加到“/etc/logrotate.d/syslog”中，让系统做日志老化 ，定时清理久远的日志 。 更改文件日志目录：sed -i '3 a/var/log/sudo/sudo.log' /etc/logrotate.d/syslog 可以根据日志个数和大小进行设置“/etc/logrotate.d/syslog”，超过设置的日志会自动删除掉。一般默认按照存档大小和个数进行老化的，可以通过size和rotate分别是日志大小限制和个数限制，默认没有时间周期的限制，如需进行周期设置可以增加daily/weekly/monthly指定清理日志的周期为每天/每周/每月。

如何修改Clickhouse服务的allow_drop_detached配置项? 用root用户登录Clickhouse客户端所在节点。 进入客户端目录，配置环境变量。 cd /opt/客户端安装目录 source bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。 kinit MRS集群用户 该用户必须具有Clickhouse管理员权限。 执行命令clickhouse client --host 192.168.42.90 --secure -m，其中192.168.42.90为ClickHouseServer实例节点IP，执行结果如下： [root@server-2110082001-0017 hadoopclient]# clickhouse client --host 192.168.42.90 --secure -m ClickHouse client version 21.3.4.25. Connecting to 192.168.42.90:21427. Connected to ClickHouse server version 21.3.4 revision 54447. 执行命令修改allow_drop_detached的值。 例如：设置allow_drop_detached=1 set allow_drop_detached=1; 执行如下命令查看allow_drop_detached的值： SELECT *　FROM system.settings　WHERE name = 'allow_drop_detached'; 执行命令q;退出clickhouse client。 父主题： 组件配置类

查询密码有效期 查询组件运行用户（人机用户、机机用户）密码有效期： 以客户端安装用户，登录安装了客户端的节点。 执行以下命令，切换到客户端目录，例如“/opt/Bigdata/client”。 cd /opt/Bigdata/client 执行以下命令，配置环境变量。 source bigdata_env 执行以下命令，输入kadmin/admin用户密码后进入kadmin控制台。 kadmin -p kadmin/admin kadmin/admin的默认密码为“Admin@123”，首次登录后需修改密码，请按照提示修改并妥善保存。 执行如下命令，可以查看用户的信息。 getprinc 系统内部用户名 例如：getprinc user1 kadmin: getprinc user1 ...... Expiration date: [never] Last password change: Sun Oct 09 15:29:54 CST 2022 Password expiration date: [never] ...... 查询操作系统用户密码有效期： 以root用户登录集群任一Master节点。 执行以下命令查看用户密码有效期（“Password expires”参数值）。 chage -l 用户名 例如查看root用户密码有效期，则执行chage -l root，执行后结果如下： [root@xxx ~]#chage -l root Last password change : Sep 12, 2021 Password expires : never Password inactive : never Account expires : never Minimum number of days between password change : 0 Maximum number of days between password change : 99999 Number of days of warning before password expires : 7

如何查看各组件配置文件路径？ 常用组件配置文件路径如下所示： 组件 配置文件目录 ClickHouse 客户端安装路径/ClickHouse/clickhouse/config Flink 客户端安装路径/Flink/flink/conf Flume Flume客户端安装目录/fusioninsight-flume-xxx/conf HBase 客户端安装路径/HBase/hbase/conf HDFS 客户端安装路径/HDFS/hadoop/etc/hadoop Hive 客户端安装路径/Hive/config Hudi 客户端安装路径/Hudi/hudi/conf Kafka 客户端安装路径/Kafka/kafka/config Loader 客户端安装路径/Loader/loader-tools-xxx/loader-tool/conf 客户端安装路径/Loader/loader-tools-xxx/schedule-tool/conf 客户端安装路径/Loader/loader-tools-xxx/shell-client/conf 客户端安装路径/Loader/loader-tools-xxx/sqoop-shell/conf Oozie 客户端安装路径/Oozie/oozie-client-xxx/conf Spark2x 客户端安装路径/Spark2x/spark/conf Yarn 客户端安装路径/Yarn/config ZooKeeper 客户端安装路径/Zookeeper/zookeeper/conf 父主题： 组件管理类

问题现象 Flink作业提交时，jobmanager启动成功，但taskmanager一直是启动中直到超时，报错如下： org.apache.flink.runtime.jobmanager.scheduler.NoResourceAvailableException: Could not allocate the required slot within slot request timeout. Please make sure that the cluster has enough resources