华为云用户手册

问题现象 使用clickhouse client命令连接ClickHouse服务端，报错： ClickHouse exception, code: 516, host: 192.168.0.198, port: 8443; Code: 516, e.displayText() = DB::Exception: clickDevelopuser: Authentication failed: password is incorrect or there is no user with such name

答： 不同版本的集群对应的主机操作系统不同，具体对应关系如表1所示。 表1 MRS 集群版本与主机操作系统对应关系 MRS集群版本 x86计算 鲲鹏计算(ARM) MRS 3.2.0-LTS.1 EulerOS 2.10 EulerOS 2.10 MRS 3.1.5 EulerOS 2.9 EulerOS 2.9 MRS 3.1.2-LTS.3 EulerOS 2.9 EulerOS 2.9 MRS 3.1.0 EulerOS 2.5 EulerOS 2.8 MRS 1.9.2 EulerOS 2.2 EulerOS 2.8

如何查看指定Yarn任务的日志？ 以root用户登录主Master节点。 执行如下命令初始化环境变量。 source 客户端安装目录/bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。 kinit MRS集群用户 执行以下命令获取指定任务的日志信息。 yarn logs -applicationId 待查看作业的application_ID 父主题： 作业管理类

如何修改现有集群的HDFS fs.defaultFS？ 问： 如何修改现有集群的HDFS NameSpace（fs.defaultFS）？ 答： 当前不建议在服务端修改或者新增集群内HDFS NameSpace（fs.defaultFS），如果只是为了客户端更好的识别，则一般可以通过修改客户端内“core-site.xml”，“hdfs-site.xml”两个文件的相关参数进行实现。 父主题： 组件配置类

问题现象 Flink作业提交时，jobmanager启动成功，但taskmanager一直是启动中直到超时，报错如下： org.apache.flink.runtime.jobmanager.scheduler.NoResourceAvailableException: Could not allocate the required slot within slot request timeout. Please make sure that the cluster has enough resources

MRS集群磁盘如何分区的？ MRS集群即发即用，不需用户自行规划磁盘分区。集群节点创建成功后，节点的操作系统磁盘分区说明如表1所示。 表1 MRS集群节点OS盘分区说明 分区类型 分区目录 容量 用途 OS分区 / 220GB 操作系统根分区目录和程序存放目录，包括了所有目录（除去下面指定的目录）。 /tmp 10GB 临时文件存放目录。 /var 10GB 操作系统运行目录。 /var/log OS盘剩余空间都分配给“/var/log”分区 日志存放目录。 /srv/BigData 60GB 作为 FusionInsight Manager的数据目录，存放ldapData、Manager、metric_agent等数据，同时为组件数据目录提供挂载点。 MRS集群节点创建成功后，节点的非操作系统磁盘会挂载至“/srv/BigData/dataN”目录，例如节点有4块数据盘，则磁盘挂载目录为“/srv/BigData/data1”、“/srv/BigData/data2”、“/srv/BigData/data3”、“/srv/BigData/data4”。 节点上所部署的各组件元数据目录和数据目录按照一定映射规则分配到不同的磁盘分区目录下，各组件数据目录说明可参考表2。 表2 MRS集群节点非操作系统盘分区说明 分区类型 磁盘分区挂载目录 数据目录 用途 元数据分区 /srv/BigData/data1 dbdata_om OMS 的数据库数据目录，如果安装双机Manager，两个OMS节点均包含此分区目录。 LocalBackup 备份集群数据时，如果选择备份在“LocalDir”，则默认存储在该路径下。如果安装双机Manager，两个节点包含此分区目录。 containers WebContainer角色所在节点，存放Container BLU应用的war包和配置集。 doris/fe 存放Doris数据库元数据。 /srv/BigData/data2 journalnode HDFS JournalNode角色所在节点，存放HDFS的JournalNode元数据。 dbdata_service DBService DBServer角色所在节点，DBService服务数据库目录。 iotdb/iotdbserver IoTDB系统元数据存储路径。 iotdb/confignode 存放IoTDB ConfigNode角色元数据。 /srv/BigData/data3 namenode HDFS NameNode角色所在节点，存放NameNode数据。 iotdb/iotdbserver IoTDBServer日志数据存储路径。 /srv/BigData/data4 zookeeper ZooKeeper quorumpeer角色所在节点，存放ZooKeeper数据。 hetuengine/qas HetuEngine QAS角色所在节点，存放QAS数据。 业务数据分区 /srv/BigData/dataN dn nm 存放DataNode数据以及MapReduce任务中间数据。 kafka-logs 存放Kafka Broker数据。 clickhouse clickhouse_path 存放ClickHouse数据库数据。 clickhouse_path目录存放ClickHouse元数据信息，只在“data1”目录下存在。 iotdb/iotdbserver 存放IoTDB服务的业务数据。 doris/be 存放Doris数据库数据。 元数据分区目录最多使用4块磁盘（data1~data4），各元数据目录根据表2依次映射到“/srv/BigData/data1”~“/srv/BigData/data4”目录下。如果当前节点只挂载了3块数据盘，则data4与data2下的目录合并。如果只挂载了2块数据盘，则data3与data1下的目录合并，data4与data2下的目录合并。 例如，ZooKeeper节点上有4块数据盘，则ZooKeeper的数据目录为“/srv/BigData/data4/zookeeper”，当节点只有3块数据盘时，ZooKeeper的数据目录为“/srv/BigData/data2/zookeeper”。 业务数据目录映射规则规则如下： 对于HDFS、KafKa、ClickHouse、IoTDB组件，根据当前节点磁盘挂载数量自动识别符合“/srv/BigData/dataN”的挂载点作为数据目录。 例如当前“/srv/BigData/data1”~“/srv/BigData/data3”目录挂载了磁盘，则DataNode的数据目录为“/srv/BigData/data1/dn”、“/srv/BigData/data2/dn”、“/srv/BigData/data3/dn”，Kafka的数据目录为“/srv/BigData/data1/kafka-logs”、“/srv/BigData/data2/kafka-logs”、“/srv/BigData/data3/kafka-logs”。 父主题： 节点管理类

答： 通过管理人员检查API请求日志发现告警信息为细粒度策略中未赋予 IAM 用户“mrs:cluster:create”的权限导致。 分析原因为当前IAM用户归属在多个用户组内，多个用户组分别赋予了不同的MRS默认策略，由于权限是优先匹配低权限策略，该策略缺少“mrs:cluster:create”权限，导致无法提交创建集群的操作，从而接口返回401错误码。 将该用户从低权限策略对应的用户组移除后，重新购买集群成功。

解决方法 调大launcher-job的heap size值。 使用omm用户登录主OMS节点。 修改“/opt/executor/webapps/executor/WEB-INF/classes/servicebroker.xml”中参数“job.launcher.resource.memory.mb”的值为“2048”。 使用sh /opt/executor/bin/restart-executor.sh重启executor进程。

原因分析 按照设定，任务应该只扫描b=xxx的分区，但是查看任务日志可以发现，实际上任务却扫描了所有的分区再来计算b=xxx的数据，因此任务计算的很慢。并且因为需要扫描所有文件，会有大量的OBS请求发送。 MRS默认开启基于分区统计信息的执行计划优化，相当于自动执行Analyze Table（默认开启的设置方法为spark.sql.statistics.fallBackToHdfs=true，可通过配置为false关闭）。开启后，SQL执行过程中会扫描表的分区统计信息，并作为执行计划中的代价估算，例如对于代价评估中识别的小表，会广播小表放在内存中广播到各个节点上，进行join操作，大大节省shuffle时间。 此开关对于Join场景有较大的性能优化，但是会带来OBS调用量的增加。

解决步骤 通过root用户登录Master1或Master2其中任意一节点，执行以下命令切换到omm用户。 su - omm 执行以下命令，修改“catalina.sh”脚本，搜索“JAVA_OPTS” ，找到类似如下的配置JAVA_OPTS=“-Xms1024m -Xmx4096m”，将其修改为需要的值大小，保存修改。 vim /opt/executor/bin/catalina.sh 重启manager-executor进程，该进程在Master1和Master2节点上为主备部署，同一时刻只有一个节点上运行该进程，首先确认节点上是否有该进程，如果有该进程则进行重启操作。 分别登录Master1节点和Master2节点，执行以下命令确认当前节点是否存在该进程。当有输出时则进程存在。 ps -ef | grep "/opt/executor" | grep -v grep 重启命令如下。 sh /opt/executor/bin/shutdown.sh sh /opt/executor/bin/startup.sh

操作步骤 确认MRS集群的节点镜像的操作系统版本是否在主机安全服务的Agent支撑的操作系统列表范围内。 登录MRS管理控制台。 在左侧导航栏中选择“现有集群”，单击目标集群名称，进入集群信息页面。 在集群信息页面中，选择“节点管理”页签，单击目标节点组，在展开的节点名称列中单击任一节点，跳转到云服务基本信息控制台。 图1 节点管理 在云服务器详情页面中，选择“基本信息”页签，进入云服务器基本信息页面后，在“云服务器信息”栏中确认“镜像”中EulerOS的操作系统版本。 查看说明：镜像中显示的EulerOS_2.10_x86_64，则代表操作系统为Linux系统版本（X86架构）、版本为EulerOS 2.10 64bit。 图2 操作系统版本 确认MRS节点的操作系统版本是否在HSS服务的Agent支持的操作系统范围中。 HSS服务的Agent支持的操作系统列表请参见支持的操作系统。 是，执行2，安装主机安全HSS服务的Agent。 否，无法安装主机安全服务。 购买主机安全防护配额，并分别登录MRS集群的各个节点安装Agent（MRS集群每个节点都需要安装），安装完成后可开启防护。 确保MRS集群的节点与HSS配额在同一区域，并使用配额所在区域的安装命令或安装包为主机安装Agent。 表1 主机防护开启操作 操作步骤 相关说明 步骤一 购买主机安全防护配额 主机安全服务有基础版、企业版、旗舰版供您选择，具体功能详情及版本差异详情请参见版本功能差异说明。 购买时，“防护主机数量”需跟MRS集群中的节点数量保持一致。 图3 防护主机数量 步骤二 安装Agent Linux版本 Windows版本 Agent是用于执行检测任务，全量扫描主机，实时监测主机的安全状态。 步骤三 开启主机防护 开启主机安全防护时，按照一台主机对应一个配额的关系进行绑定，只有绑定配额的主机才能正常防护。 步骤四 开启告警通知 开启告警通知功能后，您能接收到HSS服务发送的告警通知短信，及时了解主机的安全风险。 步骤五 （可选）基础配置 开启防护后，您可配置常用登录地、常用登录IP、SSH登录IP白名单，以及开启恶意程序自动隔离查杀，进一步提升云服务器的安全。

Hive服务运行状态为亚健康是否会影响上层业务？ 问： MRS集群内的Hive服务运行状态显示为“亚健康”，是否会影响上层业务？ 图1 Hive服务状态 答： 集群中服务运行状态为“亚健康”表示服务部分增强功能无法正常工作。 在本示例场景中，登录Manager查看集群其它服务状态，发现HBase服务被停止。当HBase已安装且状态不正常时，Hive、Spark和Loader服务将处于“亚健康”状态。 此时并不会影响基于Hive服务的上层业务，手动重启HBase服务后，Hive服务运行状态恢复正常。 父主题： 组件管理类

答： 用户子账号同时添加了MRS ReadOnlyAccess、MRS FullAccess权限，由于权限优先级的问题导致了当前在控制台界面无法添加作业。 当IAM子账号所在组同时有MRS FullAccess、MRS ReadOnlyAccess、MRS Administrator三种权限。其中MRS FullAccess、MRS ReadOnlyAccess是细粒度的权限。MRS Administrator是RBAC策略。细粒度的权限优先于RBAC策略。当同时配置时就先看细粒度权限。细粒度权限又有deny优先原则，所以最终MRS ReadOnlyAccess起了作用，这个权限具有只读权限。所以会提示子账号没权限。 将MRS ReadOnlyAccess权限策略删除，退出重新登录，问题解决。

如何使用PySpark连接MRS Spark？ 问： 如何在E CS 服务器上用PySpark连接内网开启Kerberos认证的MRS Spark集群？ 答： 将Spark的“spark-defaults.conf”文件中“spark.yarn.security.credentials.hbase.enabled”修改为“true”，然后使用spark-submit --master yarn --keytab keytabfile --principal principal指定Kerberos认证文件。 父主题： 周边生态对接类

如何查看MRS集群配置信息？ 集群创建完成后在MRS控制台单击集群名称进入集群基本信息页面，可以查看到集群的基本配置信息，包括集群的名称、ID、付费类型、工作地域、创建时间、Hadoop组件版本及节点的实例规格、容量。 节点的实例规格和容量决定了该集群对数据的分析处理能力。 节点实例规格越高，容量越大，集群运行速度越快，分析处理能力越强，相应的成本也越高。 在集群的基本信息页面，单击“前往Manager”，跳转至MRS集群管理页面。 用户可在集群管理页面查看和处理告警信息、修改集群配置等。 父主题： 集群管理类

Hadoop组件jar包位置和环境变量的位置在哪里？ hadoopstreaming.jar位置在/opt/share/hadoop-streaming-*目录下。其中*由Hadoop版本决定。 jdk环境变量：/opt/client/JDK/component_env Hadoop组件的环境变量位置：/opt/client/HDFS/component_env Hadoop客户端路径：/opt/client/HDFS/hadoop 父主题： 组件配置类

如何查看所有MRS集群？ MRS所有的集群都展示在MRS管理控制台的“MRS集群”页面中，进入“MRS集群”页面，可查看所有集群。集群数量较多时，可采用翻页显示，您可以查看任何状态下的集群。 现有集群：包括除了“失败”和“已删除”状态以外的所有集群。 历史集群：仅包含“已删除”状态的集群，目前界面只显示6个月内创建且已删除的集群，如果需要查看6个月以前删除的集群，请联系技术支持人员。 失败任务管理：仅包含“失败”状态的任务。 集群创建失败的任务 集群删除失败的任务 集群扩容失败的任务 集群缩容失败的任务 父主题： 集群管理类

MRS是否支持变更MRS集群节点？ MRS管理控制台不支持变更集群节点，也不建议用户在ECS管理控制台直接修改MRS集群节点。 如果手动在ECS管理控制台对集群节点执行停止ECS、删除ECS、修改或重装ECS操作系统，以及修改ECS规格的操作，可能影响集群稳定运行。 如果您对MRS集群节点进行了上述操作，MRS会自动识别并直接删除发生变更的集群节点。 您可以登录MRS管理控制台，通过扩容恢复已经删除的节点。请勿在扩容过程中对正在扩容的节点进行操作。 父主题： 节点管理类

如何查看MRS服务的操作日志信息？ “操作日志”页面记录了用户对集群和作业的操作的日志信息。目前，MRS界面记录的日志信息分为以下几类： 集群操作 创建集群、删除集群、扩容集群和缩容集群等操作 创建目录、删除目录和删除文件等操作 作业操作：创建作业、停止作业和删除作业等操作 数据操作：IAM用户任务、新增用户、新增用户组等操作 记录用户操作的日志信息如图1所示： 图1 日志信息 父主题： 集群管理类

如何修改FlumeClient的日志为标准输出日志？ 登录Flume客户端安装节点。 进入Flume客户端安装目录，假设Flume客户端安装路径为“/opt/FlumeClient”，可以执行以下命令。 cd /opt/FlumeClient/fusioninsight-flume-1.9.0/bin 执行./flume-manage.sh stop force命令，停止FlumeClient。 执行vi ../conf/log4j.properties命令，打开log4j.properties文件，修改“flume.root.logger”的取值为“${flume.log.level},console”。 执行./flume-manage.sh start force命令，重启FlumeClient。 修改完成后，请检查docker配置信息是否正确。 父主题： 组件配置类

MRS集群版本如何进行升级？ MRS普通版本集群 MRS普通版本集群无法实现低版本到高版本的平滑升级。如需体验新版本集群相关能力，建议重新创建一个新版本的集群，然后将老版本集群的数据迁移到新的集群。 MRS LTS版本集群 MRS LTS版本集群支持版本升级能力，可从历史版本升级至目标LTS版本。如果需要使用版本升级能力，需联系运维人员确认支持的升级路径并购买相关专业服务进行升级。 父主题： 升级补丁类

不同版本的Hive之间是否可以兼容？ Hive 3.1版本与Hive 1.2版本相比不兼容内容主要如下： 字段类型约束：Hive 3.1不支持String转成int。 UDF不兼容：Hive 3.1版本UDF内的Date类型改为Hive内置。 索引功能废弃。 驱动不兼容：Hive 3.1和Hive 1.2版本的JDBC驱动不兼容。 Hive 3.1对ORC文件列名大小写，下划线敏感。 Hive 3.1版本列中不能有名为time的列。 父主题： 产品咨询类

MRS是否支持同时运行多个Flume任务？ Flume客户端可以包含多个独立的数据流，即在一个配置文件properties.properties中配置多个Source、Channel、Sink。 这些组件可以链接以形成多个数据流。 例如在一个配置中配置两个数据流，示例如下： server.sources = source1 source2server.sinks = sink1 sink2server.channels = channel1 channel2#dataflow1 server.sources.source1.channels = channel1server.sinks.sink1.channel = channel1#dataflow2server.sources.source2.channels = channel2server.sinks.sink2.channel = channel2 父主题： 组件配置类

如何选择区域？ 选择区域时，您需要考虑以下几个因素： 地理位置 一般情况下，建议就近选择靠近您或者您的目标用户的区域，可以减少网络时延，提高访问速度。但在基础设施、BGP网络品质、资源的操作与配置等方面，同一个国家各个区域间区别不大，如果您或者您的目标用户在同一个国家，可以不用考虑不同区域造成的网络时延问题。 在除中国大陆以外的亚太地区的用户，可以选择“中国-香港”、“亚太-曼谷”或“亚太-新加坡”区域。 在非洲地区有业务的用户，可以选择“南非-约翰内斯堡”区域。 在欧洲地区有业务的用户，可以选择“欧洲-巴黎”区域。 资源的价格 不同区域的资源价格可能有差异，请参见华为云服务价格详情。

数据存储在OBS和HDFS有什么区别？ MRS集群处理的数据源来源于OBS或HDFS，HDFS是Hadoop分布式文件系统（Hadoop Distributed File System），OBS（Object Storage Service）即 对象存储服务 ，是一个基于对象的海量存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力。MRS可以直接处理OBS中的数据，客户可以基于OBS服务Web界面和OBS客户端对数据进行浏览、管理和使用，同时可以通过REST API接口方式单独或集成到业务程序进行管理和访问数据。 数据存储在OBS：数据存储和计算分离，集群存储成本低，存储量不受限制，并且集群可以随时删除，但计算性能取决于OBS访问性能，相对HDFS有所下降，建议在数据计算不频繁场景下使用。 数据存储在HDFS：数据存储和计算不分离，集群成本较高，计算性能高，但存储量受磁盘空间限制，删除集群前需将数据导出保存，建议在数据计算频繁场景下使用。 父主题： 产品咨询类

如何重置MRS Kafka数据？ 删除Kafka topic信息即重置Kafka数据，具体命令请参考： 删除topic：kafka-topics.sh --delete --zookeeper ZooKeeper集群业务IP:2181/kafka --topic topicname 查询所有topic：kafka-topics.sh --zookeeper ZooKeeper集群业务IP:2181/kafka --list 执行删除命令后topic数据为空则此topic会立刻被删除，如果有数据则会标记删除，后续Kafka会自行进行实际删除。 父主题： 组件配置类

LauncherJob作业执行失败，报错信息为“jobPropertiesMap is null”如何处理？ 问： Launcher作业失败的，提示原因为：提交作业用户无“hdfs /mrs/job-properties”目录的写权限如何处理？ 答： 该问题已在MRS 2.1.0.6的补丁中修复，也可通过在MRS Manager页面给同步的提交作业用户赋予该目录“/mrs/job-properties”的写入权限进行处理。 父主题： 作业管理类

如何配置MRS集群knox内存？ 以root用户登录集群Master节点。 在Master节点执行如下命令打开gateway.sh文件。 su omm vim /opt/knox/bin/gateway.sh 将“APP_MEM_OPTS=""” 修改为 “APP_MEM_OPTS="-Xms256m -Xmx768m"” 保存并退出文件。 在Master节点执行如下命令重启knox进程。 sh /opt/knox/bin/gateway.sh stop sh /opt/knox/bin/gateway.sh start 在其他Master节点上重复执行如上步骤。 执行ps -ef |grep knox命令可查看已设置的内存信息。 图1 knox内存 父主题： 性能优化类

Hue WebUI界面中下载的Excel无法打开如何处理？ 本案例适用于MRS 3.x之前版本。 以root用户登录任意一个Master节点，切换到omm用户。 su - omm 使用如下命令查看当前节点是否为OMS主节点。 sh ${BIGDATA_HOME}/om-0.0.1/sbin/status-oms.sh 回显active即为主节点，否则请登录另一个Master节点。 图1 oms主节点 进入“{BIGDATA_HOME}/Apache-httpd-*/conf”目录。 cd ${BIGDATA_HOME}/Apache-httpd-*/conf 打开httpd.conf文件。 vim httpd.conf 在文件中搜索21201，并删除文件中的如下内容。proxy_ip和proxy_port对应实际环境中的值。 ProxyHTMLEnable OnSetEnv PROXY_PREFIX=https://[proxy_ip]:[proxy_port]ProxyHTMLURLMap (https?:\/\/[^:]*:[0-9]*.*) ${PROXY_PREFIX}/proxyRedirect=$1 RV 图2 待删除内容 退出并保存修改。 再次打开httpd.conf文件，搜索proxy_hue_port，并删除如下内容。 ProxyHTMLEnable OnSetEnv PROXY_PREFIX=https://[proxy_ip]:[proxy_port]ProxyHTMLURLMap (https?:\/\/[^:]*:[0-9]*.*) ${PROXY_PREFIX}/proxyRedirect=$1 RV 图3 待删除内容 退出并保存修改。 执行如下命令重启httpd。 sh ${BIGDATA_HOME}/Apache-httpd-*/setup/restarthttpd.sh 检查备Master节点上的httpd.conf文件是否已修改，如果已修改则处理完成，如果未修改，参考上述步骤进行修改备Master节点的httpd.conf文件，无需重启httpd。 重新下载Excel即可打开。 父主题： Web页面访问类

返回状态码 消息请求返回的状态码如下表所示。 状态码 提示信息 200 OK - [GET] 服务器成功返回用户请求的数据。 201 CREATED - [POST/PUT/PATCH] 用户新建或修改数据成功。 202 Accepted - [*] 表示一个请求已经进入后台排队（异步任务） 204 NO CONTENT - [DELETE] 用户删除数据成功。 400 INVALID REQUEST - [POST/PUT/PATCH] 用户发出的请求有错误，服务器没有进行新建或修改数据的操作，该操作是幂等的。 401 Unauthorized - [*] 表示用户没有权限（令牌、用户名、密码错误）。 403 Forbidden - [*] 表示用户得到授权（与401错误相对），但是访问是被禁止的。 404 NOT FOUND - [*] 用户发出的请求针对的是不存在的记录，服务器没有进行操作，该操作是幂等的。 406 Not Acceptable - [GET] 用户请求的格式不可得（比如用户请求JSON格式，但是只有XML格式）。 410 Gone -[GET] 用户请求的资源被永久删除，且不会再得到的。 422 Unprocesable entity - [POST/PUT/PATCH] 当创建一个对象时，发生一个验证错误。 500 INTERNAL SERVER ERROR - [*] 服务器发生错误，用户将无法判断发出的请求是否成功。 父主题： 附录