检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
提交MapReduce任务时客户端长时间无响应 问题 向YARN服务器提交MapReduce任务后，客户端长时间无响应。 回答 对于上述出现的问题，ResourceManager在其WebUI上提供了MapReduce作业关键步骤的诊断信息，对于一个已经提交到YARN上的MapReduce任务，用户可以通过
网络问题导致运行应用程序时出现异常 问题 应用程序在Windows环境下运行时，发现连接不上MRS集群，而在Linux环境下（和安装了MRS集群的机器是同一个网络）却运行正常。 回答 由于Kerberos认证需要使用UDP协议，而防火墙做了特殊处理关掉了需要使用的UDP端口，导致
网络问题导致运行应用程序时出现异常 问题 应用程序在Windows环境下运行时，发现连接不上MRS集群，而在Linux环境下（和安装了MRS集群的机器是同一个网络）却运行正常。 回答 由于Kerberos认证需要使用UDP协议，而防火墙做了特殊处理关掉了需要使用的UDP端口，导致
Kafka是一个分布式消息系统，在此系统上用户可以做一些消息的发布和订阅操作，假定用户要开发一个Producer，让其每秒向Kafka集群某Topic发送一条消息，另外还需要实现一个Consumer，订阅该Topic，实时消费该类消息。 开发思路 使用Linux客户端创建一个Topic。
程。 准备一个应用程序运行测试的Linux环境。 准备运行调测环境 在弹性云服务器管理控制台，申请一个新的弹性云服务器，用于用户应用程序开发、运行、调测。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。
LakeFormation服务概述 该LakeFormation入门教程介绍了如何创建一个LakeFormation实例并与MRS集群对接，实现统一的数据湖元数据及权限管理。 使用流程简介 MRS与LakeFormation对接的使用流程如下图所示： 图1 LakeFormation使用流程
Kafka是一个分布式消息系统，在此系统上您可以做一些消息的发布和订阅操作，假定用户要开发一个Producer，让其每秒向Kafka集群某Topic发送一条消息，另外还需要实现一个Consumer，订阅该Topic，实时消费该类消息。 开发思路 使用Linux客户端创建一个Topic。可参考Kafka
Kafka是一个分布式消息系统，在此系统上用户可以做一些消息的发布和订阅操作，假定用户要开发一个Producer，让其每秒向Kafka集群某Topic发送一条消息，另外还需要实现一个Consumer，订阅该Topic，实时消费该类消息。 开发思路 使用Linux客户端创建一个Topic。可参考Kafka
型的规格。 MRS支持的弹性云服务器（ECS）和裸金属服务器（BMS）混合部署，部署方式如下： Master、Core和Task节点均使用ECS部署。 Master、Core使用BMS部署，Task使用ECS部署。 Master、Core节点任意使用ECS和BMS混合部署，Task节点使用ECS部署。
FE服务故障如何恢复 问题现象 FE可能因为某些原因出现无法启动bdbje、FE之间无法同步等问题，无法进行元数据写操作、没有MASTER等。需要手动操作来恢复FE，手动恢复FE先通过当前“meta_dir”中的元数据，启动一个新的MASTER，然后再逐一添加其他FE。 操作步骤
历史版本的HDFS使用了全局锁，读-写互斥，写-写互斥，即全局一把锁。但是实际上并非所有的读-写，写-写操作都会产生资源竞争。因此在该版本汇总引入了细粒度锁特性（FGL）。FGL对全局锁按照目录以及操作类型进行拆分，只有会产生资源竞争的操作才会使用同一个锁。因此极大地提升了写性能。 例如Client
数据块的其中一个副本存放到高可靠性的节点上。 “/data”目录下的数据块，默认三副本情况下，其中至少有一个副本会被存放到RACK1或RACK2机架的节点上（RACK1和RACK2机架的节点为高可靠性节点），另外两个副本会被分别存放到RACK3和RACK4机架的节点上。 图2 场景样例
exec.dynamic.partition.mode=nonstrict; 动态分区可能导致一个DML语句创建大量的分区，对应创建大量新文件夹，对系统性能可能带来影响。 在文件数量大的情况下，执行一个SQL语句启动时间较长，可以在执行SQL语句之前执行“set mapreduce.input
客户端软件包名称格式为：“FusionInsight_Cluster_集群ID_Services_Client.tar”。本章节仅以集群ID为1进行介绍，请以实际集群ID为准。 以客户端安装用户登录将要安装客户端的服务器。 进入安装包所在目录，执行如下命令解压软件包。 cd
_Flume_Client.tar”为例进行描述。 上传软件包。以user用户将软件包上传到将要安装Flume服务客户端的节点目录上，例如“/opt/client” user用户为安装和运行Flume客户端的用户。 解压软件包。 以user用户登录将要安装Flume服务客户端的节
DataNode的容量计算出错如何处理 问题 当多个data.dir被配置在一个磁盘分区内，DataNode的容量计算将会出错。 回答 目前容量计算是基于磁盘的，类似于Linux里面的df命令。理想状态下，用户不会在同一个磁盘内配置多个data.dir，否则所有的数据都将写入一个磁盘，在性能上会有很大的影响。
_Flume_Client.tar”为例进行描述。 上传软件包。以user用户将软件包上传到将要安装Flume服务客户端的节点目录上，例如“/opt/client” user用户为安装和运行Flume客户端的用户。 解压软件包。 以user用户登录将要安装Flume服务客户端的节
系统软件安装完成后自动清除Tomcat安装包。 应用程序目录下针对工程禁用自动部署功能，只部署了web、cas和client三个工程。 禁用部分未使用的HTTP方法，防止被他人利用攻击。 更改Tomcat服务器默认shutdown端口号和命令，避免被黑客捕获利用关闭服务器，降低对服务器和应用的威胁。
数据块的其中一个副本存放到高可靠性的节点上。 “/data”目录下的数据块，默认三副本情况下，其中至少有一个副本会被存放到RACK1或RACK2机架的节点上（RACK1和RACK2机架的节点为高可靠性节点），另外两个副本会被分别存放到RACK3和RACK4机架的节点上。 图2 场景样例
MRS集群内包含哪些组件？ HDFS显示磁盘空间不足怎么办？ 如何构建MRS样例工程？ 如何访问MRS集群上托管的开源组件Web页面？ 开启Kerberos认证的集群怎么使用？ 如何登录MRS集群节点？ 如何访问MRS Manager？ 如何更新MRS客户端？ 更多 远程登录 应用容器化改造介绍
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
