检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
个SFTP服务器操作数据，单击“添加”可增加多行SFTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。 sftpName Sftp服务器的IP SFTP服务器的IP地址。 10.16.0.1 Sftp服务器端口 SFTP服务器的端口号。 22
r支持配置多个FTP服务器操作数据，单击“添加”可增加多行FTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 FTP服务器的IP FTP服务器的IP地址。 ftpName FTP服务器端口 FTP服务器的端口号。 22 FTP用户名 访问FTP服务器的用户名。 root
set:”选择“UTF-8”。 单击“Open”登录云服务器。 如果首次登录云服务器，PuTTY会显示安全警告对话框，询问是否接受服务器的安全证书。单击“是”将证书保存到本地注册表中。 建立到云服务器的SSH连接后，根据提示输入用户名和密码登录弹性云服务器。 用户名、密码分别是root和创建集群时设置的密码。
HostName 异常NTP服务器的IP地址。 对系统的影响 主OMS节点配置的NTP服务器异常，可能会导致主OMS节点与外部服务器不能同步时间，集群时间可能会产生误差。 可能原因 NTP服务器网络异常。 与NTP服务器认证失败。 不能从NTP服务器获取时间。 从NTP服务器获取的时间持续未更新。
WebUI”后的链接，进入HSConsole界面。 单击“计算实例”，选择对应租户名下待操作的计算实例。单击“LogUI”列的“Coordinator”或“Worker”，将在Yarn WebUI展示Coordinator和Worker日志。 父主题： 管理HetuEngine计算实例
退订MRS服务后，在ECS中退订弹性云服务器时报异常如何处理？ 问题 退订MRS服务后，在ECS中退订弹性云服务器时报异常如何处理？ 回答 在使用的MRS集群中查询该弹性云服务器的ID确认没有使用。 在ECS控制台上找到需要退订的服务器单击“MRS使用中”将机器进行解锁。 再次单击“退订”。
Spark基于内存进行计算的分布式计算框架。Spark支持提交Spark Jar和Spark python程序，执行Spark application，计算和处理用户数据。 提交Spark作业 提交SparkSQL作业 Spark基于内存进行计算的分布式计算框架。SparkSQL
DataNode的容量计算出错如何处理 问题 当多个data.dir被配置在一个磁盘分区内，DataNode的容量计算将会出错。 回答 目前容量计算是基于磁盘的，类似于Linux里面的df命令。理想状态下，用户不会在同一个磁盘内配置多个data.dir，否则所有的数据都将写入一个磁盘，在性能上会有很大的影响。
重启HetuEngine计算实例。 在概览页签下的“基本信息”区域，单击“HSConsole WebUI”后的链接，进入HSConsole界面。 停止正在运行的计算实例，然后单击待操作实例所在行的“操作”列的“启动”，启动HetuEngine计算实例。 查看Coordinator运行的节点范围。
集群在线扩缩容 大数据集群的处理能力通常可以通过增加集群的节点数来横向扩展，当集群规模不符合业务要求时，用户可以通过该功能进行集群节点规模的调整，进行扩容或者缩容；在缩容节点时，MRS会智能地选择负载最少或者迁移数据量最小节点，并且在缩容过程中，缩容节点不再接收新的任务，正在执行
个SFTP服务器操作数据，单击“添加”可增加多行SFTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。 sftpName Sftp服务器的IP SFTP服务器的IP地址。 10.16.0.1 Sftp服务器端口 SFTP服务器的端口号。 22
退订MRS集群后在ECS中退订弹性云服务器时报异常如何处理？ 问： 退订MRS集群后，在ECS中退订弹性云服务器时报异常如何处理？ 答： 在使用的MRS集群中查询该弹性云服务器的ID确认没有使用。 在ECS控制台上找到需要退订的服务器单击“MRS使用中”将机器进行解锁。 再次单击“退订”。
个SFTP服务器操作数据，单击“添加”可增加多行SFTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。 sftpName Sftp服务器的IP SFTP服务器的IP地址。 10.16.0.1 Sftp服务器端口 SFTP服务器的端口号。 22
DataNode的容量计算出错如何处理 问题 当多个data.dir被配置在一个磁盘分区内，DataNode的容量计算将会出错。 回答 目前容量计算是基于磁盘的，类似于Linux里面的df命令。理想状态下，用户不会在同一个磁盘内配置多个data.dir，否则所有的数据都将写入一个磁盘，在性能上会有很大的影响。
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（applicat
MemArtsCC是一个分布式计算侧缓存系统。计算任务运行在计算集群的虚拟机（Virtual Machine, VM）上，数据存储在远端的对象存储（Object Storage Service, OBS）集群中。由于远端OBS的数据访问速度限制，VM上的计算任务经常需要等待数据而拖慢
型的规格。 MRS支持的弹性云服务器（ECS）和裸金属服务器（BMS）混合部署，部署方式如下： Master、Core和Task节点均使用ECS部署。 Master、Core使用BMS部署，Task使用ECS部署。 Master、Core节点任意使用ECS和BMS混合部署，Task节点使用ECS部署。
MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅做数据计算处理的存算分离模式。 本文将向您介绍如何在MRS集群中运行Flink作业来处理OBS中存储的数据。 方案架构 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提
登录两种方式： 界面登录：直接通过弹性云服务器管理控制台提供的远程登录功能，登录到集群节点的Linux命令行操作界面。 SSH登录：仅适用于Linux弹性云服务器，您可以使用远程登录工具（例如PuTTY）登录弹性云服务器，此时需要该弹性云服务器绑定弹性IP地址。 集群节点申请和绑
登录华为云管理控制台。 在服务列表中选择“管理与监管 > 统一身份认证服务 IAM”。 选择“委托 > 创建委托”。 设置“委托名称”，例如：mrs_ecs_obs。 “委托类型”选择“云服务”，在“云服务”中选择“弹性云服务器ECS 裸金属服务器BMS”，授权ECS或BMS调用OBS服务，如图1所示。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
