检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MapReduce应用开发简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（application/job）通常会把输
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（application/job）通常会把输
Manager（MRS 3.x及之后版本）。 选择“集群 > 待操作集群名称 > 服务 > Loader”。 单击“LoaderServer(节点名称，主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 单击“新建作业”，进入“基本信息”界面，创建作业基本信息。 图2 “基本信息”界面
Manager系统，具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。 单击“LoaderServer(节点名称，主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 单击“新建作业”，进入“基本信息”界面，创建作业基本信息。 图2 “基本信息”界面
BackOff Backoff是FairCallQueue的功能之一，要求客户端在一段时间后重试操作（如创建，删除，打开文件等）。当Backoff发生时，RCP服务器将发生RetriableException异常。FairCallQueue在以下两种情况时进行Backoff。 当队列已满，即队列中有许多客户端调用时。
业务失败：主机文件句柄使用率超过阈值时，系统应用无法打开文件、网络等IO操作，程序异常，可能会导致作业运行失败。 可能原因 应用进程存在异常，如打开的文件或socket没有关闭。 文件句柄数不满足当前业务需求。 系统环境异常。 处理步骤 查看进程打开文件情况。 打开FusionInsight Man
补丁安装后操作 重新打开弹性伸缩 升级完补丁后需要重新打开弹性伸缩，操作如下： 登录华为云管理控制台，在“现有集群”列表中选择对应集群，单击“弹性伸缩”。 开启安装前关闭的弹性策略。 父主题： MRS 3.1.0 运维通道补丁说明
详情说明请参考配置MRS集群安全通信授权。 勾选授权 表5 MRS集群高级配置信息 参数 描述 示例 主机名前缀 用作集群中ECS服务器或BMS服务器主机名的前缀。 - 加密算法 集群系统中各类密码信息加解密所使用的算法。 国际算法：通用加密算法。 国密算法：SM系列商密算法，同时兼容通用加密算法。
“服务器IP地址”：填写备份数据的服务器IP地址。 “端口号”：填写SFTP协议连接备份服务器使用的端口号，默认值为“22”。 “用户名”：填写使用SFTP协议连接服务器时的用户名。 “密码”：填写使用SFTP协议连接服务器时的密码。 “服务器共享路径”：SFTP服务器上的备份路径。
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（application/job）通常会把输
YARN接口介绍 YARN Command介绍 YARN Java API接口介绍 YARN REST API接口介绍 Superior Scheduler REST API接口介绍 父主题： YARN开发指南（安全模式）
如果是通过HTTP请求访问，端口填写“8123”。 后端服务器配置安全组。 配置完成后，在“监听器”界面的“后端服务器组”页签下，对应的后端服务器显示“健康检查结果”状态为“异常”。 解决如上问题需要在ClickHouse后端服务器对应的安全组下放通“100.125.0.0/16”网段，具体操作如下：
数据导入 概述 使用Loader导入数据 典型场景：从SFTP服务器导入数据到HDFS/OBS 典型场景：从SFTP服务器导入数据到HBase 典型场景：从SFTP服务器导入数据到Hive 典型场景：从FTP服务器导入数据到HBase 典型场景：从关系型数据库导入数据到HDFS/OBS
true 是，执行13。 否，执行10。 在hbase shell中执行以下命令打开负载均衡功能，并查看是否成功打开。 balance_switch true balancer_enabled 建议打开和手动触发负载均衡操作在业务低峰期进行。 执行以下命令手动触发负载均衡。 balancer
Task节点的实例规格，例如：{ECS_FLAVOR_NAME}.linux.bigdata，{ECS_FLAVOR_NAME}可以为c3.4xlare.2等在MRS购买页可见的云服务器规格。实例规格详细说明请参见MRS所使用的弹性云服务器规格和MRS所使用的裸金属服务器规格。该参数建议从M
支持Topic的个数，受限于进程整体打开的文件句柄数（现场环境一般主要是数据文件和索引文件占用比较多）。 可通过ulimit -n命令查看进程最多打开的文件句柄数； 执行lsof -p <Kafka PID>命令，查看当前单节点上Kafka进程打开的文件句柄（会继续增加）； 权衡当
支持Topic的个数，受限于进程整体打开的文件句柄数（现场环境一般主要是数据文件和索引文件占用比较多）。 可通过ulimit -n命令查看进程最多打开的文件句柄数； 执行lsof -p <Kafka PID>命令，查看当前单节点上Kafka进程打开的文件句柄（会继续增加）； 权衡当
Kafka等)。Maxwell可部署在MySQL机器上，也可独立部署在其他与MySQL网络可通的机器上。 Maxwell运行在Linux服务器上，常见的有EulerOS、Ubuntu、Debian、CentOS、OpenSUSE等，且需要Java 1.8+支持。 同步数据具体内容如下。
“服务器IP地址”：填写备份数据的服务器IP地址。 “端口号”：填写SFTP协议连接备份服务器使用的端口号，默认值为“22”。 “用户名”：填写使用SFTP协议连接服务器时的用户名。 “密码”：填写使用SFTP协议连接服务器时的密码。 “服务器共享路径”：SFTP服务器上的备份路径。
本地盘不支持扩容。 系统盘不支持扩容。 仅支持集群节点创建时默认挂载的数据盘完整扩容云硬盘（EVS）容量、磁盘分区和文件系统。 云硬盘所挂载的云服务器状态必须为“运行中”、云硬盘状态必须为“正在使用中”或“可用”才支持扩容。 数据盘扩容（一键扩容） 当集群版本为MRS 3.1.0（须安装3
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
