-
ALM-12057 元数据未配置周期备份到第三方服务器的任务 - MapReduce服务 MRS
产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 如果没有将元数据备份到第三方服务器,当集群主备管理节点同时故障且本地备份数据丢失时,导致元数据无法恢复。 可能原因 元数据未配置周期备份到第三方服务器任务。 处理步骤
-
典型场景:从SFTP服务器导入数据到Hive - MapReduce服务 MRS
选择“FILE”,表示按文件分割源文件,即每个map处理一个或多个完整的源文件,同一个源文件不可分配至不同map,完成数据导入后保持源文件的目录结构。 选择“SIZE”,表示按大小分割源文件,即每个map处理一定大小的输入文件,同一个源文件可分割至多个map,数据保存至输出目录时保存的
-
配置NFS服务器存储NameNode元数据 - MapReduce服务 MRS
OME}/namenode-nfs”路径,多个路径间使用“,”隔开,然后单击“保存”。 单击“确定”。在概览页面选择“更多 > 重启服务”,重启服务。 父主题: HDFS运维管理
-
修改集群NTP服务器 - MapReduce服务 MRS
可能将会变化。 更换NTP服务器前NTP服务器与集群当前时间偏差大于150s,则需先停止集群,防止数据丢失。停止集群期间服务无法访问。 前提条件 已准备新的NTP服务器并获取IP地址,并设置好集群与新NTP服务器的网络。请确保服务器的NTP服务状态正常,否则将导致本章节操作失败。
-
MapReduce应用开发简介 - MapReduce服务 MRS
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架,基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上,并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业(application/job)通常会把输
-
MRS所使用的弹性云服务器规格 - MapReduce服务 MRS
MRS所使用的弹性云服务器规格 针对不同的应用场景,MRS使用到如下类型的弹性云服务器。 通用计算增强型:C3型、C3ne型、C6型、C6s型、C7型 内存优化型:M3型、M6型、M7型 超高I/O型:I3型、IR3型 鲲鹏内存优化型:KM1型 鲲鹏超高I/O型:KI1型 鲲鹏通用计算增强型:KC1型
-
MRS集群节点简介 - MapReduce服务 MRS
e节点。 系统自动将Master节点标记为主备管理节点,并支持MRS集群管理的高可用特性。如果主管理节点无法提供服务,则备管理节点会自动切换为主管理节点并继续提供服务。 查看Master1节点是否为主管理节点,请参见如何确认主备管理节点。 Core节点 MRS集群工作节点,负责处理和分析数据,并存储过程数据。
-
典型场景:从HBase导出数据到SFTP服务器 - MapReduce服务 MRS
保存方式。 表4 输出设置参数 参数名 解释说明 示例 输出路径 SFTP服务器中导出文件的路径或者文件名,如果连接器配置多个地址此处可对应使用“;”分隔多个路径或者文件名,数量需要与连接器中服务器的数量一致。 说明: 路径参数可以使用宏定义,具体请参考配置项中使用宏定义。 /opt/tempfile
-
典型场景:从SFTP服务器导入数据到HBase - MapReduce服务 MRS
选择“FILE”,表示按文件分割源文件,即每个map处理一个或多个完整的源文件,同一个源文件不可分配至不同map,完成数据导入后保持源文件的目录结构。 选择“SIZE”,表示按大小分割源文件,即每个map处理一定大小的输入文件,同一个源文件可分割至多个map,数据保存至输出目录时保存的
-
ALM-12037 NTP服务器异常 - MapReduce服务 MRS
产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 异常NTP服务器的IP地址。 对系统的影响 主OMS节点配置的NTP服务器异常,可能会导致主OMS节点与外部服务器不能同步时间,集群时间可能会产生飘移。 可能原因 NTP服务器网络异常。 与NTP服务器认证失败。
-
通过Windows弹性云服务器访问 - MapReduce服务 MRS
并记录。如果只有一个Master节点时,直接在该Master节点查询并记录。 在ECS管理控制台,创建一个新的弹性云服务器。 弹性云服务器的“可用区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。例如,选择一个标准镜像“Windows
-
典型场景:从FTP服务器导入数据到HBase - MapReduce服务 MRS
选择“FILE”,表示按文件分割源文件,即每个map处理一个或多个完整的源文件,同一个源文件不可分配至不同map,完成数据导入后保持源文件的目录结构。 选择“SIZE”,表示按大小分割源文件,即每个map处理一定大小的输入文件,同一个源文件可分割至多个map,数据保存至输出目录时保存的
-
典型场景:从HDFS/OBS导出数据到SFTP服务器 - MapReduce服务 MRS
设置数据保存信息并运行作业 单击“下一步”,进入“输出设置”界面,设置数据保存方式。 表4 输出设置参数 参数名 解释说明 示例 输出路径 SFTP服务器中导出文件的路径或者文件名,如果连接器配置多个地址此处可对应使用“;”分隔多个路径或者文件名,数量需要与连接器中服务器的数量一致。 说明: 路径
-
典型场景:从Hive导出数据到SFTP服务器 - MapReduce服务 MRS
保存方式。 表4 输出设置参数 参数名 解释说明 示例 输出路径 SFTP服务器中导出文件的路径或者文件名,如果连接器配置多个地址此处可对应使用“;”分隔多个路径或者文件名,数量需要与连接器中服务器的数量一致。 说明: 路径参数可以使用宏定义,具体请参考配置项中使用宏定义。 /opt/tempfile
-
典型场景:从SFTP服务器导入数据到HDFS/OBS - MapReduce服务 MRS
选择“FILE”,表示按文件分割源文件,即每个map处理一个或多个完整的源文件,同一个源文件不可分配至不同map,完成数据导入后保持源文件的目录结构。 选择“SIZE”,表示按大小分割源文件,即每个map处理一定大小的输入文件,同一个源文件可分割至多个map,数据保存至输出目录时保存的
-
使用Loader从SFTP服务器导入数据到HBase - MapReduce服务 MRS
选择“FILE”,表示按文件分割源文件,即每个map处理一个或多个完整的源文件,同一个源文件不可分配至不同map,完成数据导入后保持源文件的目录结构。 选择“SIZE”,表示按大小分割源文件,即每个map处理一定大小的输入文件,同一个源文件可分割至多个map,数据保存至输出目录时保存的
-
使用Loader从FTP服务器导入数据到HBase - MapReduce服务 MRS
选择“FILE”,表示按文件分割源文件,即每个map处理一个或多个完整的源文件,同一个源文件不可分配至不同map,完成数据导入后保持源文件的目录结构。 选择“SIZE”,表示按大小分割源文件,即每个map处理一定大小的输入文件,同一个源文件可分割至多个map,数据保存至输出目录时保存的
-
使用Loader从HBase导出数据到SFTP服务器 - MapReduce服务 MRS
保存方式。 表4 输出设置参数 参数名 解释说明 示例 输出路径 SFTP服务器中导出文件的路径或者文件名,如果连接器配置多个地址此处可对应使用“;”分隔多个路径或者文件名,数量需要与连接器中服务器的数量一致。 说明: 路径参数可以使用宏定义,具体请参考Loader算子配置项中使用宏定义。
-
MRS所使用的裸金属服务器规格 - MapReduce服务 MRS
MRS所使用的裸金属服务器规格 针对不同的应用场景,MRS使用到如下实例的裸金属服务器。 鲲鹏 V1实例 规格 表1 鲲鹏V1实例型裸金属服务器的规格 规格名称/ID vCPU 内存(GB) 网络 physical.ks1ne.4xlarge 128 512 分布式 physical
-
使用Loader从Hive导出数据到SFTP服务器 - MapReduce服务 MRS
保存方式。 表4 输出设置参数 参数名 解释说明 示例 输出路径 SFTP服务器中导出文件的路径或者文件名,如果连接器配置多个地址此处可对应使用“;”分隔多个路径或者文件名,数量需要与连接器中服务器的数量一致。 说明: 路径参数可以使用宏定义,具体请参考Loader算子配置项中使用宏定义。