-
修改集群NTP服务器 - MapReduce服务 MRS
可能将会变化。 更换NTP服务器前NTP服务器与集群当前时间偏差大于150s,则需先停止集群,防止数据丢失。停止集群期间服务无法访问。 前提条件 已准备新的NTP服务器并获取IP地址,并设置好集群与新NTP服务器的网络。请确保服务器的NTP服务状态正常,否则将导致本章节操作失败。
-
配置NFS服务器存储NameNode元数据 - MapReduce服务 MRS
登录FusionInsight Manager系统,选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”。 在界面右侧的“搜索”框中输入“dfs.namenode.name.dir”搜索,在其值中增加“${BIGDATA_DATA_HOME}/namenode-nfs”路径,多个路径间使用“
-
ALM-12037 NTP服务器异常 - MapReduce服务 MRS
产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 异常NTP服务器的IP地址。 对系统的影响 主OMS节点配置的NTP服务器异常,可能会导致主OMS节点与外部服务器不能同步时间,集群时间可能会产生飘移。 可能原因 NTP服务器网络异常。 与NTP服务器认证失败。
-
通过Windows弹性云服务器访问 - MapReduce服务 MRS
其他配置参数详细信息,请参见购买弹性云服务器。 如果ECS的安全组和MRS集群的“安全组”不同,用户可以选择以下任一种方法修改配置: 将ECS的安全组修改为MRS集群的安全组,请参见更改安全组。 在集群Master节点和Core节点的安全组中添加两条安全组规则使ECS可以访问集群,“协议”
-
MRS所使用的裸金属服务器规格 - MapReduce服务 MRS
MRS所使用的裸金属服务器规格 针对不同的应用场景,MRS使用到如下实例的裸金属服务器。 鲲鹏 V1实例 规格 表1 鲲鹏V1实例型裸金属服务器的规格 规格名称/ID vCPU 内存(GB) 网络 physical.ks1ne.4xlarge 128 512 分布式 physical
-
典型场景:从SFTP服务器导入数据到Hive - MapReduce服务 MRS
名不能包含特殊字符/\"':;,中的任意字符。 如果设置的作业需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤 设置作业基本信息 登录“Loader WebUI”界面。 登录FusionInsight
-
MRS所使用的弹性云服务器规格 - MapReduce服务 MRS
B表示系列号,例如:s1中的1表示通用型I代,s2中2表示通用型II代。 C表示规格,当前系列中的规格大小,例如:medium、large、xlarge。 D表示内存、CPU比,以具体数字表示,例如4表示内存和CPU的比值为4。 规格 表1 通用计算增强型(C型)弹性云服务器的规格 类型 vCPU
-
MRS所使用的裸金属服务器规格 - MapReduce服务 MRS
B表示系列号,例如:s1中的1表示通用型I代,s2中2表示通用型II代。 C表示规格,当前系列中的规格大小,例如:medium、large、xlarge。 D表示内存、CPU比,以具体数字表示,例如4表示内存和CPU的比值为4。 规格 表1 IO优化型(IO2型)裸金属服务器的规格 规格名称/ID
-
ALM-12057 元数据未配置周期备份到第三方服务器的任务 - MapReduce服务 MRS
12057 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 如果没有将元数据备份到第三方服务器,当集群主备管理节点同时故障且本地备份数据丢失时,导致元数据无法恢复。
-
MRS所使用的弹性云服务器规格 - MapReduce服务 MRS
B表示系列号,例如:s1中的1表示通用型I代,s2中2表示通用型II代。 C表示规格,当前系列中的规格大小,例如:medium、large、xlarge。 D表示内存、CPU比,以具体数字表示,例如4表示内存和CPU的比值为4。 规格 表1 通用计算增强型(C型)弹性云服务器的规格 类型 vCPU
-
ALM-12100 AD服务器连接异常 - MapReduce服务 MRS
是否自动清除 12100 重要 是 告警参数 告警参数 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 AD服务不可用,AD域用户同步失败;AD域用户登录FusionInsight Manager失败,AD域用户执行业务失败。
-
配置NFS服务器存储NameNode元数据 - MapReduce服务 MRS
服务,本操作提供集群侧的配置指导,为可选任务。 操作步骤 在NFS服务器上检查NFS的共享目录权限,确认服务器可以访问MRS集群的NameNode。 以root用户登录NameNode主节点。 执行如下命令,创建目录并赋予目录写权限。 mkdir ${BIGDATA_DATA_HOME}/namenode-nfs
-
典型场景:从HBase导出数据到SFTP服务器 - MapReduce服务 MRS
用户具备SFTP服务器数据导出目录的写入权限。 检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 如果设置的任务需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤
-
典型场景:从Hive导出数据到SFTP服务器 - MapReduce服务 MRS
出目录的写入权限。 检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 如果设置的任务需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤 设置作业基本信息 登录“Loader
-
典型场景:从SFTP服务器导入数据到HBase - MapReduce服务 MRS
名不能包含特殊字符/\"':;,中的任意字符。 如果设置的作业需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤 设置作业基本信息 登录“Loader WebUI”界面。 登录FusionInsight
-
典型场景:从FTP服务器导入数据到HBase - MapReduce服务 MRS
HBase实例 在HBase作业中,Loader支持从集群可添加的所有HBase服务实例中选择任意一个。如果选定的HBase服务实例在集群中未添加,则此作业无法正常运行。 HBase Map数 配置数据操作的MapReduce任务中同时启动的map数量。参数值必须小于或等于3000。 20 Map数据块大小
-
使用Loader从HBase导出数据到SFTP服务器 - MapReduce服务 MRS
用户具备SFTP服务器数据导出目录的写入权限。 检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 如果设置的任务需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤
-
典型场景:从HDFS/OBS导出数据到SFTP服务器 - MapReduce服务 MRS
名称 SFTP服务器连接的名称。 sftpName Sftp服务器的IP SFTP服务器的IP地址。 10.16.0.1 Sftp服务器端口 SFTP服务器的端口号。 22 Sftp用户名 访问SFTP服务器的用户名。 root Sftp密码 访问SFTP服务器的密码。 xxxx
-
使用Loader从Hive导出数据到SFTP服务器 - MapReduce服务 MRS
出目录的写入权限。 检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 如果设置的任务需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤 设置作业基本信息 登录“Loader
-
典型场景:从SFTP服务器导入数据到HDFS/OBS - MapReduce服务 MRS
目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。 如果设置的作业需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤 设置作业基本信息 登录“Loader