-
MRS所使用的裸金属服务器规格 - MapReduce服务 MRS
MRS所使用的裸金属服务器规格 针对不同的应用场景,MRS使用到如下实例的裸金属服务器。 鲲鹏 V1实例 规格 表1 鲲鹏V1实例型裸金属服务器的规格 规格名称/ID vCPU 内存(GB) 网络 physical.ks1ne.4xlarge 128 512 分布式 physical
-
使用Loader从HDFS/OBS导出数据到SFTP服务器 - MapReduce服务 MRS
设置数据保存信息并运行作业 单击“下一步”,进入“输出设置”界面,设置数据保存方式。 表4 输出设置参数 参数名 解释说明 示例 输出路径 SFTP服务器中导出文件的路径或者文件名,如果连接器配置多个地址此处可对应使用“;”分隔多个路径或者文件名,数量需要与连接器中服务器的数量一致。 说明: 路径
-
使用Loader从SFTP服务器导入数据到HDFS/OBS - MapReduce服务 MRS
选择“FILE”,表示按文件分割源文件,即每个map处理一个或多个完整的源文件,同一个源文件不可分配至不同map,完成数据导入后保持源文件的目录结构。 选择“SIZE”,表示按大小分割源文件,即每个map处理一定大小的输入文件,同一个源文件可分割至多个map,数据保存至输出目录时保存的
-
MRS所使用的弹性云服务器规格 - MapReduce服务 MRS
MRS所使用的弹性云服务器规格 针对不同的应用场景,MRS使用到如下类型的弹性云服务器。 通用计算增强型:C3型、C3ne型、C6型、C6s型、C7型 内存优化型:M3型、M6型、M7型 超高I/O型:I3型、IR3型 鲲鹏内存优化型:KM1型 鲲鹏超高I/O型:KI1型 鲲鹏通用计算增强型:KC1型
-
MRS所使用的裸金属服务器规格 - MapReduce服务 MRS
MRS所使用的裸金属服务器规格 针对不同的应用场景,MRS使用到如下类型的裸金属服务器。 本地存储型(D2型) IO优化型(IO2) 规格命名规则 AB.C.D 例如m2.8xlarge.8 其中, A表示系列,例如:s表示通用型、c表示计算型、m表示内存型。 B表示系列号,例如
-
ALM-12001 审计日志转储失败(2.x及以前版本) - MapReduce服务 MRS
可自动清除 12001 一般 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 系统本地最多只能保存50个转储文件,如果该故障持续存在于转储服务器,本地审计日志可能丢失。
-
MapReduce应用开发简介 - MapReduce服务 MRS
MapReduce应用开发简介 Hadoop MapReduce是一个使用简易的并行计算软件框架,基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上,并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业(application/job)通常会把输
-
MapReduce应用开发简介 - MapReduce服务 MRS
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架,基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上,并以一种可靠容错的方式并行处理上TB级别的数据集。 一个MapReduce作业(application/job)通常会把
-
MapReduce应用开发简介 - MapReduce服务 MRS
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架,基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上,并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业(application/job)通常会把输
-
配置NFS服务器存储NameNode元数据 - MapReduce服务 MRS
OME}/namenode-nfs”路径,多个路径间使用“,”隔开,然后单击“保存”。 单击“确定”。在概览页面选择“更多 > 重启服务”,重启服务。 父主题: HDFS运维管理
-
ALM-12100 AD服务器连接异常 - MapReduce服务 MRS
产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 AD服务不可用,AD域用户同步失败;AD域用户登录FusionInsight Manager失败,AD域用户执行业务失败。 可能原因 对接第三方AD服务配置项错误 F
-
MapReduce应用开发简介 - MapReduce服务 MRS
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架,基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上,并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业(application/job)通常会把输
-
准备Spark应用运行环境 - MapReduce服务 MRS
准备运行调测环境 在弹性云服务器管理控制台,申请一个新的弹性云服务器,用于应用开发运行调测。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。 弹性云服务器的网卡需要与MRS集群在同一个网段中。 申请弹性I
-
登录集群节点 - MapReduce服务 MRS
见添加安全组规则。 登录弹性云服务器(VNC方式) 登录MapReduce服务管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名,进入集群基本信息页面。 在“节点管理”页签单击Master节点组中某一Master节点名称,登录到弹性云服务器管理控制台。 单击右上角的“远程登录”。
-
退订MRS服务后,在ECS中退订弹性云服务器时报异常如何处理? - MapReduce服务 MRS
退订MRS服务后,在ECS中退订弹性云服务器时报异常如何处理? 在使用的MRS集群中查询该弹性云服务器的ID确认没有使用。 在ECS控制台上找到需要退订的服务器单击“MRS使用中”将机器进行解锁。 再次单击“退订”。 若依然显示退订异常,请收集弹性云服务器的ID并联系华为云支持人员。
-
退订MRS服务后,在ECS中退订弹性云服务器时报异常如何处理? - MapReduce服务 MRS
退订MRS服务后,在ECS中退订弹性云服务器时报异常如何处理? 问: 退订MRS服务后,在ECS中退订弹性云服务器时报异常如何处理? 答: 在使用的MRS集群中查询该弹性云服务器的ID确认没有使用。 在ECS控制台上找到需要退订的服务器单击“MRS使用中”将机器进行解锁。 再次单击“退订”。
-
用户账号一览表 - MapReduce服务 MRS
flink/hadoop.<系统域名> 系统随机生成 Flink服务的内部用户。 check_ker_M 系统随机生成 系统内部测试Kerberos服务功能是否正常的用户。 cdl/hadoop.<系统域名> 系统随机生成 CDL服务的内部用户。 clickhouse/hadoop.<系统域名>
-
配置SNMP北向参数 - MapReduce服务 MRS
确认加密密钥。 “认证密码”和“加密密码”密码长度为8到16位,至少需要包含大写字母、小写字母、数字、特殊字符中的3种类型字符。两个密码不能相同。两个密码不可和安全用户名或安全用户名的逆序字符相同。 使用SNMP协议从安全方面考虑,需要定期修改“认证密码”和“加密密码”密码。 使用SNMP
-
配置使用分布式缓存执行MapReduce任务 - MapReduce服务 MRS
ager会获得新版本的软件。这导致了行为的不一致,并可能发生运行时错误。 同时存在多个YARN版本 集群管理员可能会在一个集群内运行使用多个版本YARN及Hadoop jars的任务。这在当前很难实现,因为jars已被本地化且只有一个版本。 MapReduce应用框架可以通过分布
-
Flink REST API接口介绍 - MapReduce服务 MRS
业务按状态进行分组,每个业务组都有一个小状态。 /joboverview/running 与“/ joboverview”相同,Job按状态进行分组,每个Job组都有一个小状态,但只包含当前运行的Job。 /joboverview/completed Job按状态进行分组,每个都有一个小状态的摘要。