正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
不灵活等问题。 针对上述问题,华为云提供了大数据MapReduce服务(MRS),MRS是一个在华为云上部署和管理Hadoop系统的服务,一键即可部署Hadoop集群。MRS提供租户完全可控的一站式企业级大数据集群云服务,完全兼容开源接口,结合华为云计算、存储优势及大数据行业经验
None 功能介绍 MapReduce服务 MRS 服务介绍 04:08 MapReduce服务介绍 云容器引擎 CCE 简介 07:25 云容器引擎简介 云容器引擎 CCE 服务介绍 03:23 云容器引擎服务介绍 特性讲解 MapReduce服务 MRS MRS集群存算分离方案介绍
服务韧性 跨AZ容灾部署能力 MRS服务管理面提供双集群跨AZ容灾能力,即在另一个可用区(跨AZ)部署一个同构的MRS灾备集群,如果生产集群所处的地理位置发生自然灾害,或者集群内部出现了故障从而导致生产集群无法正常对外提供读写服务,那么灾备集群可以切换为生产集群,从而保障业务连续性。
MRS服务如何对接云日志服务? 前提条件 已获取账号AK和SK,详情请参考:如何获取访问密钥AK/SK。 操作步骤 在MRS主机上安装ICAgent,详情请参考:安装ICAgent(华为云主机)。 首次安装先安装一台服务器,然后按照继承批量安装的方式安装其他所有主机。 创建主机组
和使用MRS 华为云大数据技术解密 华为云大数据技术私享会资料下载 华为云EI企业智能 华为云EI基于AI和大数据技术,通过云服务的方式提供开放可信的平台。 智能客服 您好!我是有问必答知识渊博的的智能问答机器人,有问题欢迎随时求助哦! 社区求助 华为云社区是华为云用户的聚集地。
配置NFS服务器存储NameNode元数据 操作场景 本章节适用于MRS 3.x及后续版本。 用户在部署集群前,可根据需要规划Network File System(简称NFS)服务器,用于存储NameNode元数据,以提高数据可靠性。 如果您已经部署NFS服务器,并已配置NFS
周边云服务对接 MRS对接LakeFormation云服务 使用MRS Spark SQL访问DWS表 Hive对接CSS服务 使用MRS Hive表对接OBS文件系统
cn-north-1.myhuaweicloud.com/。 配置华为开源镜像仓 华为提供开源镜像站(网址为https://mirrors.huaweicloud.com/),各服务样例工程依赖的jar包都可在华为开源镜像站下载,剩余所依赖的开源jar包请直接从Maven中央库或者其他用户自定义的仓库地址下载。
产生告警的集群名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称 主机名 产生告警的主机名 对系统的影响 Impala服务异常,无法通过FusionInsight Manager对Impala进行集群操作,无法使用Impala服务功能。 可能原因 Hive服务异常 KrbServer服务异常
集群服务对接OBS示例 配置Flink通过IAM委托访问OBS 配置Flume通过IAM委托访问OBS 配置HDFS通过IAM委托访问OBS 配置Hive通过IAM委托访问OBS 配置Hudi通过IAM委托访问OBS 配置MapReduce通过IAM委托访问OBS 配置Presto通过IAM委托访问OBS
MRS对接LakeFormation云服务 LakeFormation服务概述 配置LakeFormation数据连接前准备 创建集群时配置LakeFormation数据连接 通过Ranger为MRS集群内用户绑定LakeFormation角色 父主题: 周边云服务对接
产生告警的集群或系统名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称 主机名 产生告警的主机名 对系统的影响 ClickHouse服务异常,无法通过FusionInsight Manager对ClickHouse进行集群操作,无法使用ClickHouse服务功能。 可能原因
管理MRS集群静态服务资源 静态服务资源概述 配置MRS集群静态资源 查看MRS集群静态资源 父主题: 管理MRS集群
Yarn服务不可用 告警解释 告警模块按60秒周期检测Yarn服务状态。当检测到Yarn服务不可用时产生该告警。 Yarn服务恢复时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 18000 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。
功能,集群的运行状态也将无法监控。 注册华为云并实名认证 如果用户已注册华为云,可直接登录管理控制台,访问MRS服务。如果用户没有登录管理控制台的账号,请先注册华为云。注册成功后,该账号可访问华为云的所有服务,包括MRS服务。 打开华为云网站。 单击“注册”,根据提示信息完成注册。
MRS集群服务对接OBS示例 配置Flink通过Guardian访问OBS 配置HDFS通过Guardian访问OBS 配置HetuEngine通过Guardian访问OBS 配置Hive通过Guardian访问OBS 配置Hudi通过Guardian访问OBS 配置Mapreduce通过Guardian访问OBS
重启Hive服务失败 用户问题 修改Hive服务配置后,保存配置失败,Manager页面Hive服务的配置状态为配置失败。 问题现象 用户A在MRS节点后台上打开了Hive相关配置文件且未关闭,此时用户B在MRS Manager页面的“服务管理”中修改Hive配置项,保存配置并重
使用Yarn Yarn用户权限管理 使用Yarn客户端提交任务 配置Container日志聚合功能 启用Yarn CGroups功能限制Container CPU使用率 Yarn企业级能力增强 Yarn性能调优 Yarn运维管理 Yarn常见问题
x及之后版本。 前提条件 已安装MRS的Hive服务和CSS的Elasticsearch服务,并且两个集群之间网络互通。 操作步骤 在云搜索服务的“集群管理”页面上,单击集群“操作”列的“Kibana”访问集群,在Kibana的左侧导航中选择“Dev Tools”,进入Console界面,输
过独占或共享一个服务来获取这个服务运行时需要的资源。 静态服务池简介 静态服务池用来指定服务资源的配置。 在服务级别上,静态服务池对各服务可使用的资源进行统一管理: 限制服务使用的资源总量,支持配置Flume、HBase、HDFS、IoTDB、Kafka(Kafka组件仅MRS 3