检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
None 功能介绍 MapReduce服务 MRS 服务介绍 04:08 MapReduce服务介绍 云容器引擎 CCE 简介 07:25 云容器引擎简介 云容器引擎 CCE 服务介绍 03:23 云容器引擎服务介绍 特性讲解 MapReduce服务 MRS MRS集群存算分离方案介绍
使用MRS客户端 安装客户端(3.x及之后版本) 安装客户端(3.x之前版本) 更新客户端(3.x及之后版本) 更新客户端(3.x之前版本) 父主题: 常见操作
安装MRS集群客户端 安装客户端(3.x版本) 安装客户端(2.x及之前版本)
MRS权限管理 IAM权限管理 通过IAM,您可以在华为云账号中给员工创建IAM用户,并授权控制其对华为云资源的访问范围。
配置MRS集群远程运维 当用户使用集群过程中出现问题需要华为云支持人员协助解决时,用户可先联系华为云支持人员,再通过运维授权功能授权华为云支持人员访问用户机器的权限用于定位问题,或通过“日志共享”功能提供特定时间段内的日志给华为云支持人员以便定位问题。
MapReduce常见问题 ResourceManager进行主备切换后,任务中断后运行时间过长 MapReduce任务长时间无进展 为什么运行任务时客户端不可用 在缓存中找不到HDFS_DELEGATION_TOKEN如何处理 如何在提交MapReduce任务时设置任务优先级 MapReduce
MRS支持华为自研鲲鹏服务器,充分利用鲲鹏多核高并发能力,提供芯片级的全栈自主优化能力,使用华为自研的操作系统EulerOS、华为JDK及数据加速层,充分释放硬件算力,为大数据计算提供高算力输出。在性能相当情况下,端到端的大数据解决方案成本下降30%。
在创建MRS集群之前,请先注册华为账号并开通华为云,进行实名认证。 如果您已开通华为云并进行实名认证,请忽略此步骤。 请您保证账户有足够的资金,以免创建MRS集群失败,具体操作请参见账户充值。
版本支持公告 MRS集群版本生命周期
使用Hudi Hudi表概述 使用Spark Shell创建Hudi表 使用spark-sql操作Hudi表 使用Hudi-Cli.sh操作Hudi表 Hudi写操作 Hudi读操作 Hudi数据管理维护 Hudi SQL语法参考 Hudi Schema演进 配置Hudi数据列默认值
Loader常见问题 IE 10&IE 11浏览器无法保存数据 将Oracle数据库中的数据导入HDFS时各连接器的区别 父主题: 使用Loader
使用HBase 连接到HBase响应慢 HBase用户认证失败 端口被占用导致RegionServer启动失败 节点剩余内存不足导致HBase启动失败 HDFS性能差导致HBase服务不可用告警 参数不合理导致HBase启动失败 残留进程导致Regionsever启动失败 HDFS
配置华为镜像站中SDK的Maven镜像仓库,请参见配置华为开源镜像仓。 根据用户自身需求,构建完整的Maven工程并进行编译开发。
华为云大数据技术私享会资料下载 华为云EI企业智能 华为云EI基于AI和大数据技术,通过云服务的方式提供开放可信的平台。
HDFS常见问题 执行distcp命令报错如何处理 HDFS执行Balance时被异常停止如何处理 访问HDFS WebUI时,界面提示无法显示此页 HDFS WebUI无法正常刷新损坏数据的信息 NameNode节点长时间满负载导致客户端无响应 为什么主NameNode重启后系统出现双备现象
YARN接口介绍 YARN Command介绍 YARN Java API接口介绍 YARN REST API接口介绍 Superior Scheduler REST API接口介绍 父主题: YARN开发指南(普通模式)
“丢失块数”不为“0”,请联系华为云支持人员进行处理。 父主题: 集群管理类
安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS各类各项云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。
本实践基于华为云MapReduce服务,用于指导您创建MRS集群后,使用Hive对原始数据进行导入、分析等操作,展示了如何构建弹性、低成本的离线大数据分析。
集群创建类 如何使用自定义安全组创建MRS集群? 购买MRS集群时找不到HDFS、Yarn、MapReduce组件如何处理? 购买MRS集群时,找不到ZooKeeper组件如何处理? 购买MRS集群提交订单时报无效认证如何处理?