检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
集群创建类 如何使用自定义安全组创建MRS集群？ 购买MRS集群时找不到HDFS、Yarn、MapReduce组件如何处理？ 购买MRS集群时，找不到ZooKeeper组件如何处理？ 购买MRS集群提交订单时报无效认证如何处理？
数据迁移方案介绍 准备工作 元数据导出 数据复制 数据恢复 父主题： 数据迁移
可以： 根据企业的业务组织，在您的华为云账号中，给企业中不同职能部门的员工创建IAM用户，让员工拥有唯一安全凭证，并使用MRS资源。 根据企业用户的职能，设置不同的访问权限，以达到用户之间的权限隔离。 将MRS资源委托给更专业、高效的其他华为云账号或者云服务，这些账号或者云服务可以根据权限进行代运维。
V1.1 作业管理接口（废弃） 新增作业并执行（废弃） 查询作业exe对象列表（废弃） 查询作业exe对象详情（废弃） 删除作业执行对象（废弃） 父主题： 历史API
KryoSerializer依赖Twitter的Chill库来实现，相对于JavaSerializer，主要的问题在于不是所有的Java Serializable对象都能支持，兼容性不好，所以需要手动注册类。 序列化功能用在两个地方：序列化任务和序列化数据。Spark任务序列化只支持JavaSerial
Hadoop是一个开源分布式计算平台，可以充分利用集群的计算和存储能力，完成海量数据的处理。企业自行部署Hadoop系统有成本高，周期长，难运维和不灵活等问题。 针对上述问题，华为云提供了大数据MapReduce服务（MRS），MRS是一个在华为云上部署和管理Hadoop系统的服
YARN接口介绍 YARN Command介绍 YARN Java API接口介绍 YARN REST API接口介绍 Superior Scheduler REST API接口介绍 父主题： YARN开发指南（普通模式）
storage.directory配置/home目录时启动yarn-session失败 如何处理非static的KafkaPartitioner类对象构造FlinkKafkaProducer010运行时报错 如何处理新创建的Flink用户提交任务报ZooKeeper文件目录权限不足 如何处理无法直接通过URL访问Flink
storage.directory配置/home目录时启动yarn-session失败 如何处理非static的KafkaPartitioner类对象构造FlinkKafkaProducer010运行时报错 如何处理新创建的Flink用户提交任务报ZooKeeper文件目录权限不足 如何处理无法直接通过URL访问Flink
配置MRS集群对接Syslog服务器上报告警 如果用户需要在统一的告警平台查看集群的告警和事件，管理员可以在FusionInsight Manager使用Syslog协议将相关数据上报到告警平台。 Syslog协议未做加密，传输数据容易被窃取，存在安全风险。 前提条件 对接服务器
storage.directory配置/home目录时启动yarn-session失败 如何处理非static的KafkaPartitioner类对象构造FlinkKafkaProducer010运行时报错 如何处理新创建的Flink用户提交任务报ZooKeeper文件目录权限不足 如何处理无法直接通过URL访问Flink
从Python编译到运行PySpark样例 生态对接类 DBeaver对接MRS Hive 集群外Druid对接MRS Kerberos集群 分布式调度平台Airflow在华为云MRS中的实践 基于云服务MRS构建DolphinScheduler2调度系统
MRS集群服务对接OBS示例 配置Flink通过Guardian访问OBS 配置HDFS通过Guardian访问OBS 配置HetuEngine通过Guardian访问OBS 配置Hive通过Guardian访问OBS 配置Hudi通过Guardian访问OBS 配置Mapreduce通过Guardian访问OBS
MRS集群服务对接OBS示例 配置Flink通过IAM委托访问OBS 配置Flume通过IAM委托访问OBS 配置HDFS通过IAM委托访问OBS 配置Hive通过IAM委托访问OBS 配置Hudi通过IAM委托访问OBS 配置MapReduce通过IAM委托访问OBS 配置Presto通过IAM委托访问OBS
cloud-mrs-example/tree/mrs-1.8。 MRS 1.8之前版本：http://mapreduceservice.obs-website.cn-north-1.myhuaweicloud.com/。 配置华为开源镜像仓 华为提供开源镜像站（网址为https://mirrors
Yarn资源池可用资源指标异常，导致弹性伸缩触发异常。 Yarn ResourceManager长时间运行后发现大量ContainerIdPBImpl对象占用内存，可能是内存泄漏。 HDFS客户端leaserenewer线程泄漏。 HDFS重启后权限属性丢失，导致数据无法读取。 备NameN
展示的结果不正确。 JobBalance连接数监控为空。 管控面提交Spark作业Jar包所在的桶与业务桶使用同一个时，长时间运行后访问obs 403。 解决ClickHouse问题： ClickHouse偶现libunwind内存越界，导致进程重启。 ClickHouse的迁移
MRS作业是MRS为用户提供的程序执行平台，用于处理和分析用户数据。用户可以在MRS管理控制台中在线创建作业任务，也可以通过集群客户端后台方式提交作业。 MRS作业处理的数据通常来源于OBS或HDFS，用户创建作业前需要将待分析数据上传至OBS系统，MRS使用OBS中的数据进行计算分析。 M
访问控制 审计安全 密码安全 数据安全 针对海量用户数据，提供如下措施保障客户数据的机密性、完整性和可用性。 容灾：MRS支持将数据备份到OBS（对象存储服务）中，支持跨区域的高可靠性。 备份：MRS支持针对DBService、NameNode、LDAP的元数据备份和对HDFS、HBase的业务数据备份。
本章节适用于将线下IDC机房或者公有云Hive集群中的数据（支持数据量在几十TB级别或以下的数据量级）迁移到华为云MRS服务。 使用华为云CDM服务“场景迁移功能”可以一键式便捷地完成Hive数据的迁移。 本章节以通过华为云CDM服务 2.9.1.200版本进行数据迁移为例介绍。不同版本操作可能有差异，具
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
