检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
自定义购买MRS集群 本章节为您介绍如何在MRS管理控制台自定义创建一个新的MRS集群。 MRS包含了多种大数据组件，用户可基于企业大数据场景的业务场景、数据类型、可靠性要求以及资源预算等要求合理选择集群类型。
大数据调研 平台调研 数据调研 任务调研 父主题： 调研评估
广泛应用于行业分析决策系统 了解详情 数据湖治理中心 是数据全生命周期一站式开发运营平台，提供数据集成、数据开发、数据治理、数据服务、数据可视化等功能，支持行业知识库智能化建设，支持大数据存储、大数据计算分析引擎等数据底座，帮助企业客户快速构建数据运营能力 了解详情 弹性云服务器
业务正式切换 在确认目标大数据集群和任务调度平台的运行稳定性以及数据和任务迁移的完整性和准确性后，可以进行业务的正式切换，这包括将业务流量和作业任务切换到目标大数据平台上，并停止原大数据集群和任务调度平台。 父主题： 大数据迁移
MRS存算分离配置流程说明 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算分离模式，从而实现按需灵活扩展资源、低成本的海量数据分析方案。
大数据迁移批次规划说明 大数据迁移上云时，是选择整体迁移还是分批迁移，原则如下： 整体迁移的场景： 规模小：大数据平台数据量少（TB级），计算任务数量不多，可以采用整体迁移的方法，先在云上部署大数据平台，然后全量迁移元数据、数据和任务。
技术支持 MRS服务是租户完全可控的半托管云服务，为用户提供一站式企业级大数据平台，用户可以在MRS集群上轻松运行Hadoop、Hive、Spark、HBase、Kafka、Flink等大数据组件，帮助企业快速构建海量数据信息处理系统，并通过对海量信息数据实时与非实时的分析挖掘，发现全新价值点和企业商机
MRS集群保留JDK说明 MRS集群是租户完全可控的大数据应用开发平台，用户基于平台开发业务后，将业务程序部署到大数据平台运行。由于需要具备开发调测能力，因此要在MRS集群中保留JDK。 此外，MRS集群功能中如下关键特性也强依赖JDK。
设计：设计大数据的部署架构、数据迁移方案、任务迁移方案和数据校验方案。 部署：部署大数据平台，包括集群部署和任务调度平台部署。 迁移：实施数据迁移和任务迁移。 验证：进行数据校验和任务验证。 切换：配合大数据应用进行切换。 保障：业务切换后进行一段时间的实时监控和特别运维保障。
支持的大数据组件简介 在华为云大数据存算分离方案中，OBS除了可以与大数据平台对接外，还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下： Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题： 对接大数据组件
离线任务上班前和下班后执行 调研的方法主要是通过当前大数据平台获取，并辅助一些调研访谈进行补充和确认。 父主题： 大数据调研
调研的方法主要是通过当前大数据平台获取，并辅助一些调研访谈进行补充和确认。 父主题： 大数据调研
大数据迁移 调研 设计 部署 迁移 验证 切换 保障 父主题： 采用实施
如果您不同意本活动规则和云服务协议的条款，请勿参加本活动。 展开内容 收起内容
大数据架构设计 设计原则 大数据集群设计 大数据任务调度平台设计 大数据参考架构 华为云大数据组件 父主题： 方案设计
配置MRS集群安全通信授权 MRS集群通过管理控制台为用户发放、管理和使用大数据组件，大数据组件部署在用户的VPC内部，MRS管理控制台需要直接访问部署在用户VPC内的大数据组件时需要开通相应的安全组规则，而开通相应的安全组规则需要获取用户授权，此授权过程称为通信安全授权。
验证作业执行结果的一致性 验证大数据任务执行结果的一致性，对比新旧大数据平台的作业输出结果数据是否一致。可以使用对比工具、数据校验脚本或手动检查的方式进行验证。如果发现数据不一致的情况，可能需要考虑迁移过程中的数据转换、数据格式或数据处理逻辑的问题，并进行相应的修复和调整。
存算分离资源利用率更高 存算分离资源利用率更高 OBS具备海量数据存储能力，结合华为云MapReduce服务，为美图提供BigData Pro大数据解决方案 OBS具备海量数据存储能力，结合华为云MapReduce服务，为美图提供BigData Pro大数据解决方案 典型业务场景-
方案架构 租户是MRS大数据平台的核心概念，使传统的以用户为核心的大数据平台向以多租户为核心的大数据平台转变，更好的适应现代企业多租户应用环境，如图1所示。 图1 以用户为核心的平台和以多租户为核心的平台 对于以用户为核心的大数据平台，用户直接访问并使用全部的资源和服务。
主机迁移服务是否支持迁移自建的数据库、大数据以及网站等服务 主机迁移服务是整机迁移，不建议用于迁移数据库、大数据及容器等集群。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
