检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
切换 大数据的切换主要是指大数据应用的切换，其切换演练和正式切换的步骤请参考章节切换。本节重点介绍大数据应用切换的3个切换点，以便更好的指导大数据应用的切换。 双跑场景：大数据应用分别在源环境和目标环境各部署一套，实现双跑，切换点在域名，业务切换时只需要进行域名的切换，将业务流量切换到新应用。
调研 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块，本节重点介绍的是大数据集群和大数据任务调度平台的迁移，大数据应用的迁移方法请参考应用迁移上云，本节只介绍差异部分。 大数据集群迁移：将大数据集群（包括存储
保障 在大数据迁移的保障阶段，需要执行以下任务来确保顺利过渡到新的云环境： 监控和警报设置：建立实时监控系统，监测集群、任务调度平台和应用程序的运行状态。设置警报，以便及时发现潜在的问题并采取措施。 优化集群性能：对大数据集群进行性能评估和调优。监视资源使用情况，优化配置参数、调整集群大小和资源分配，以提高整体性能。
得时间。 图1 一个中心和七层防线 物理安全防线 华为云建设和运营的数据中心都严格实施了五层安全防护，包括机房容灾、人员管理、运维审计、数据销毁和物理隔离、CCTV和门禁等防护措施，华为云的租户无需关注数据中心的物理安全。但对于部署在企业自建机房的专属云，企业需要自己做好物理安全防护。
数据调研 数据调研主要包括如下方面： 表1 数据调研方法表 调研内容 调研目的 举例 数据类型 根据数据类型选择合适的迁移工具 HDFS、HBase、MySQL等 数据量 历史数据量，用于评估历史数据迁移周期； 日增量数据，用于评估每日增量数据同步周期。 历史数据X PB 日增量Y
平台调研 大数据调研简介 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。 图1 大数据调研的对象 大数据迁移需要调研4部分信息： 大数据平台调研，包括大数据集群、任务调度平台、数据流向。 数据调研，包括待迁移的数据类型、数据量、元数据、数据权限、数据更新频率等。
任务调研 任务调研主要包括如下方面： 表1 任务调研方法表 调研内容 描述 任务调度 如Azkaban、DolphinScheduler，Hera、Crontab等。 任务类型 基于编程语言分类： Jar类：常用于MRS、Flink、Spark等 SQL类： 常用于Hive、Spark、UDF等
部署 大数据平台部署 大数据平台的部署可以参考如下方法： 大数据集群部署 基于架构设计的原则，云上大数据集群一般采用云服务。华为云MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群。MRS提供租户完全可控的企业级大数据集群云服务，轻松运行Hado
JAR类任务 所有Jar类任务都需要根据云上集群版本重新编译jar包，适配云上环境 SQL类任务 同版本： Hive大版本相同，可平迁SQL类任务 不同版本：Hive大版本不同，先平迁SQL类任务，然后根据版本语法变动，微调SQL语句以适配云上版本语法 脚本类任务 （Python、Shell）
迁移 数据迁移 Hadoop数据迁移到华为云MRS服务 如图所示，将IDC机房或者其他公有云的Hadoop集群中的数据迁移到华为云MRS服务。详细操作指导请参考官网文档。 图1 Hadoop数据迁移 HBase数据迁移到华为云MRS服务 将IDC机房或其他公有云的HBase集群中
验证 数据校验 数据库的对比方法有数据库内容对比、对象对比、行数对比，文件的对比方法有文件数量对比，大小对比，内容对比。具体的数据对比的方法请参考章节数据验证的内容。 任务验证 大数据任务迁移后，要确保作业能够正常运行、产生准确的结果，并且满足性能要求。一般从如下三方面验证： 验证作业执行的成功率
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用，其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题： 大数据架构设计
假设每起安全事件平均造成20万元的处理和损失费用，那么总共每年可以减少300万元的经济损失。 降低IT基础设施的TCO 传统模式（自建数据中心）下企业按照预测的业务峰值需求准备硬件和软件等IT资源，但实际业务负载长期处于平均水平，导致资源长期处于低利用率状态，造成巨大的成本浪费
接入层：为外部访问提供了访问入口，云上业务部署在VPC私有网络中，与外部网络是隔离的，当外部需要访问VPC业务时，通常可以通过如下两种方式： 专线：云专线是搭建用户本地数据中心/其他云厂商与云上虚拟私有云（Virtual Private Cloud，VPC）之间高速、低时延、稳定安全的专属连接通道。可以让用户通
集中部署企业路由器（ER），为云上云下互联、云上多账号多VPC互联、云上跨Region互联构建网络枢纽。 集中部署VPN或专线与本地数据中心互联，打通云上云下互联的通道，所有账号都可以共享使用VPN或专线与本地数据中心通信。 集中部署云连接（Cloud Connect，CC）与华为云其他的Region进行网络互联，
体意思。 IT基础设施 是指一个平台化的IT支撑环境，用于支撑组织内所有应用系统的安全稳定运行。它向下抽象、管理和优化底层IT资源（例如数据中心、硬件、网络、虚拟化等），向上为应用系统提供必要的计算、存储、网络、数据库、中间件和其他IT服务，加快应用系统的开发、测试和部署速度，并
层面负全责，涵盖物理硬件、网络、操作系统、应用程序和数据等。而在云环境下，采用的是安全责任共担模型。云服务商负责基础设施层面的安全，包括数据中心的物理安全、网络和虚拟化平台的安全；企业作为云服务的租户，则需要负责其在云上部署的操作系统、应用程序和数据的安全配置和管理。 在安全管理
应用程序迁移的风险过高，且短期内没有迫切的迁移需求。 Rehost 也称为“直接迁移”或“Lift and Shift”，将应用程序原封不动地从本地数据中心迁移到云平台。通常使用工具将虚拟机或物理服务器转换为云中的虚拟机。 快速迁移到云平台，以降低成本或提高可用性。 需要快速完成迁移，时间紧迫。
云卓越中心 云卓越中心简介 指导委员会 应用团队 云架构团队 云实施团队 云运维团队 云安全团队 云治理团队 FinOps团队 云项目经理 云卓越中心的演进 父主题： 顶层规划
IAM Identity and Access Management 身份和权限管理 IDC Internet Data Center 互联网数据中心 IDP Internal Developer Platform 内部开发平台 IoT Internet of Things 物联网 ITSM
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
