检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据迁移 调研 设计 部署 迁移 验证 切换 保障 父主题： 采用实施
出正确决策，充分发挥云计算的价值。遵循CAF的最佳实践可让您的组织更好地对齐业务和技术战略，确保云化转型的成功。 CAF提供的方法、最佳实践、工具和模版来自于华为云、合作伙伴和客户上云、用云和管云的经验，华为云会持续基于不断积累的云化转型经验和认知升级对CAF进行迭代刷新，确保C
映射到不同规格的云资源，这样才能相对准确地估算两者的TCO。华为云提供了一个计算TCO的Excel模版，可以帮助您快速分析和对比传统模式和云模式的TCO，可以联系您的销售人员获取这个模版。另外，您计算人力成本时，需要考虑提升IT运维效率所节省的IT运维成本，计算方式可以参考下面的第7点：提升IT运维效率。
保障 在大数据迁移的保障阶段，需要执行以下任务来确保顺利过渡到新的云环境： 监控和警报设置：建立实时监控系统，监测集群、任务调度平台和应用程序的运行状态。设置警报，以便及时发现潜在的问题并采取措施。 优化集群性能：对大数据集群进行性能评估和调优。监视资源使用情况，优化配置参数、调整集群大小和资源分配，以提高整体性能。
虑很重要的一点就是扩展性，可以说可扩展性是高性能的必要条件， 影响云上应用性能的主要因素包括以下几个方面： 针对计算资源，延时是操作执行之间所花的等待时间，也是云计算性能的最直接表现； 针对网络资源，吞吐量是评价数据处理执行的速率； 在数据传输方面，用字节/秒或者比特/秒来表示，
数据调研 数据调研主要包括如下方面： 表1 数据调研方法表 调研内容 调研目的 举例 数据类型 根据数据类型选择合适的迁移工具 HDFS、HBase、MySQL等 数据量 历史数据量，用于评估历史数据迁移周期； 日增量数据，用于评估每日增量数据同步周期。 历史数据X PB 日增量Y
如果目标架构是采用华为云的任务调度平台DataArts Studio，可以参考如下官网文档进行部署和配置。 如果目标架构是采用自建的大数据任务调度平台，有2种方法部署，可以基于华为云ECS重新部署大数据任务调度软件，或者是使用华为云SMS工具将源端调度平台迁移到华为云ECS。 大数据应用部署
Hadoop数据迁移到华为云MRS服务 如图所示，将IDC机房或者其他公有云的Hadoop集群中的数据迁移到华为云MRS服务。详细操作指导请参考官网文档。 图1 Hadoop数据迁移 HBase数据迁移到华为云MRS服务 将IDC机房或其他公有云的HBase集群中的数据迁移到华为云MRS服务。
验证 数据校验 数据库的对比方法有数据库内容对比、对象对比、行数对比，文件的对比方法有文件数量对比，大小对比，内容对比。具体的数据对比的方法请参考章节数据验证的内容。 任务验证 大数据任务迁移后，要确保作业能够正常运行、产生准确的结果，并且满足性能要求。一般从如下三方面验证： 验证作业执行的成功率
切换 大数据的切换主要是指大数据应用的切换，其切换演练和正式切换的步骤请参考章节切换。本节重点介绍大数据应用切换的3个切换点，以便更好的指导大数据应用的切换。 双跑场景：大数据应用分别在源环境和目标环境各部署一套，实现双跑，切换点在域名，业务切换时只需要进行域名的切换，将业务流量切换到新应用。
盖华为云数据中心的物理环境和运行其上的基础服务、平台服务、应用服务等。这不但包括华为云基础设施和各项云服务的安全功能和性能，也包括对这些云基础设施和各项云服务进行安全运维和运营，以及保障华为云平台和云服务遵从相关的合规性要求。 华为云一方面确保各项云技术的安全开发、配置和部署；另
从开发、测试、部署到运行都是在云平台之上进行，也就是我们常说的云原生应用，通过这种方式可以更加充分发挥云计算的价值。下图是基于云计算的应用生命周期。 图2 基于云计算的应用生命周期 基于云计算的应用生命周期管理需要与前面介绍的云运营模式匹配，不同的云运营模式下，CCoE（或中心I
云卓越中心 云卓越中心简介 指导委员会 应用团队 云架构团队 云实施团队 云运维团队 云安全团队 云治理团队 FinOps团队 云项目经理 云卓越中心的演进 父主题： 顶层规划
任务调研 任务调研主要包括如下方面： 表1 任务调研方法表 调研内容 描述 任务调度 如Azkaban、DolphinScheduler，Hera、Crontab等。 任务类型 基于编程语言分类： Jar类：常用于MRS、Flink、Spark等 SQL类： 常用于Hive、Spark、UDF等
大数据架构设计 设计原则 大数据集群设计 大数据任务调度平台设计 大数据参考架构 华为云大数据组件 父主题： 方案设计
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用，其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题： 大数据架构设计
性比对的精度，不同的场景有不同的要求。一般来说，核心业务的数据库表要求源端和目的端100%一致；对于大数据类业务中的部分场景，例如用户画像计算等，可以约定原始数据90%一致。如下是一个参考标准，可根据实际情况调整： 表1 数据校验标准参考 分类 数据一致性要求 业务举例 核心业务
迁移方案 迁移方式 特点 适用场景 华为云CDM服务 （海量数据迁移推荐） 全量+增量 操作简单，支持增量迁移。对海量数据支持更好 适用于将源端对象存储、网络文件存储，大数据存储迁移至华为云OBS对象存储、华为云SFS弹性文件存储、华为云大数据存储中的海量数据迁移。 开源工具rclone/rsync
最佳实践在线文档 其他云MySQL数据库 华为云RDS for MySQL 其他云MySQL迁移到云数据库 RDS for MySQL 华为云GaussDB(for MySQL) 其他云MySQL迁移到GaussDB(for MySQL) 其他云MongoDB 华为云DDS 其他云MongoDB迁移到DDS
云运维团队 云运维团队负责云基础设施的日常管理与维护，确保云基础设施的高可用性、高安全和高性能，协同应用运维管理员保障云上业务系统的长期安全稳定运行，并不断通过自动化和智能化技术提升运维效率。云运维团队通常包含云基础设施管理员、云网络管理员、数据库管理员和自动化工程师，职责和技能要求如下表所示。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
