检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
它包含如下三个模块,本节重点介绍的是大数据集群和大数据任务调度平台的迁移,大数据应用的迁移方法请参考应用迁移上云,本节只介绍差异部分。 大数据集群迁移:将大数据集群(包括存储、计算和管理组件)迁移到新的运行环境,包括集群的重新配置和数据迁移。
图1 华为云FinOps参考框架 华为云还提供的丰富的成本管理工具,提升成本管理的效率,帮助企业在华为云上开展FinOps实践,持续提升云的成本效益。
切换 大数据的切换主要是指大数据应用的切换,其切换演练和正式切换的步骤请参考章节切换。本节重点介绍大数据应用切换的3个切换点,以便更好的指导大数据应用的切换。 双跑场景:大数据应用分别在源环境和目标环境各部署一套,实现双跑,切换点在域名,业务切换时只需要进行域名的切换,将业务流量切换到新应用
概述 当企业上云规模逐渐变大,在云上有数十上百个应用系统和海量云资源,包括企业自有员工、外包员工及合作伙伴的员工在内的大量用户需要访问和操作这些云资源,量变导致质变,资源闲置、误操作、恶意操作、数据泄露和权限错配等风险将随着用云规模呈现指数级增长。
概述 为什么要做批次规划 上云迁移批次规划是为了把上云迁移分成几个阶段,以便更加有效地迁移企业应用到云端。批次规划的目的是为了将上云迁移的复杂性减少到最低,以便更有效地安排上云迁移的时间,统筹资源,并分析各个迁移阶段的风险,让企业在最短的时间内完成上云迁移。 批次规划是企业上云迁移很重要的一项工作
验证 数据校验 数据库的对比方法有数据库内容对比、对象对比、行数对比,文件的对比方法有文件数量对比,大小对比,内容对比。具体的数据对比的方法请参考章节数据验证的内容。 任务验证 大数据任务迁移后,要确保作业能够正常运行、产生准确的结果,并且满足性能要求。一般从如下三方面验证: 验证作业执行的成功率
成本控制 通过预算管理,跟踪未来资源用量和费用执行 云资源按需灵活扩展,云成本在用云过程中不再固定不变。为了避免意外账单,需要在用云过程中精细化控制,对风险事项建立监控预警机制和应对机制,一旦产生预警则及时应对,避免产生异常高成本。在发生异常时,分析根因也至关重要。
成本预算计划 企业上云过程中,可以利用华为云的成本中心进行成本预算计划和管理。通过华为云的成本中心,企业可以实现对云开支的全面预算管理和监控,提高资源利用率,降低不必要的支出。合理的预算计划和持续的成本优化将有助于企业在云环境中获得更高的投资回报,实现业务的数字化转型目标。
任务调研 任务调研主要包括如下方面: 表1 任务调研方法表 调研内容 描述 任务调度 如Azkaban、DolphinScheduler,Hera、Crontab等。 任务类型 基于编程语言分类: Jar类:常用于MRS、Flink、Spark等 SQL类: 常用于Hive、Spark
数据调研 数据调研主要包括如下方面: 表1 数据调研方法表 调研内容 调研目的 举例 数据类型 根据数据类型选择合适的迁移工具 HDFS、HBase、MySQL等 数据量 历史数据量,用于评估历史数据迁移周期; 日增量数据,用于评估每日增量数据同步周期。 历史数据X PB 日增量Y
上一小节介绍了可扩展性设计,性能设计要考虑很重要的一点就是扩展性,可以说可扩展性是高性能的必要条件, 影响云上应用性能的主要因素包括以下几个方面: 针对计算资源,延时是操作执行之间所花的等待时间,也是云计算性能的最直接表现; 针对网络资源,吞吐量是评价数据处理执行的速率; 在数据传输方面
调研应用全景图 应用迁移的调研信息是由粗到细、逐步迭代的,持续整个上云周期,在前期主要是调研应用的全景图,在迁移阶段,要打开每个应用,调研详细的部署架构和组件信息。应用的调研需要找各业务域的应用架构师和应用运维管理员。
大数据迁移批次规划说明 大数据迁移上云时,是选择整体迁移还是分批迁移,原则如下: 整体迁移的场景: 规模小:大数据平台数据量少(TB级),计算任务数量不多,可以采用整体迁移的方法,先在云上部署大数据平台,然后全量迁移元数据、数据和任务。
参考架构库 Haydn是华为云面向合作伙伴和客户的数字化平台,当前Haydn已经积累了700+各类参考架构,企业可以根据业务场景搜索并引用华为云的应用部署参考架构,基于Haydn做架构设计,企业可以对参考架构做定制化修改,以更符合企业业务。