检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
设计 大数据在云上的部署架构设计请参考大数据架构设计,本节不再赘述。这里重点介绍数据迁移方案和任务迁移方案的设计。 设计数据迁移方案 大数据的数据迁移涉及到3类数据,如下表: 表1 大数据迁移的三类数据 分类 说明 元数据 Hive元数据或外置元数据 存量数据 历史数据,短期内不会变化
云架构团队 云架构团队在云化转型中发挥着关键作用,参照TOGAF框架和卓越架构技术框架架(Well-Architected Framework),全面负责设计云上的技术架构和数据架构,协同应用架构师基于云技术和云服务设计业务系统的云上应用架构,帮助企业在云上构建高安全、高可用、高
任务调研 任务调研主要包括如下方面: 表1 任务调研方法表 调研内容 描述 任务调度 如Azkaban、DolphinScheduler,Hera、Crontab等。 任务类型 基于编程语言分类: Jar类:常用于MRS、Flink、Spark等 SQL类: 常用于Hive、Spark、UDF等
正式切换 正式切换的组织、准备和角色分工同切换演练基本一致,这里不再重复介绍。切换实施时,按照正式切换Runbook执行。不同业务系统的切换方案不同,对应的切换Runbook步骤也会不同,下面Runbook切换步骤仅供参考: 切换前准备和检查 正式切换前,先要按照Runbook Check
数据调研 数据调研主要包括如下方面: 表1 数据调研方法表 调研内容 调研目的 举例 数据类型 根据数据类型选择合适的迁移工具 HDFS、HBase、MySQL等 数据量 历史数据量,用于评估历史数据迁移周期; 日增量数据,用于评估每日增量数据同步周期。 历史数据X PB 日增量Y
调研应用部署架构 应用部署架构的调研是在试点迁移或大规模迁移阶段进行的,应用部署架构是基于单个应用进行调研的,主要调研应用的四层部署架构,即接入层、应用层、中间件层和数据层,同时还要调研每一层技术组件的详细信息,比如规格、版本、容量等。具体的调研内容如下: 调研应用的四层部署架构
平台调研 大数据调研简介 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。 图1 大数据调研的对象 大数据迁移需要调研4部分信息: 大数据平台调研,包括大数据集群、任务调度平台、数据流向。 数据调研,包括待迁移的数据类型、数据量、元数据、数据权限、数据更新频率等。
计算服务选型 华为云提供的计算服务主要是ECS(Elastic Cloud Server)服务和CCE(Cloud Container Engine)服务,华为云提供了很多ECS的实例类型,如下表所示,以满足多样化的计算场景需求。关于上述ECS实例类型的详细信息,请查看实例类型。
数据验证 数据验证标准 迁移完成后,需要对源端和目的端数据做一致性比对,对于数据一致性比对的精度,不同的场景有不同的要求。一般来说,核心业务的数据库表要求源端和目的端100%一致;对于大数据类业务中的部分场景,例如用户画像计算等,可以约定原始数据90%一致。如下是一个参考标准,可根据实际情况调整:
分析云化收益 基于前面制定的云化目标,您接下来还需要对其进行收益分析,将其转换为财务收益,以便进行项目ROI评估,为管理层的战略决策提供依据。下面根据前面推荐的7个云化目标分别进行财务收益的评估,汇总后就能得到整个云化转型项目的总收益。 提升业务系统的可用性SLO 通过提高业务系