检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
调研 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块,本节重点介绍的是大数据集群和大数据任务调度平台的迁移,大数据应用的迁移方法请参考应用迁移上云,本节只介绍差异部分。
主机迁移服务(SMS):是一种P2V/V2V迁移服务,可以把X86物理服务器或者私有云、公有云平台上的虚拟机迁移到华为云弹性云服务器云主机上,具体使用方法请查看SMS帮助文档。 数据复制服务(DRS):用于数据库实时迁移和数据库实时同步的云服务。
表1 云架构团队的角色和职责 角色 职责 技能要求 来源 云架构师 负责云平台和云基础设施的整体规划和架构设计,包括Landing Zone、平台工程、网络、存储、安全、灾备等方面,确保云基础设施的安全性、可靠性、性能和成本效益。 选择合适的云服务商和云服务类型。
如果目标架构是采用自建的大数据任务调度平台,有2种方法部署,可以基于华为云ECS重新部署大数据任务调度软件,或者是使用华为云SMS工具将源端调度平台迁移到华为云ECS。
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用,其中大数据应用的部署架构请参考应用架构设计。
容量规划:根据业务需求和未来发展趋势,对云资源进行容量规划,例如计算资源、存储资源、网络带宽等。 成本估算:根据云服务商的定价模型,估算迁移到云平台的成本,并与传统IT架构的成本进行比较,为决策提供依据。 熟悉主流的云平台及云服务。
云运维团队通常包含云基础设施管理员、云网络管理员、数据库管理员和自动化工程师,职责和技能要求如下表所示。 表1 云运维团队的角色和职责 角色 职责 技能要求 来源 云基础设施管理员 负责云平台上存储、虚拟机、操作系统等基础设施的日常运维管理。
熟练使用云平台的安全运营服务和各种安全监控工具。 掌握威胁检测技术、漏洞扫描工具和补丁管理流程。 熟悉日志分析工具和自动化脚本语言(如Python、Shell)。 了解云平台的安全配置(如安全组、防火墙规则)。 具备快速响应和处理安全事件的能力。 IT部门 父主题: 云卓越中心
熟悉主流云平台的IaaS和PaaS服务,并能熟练部署这些服务。 熟悉云平台之上实现资源共享的技术方案,如基于网络的共享、基于资源权限策略的共享和华为云资源共享服务RAM。 具备良好的跨部门沟通、协作和问题解决能力。
云平台安全:云服务商的云平台符合严格的安全标准和认证,如ISO 27001、CSA、SOC 1/2/3、安全等级保护、PCI-DSS、NIST CSF等。
概述 企业云化转型是一项复杂和系统的工程,涉及组织和流程、平台和架构、运维和管理等多个层面。如同建造摩天大楼,在挖地基之前就需要设计蓝图,企业在构建云基础设施和将业务系统上云之前,也需要进行全面而清晰的顶层规划。
项目经理:来自项目管理办公室(PMO)或具备丰富项目管理经验的个人,负责整个上云方案设计项目的规划、执行、监控和收尾工作。确保项目按时、按质、按预算完成,协调跨部门资源,促进团队协作与沟通。
当云计算技术出现之后,企业基于云平台和云服务搭建IT基础设施,并逐步把大量业务系统迁移或者直接部署在公有云上,IT运营模式进入云计算时代。
通常情况下,优先推荐CMDB调研法,CMDB中缺少的信息再通过云管平台或调研访谈的方式补齐。 如下是常见的调研方式,建议企业遵循由易到难的调研思路进行调研。
采用实施:基于详细设计方案,首先要搭建Landing Zone,部署可扩展的网络基础设施,配置安全基线和运维基线;然后将各个应用系统和大数据平台迁移或直接部署到云上,或者基于云平台进行应用现代化改造,也可以基于云平台提供的各种创新技术直接在云上进行应用和业务创新。
云原生安全服务 华为云提供了丰富的云原生安全服务,这些云原生安全云服务与华为的云平台深度集成,在性能、弹性、便利性上有较好的优势,同时,云服务商的安全运营经验也会持续推动云原生安全服务的能力提升,建议企业优先选择云原生安全服务。
管理云平台和资源: 负责管理云平台的日常运营,包括资源分配、成本控制、性能监控等。 推动云最佳实践: 负责推广云最佳实践,例如 云采用框架CAF和卓越架构技术框架WAF,帮助企业构建高效、可靠、安全的云基础设施和应用系统。
敏捷开发与迭代:云平台支持DevOps实践,加速软件开发周期,实现业务系统的快速迭代和更新。 加速业务创新 业务创新是企业获取新增长点,保持竞争力的关键。云计算为企业提供了创新的平台、技术和工具,大幅降低了创新门槛,加速产品和服务、商业模式、业务流程和运营模式的创新。
外置元数据MySQL 使用华为云DRS服务同步MySQL中的元数据到云上RDS 存量数据 Hive历史数据存放在HDFS 使用华为云CDM工具迁移所有历史数据到华为云MRS服务或华为云OBS存储(存算分离场景) Hbase历史数据 使用华为云CDM工具迁移所有历史数据到华为云MRS
运维治理阶段需要针对云上IT基础设施、应用系统和大数据平台进行精益化治理、确定性运维、全方位安全运营和精细化FinOps,并基于WAF框架进行持续优化。