检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
迁移,文件系统一般通过Rsync等迁移工具来迁移。 迁移工具兼容性 迁移工具的兼容性以各个迁移工具官网文档发布的最新结果为准: SMS兼容的操作系统清单 DRS兼容的数据库清单 OMS兼容的源端对象存储清单 CDM兼容的数据源清单 父主题: 设计迁移方案
Insight,简称DLI) 完全兼容Apache Spark、Apache Flink、Trino生态,提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务,支持标准SQL/Spark SQL/Flink SQL,支持多种接入方式,并兼容主流数据格式。数据无需复杂
停服时间窗较长场景 主从复制replication 全量+增量迁移 操作复杂 仅适用于源端和目标端均为自建MySQL数据库,由于源端和目的端版本不兼容等问题无法使用华为云DRS数据复制服务的场景 SQLserver迁移方案 表2 MySQL迁移方案 迁移方式 迁移方式 特点 适用场景 华为云DRS数据复制服务
迁移 数据迁移 Hadoop数据迁移到华为云MRS服务 如图所示,将IDC机房或者其他公有云的Hadoop集群中的数据迁移到华为云MRS服务。详细操作指导请参考官网文档。 图1 Hadoop数据迁移 HBase数据迁移到华为云MRS服务 将IDC机房或其他公有云的HBase集群中
数据层迁移实施 对象存储迁移 对象存储适用于存储非结构化的数据,我们日常生活中见到的文档、文本、图片、XML、HTML、各类报表、音视频信息等等都是非结构化数据。不同的量级对应了不同的迁移方式,如下图所示: 图1 对象存储迁移方案 表1 三种对象存储迁移方式说明 对象存储 迁移方式
选择合适的数据存储方案,例如关系型数据库、NoSQL数据库、数据仓库等。 确保数据的质量、安全性和合规性。 与应用架构师和云架构师紧密合作,确保数据架构与整体架构的兼容性。 深入理解数据建模、数据仓库、数据湖、数据治理等概念和技术。 熟悉各种数据库技术,包括关系型数据库和NoSQL数据库。 熟悉大数据技术
正式切换 正式切换的组织、准备和角色分工同切换演练基本一致,这里不再重复介绍。切换实施时,按照正式切换Runbook执行。不同业务系统的切换方案不同,对应的切换Runbook步骤也会不同,下面Runbook切换步骤仅供参考: 切换前准备和检查 正式切换前,先要按照Runbook Check
险。 验证可行性:上云迁移试点可以验证企业的应用和数据是否适合迁移到云端。通过选择一小部分应用或业务进行试点,企业可以评估业务在云环境中的兼容性、性能、安全性、可靠性等方面是否满足需求。如果发现某些应用不适合迁移到云端,企业可以根据评估结果重新规划迁移策略或寻找替代方案,避免将不适合或难以迁移的应用直接投入生产环境。
跨AZ高可用设计示例 跨AZ高可用是IDC上云最主要的价值之一。企业上云后最适合做跨AZ高可用,不仅成本低,而且很便利。下面以某大型零售电商平台为例,介绍上云后的跨AZ高可用设计方法。下图是总体架构图: 图1 高可用设计示例 接入层:Apisix双AZ均衡分布,当某个AZ出现故障
有对应的云服务,且功能、性能、兼容性都满足,经评估改造工作量很小,建议设计大数据集群部署架构时,优先采用大数据云服务。如果目标云平台上没有对应的大数据集群组件,部署架构设计时,可以考虑继续采用自建的方案。如果目标云平台上有对应的大数据集群组件,但兼容性较差,经评估可能需要较大的改
数据调研 数据调研主要包括如下方面: 表1 数据调研方法表 调研内容 调研目的 举例 数据类型 根据数据类型选择合适的迁移工具 HDFS、HBase、MySQL等 数据量 历史数据量,用于评估历史数据迁移周期; 日增量数据,用于评估每日增量数据同步周期。 历史数据X PB 日增量Y
构模式、技术选型、部署方式等,确保应用的性能、可扩展性、安全性和可靠性。 与数据架构师和云架构师紧密合作,确保应用架构与数据架构和云架构的兼容性。 指导开发团队进行应用开发和部署。 深入理解各种应用架构模式和设计模式,例如微服务架构、事件驱动架构等。 熟悉各种开发语言和框架。 熟悉DevOps实践和工具。
基础设施、业务系统、应用架构、数据存储、安全策略等进行全面调研和评估,包括硬件配置、网络架构、软件版本、依赖关系等;分析这些设施与云服务的兼容性和迁移难度,评估将现有系统迁移到云平台的可行性。调研评估工作属于一次性工作,经常会外包给云服务商或者云实施专业服务提供商。 业务专家:由
大数据集群迁移:将大数据集群(包括存储、计算和管理组件)迁移到新的运行环境,包括集群的重新配置和数据迁移。集群迁移需要考虑数据的迁移方式、网络传输速度、兼容性和数据一致性等因素。 大数据任务调度迁移:是将现有的大数据任务调度系统、工作流和调度策略迁移到新的运行环境,包括梳理任务依赖关系、任务适配和改造、任务调优、部署、测试和验证。
云运维团队 云运维团队负责云基础设施的日常管理与维护,确保云基础设施的高可用性、高安全和高性能,协同应用运维管理员保障云上业务系统的长期安全稳定运行,并不断通过自动化和智能化技术提升运维效率。云运维团队通常包含云基础设施管理员、云网络管理员、数据库管理员和自动化工程师,职责和技能要求如下表所示。
方式。 设计集成方案:基于对应用的分析和选定的集成方式,设计一个详细的集成方案。这包括定义接口规范、数据映射、消息传递机制等。确保设计方案兼容旧应用和新应用之间的交互,并且不会中断现有的业务流程。 实施集成:根据集成方案,开始实施集成。使用Roma Connect提供的工具和平台
应用部署架构示例 下图是音频类应用的云上部署设计参考架构: 图1 应用部署架构设计示例 设计要点: 用户接入采用多线路动态BGP,实现公网访问线路的自动容错,可靠性高; 华为云ELB采用集群跨可用区高可靠部署,单数据中心机房故障对业务无影响; 应用接入层采用跨可用区集群部署,单可用区的故障不会影响到全局业务;
设计 大数据在云上的部署架构设计请参考大数据架构设计,本节不再赘述。这里重点介绍数据迁移方案和任务迁移方案的设计。 设计数据迁移方案 大数据的数据迁移涉及到3类数据,如下表: 表1 大数据迁移的三类数据 分类 说明 元数据 Hive元数据或外置元数据 存量数据 历史数据,短期内不会变化
调研应用部署架构 应用部署架构的调研是在试点迁移或大规模迁移阶段进行的,应用部署架构是基于单个应用进行调研的,主要调研应用的四层部署架构,即接入层、应用层、中间件层和数据层,同时还要调研每一层技术组件的详细信息,比如规格、版本、容量等。具体的调研内容如下: 调研应用的四层部署架构
有对应的云服务,且功能、性能、兼容性都满足,经评估改造工作量很小,建议部署架构设计时,优先采用大数据云服务。如果目标云平台上没有对应的大数据任务调度组件,部署架构设计时,可以考虑继续采用自建的方案。如果目标云平台上有对应的大数据任务调度组件,但兼容性较差,经评估可能需要较大的改造