完成云下存储数据到云上存储数据的迁移。 详细信息请查看上云迁移服务。 文件存储迁移 NAS文件存储是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统。 华为云的弹性文件服务SFS提供按需扩展的高性能文件存储(NAS),可为云上多个弹性云服务器(Elastic Cloud
(海量数据迁移推荐) 全量+增量 操作简单,支持增量迁移。对海量数据支持更好 适用于将源端对象存储、网络文件存储,大数据存储迁移至华为云OBS对象存储、华为云SFS弹性文件存储、华为云大数据存储中的海量数据迁移。 开源工具rclone/rsync 全量 rclone配置复杂;rsync迁移效率低
中间件层:Kafka、Solr和ES采用3AZ集群部署,任意一个AZ故障,服务仍然可用;Redis采用双AZ主备节点部署。 数据层:MySQL数据库采用双AZ主备部署实现HA;MongoDB使用副本集或Cluster集群,3AZ分布,某AZ故障,其他AZ正常提供服务。 应用层-容器集群高可用
AZ。 在生产和容灾中心分别部署RDS数据库实例,数据库 1:1:1 主备复制。 生产和容灾中心产生的配置、日志、快照和备份等,通过 OBS 实现跨区复制。 生产站点某个AZ故障时,切换到另一个AZ,数据库主备切换。 生产站点全体故障时,切换数据库的主备状态,然后将 DNS 授权修改为容灾站点(生产站点
Redis服务一般分为两种大的场景:缓存和数据库存储。在缓存时,一般不用进行迁移数据,大多数场景都是重新在华为云SQL数据库中重新缓存。一般迁移数据都是针对的Redis作为数据库存储使用的场景,其中在web场景下的缓存session时,也可以不用迁移,当客户端重新登录时会在华为云DCS中再一次存储。 离线备份导入
迁移到云端的过程,迁移策略采用Rehost或Replatform,不含Refactor(应用改造),数据层包含对象存储、块存储、文件存储、关系型数据库、非关系型数据库。 应用上云迁移遵循如下的流程: 图1 应用迁移小循环 上述流程的执行对象是应用迁移分组,一个迁移批次通常包含一个
迁移实施常见问题 迁移实施常见问题 关于迁移实施过程中的常见问题及答案,请查看如下链接。 主机迁移服务SMS的常见问题 Redis数据迁移常见问题 对象存储迁移服务OMS的常见问题 数据库迁移的常见问题 父主题: 迁移
SMS工具迁移:是一种P2V/V2V迁移服务,可以帮您把X86物理服务器或者私有云、公有云平台上的虚拟机迁移到华为云弹性云服务器上,从而帮助您轻松地把服务器上的应用和数据迁移到华为云,主机迁移服务工作原理如下图所示: 图1 SMS迁移过程 主机迁移服务的安全传输原理指的是:源端服务器中的迁移Agent
的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。 详细信息请参考DLI帮助文档。 云搜索服务(Cloud Search Service,简称CSS) 基于Elasticsear
Redis使用场景主要有2种,将Redis用作缓存或者将Redis用作数据库。不同使用场景的Redis迁移方案不同,详见下表所示。 表1 Redis迁移场景 Redis使用场景 迁移方式 Redis实例中的数据用作缓存 业务切换时,为防止Redis后端的数据库被击穿,可基于数据库性能判断使用哪种迁移方案: 方案1:不迁移,将Redis缓冲数据提前预热
存储服务选型 华为云提供的存储服务主要是OBS(Object Storage Service,对象存储服务)、EVS(Elastic Volume Service,弹性云硬盘)、SFS(Scalable File Service,弹性文件服务)等,这三类存储服务的对比表如下所示。
会有很多HDFS子目录,如果不依赖工具,将外部数据加载到Hive表各分区不是一件容易的事情。云数据迁移服务(CDM)可以轻松将外部数据源(关系数据库、对象存储服务、文件系统服务等)加载到Hive分区表。 详细操作指导请参考MRS帮助文档。 MRS HDFS数据迁移到OBS CDM支持将MRS
IP地址 Redis Kafka MQ MySQL Mongo 内部/外部域名 WAF 备注 也可参考下图绘制应用的部署架构图: 调研方式如下图所示: 图1 调研方式 调研技术组件的详细信息 调研单个应用的部署架构所涉及的各个技术组件(包括主机、数据库和中间件等)的详细信息,包括资源规格、版本、容量、配置等,如下表格所示。
问题 是 否 数据库检查项 数据库相关 检查华为云数据库端口是否和生产保持一致 是 否 数据库相关 检查NTP时钟设置是否一致 是 否 数据库相关 检查中间件Redis数据迁移任务状态正常,无异常报错或告警(包含回退任务) 是 否 数据库相关 检查DRS-mysql数据迁移任务状
容则表示数据内容完整,迁移正常。 文件类数据一致性验证的方法如下表所示: 表4 文件数据一致性对比方式 类型 对比项 工具 描述 对象存储 对象数量 OMS OMS迁移工具,通过MD5校验文件完整性和比对两边桶对象数据量是否一致。 文件存储 文件数量 rclone Rclone迁
计算服务选型 华为云提供的计算服务主要是ECS(Elastic Cloud Server)服务和CCE(Cloud Container Engine)服务,华为云提供了很多ECS的实例类型,如下表所示,以满足多样化的计算场景需求。 关于上述ECS实例类型的详细信息,请查看实例类型。
验证 数据校验 数据库的对比方法有数据库内容对比、对象对比、行数对比,文件的对比方法有文件数量对比,大小对比,内容对比。具体的数据对比的方法请参考章节数据验证的内容。 任务验证 大数据任务迁移后,要确保作业能够正常运行、产生准确的结果,并且满足性能要求。一般从如下三方面验证: 验证作业执行的成功率
复演练。 优化数据库性能,解决查询慢、锁等待等问题。 管理数据库的权限和访问控制,确保数据合规性。 熟悉云平台的数据库服务和数据库管理服务。 熟悉主流数据库(如MySQL、PostgreSQL等)的管理。 掌握数据库性能优化技术(如索引优化、分库分表)。 具备数据库备份与恢复、主从同步、分布式架构的运维经验。
云计算从根本上改变了IT基础设施和应用系统的建设、运维和管理方式。传统模式下,组织通常需要购买、安装和运维自己的硬件和软件,包括服务器设备、存储设备、网络设备、虚拟化软件、操作系统、数据库管理软件和中间件等IT基础设施,资源部署周期长,运维负担重,初始投资大。 云计算模式下,IT基础设施的建设和运维由云
等。 云服务 是指云服务商通过互联网或专有网络提供的各种IT服务,包括计算、存储、网络、安全、运维管理、数据库、中间件、大数据处理和AI等。用户可以按需访问这些服务,而无需自行购买和维护物理硬件和软件基础设施,只需为实际使用的资源付费。云服务的主要类型包括基础设施即服务(IaaS
您即将访问非华为云网站,请注意账号财产安全