检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
华为云大数据组件 常用的华为云大数据服务组件如下,设计大数据部署架构时可参考: MapReduce服务(MapReduce Service,简称MRS) MRS是一个在华为云上部署和管理Hadoop系统的服务,一键即可部署Hadoop集群,完全兼容开源接口,轻松运行Hadoop、Spark
offset偏移量的同步 所有 华为云SmratConnect工具 全量+增量 1.工具界面化,操作简单 2.支持消费队列offset偏移量的同步 适用于自建kafka或云服务迁移到华为云kafka 父主题: 设计迁移方案
中间件层迁移实施 Redis迁移 Redis服务一般分为两种大的场景:缓存和数据库存储。在缓存时,一般不用进行迁移数据,大多数场景都是重新在华为云SQL数据库中重新缓存。
应用层迁移实施 主机迁移 主机迁移是典型的Rehost迁移方式,虽然主机(服务器)上可以承载各种系统应用如Nginx代理、数据库、容器、中间件、大数据等,但由于数据库/中间件/大数据等应用是以数据为核心,对于这类数据层面的迁移我们通常会采用独立的数据迁移方式而非主机迁移,这里讲的主机迁移对应的迁移层级为应用和操作系统
图2 调研方式图 首选CMDB法; 如果CMDB无法获取,次选CMP云管平台法,从现网云管平台或虚拟化管理软件获取; 如果CMDB和CMP都行不通,可以安装信息收集工具(比如华为云RDA)进行采集; 如果以上方法都不可行,则采用人工访谈的方式调研信息。 父主题: 应用系统调研
数据层或应用整体切换不停服方案 准备工作: 华为云应用层和数据层已完成迁移; 华为云应用层和数据层已完成业务验证,可正常使用。 业务切换: 修改两边的配置,使源端应用层指向源端和目标端的中间件层/数据层,目标端的应用层指向源端和目标端的中间件层/数据层,实现双写。
对应的应用服务和批处理任务;启动源端和其共用中间件和数据库的应用服务和批处理任务; 域名切换到华为云,进行功能和性能验证,确保业务正常。
在云上,常用的业务中间件有: 缓存:华为云提供的缓存中间件主要为分布式缓存服务(Distributed Cache Service,简称DCS),包含Redis、Memcached等。
双AZ高可用设计 公有云最常用的就是双AZ高可用方案,应用的四层架构(接入层、应用层、中间件、数据层)建议实现端到端的双AZ部署,如下图所示。
应用迁移上云简介 应用迁移上云简介 应用上云迁移是指将应用的接入层、应用层、中间件层和数据层迁移到云端的过程,迁移策略采用Rehost或Replatform,不含Refactor(应用改造),数据层包含对象存储、块存储、文件存储、关系型数据库、非关系型数据库。
中间件层可扩展设计要点 消息中间件层:华为云DMS RabbitMQ专享版底层是集群环境,随着消息处理量和负载的增加,可以平滑的扩大规格。 缓存中间件层:华为云DCS Redis主备版随着热数据容量增加可无缝支撑缓存的平滑扩容节点规格。
常用术语 华为云CAF涉及到很多IT和云计算领域的术语,不同读者对术语字面上的理解可能不一样,为避免对术语的误解,特制定如下术语表。
缓存中间件一般通过华为云DCS迁移工具来迁移,消息中间件,一般不迁移,待消费者服务消费完通道内的消息后,整个消息中间件直接切换到华为云。
图4 中间件层Kafka高可用设计示例 中间件层- Elasticsearch高可用 Master高可用:ES Master节点3AZ分布(2+2+1)。在任意一个可用区不可用时,集群依旧有超过半数的法定主节点选举个数,保证Master的正常选主。
设计迁移方案 迁移方案概述 接入层迁移方案 应用层迁移方案 中间件层迁移方案 数据层迁移方案 父主题: 应用迁移上云
迁移 接入层迁移实施 应用层迁移实施 中间件层迁移实施 数据层迁移实施 迁移实施常见问题 父主题: 应用迁移上云
传统模式下,组织通常需要购买、安装和运维自己的硬件和软件,包括服务器设备、存储设备、网络设备、虚拟化软件、操作系统、数据库管理软件和中间件等IT基础设施,资源部署周期长,运维负担重,初始投资大。
例如,IaaS管理员和PaaS管理员需要统一管理企业范围内各个账号的IaaS资源和中间件资源,这就需要采用IAM身份中心提供的多账号授权方式访问部署在其他账号下的IaaS资源和中间件资源,如下图所示。
图3 应用改造方案 中间件层/数据层配置只读 中间件层和数据层收回业务账号写权限,不允许服务写中间件层/数据层的操作。 图4 中间件和数据只读方案 父主题: 设计切换方案
图1 批次规划 一、迁移分组 迁移分组主要是基于依赖关系将迁移对象进行分组,我们将一组具有强依赖关系的应用程序和基础架构的集合(包括APP、主机、存储、数据库、中间件等)放进一个迁移分组,迁移的时候要放同一批次,切换的时候要一起切。