检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
华为云大数据组件 常用的华为云大数据服务组件如下,设计大数据部署架构时可参考: MapReduce服务(MapReduce Service,简称MRS) MRS是一个在华为云上部署和管理Hadoop系统的服务,一键即可部署Hadoop集群,完全兼容开源接口,轻松运行Hadoop、
数据复制服务(DRS):用于数据库实时迁移和数据库实时同步的云服务。提供了实时迁移、备份迁移、实时同步、数据订阅和实时灾备等多种功能。具体功能及使用方法请查看DRS帮助文档。 Redis数据迁移服务:用于自建Redis或其它云Redis服务(要求源端Redis已放通SYNC和PSYNC命令)向华为云上Redis(DC
redis数据一致性对比、停止同步任务 6.1 MongoDB数据一致性对比、停止同步任务 6.1 MySQL 数据一致性对比、停止同步任务 修改数据层的DNS内网域名解析 7.1 修改应用间访问的内部域名-》华为云上应用实例 7.1 修改目的端redis的内网域名-》华为云实例IP 7.1
源端应用和数据已迁移到华为云; 华为云应用层和数据层已完成业务功能和性能验证,可正常使用; 业务切换: 停止源端应用层和批处理任务,使源端不再产生新增数据,检查中间件消息无新增,检查数据层无新增; 源端数据层和华为云数据层增量同步完成,并完成数据一致性对比,断开同步链路; 华为云上的应用层和
服务,通过调用源端对象存储的SDK,可快速传输数据并对数据进行加密存储,将数据复制到华为云OBS,可以帮助把对象存储数据从其他云服务商对象存储服务中的数据轻松、平滑地迁移到华为云。通过第一次全量任务,将源端对象存储全量数据迁移至华为云OBS,业务切换时,在华为云配置回源规则,将部
导出源端HIVE元数据,导入华为云MRS-Hive 外置元数据MySQL 使用华为云DRS服务同步MySQL中的元数据到云上RDS 存量数据 Hive历史数据存放在HDFS 使用华为云CDM工具迁移所有历史数据到华为云MRS服务或华为云OBS存储(存算分离场景) Hbase历史数据 使用华为云CDM工具迁移所有历史数据到华为云MRS服务
测试环境选择建议 优点 缺点 目标端华为云生产环境是否已上线部分应用 方案1:在目标端华为云生产环境用作测试 1.测试后直接转生产上线,节省工作量 2.各项参数在测试期间已调为最优 需做好网络隔离,有对现网影响的风险。 方案2:在目标端华为云新建一套测试环境用作测试 对现网无影响
环境检查 切换前需确保源端、目的端、迁移任务状态正常,执行脚本准备就绪。 源端检查:首先,检查是云专线同步带宽是否有超带宽的告警,评估是否需要进行带宽的扩容,其次,对源端应用和数据库进行告警监控等的观测,确保源端告警清理,状态均正常。 目的端检查:通知云厂家进行资源日常状态的
不停服切换方案 应用层切换不停服方案 若只涉及到应用层的切换,可参考章节 停服切换方案 中提到的应用灰度切流方案,切换期间不停服。 数据层或应用整体切换不停服方案 准备工作: 华为云应用层和数据层已完成迁移; 华为云应用层和数据层已完成业务验证,可正常使用。 业务切换: 修改两边
NAS迁移方案 迁移方案 迁移方式 特点 适用场景 华为云CDM服务 (海量数据迁移推荐) 全量+增量 操作简单,支持增量迁移。对海量数据支持更好 适用于将源端对象存储、网络文件存储,大数据存储迁移至华为云OBS对象存储、华为云SFS弹性文件存储、华为云大数据存储中的海量数据迁移。 开源工具rclone/rsync
传统架构的应用,通常部署在物理机或虚拟机,建议优先通过华为云SMS主机迁移工具进行迁移;如果无法使用华为云SMS进行迁移的,可以采用应用重新部署的方式;对于可停机迁移的应用,也可以考虑采用镜像导出导入的方式进行迁移,详细方案见下表: 表1 主机平迁方案 迁移方案 迁移方式 特点 适用场景 使用华为云SMS主机迁移工具迁移(推荐)
导出第三方集群上使用的容器镜像。 按照第三方容器镜像服务上的操作指南拉取镜像到客户端机器。 将导出的容器镜像文件上传到华为云SWR。 使用docker pull命令将镜像上传到华为云,具体操作方法请查看推送镜像到镜像仓库像。 父主题: 迁移
接入层迁移实施 EIP EIP不涉及到迁移,EIP通常需要在目标端华为云环境中重新购买,如果EIP需要对华为云以外的地方提供服务,那么该EIP需要在当地信管局进行服务域名和对应EIP的备案,备案通过后,方可对外提供服务。EIP购买和使用方法,请参照华为云弹性公网IP服务。 备案是中国大
用户接入采用多线路动态BGP,实现公网访问线路的自动容错,可靠性高; 华为云ELB采用集群跨可用区高可靠部署,单数据中心机房故障对业务无影响; 应用接入层采用跨可用区集群部署,单可用区的故障不会影响到全局业务; 业务容器POD多副本均衡的跨AZ部署,通过华为云CCE容器引擎的调度策略实现,从而确保业务负载跨数据中心高可靠;
部署复杂,操作繁琐 2.支持消费队列offset偏移量的同步 所有 华为云SmratConnect工具 全量+增量 1.工具界面化,操作简单 2.支持消费队列offset偏移量的同步 适用于自建kafka或云服务迁移到华为云kafka 父主题: 设计迁移方案
建议实现端到端的双AZ部署,如下图所示。 图1 双AZ高可用设计 设计要点: 业务模块:集群部署的业务,资源分别部署到 2 个AZ内,并通过 ELB 实现双AZ的负载均衡;单点业务ECS可通过 SDRS 作AZ级容灾。 云服务高可用:主备节点分别双AZ部署。 数据库同步:云上使用
在缓存时,一般不用进行迁移数据,大多数场景都是重新在华为云SQL数据库中重新缓存。一般迁移数据都是针对的Redis作为数据库存储使用的场景,其中在web场景下的缓存session时,也可以不用迁移,当客户端重新登录时会在华为云DCS中再一次存储。 离线备份导入 备份文件导入方式当前支持迁移到Redis3
Management)协议将企业自己的身份管理系统中的用户同步复制到华为云的IAM身份中心。您还可以在IAM身份中心对这些用户集中配置访问多个账号内资源的权限。配置完成后,前者的用户可以通过SSO(Single Sign-on)登录到华为云控制台,可以看到该用户有权限访问的账号清单,点击“
安全责任共担 华为云把安全合规作为首要任务,安全是华为云和客户的共同责任。在云服务模式下,华为云与客户共同承担云环境的安全保护责任,为明确双方的责任,确定责任边界,华为云制定了如下图所示的责任共担模型。 图1 安全责任共担模型 华为云的安全责任在于保障云平台和云服务自身的安全,涵
常用术语 华为云CAF涉及到很多IT和云计算领域的术语,不同读者对术语字面上的理解可能不一样,为避免对术语的误解,特制定如下术语表。 表1 术语列表 术语 解释 CAF 英文全称为Cloud Adoption Framework,是一个针对云化转型的端到端生命周期框架,涵盖云化旅