检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
应用层迁移方案 应用层通常部署在物理机、虚拟机或容器内,应用的类型包括有状态和无状态两种。应用的部署方式和应用状态是应用层迁移方案设计时需要考虑的因素,不同的部署方式和应用状态适用的迁移方案不同。 平迁部署在主机上的应用 传统架构的应用,通常部署在物理机或虚拟机,建议优先通过华为
大数据迁移 调研 设计 部署 迁移 验证 切换 保障 父主题: 采用实施
应用迁移上云 应用迁移上云简介 设计迁移方案 设计切换方案 设计Runbook 部署 迁移 验证 切换 保障 父主题: 采用实施
大数据任务调度平台设计 设计云上的大数据任务调度平台部署架构时,建议参考原则如下: 优先用大数据云服务:如果源端是自建的大数据任务调度平台和组件,在目标云平台上有对应的云服务,且功能、性能、兼容性都满足,经评估改造工作量很小,建议部署架构设计时,优先采用大数据云服务。如果目标云平
什么是应用现代化 把应用和数据搬“上云”并不是终点,上云只是数字化转型的开始,我们还需要持续进行巩固和优化,通过“应用现代化”来应对新的IT和业务的需求,支撑云上业务发展,“上云”只是做了搬运工和架构师的事,“云上”我们要做体验官,通过使用云的新技术来不断优化业务体验,支撑业务创新。
件或资源相关的信息,例如,可以查找应用之间的相互调用关系,比如从一个应用到另一个应用的URL或API调用;还可以查找应用与数据库之间的连接信息,如数据库地址、用户名和密码等。 构建关联图谱:将提取到的关联信息组织成图谱或关系模型,这可以是有向图、无向图或其他合适的数据结构,用于表示应用间的关系和依赖。
们常说的云原生应用,通过这种方式可以更加充分发挥云计算的价值。下图是基于云计算的应用生命周期。 图2 基于云计算的应用生命周期 基于云计算的应用生命周期管理需要与前面介绍的云运营模式匹配,不同的云运营模式下,CCoE(或中心IT)与应用团队之间的责任边界和协作关系是不一样的,所以应用生命周期管理流程也会发生变化。
大数据调研 平台调研 数据调研 任务调研 父主题: 调研评估
调研应用全景图 应用迁移的调研信息是由粗到细、逐步迭代的,持续整个上云周期,在前期主要是调研应用的全景图,在迁移阶段,要打开每个应用,调研详细的部署架构和组件信息。应用的调研需要找各业务域的应用架构师和应用运维管理员。 应用全景图的调研是在评估规划阶段进行的,一般按照业务域->业务系统->应用模块逐层打开,如下图:
正常运营的应用作为试点。 上云价值:选择上云的价值可量化、容易量化的应用,如降低成本、提升可用性、实现业务快速部署等,通过试点应用证明上云的价值。 实施难度:根据企业的IT部门的实施能力,选择一些实施难度较低的应用作为试点。 业务影响:考虑上云后对其它业务流程及数据流向的影响,尽量避免影响其它业务的正常运行。
大数据迁移批次规划说明 大数据迁移上云时,是选择整体迁移还是分批迁移,原则如下: 整体迁移的场景: 规模小:大数据平台数据量少(TB级),计算任务数量不多,可以采用整体迁移的方法,先在云上部署大数据平台,然后全量迁移元数据、数据和任务。 关联关系复杂:大数据任务之间的关联关系很复杂,很难拆分,此时也可以选择整体迁移。
以提高整体性能。 数据安全和权限管理:审查和加强数据的访问控制和权限管理机制。确保只有经授权的人员可以访问敏感数据,并采取适当的加密和脱敏措施保护数据安全。 自动化任务调度:确保大数据任务调度平台的运行和调度正常。优化调度策略,确保任务按时准确完成,并处理可能的故障或异常情况。
修改两边的配置,使源端应用层指向源端和目标端的中间件层/数据层,目标端的应用层指向源端和目标端的中间件层/数据层,实现双写。注意:双写的数据一致性由应用逻辑保障; 实时对比源端和目标端数据一致性; 历史数据迁移至华为云数据层; 修改外部DNS域名解析地址,将外部流量从源端切换到华为云。 图1 不停服切换方案
大数据架构设计 设计原则 大数据集群设计 大数据任务调度平台设计 大数据参考架构 华为云大数据组件 父主题: 方案设计
大数据任务调度软件,或者是使用华为云SMS工具将源端调度平台迁移到华为云ECS。 大数据应用部署 大数据应用的部署有2种方法,可以基于华为云ECS重新部署大数据应用,或者是使用华为云SMS工具将大数据应用迁移到华为云ECS。 平台权限配置 平台权限配置 在部署好目标大数据平台后,
调研大数据平台及业务的架构图及数据流图,如下图: 大数据平台及业务的架构图和数据流图。 平台数据接入源。 数据流入方式(如:实时数据上报、批量数据抽取)。 分析大数据平台数据流向,数据在平台内各个组件间的流向,例如:数据采集组件类型、采集组件下一层、存储数据组件,数据处理过程中的工作流等。 图2 数据流示例
性能是目标架构设计中需要考虑的非常重要的一个方面。上一小节介绍了可扩展性设计,性能设计要考虑很重要的一点就是扩展性,可以说可扩展性是高性能的必要条件, 影响云上应用性能的主要因素包括以下几个方面: 针对计算资源,延时是操作执行之间所花的等待时间,也是云计算性能的最直接表现; 针对
图1 大数据的数据迁移顺序 元数据迁移 首先,进行元数据的迁移。元数据是描述数据的数据,包括数据结构、数据定义、数据关系等信息。在元数据迁移阶段,需要将原始数据的元数据信息导出,并在目标系统中重新建立或导入元数据,以确保目标系统能够正确理解和解析数据。 历史数据迁移 在元数据迁移完
迁移 数据迁移 Hadoop数据迁移到华为云MRS服务 如图所示,将IDC机房或者其他公有云的Hadoop集群中的数据迁移到华为云MRS服务。详细操作指导请参考官网文档。 图1 Hadoop数据迁移 HBase数据迁移到华为云MRS服务 将IDC机房或其他公有云的HBase集群中的数
应用部署参考架构 应用部署架构示例 参考架构库 父主题: 应用架构设计