检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka MQ MySQL Mongo 内部/外部域名 WAF 备注 也可参考下图绘制应用的部署架构图: 调研方式如下图所示: 图1 调研方式 调研技术组件的详细信息 调研单个应用的部署架构所涉及的各个技术组件(包括主机、数据库和中间件等)的详细信息,包括资源规格、版本、容量、配置等,如下表格所示。
等操作。业务连续性高的业务,很依赖数据库迁移工具的实时同步能力。在做结构化数据迁移方案时,需要结合业务连续性、迁移网络、业务架构等因素,选择合适的结构化数据迁移方案,做到数据迁移复杂度、数据迁移实时性,业务连续性的平衡。 MySQL迁移方案 表1 MySQL迁移方案 迁移方式 迁移方式
业务容器POD多副本均衡的跨AZ部署,通过华为云CCE容器引擎的调度策略实现,从而确保业务负载跨数据中心高可靠; DCS Redis跨AZ主备部署,确保跨可用区的高可靠;DMS Kafka构建跨双可用区或三可用区集群,确保消息的高可靠;CSS云搜索引擎服务可以跨AZ集群部署,单AZ的故障不影响业务运行;
搭建应用系统所需的预生产环境和生产环境。等应用系统完成开发和测试后,就可以直接在预生产环境和生产环境上部署运行。一种常见的场景是企业购买的是现成的商业软件(如ERP、CRM),基本上不涉及应用程序的代码开发工作,或者只需要很少的跟周边系统的集成开发工作,这种场景的应用上线时间很容易被硬件的采购和发货周期阻塞和延迟。
性、配置项间的关系等),记录配置信息等。并通过专业的CMDB工具对配置项、配置项的属性和配置项之间的关系进行管理。 应用系统的各项变更都是影响应用系统安全稳定运行的因素。生产环境中的操作系统、数据库、中间件和应用程序等的变更,包括软件更新、配置改变等,都需要通过有序的活动进行变更
应用部署架构设计的方法论来源于华为云架构师在各个领域的实战经验,基于这些实战案例,我们总结了一套方法论来指导企业进行云上应用部署架构的设计,帮助企业上好云、用好云。 应用部署架构按照各个组件的功能,一般可以抽象出四个层级:接入层、应用层、中间件层、数据层。 图1 应用的四层部署架构设计
括APP、主机、存储、数据库、中间件等)放进一个迁移分组,迁移的时候要放同一批次,切换的时候要一起切。 依赖关系主要包括三种:共享数据依赖、共享服务器依赖、应用间的通信依赖。 依赖关系还有强弱之分:以共享数据依赖举例:应用程序A、B 和 C 都连接到db01,A 和B 每秒都会进
演练。 优化数据库性能,解决查询慢、锁等待等问题。 管理数据库的权限和访问控制,确保数据合规性。 熟悉云平台的数据库服务和数据库管理服务。 熟悉主流数据库(如MySQL、PostgreSQL等)的管理。 掌握数据库性能优化技术(如索引优化、分库分表)。 具备数据库备份与恢复、主从同步、分布式架构的运维经验。
两地三中心高可用设计 对于业务连续性要求较高的业务,可以考虑两地三中心的高可用性方案,如下图所示。 提供最高程度的业务连续性和数据可用性,在超大规模地域级自然灾害的时候都能保护数据和业务。 RPO 时间取决于数据库复制间隔; 由于容灾站点一直运行,RTO 依赖容灾切换时间,通常取决于 DNS
Jar类任务迁移流程 前提:Jar类任务调试依赖的数据已完成迁移,迁移方法请参考前面的数据迁移部分的内容。 根据云上大数据资源配置,修改源代码,例如版本、依赖库、数据库连接串,以及本地开发环境的库依赖配置等。 编译源代码,生成云上环境可执行的Jar包。 上传Jar包,并在任务调度平台部署和配置Jar包。
规划。 迁移组:是一组具有依赖关系(含环境依赖)的应用程序和基础架构的集合,包括APP、主机、存储、数据库、中间件。 迁移批次:是指一组具有相同的预期开始日期和结束日期的一个或多个迁移组的组合,一个迁移批次可能含有多个迁移组。 迁移优先级:是指应用程序的迁移顺序。 迁移批次规划:
Migration, 简称CDM),是一种高效、易用的数据集成服务。 CDM围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移和集成的复杂性,有效的提高您数据迁移和集成的效率。详细信息请参考官网文档。 数据快递服务(Data
或使用命令行工具,定义容器的部署和运行方式。 网络和存储配置:配置容器之间的网络通信和访问外部资源的方式。确保容器可以与其他容器、数据库、消息队列等进行交互,并确保数据持久性和可靠性。 安全性和监控:确保容器化环境的安全性,例如限制容器的权限、使用安全的镜像源、进行漏洞扫描等。同
是此时会中断数据库业务,需要注意。但是当对停机时间有较高要求,您也可以使用数据库的备份恢复功能或者数据库同步复制技术进行迁移。 使用备份恢复进行迁移。备份恢复迁移数据库的备份还原方案是指的保存源系统的数据,停止源系统数据库业务,在源系统进行数据库全备份,确保必要的日志也保留,并在目的系统进行还原。
在历史作业成功迁移并通过调测后,开始进行增量作业的迁移和同步。增量作业是指在迁移过程中新增的、需要定期运行的作业。 作业双跑 在增量作业迁移和同步成功后,进行作业双跑。作业双跑是指在新的大数据平台上同时运行原有系统和新系统的作业,以验证新系统的结果和原有系统的一致性。这可以通过比较作业输出、日志和指标等来判断两个系统的结果是否一致。
成本估算:根据云服务商的定价模型,估算迁移到云平台的成本,并与传统IT架构的成本进行比较,为决策提供依据。 熟悉主流的云平台及云服务。 具备扎实的IT基础设施知识,包括服务器、网络、存储、数据库、中间件等。 熟悉各种操作系统和应用软件。 了解不同的迁移策略和方法。 具备一定的IT基础设施和业务系统的调研和评估经验。
动态比对任务配置完成 是 否 数据库相关 检查DRS-mongodb数据迁移任务状态‘增量迁移中’,无异常报错或告警(包含回退任务) 是 否 数据库相关 检查MySQL数据库源和目的端字符集是否一致 是 是 数据库相关 数据库确认源端和目的端库用户一致 是 是 周边系统配合检查项
等方面的信息。用于后续大数据调度平台的选型和方案设计。 调研现有的大数据任务调度平台的类型,例如Azkaban等,了解它们的特点和适用场景。 调研现有大数据任务调度平台的版本,并了解最新版本的功能更新和改进。 确认任务调度平台是否支持当前使用的大数据框架和技术,例如Hadoop、
应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块,本节重点介绍的是大数据集群和大数据任务调度平台的迁移,大数据应用的迁移方法请参考应用迁移上云,本节只介绍差异部分。 大数据集群迁移:将大数据集群(包括存储、计算和管理组件)迁移到新的运行环境,包括集群的重新配置和数
阅读现有的文档和技术资料,包括应用程序的架构图、部署说明和运维手册等。这些资料可以识别出应用程序的关键依赖和集成点。 与开发团队和运维团队沟通 与应用程序的开发团队和运维团队进行沟通,了解他们对系统依赖关系的认识和理解。他们可能提供有关应用程序的详细信息、依赖关系的描述以及与其他系统的集成情况。 代码分析