检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
迁移工具部署 华为云提供的迁移工具有:迁移中心(Migration Center, MgC)、资源发现与评估工具(RDA)、主机迁移工具(SMS)、数据复制工具(DRS)、Redis数据迁移工具、云数据迁移工具(CDM)、对象存储迁移工具(OMS)等。 迁移中心(MgC):是一站
根据源端数据权限控制组件的不同,选择不同的权限数据迁移方式 Sentry、Ranger等 数据重要性 调研数据重要性的目的是区分核心数据和非核心数据,用于迁移优先级和数据校验标准。 交易类是核心数据,日志类是非核心数据 数据更新频率 针对不同的刷新周期,制定数据的迁移计划和校验计划。
数据验证方法 数据分为数据库数据、中间件数据和文件数据,这三种数据的一致性验证方法和工具不同: 数据库数据一致性验证的方法如下表所示。 表2 数据库一致性对比方式 对比项 工具 描述 库和表级内容对比 DRS工具 查询对比数据库表的每一条数据,确保每一条的每一个字段都与源端数据库表一致。相较于行对比,内容对比较慢。
实践汇总。 表2 数据库迁移最佳实践 源数据库类型 目标数据库 最佳实践在线文档 其他云MySQL数据库 华为云RDS for MySQL 其他云MySQL迁移到云数据库 RDS for MySQL 华为云GaussDB(for MySQL) 其他云MySQL迁移到GaussDB(for
据迁移工具CDM等。 数据源接入 将目标大数据集群接入与原大数据集群相同的数据源。这确保了源数据的一致性。可以使用数据同步工具、ETL工具或自定义脚本等方式实现数据源的连接和数据同步。离线计算任务的数据源可以使用数据同步工具CDM、ETL工具或自定义脚本实现数据接入;对于实时计算任务的数据源,可以使用Kafka
等操作。业务连续性高的业务,很依赖数据库迁移工具的实时同步能力。在做结构化数据迁移方案时,需要结合业务连续性、迁移网络、业务架构等因素,选择合适的结构化数据迁移方案,做到数据迁移复杂度、数据迁移实时性,业务连续性的平衡。 MySQL迁移方案 表1 MySQL迁移方案 迁移方式 迁移方式
复演练。 优化数据库性能,解决查询慢、锁等待等问题。 管理数据库的权限和访问控制,确保数据合规性。 熟悉云平台的数据库服务和数据库管理服务。 熟悉主流数据库(如MySQL、PostgreSQL等)的管理。 掌握数据库性能优化技术(如索引优化、分库分表)。 具备数据库备份与恢复、主从同步、分布式架构的运维经验。
在首次数据加载时,能极大的提高写入效率,并降低对Region Server节点的写入压力。详细操作指导请参考官网文档。 MySQL数据迁移到MRS集群Hive分区表 Hive的分区使用HDFS的子目录功能实现,每一个子目录包含了分区对应的列名和每一列的值。当分区很多时,会有很多
困难,增加了查找、监控和管理的复杂性。 优化建议:所有创建的云资源都要打好标签,方便后续的运维管理和成本优化。 通过识别和避免这些反模式,并参考行业最佳实践和成功案例,可以更加科学实施上云方案,提高上云和用云的效率,更好地利用云平台的优势,发挥云技术的价值。 父主题: 采用实施
1 修改应用间访问的内部域名-》华为云上应用实例 7.1 修改目的端redis的内网域名-》华为云实例IP 7.1 修改目的端的MySQL的内网域名-》华为云实例IP 7.1 修改目的端MongoDB的内网域名-》华为云实例IP 7.1 修改目的端消息队列MQ的内网域名-》华为云实例IP
过与各个团队的沟通,收集需求,明确需要哪些服务、工具和功能来支持开发人员的工作。通过需求分析,制定平台工程的目标,包括但不限于: 提供统一的应用开发、测试和部署平台。 实现自动化的持续集成和持续交付(CI/CD)流水线。 沉淀和复用企业内的公共组件和服务。 建立完善的监控和运维机制。
中间件层迁移实施 Redis迁移 Redis服务一般分为两种大的场景:缓存和数据库存储。在缓存时,一般不用进行迁移数据,大多数场景都是重新在华为云SQL数据库中重新缓存。一般迁移数据都是针对的Redis作为数据库存储使用的场景,其中在web场景下的缓存session时,也可以不用迁移,当客户端重新登录时会在华为云DCS中再一次存储。
多云战略的驱动力 当前多云战略正在成为一种主流趋势,越来越多的组织选择将业务系统部署在多个云服务商的云平台上,而不是依赖单一的云服务商。这种趋势的背后是多种因素的驱动,以下是一些主要的驱动力: 避免单云故障:将业务部署在单一云平台上存在单点故障风险。如果该云平台出现故障,例如大规
调研应用部署架构 应用部署架构的调研是在试点迁移或大规模迁移阶段进行的,应用部署架构是基于单个应用进行调研的,主要调研应用的四层部署架构,即接入层、应用层、中间件层和数据层,同时还要调研每一层技术组件的详细信息,比如规格、版本、容量等。具体的调研内容如下: 调研应用的四层部署架构 收集接入
华为云结合FinOps基金会的FinOps框架和华为自身的FinOps实践总结提炼的一套FinOps参考架构,如下图所示,总体上包含成本计划、成本控制、成本分析和成本优化四个阶段。 图1 华为云FinOps参考框架 华为云还提供的丰富的成本管理工具,提升成本管理的效率,帮助企业在华为云
和测试阶段的正常运行。然后,将这些容器化的微服务镜像上传到云平台,以供部署和生产使用。 数据管理和持久化: 在单体应用转换为微服务时,您需要考虑数据管理和持久化的问题。每个微服务可能需要有自己的数据库,或者共享同一个数据库。选择适合您的需求的数据库解决方案,并确保数据的一致性和可
主机迁移是典型的Rehost迁移方式,虽然主机(服务器)上可以承载各种系统应用如Nginx代理、数据库、容器、中间件、大数据等,但由于数据库/中间件/大数据等应用是以数据为核心,对于这类数据层面的迁移我们通常会采用独立的数据迁移方式而非主机迁移,这里讲的主机迁移对应的迁移层级为应用
停止本批次数据层相关的应用和批处理任务。本批次的数据层静止(中间件消息队列中的消息消费完成,数据库无新增数据); 数据对比一致后,切换数据层; 修改相关的配置,启动和本批次数据层相关的应用和批处理任务。进行功能验证及保障,确保业务正常; 某批次应用(如APP1)的外部DNS域名解析,解析地址从源端切换到华为云,流量进入华为云。
节点也会持久化一份数据。 主备实例部署在不同的可用区内,不同可用区的电力、网络相互隔离,当主节点所在的机房因为电力或者网络出现故障,备节点将接管服务,客户端与备节点正常建立连接以及读写数据。 Redis集群搭配Keepalived生成VIP,提升业务可用性。 图3 中间件层Redis高可用设计示例
业务运行; RDS for MySQL采用主备部署方式,主备实例之间的数据实时同步,如果主实例出现故障,备实例可以快速升为主实例; Redis、Kafka、CSS云搜索、RDS for MySQL都支持把数据备份到OBS桶,应对数据误操作之后的风险; 云主机/云硬盘可通过CBR云