检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
验证 数据校验 数据库的对比方法有数据库内容对比、对象对比、行数对比，文件的对比方法有文件数量对比，大小对比，内容对比。具体的数据对比的方法请参考章节数据验证的内容。 任务验证 大数据任务迁移后，要确保作业能够正常运行、产生准确的结果，并且满足性能要求。一般从如下三方面验证： 验证作业执行的成功率
图5 应用层灰度切流 接下来进行数据层分批切换，某批次数据层切换步骤如下： 停止本批次数据层相关的应用和批处理任务。本批次的数据层静止（中间件消息队列中的消息消费完成，数据库无新增数据）； 数据对比一致后，切换数据层； 修改相关的配置，启动和本批次数据层相关的应用和批处理任务。进行功能验证及保障，确保业务正常；
单AZ的故障不影响业务运行； RDS for MySQL采用主备部署方式，主备实例之间的数据实时同步，如果主实例出现故障，备实例可以快速升为主实例； Redis、Kafka、CSS云搜索、RDS for MySQL都支持把数据备份到OBS桶，应对数据误操作之后的风险； 云主机/云
迁移时，和关键人员及时沟通。 任务依赖关系 识别关键任务，识别任务间依赖关系。 调研的方法主要是通过当前大数据平台获取，并辅助一些调研访谈进行补充和确认。 父主题： 大数据调研
推数场景：适用于数据源主动向应用推数的场景，切换点在数据源，需要停止旧数据源推数，配置并启动新数据源向应用推数，将应用的数据源从旧数据源切换到新数据源。 图2 推数场景 抽数场景：适用于应用向数据源抽数的场景，切换点在应用，需要先停止应用向旧数据源抽数，然后配置并启动应用从新数据源抽数，
调研 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块，本节重点介绍的是大数据集群和大数据任务调度平台的迁移，大数据应用的迁移方法请参考应用迁移上云，本节只介绍差异部分。 大数据集群迁移：将大数据集群（包括存储
部署 大数据平台部署 大数据平台的部署可以参考如下方法： 大数据集群部署 基于架构设计的原则，云上大数据集群一般采用云服务。华为云MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群。MRS提供租户完全可控的企业级大数据集群云服务，轻松运行Hado
的四层部署架构，即接入层、应用层、中间件层和数据层，同时还要调研每一层技术组件的详细信息，比如规格、版本、容量等。具体的调研内容如下： 调研应用的四层部署架构 收集接入层、应用层、中间件层和数据层的详细信息，收集三种关联关系（共享数据、共享服务器、应用间通信依赖），可以参考下表收集应用的详细部署架构：
IT部门 数据库管理员 负责云上数据库的部署、配置、监控和维护。 确保数据库的高可用性和数据安全，定期进行备份和恢复演练。 优化数据库性能，解决查询慢、锁等待等问题。 管理数据库的权限和访问控制，确保数据合规性。 熟悉云平台的数据库服务和数据库管理服务。 熟悉主流数据库（如MySQL、PostgreSQL等）的管理。
主备实例配置了数据持久化，数据不仅会持久化到主节点磁盘，还会实时同步到备节点，同时备节点也会持久化一份数据。 主备实例部署在不同的可用区内，不同可用区的电力、网络相互隔离，当主节点所在的机房因为电力或者网络出现故障，备节点将接管服务，客户端与备节点正常建立连接以及读写数据。 Redi
中间件层迁移实施 Redis迁移 Redis服务一般分为两种大的场景：缓存和数据库存储。在缓存时，一般不用进行迁移数据，大多数场景都是重新在华为云SQL数据库中重新缓存。一般迁移数据都是针对的Redis作为数据库存储使用的场景，其中在web场景下的缓存session时，也可以不用迁移
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用，其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题： 大数据架构设计
应用迁移上云简介 应用上云迁移是指将应用的接入层、应用层、中间件层和数据层迁移到云端的过程，迁移策略采用Rehost或Replatform，不含Refactor（应用改造），数据层包含对象存储、块存储、文件存储、关系型数据库、非关系型数据库。 应用上云迁移遵循如下的流程： 图1 应用迁移小循环
整集群大小和资源分配，以提高整体性能。 数据安全和权限管理：审查和加强数据的访问控制和权限管理机制。确保只有经授权的人员可以访问敏感数据，并采取适当的加密和脱敏措施保护数据安全。 自动化任务调度：确保大数据任务调度平台的运行和调度正常。优化调度策略，确保任务按时准确完成，并处理可能的故障或异常情况。
实现双AZ的负载均衡；单点业务ECS可通过 SDRS 作AZ级容灾。 云服务高可用：主备节点分别双AZ部署。 数据库同步：云上使用RDS数据库服务，进行跨AZ主备部署，跨AZ间数据同步。 灾难恢复切换：当AZ发生故障时，RDS 数据库等自动切换至备库，应用层自动或者通过 SDRS 的一键容灾切换功能切换至其他AZ。
企业架构师团队或者外聘 数据架构师 负责设计和管理企业在云上的数据架构，包括数据存储、数据处理、数据集成和数据治理。 选择合适的数据存储方案，例如关系型数据库、NoSQL数据库、数据仓库等。 确保数据的质量、安全性和合规性。 与应用架构师和云架构师紧密合作，确保数据架构与整体架构的兼容性。
迁移实施常见问题 关于迁移实施过程中的常见问题及答案，请查看如下链接。 主机迁移服务SMS的常见问题。 Redis数据迁移常见问题。 对象存储迁移服务OMS的常见问题。 数据库迁移的常见问题。 父主题： 迁移
编写脚本或通过自动化平台对接，调用云平台的API接口，批量发放云资源，每个云服务都有对应的API接口，可以进行资源的生命周期管理。详情请见对应服务的帮助文档。例如，利用API创建云服务器，请参考这个链接。 使用华为云提供的应用编排服务RFS，对资源进行编排和批量发放，具体操作方法，请参考RFS的官网文档。
应用系统的各项变更都是影响应用系统安全稳定运行的因素。生产环境中的操作系统、数据库、中间件和应用程序等的变更，包括软件更新、配置改变等，都需要通过有序的活动进行变更管理。所有的变更申请生成后，由变更经理进行变更级别判断后提交给变更委员会，通过评审后方可按计划实施变更。所有的变更在申请前，都
或自建Redis）数据迁移，具体使用方法请查看DCS数据迁移帮助文档。 云数据迁移服务（CDM）：支持近20种常用数据源，满足数据在云上和云下的不同迁移场景。具体使用方法请查看CDM帮助文档。 对象存储迁移服务（OMS）：可以将其他云服务商对象存储服务中的数据在线迁移至华为云对象
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
