检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 大数据的数据迁移顺序 元数据迁移 首先，进行元数据的迁移。元数据是描述数据的数据，包括数据结构、数据定义、数据关系等信息。在元数据迁移阶段，需要将原始数据的元数据信息导出，并在目标系统中重新建立或导入元数据，以确保目标系统能够正确理解和解析数据。 历史数据迁移 在元数据迁移完
验证 数据校验 数据库的对比方法有数据库内容对比、对象对比、行数对比，文件的对比方法有文件数量对比，大小对比，内容对比。具体的数据对比的方法请参考章节数据验证的内容。 任务验证 大数据任务迁移后，要确保作业能够正常运行、产生准确的结果，并且满足性能要求。一般从如下三方面验证： 验证作业执行的成功率
调研 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块，本节重点介绍的是大数据集群和大数据任务调度平台的迁移，大数据应用的迁移方法请参考应用迁移上云，本节只介绍差异部分。 大数据集群迁移：将大数据集群（包括存储
将CDN、Live等团队共享使用的云资源成本，按照实际用量分摊到域名或IP。 容器集群成本拆分：华为云提供CCE成本洞察，开通后可将CCE集群相关的CCE集群管理费、CCE集群关联的ECS和EVS资源费用拆分到集群、命名空间和工作负载。 多维度分类和汇总：使用成本单元，综合多种条
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用，其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题： 大数据架构设计
推数场景：适用于数据源主动向应用推数的场景，切换点在数据源，需要停止旧数据源推数，配置并启动新数据源向应用推数，将应用的数据源从旧数据源切换到新数据源。 图2 推数场景 抽数场景：适用于应用向数据源抽数的场景，切换点在应用，需要先停止应用向旧数据源抽数，然后配置并启动应用从新数据源抽数，
部署 大数据平台部署 大数据平台的部署可以参考如下方法： 大数据集群部署 基于架构设计的原则，云上大数据集群一般采用云服务。华为云MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群。MRS提供租户完全可控的企业级大数据集群云服务，轻松运行Hado
工具，将外部数据加载到Hive表各分区不是一件容易的事情。云数据迁移服务（CDM）可以轻松将外部数据源（关系数据库、对象存储服务、文件系统服务等）加载到Hive分区表。详细操作指导请参考官网文档。 MRS HDFS数据迁移到OBS CDM支持将MRS HDFS的数据迁移到OBS，详细操作指导请参考官网文档。
整集群大小和资源分配，以提高整体性能。 数据安全和权限管理：审查和加强数据的访问控制和权限管理机制。确保只有经授权的人员可以访问敏感数据，并采取适当的加密和脱敏措施保护数据安全。 自动化任务调度：确保大数据任务调度平台的运行和调度正常。优化调度策略，确保任务按时准确完成，并处理可能的故障或异常情况。
迁移时，和关键人员及时沟通。 任务依赖关系 识别关键任务，识别任务间依赖关系。 调研的方法主要是通过当前大数据平台获取，并辅助一些调研访谈进行补充和确认。 父主题： 大数据调研
的四层部署架构，即接入层、应用层、中间件层和数据层，同时还要调研每一层技术组件的详细信息，比如规格、版本、容量等。具体的调研内容如下： 调研应用的四层部署架构 收集接入层、应用层、中间件层和数据层的详细信息，收集三种关联关系（共享数据、共享服务器、应用间通信依赖），可以参考下表收集应用的详细部署架构：
资本支出 CBH Cloud Bastion Host 云堡垒机 CC Cloud Connect 云连接 CCE Cloud Container Engine 云容器引擎 CCI Cloud Container Instance 云容器实例 CCM Cloud Certificate
当前企业业务中使用比较多的中间件类型为缓存中间件和消息中间件。中间件作为数据存储的临时场所，数据一般不用迁移，但在切换时，为了确保源端和目的端数据的一致性，需要等中间件消息队列中的消息完成消费后再切换。如果中间件缓存数据是持久化的，即作为数据库使用，此场景需要进行数据的迁移。所以中间件的迁移方案需结合业务使用
中间件层迁移实施 Redis迁移 Redis服务一般分为两种大的场景：缓存和数据库存储。在缓存时，一般不用进行迁移数据，大多数场景都是重新在华为云SQL数据库中重新缓存。一般迁移数据都是针对的Redis作为数据库存储使用的场景，其中在web场景下的缓存session时，也可以不用迁移
应用迁移上云简介 应用上云迁移是指将应用的接入层、应用层、中间件层和数据层迁移到云端的过程，迁移策略采用Rehost或Replatform，不含Refactor（应用改造），数据层包含对象存储、块存储、文件存储、关系型数据库、非关系型数据库。 应用上云迁移遵循如下的流程： 图1 应用迁移小循环
或自建Redis）数据迁移，具体使用方法请查看DCS数据迁移帮助文档。 云数据迁移服务（CDM）：支持近20种常用数据源，满足数据在云上和云下的不同迁移场景。具体使用方法请查看CDM帮助文档。 对象存储迁移服务（OMS）：可以将其他云服务商对象存储服务中的数据在线迁移至华为云对象
档。 数据安全中心 数据安全中心服务（Data Security Center，DSC）是新一代的云化数据安全平台，提 供数据分级分类、数据安全风险识别、数据水印溯源和数据静态脱敏等基础数据安全能力。DSC通过数据安全总览整合数据安全生命周期各阶段状态，对外呈现整体云上数据安全态
迁移实施常见问题 关于迁移实施过程中的常见问题及答案，请查看如下链接。 主机迁移服务SMS的常见问题。 Redis数据迁移常见问题。 对象存储迁移服务OMS的常见问题。 数据库迁移的常见问题。 父主题： 迁移
中提到的应用灰度切流方案，切换期间不停服。 数据层或应用整体切换不停服方案 准备工作： 华为云应用层和数据层已完成迁移； 华为云应用层和数据层已完成业务验证，可正常使用。 业务切换： 修改两边的配置，使源端应用层指向源端和目标端的中间件层/数据层，目标端的应用层指向源端和目标端的中间件层/数据层，实现双写。注意：双写的数据一致性由应用逻辑保障；
对于业务连续性要求较高的业务，可以考虑两地三中心的高可用性方案，如下图所示。 提供最高程度的业务连续性和数据可用性，在超大规模地域级自然灾害的时候都能保护数据和业务。 RPO 时间取决于数据库复制间隔； 由于容灾站点一直运行，RTO 依赖容灾切换时间，通常取决于 DNS 缓存刷新时间，一般为分钟级，如果采用
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
