检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 大数据的数据迁移顺序 元数据迁移 首先，进行元数据的迁移。元数据是描述数据的数据，包括数据结构、数据定义、数据关系等信息。在元数据迁移阶段，需要将原始数据的元数据信息导出，并在目标系统中重新建立或导入元数据，以确保目标系统能够正确理解和解析数据。 历史数据迁移 在元数据迁移完
研的方式主要是从IT系统导出（如CMDB、CMP、虚拟化管理软件），并结合问卷访谈。基础环境的调研主要是找企业的运维团队。调研人员会与企业的运维团队合作，收集与基础环境相关的数据和信息。 一种常见的调研方式是通过企业内部的IT系统导出信息，例如配置管理数据库（CMDB）、云管理平
主机迁移是典型的Rehost迁移方式，虽然主机（服务器）上可以承载各种系统应用如Nginx代理、数据库、容器、中间件、大数据等，但由于数据库/中间件/大数据等应用是以数据为核心，对于这类数据层面的迁移我们通常会采用独立的数据迁移方式而非主机迁移，这里讲的主机迁移对应的迁移层级为应用和操作系统。主机迁移的方式主要有以下三种：
中间件层迁移实施 Redis迁移 Redis服务一般分为两种大的场景：缓存和数据库存储。在缓存时，一般不用进行迁移数据，大多数场景都是重新在华为云SQL数据库中重新缓存。一般迁移数据都是针对的Redis作为数据库存储使用的场景，其中在web场景下的缓存session时，也可以不用迁移
验证 数据校验 数据库的对比方法有数据库内容对比、对象对比、行数对比，文件的对比方法有文件数量对比，大小对比，内容对比。具体的数据对比的方法请参考章节数据验证的内容。 任务验证 大数据任务迁移后，要确保作业能够正常运行、产生准确的结果，并且满足性能要求。一般从如下三方面验证： 验证作业执行的成功率
调研 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块，本节重点介绍的是大数据集群和大数据任务调度平台的迁移，大数据应用的迁移方法请参考应用迁移上云，本节只介绍差异部分。 大数据集群迁移：将大数据集群（包括存储
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用，其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题： 大数据架构设计
推数场景：适用于数据源主动向应用推数的场景，切换点在数据源，需要停止旧数据源推数，配置并启动新数据源向应用推数，将应用的数据源从旧数据源切换到新数据源。 图2 推数场景 抽数场景：适用于应用向数据源抽数的场景，切换点在应用，需要先停止应用向旧数据源抽数，然后配置并启动应用从新数据源抽数，
部署 大数据平台部署 大数据平台的部署可以参考如下方法： 大数据集群部署 基于架构设计的原则，云上大数据集群一般采用云服务。华为云MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群。MRS提供租户完全可控的企业级大数据集群云服务，轻松运行Hado
迁移时，和关键人员及时沟通。 任务依赖关系 识别关键任务，识别任务间依赖关系。 调研的方法主要是通过当前大数据平台获取，并辅助一些调研访谈进行补充和确认。 父主题： 大数据调研
考虑虚拟化层、多租户环境下的数据隔离、API接口安全等新挑战。 在安全责任方面，传统IT环境中，企业对所有的安全层面负全责，涵盖物理硬件、网络、操作系统、应用程序和数据等。而在云环境下，采用的是安全责任共担模型。云服务商负责基础设施层面的安全，包括数据中心的物理安全、网络和虚拟化
问通道加密配置、数据库认证和鉴权配置、数据库审计配置以及其他安全配置。 无论使用哪一项华为云服务，租户始终是其数据的所有者和控制者。租户负责各项具体的数据安全配置，对其保密性、完整性、可用性以及数据访问的身份验证和鉴权进行有效保障。在使用统一身份认证服务（IAM）和数据加密服务（
IT部门 数据库管理员 负责云上数据库的部署、配置、监控和维护。 确保数据库的高可用性和数据安全，定期进行备份和恢复演练。 优化数据库性能，解决查询慢、锁等待等问题。 管理数据库的权限和访问控制，确保数据合规性。 熟悉云平台的数据库服务和数据库管理服务。 熟悉主流数据库（如MySQL、PostgreSQL等）的管理。
运营账号的DSC服务可以对所有成员账号进行统一的数据安全防护，包括针对所有成员账号的统一数据安全风险识别和统一数据保护（数据水印、数据脱敏）。安全运营账号的DBSS服务可以基于Agent采集模式，在网络可达的前提下，实现跨账号的数据库审计和统一信息展现。安全运营账号的CCM服务可
当前企业业务中使用比较多的中间件类型为缓存中间件和消息中间件。中间件作为数据存储的临时场所，数据一般不用迁移，但在切换时，为了确保源端和目的端数据的一致性，需要等中间件消息队列中的消息完成消费后再切换。如果中间件缓存数据是持久化的，即作为数据库使用，此场景需要进行数据的迁移。所以中间件的迁移方案需结合业务使用
置管理等基础性工作。 数据防线 要做好数据资产的主动发现和分类分级，围绕数据全生命周期开展数据安全治理工作，对重要数据使用过程中考虑脱敏、加密、审计等措施，对重要数据做好备份。基于身份控制策略、网络控制策略和资源控制策略构筑坚固的数据安全边界，保障敏感数据不泄露。 运维防线 要限
Network）用于搭建用户本地数据中心与华为云VPC之间便捷、灵活，即开即用的IPsec加密连接通道，实现灵活一体，可伸缩的混合云计算环境。 应用层：负责工作流控制，实现业务逻辑。上承接入层，处理接入层的请求，返回请求结果；下接中间件层或数据层，实现对数据的增删查改。在云上，应用承载的资源主要有：
应用迁移上云简介 应用上云迁移是指将应用的接入层、应用层、中间件层和数据层迁移到云端的过程，迁移策略采用Rehost或Replatform，不含Refactor（应用改造），数据层包含对象存储、块存储、文件存储、关系型数据库、非关系型数据库。 应用上云迁移遵循如下的流程： 图1 应用迁移小循环
依赖网络传输，且要求源端操作系统版本在华为云支持列表内 适用于所有源端为x86架构的物理机或虚拟机迁移，有增量数据 华为云ECS重新部署 NA 1.不依赖网络传输 2.相比工具迁移工作量较大 所有 镜像导出导入 全量 1.不依赖网络传输 2.停机时间较长，需要源端物理机或虚拟机停机后，制作完整镜像
或自建Redis）数据迁移，具体使用方法请查看DCS数据迁移帮助文档。 云数据迁移服务（CDM）：支持近20种常用数据源，满足数据在云上和云下的不同迁移场景。具体使用方法请查看CDM帮助文档。 对象存储迁移服务（OMS）：可以将其他云服务商对象存储服务中的数据在线迁移至华为云对象
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
