检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 大数据的数据迁移顺序 元数据迁移 首先，进行元数据的迁移。元数据是描述数据的数据，包括数据结构、数据定义、数据关系等信息。在元数据迁移阶段，需要将原始数据的元数据信息导出，并在目标系统中重新建立或导入元数据，以确保目标系统能够正确理解和解析数据。 历史数据迁移 在元数据迁移完
主要解决分布式环境下的数据传输，数据访问，应用调度，流程管理等。在云上，常用的业务中间件有： 缓存：华为云提供的缓存中间件主要为分布式缓存服务（Distributed Cache Service，简称DCS），包含Redis、Memcached等。 消息中间件：华为云提供的分布
Redis服务一般分为两种大的场景：缓存和数据库存储。在缓存时，一般不用进行迁移数据，大多数场景都是重新在华为云SQL数据库中重新缓存。一般迁移数据都是针对的Redis作为数据库存储使用的场景，其中在web场景下的缓存session时，也可以不用迁移，当客户端重新登录时会在华为云DCS中再一次存储。 离线备份导入
迁移 数据迁移 Hadoop数据迁移到华为云MRS服务 如图所示，将IDC机房或者其他公有云的Hadoop集群中的数据迁移到华为云MRS服务。详细操作指导请参考官网文档。 图1 Hadoop数据迁移 HBase数据迁移到华为云MRS服务 将IDC机房或其他公有云的HBase集群中
为云上Redis（DCS服务或自建Redis）数据迁移，具体使用方法请查看DCS数据迁移帮助文档。 云数据迁移服务（CDM）：支持近20种常用数据源，满足数据在云上和云下的不同迁移场景。具体使用方法请查看CDM帮助文档。 对象存储迁移服务（OMS）：可以将其他云服务商对象存储服务
负责云上数据库的部署、配置、监控和维护。 确保数据库的高可用性和数据安全，定期进行备份和恢复演练。 优化数据库性能，解决查询慢、锁等待等问题。 管理数据库的权限和访问控制，确保数据合规性。 熟悉云平台的数据库服务和数据库管理服务。 熟悉主流数据库（如MySQL、PostgreSQL等）的管理。 掌握数据库性能优化技术（如索引优化、分库分表）。
推数场景：适用于数据源主动向应用推数的场景，切换点在数据源，需要停止旧数据源推数，配置并启动新数据源向应用推数，将应用的数据源从旧数据源切换到新数据源。 图2 推数场景 抽数场景：适用于应用向数据源抽数的场景，切换点在应用，需要先停止应用向旧数据源抽数，然后配置并启动应用从新数据源抽数，
理不断增加的用户、数据或事务量，而不会导致性能下降或系统崩溃。提升系统扩展性可以有效提升业务敏捷性和连续性。 分布式架构：云平台支持分布式系统架构设计，允许应用程序在多个服务器或节点上运行，分散负载，避免单点故障，提高系统的扩展性和可用性。 自动弹性伸缩：利用云平台的自动化伸缩功
整集群大小和资源分配，以提高整体性能。 数据安全和权限管理：审查和加强数据的访问控制和权限管理机制。确保只有经授权的人员可以访问敏感数据，并采取适当的加密和脱敏措施保护数据安全。 自动化任务调度：确保大数据任务调度平台的运行和调度正常。优化调度策略，确保任务按时准确完成，并处理可能的故障或异常情况。
应用迁移上云简介 应用迁移上云简介 应用上云迁移是指将应用的接入层、应用层、中间件层和数据层迁移到云端的过程，迁移策略采用Rehost或Replatform，不含Refactor（应用改造），数据层包含对象存储、块存储、文件存储、关系型数据库、非关系型数据库。 应用上云迁移遵循如下的流程：
验证 数据校验 数据库的对比方法有数据库内容对比、对象对比、行数对比，文件的对比方法有文件数量对比，大小对比，内容对比。具体的数据对比的方法请参考章节数据验证的内容。 任务验证 大数据任务迁移后，要确保作业能够正常运行、产生准确的结果，并且满足性能要求。一般从如下三方面验证： 验证作业执行的成功率
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用，其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题： 大数据架构设计
大数据任务调度软件，或者是使用华为云SMS工具将源端调度平台迁移到华为云ECS。 大数据应用部署 大数据应用的部署有2种方法，可以基于华为云ECS重新部署大数据应用，或者是使用华为云SMS工具将大数据应用迁移到华为云ECS。 平台权限配置 平台权限配置 在部署好目标大数据平台后，
迁移时，和关键人员及时沟通。 任务依赖关系 识别关键任务，识别任务间依赖关系。 调研的方法主要是通过当前大数据平台获取，并辅助一些调研访谈进行补充和确认。 父主题： 大数据调研
的平滑扩容节点规格。 数据层可扩展设计要点 数据库中间件层：分布式数据库中间件采用华为云DDM，DDM本身集群部署，随着数据库业务增加，可平滑扩容DDM集群的规格，应对更大量的数据库处理。 数据库层：华为云RDS数据库可平滑扩展只读数据库的实例，应对大量数据读的场景；配套DDM实
应用等场景下，固定数据的资源配比显然已经无法应对业务的快速变化，此时就可以依托于云上丰富的资源和快速的水平伸缩能力来应对。对于企业业务突增、活动促销的场景，用户可以快速通过伸缩策略来扩容和释放资源，同时在业务稳步增长的情形下，也可弹性调整以适配资源与业务。 云上扩缩容可支持如下策略：
Center of Excellence 云卓越中心 CFW Cloud Firewall 云防火墙 CMDB Configuration Management Database 配置管理数据库 CMM Cloud Maturity Model 云化成熟度模型 CNCF Cloud Native
出正确决策，充分发挥云计算的价值。遵循CAF的最佳实践可让您的组织更好地对齐业务和技术战略，确保云化转型的成功。 CAF提供的方法、最佳实践、工具和模版来自于华为云、合作伙伴和客户上云、用云和管云的经验，华为云会持续基于不断积累的云化转型经验和认知升级对CAF进行迭代刷新，确保C
迁移实施常见问题 关于迁移实施过程中的常见问题及答案，请查看如下链接。 主机迁移服务SMS的常见问题。 Redis数据迁移常见问题。 对象存储迁移服务OMS的常见问题。 数据库迁移的常见问题。 父主题： 迁移
当前企业业务中使用比较多的中间件类型为缓存中间件和消息中间件。中间件作为数据存储的临时场所，数据一般不用迁移，但在切换时，为了确保源端和目的端数据的一致性，需要等中间件消息队列中的消息完成消费后再切换。如果中间件缓存数据是持久化的，即作为数据库使用，此场景需要进行数据的迁移。所以中间件的迁移方案需结合业务使用
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
