检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
简称CDM），是一种高效、易用的数据集成服务。 CDM围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效的提高您数据迁移和集成的效率。详细信息请参考官网文档。 数据快递服务（Data Express Service，简称DES）
、移动应用、社交媒体等各种数据源。通过数据采集和提取，将原始数据收集到大数据平台进行后续处理和分析。 数据集成： 数据集成是将来自不同数据源的数据进行整合和转换的过程。这包括数据清洗、数据预处理、数据格式转换、数据合并等操作，以确保数据的一致性和准确性。 数据存储： 大数据平台需
应用部署架构概述 应用部署架构设计的方法论来源于华为云架构师在各个领域的实战经验，基于这些实战案例，我们总结了一套方法论来指导企业进行云上应用部署架构的设计，帮助企业上好云、用好云。 应用部署架构按照各个组件的功能，一般可以抽象出四个层级：接入层、应用层、中间件层、数据层。 图1
应用迁移上云简介 应用迁移上云简介 应用上云迁移是指将应用的接入层、应用层、中间件层和数据层迁移到云端的过程，迁移策略采用Rehost或Replatform，不含Refactor（应用改造），数据层包含对象存储、块存储、文件存储、关系型数据库、非关系型数据库。 应用上云迁移遵循如下的流程：
数据层迁移方案 数据层主要负责业务数据的持久化，为上层业务逻辑的实现提供数据支持，数据层包括两类数据，结构化数据和非结构化数据。结构化数据包含各类数据库，例如MySQL数据库、MongoDB数据库等，非结构化数据包含对象存储、各类文件存储等。 结构化数据迁移方案 结构化数据，主要
为提高容灾中心利用率，可将只读和数据分析业务放到容灾站点。 高可用容灾能力构建是一个复杂的系统工程，涉及入口流量控制、业务层改造、中间件和数据库的控制，以及整体机制的协同，所以整个体系打造是存在一定门槛的；如果客户缺乏相关的经验，又期望快速构建高可用的容灾体系，可以考虑使用华为云提供的多云高可用服务（Multi-cloud
进行表级的的行数对比，抽样内容对比。 数据验证方法 数据分为数据库数据、中间件数据和文件数据，这三种数据的一致性验证方法和工具不同： 数据库数据一致性验证的方法如下表所示。 表2 数据库一致性对比方式 对比项 工具 描述 库和表级内容对比 DRS工具 查询对比数据库表的每一条数据
应用部署架构示例 下图是音频类应用的云上部署设计参考架构： 图1 应用部署架构设计示例 设计要点： 用户接入采用多线路动态BGP，实现公网访问线路的自动容错，可靠性高； 华为云ELB采用集群跨可用区高可靠部署，单数据中心机房故障对业务无影响； 应用接入层采用跨可用区集群部署，单可用区的故障不会影响到全局业务；
等多种场景，用于数据库在线迁移和数据库实时同步的云服务。DRS服务是一种易用、稳定、高效，用于数据库平滑迁移和数据库持续同步的云服务。DRS围绕云数据库，降低了数据库之间数据流通的复杂性，有效的减少数据传输的成本。数据复制服务支持多种数据源之间的数据流通，实时迁移、备份迁移、实时
数据管理和持久化： 在单体应用转换为微服务时，您需要考虑数据管理和持久化的问题。每个微服务可能需要有自己的数据库，或者共享同一个数据库。选择适合您的需求的数据库解决方案，并确保数据的一致性和可靠性。在云环境中，您可以考虑使用托管的数据库服务，如华为云RDS、GaussDB等。另外，还需要考虑
调研应用部署架构 应用部署架构的调研是在试点迁移或大规模迁移阶段进行的，应用部署架构是基于单个应用进行调研的，主要调研应用的四层部署架构，即接入层、应用层、中间件层和数据层，同时还要调研每一层技术组件的详细信息，比如规格、版本、容量等。具体的调研内容如下： 调研应用的四层部署架构
大数据 大数据是指规模庞大且复杂的数据集合，对于企业来说，如何收集、存储和分析大数据具有重要意义。以下是大数据如何使能业务创新、与业务结合并推动业务现代化的几个方面： 数据驱动决策：大数据分析可以帮助企业从海量数据中提取有价值的信息和洞察力，为决策提供支持。通过对历史数据和实时数
情况下的数据和任务的持久性。 数据安全和合规性：在云上部署的大数据集群需要有严格的数据安全和合规性保障。采用适当的数据加密、身份验证、访问控制和数据隔离措施，以保护敏感数据免受潜在的安全威胁。 成本效益：在云上部署大数据集群时，需要考虑成本效益。云服务提供商可以提供弹性的计算和存
调研应用上云需求 调研内容包括当前应用上云的需求和约束条件： 迁移时间窗 切换时间窗 目标架构的要求（功能、性能、可用性、安全、成本、可扩展性、可运维性） 回退要求 业务的关联关系确认。 调研方式包括人工访谈或Workshop头脑风暴，可以与前面2项调研内容合并调研，减少调研次数。
重新部署：针对公有云的平迁方式的应用上云场景，我们建议使用CI/CD流水线构建自动化平台，然后在云上重新部署应用。 SMS工具迁移：是一种P2V/V2V迁移服务，可以帮您把X86物理服务器或者私有云、公有云平台上的虚拟机迁移到华为云弹性云服务器上，从而帮助您轻松地把服务器上的应用和数据迁移到
TB 数据分层 调研数据分层主要用于迁移优先级和数据校验标准。 数据接入层、中间层、结果层 数据权限 根据源端数据权限控制组件的不同，选择不同的权限数据迁移方式 Sentry、Ranger等 数据重要性 调研数据重要性的目的是区分核心数据和非核心数据，用于迁移优先级和数据校验标准。
务系统的云上应用架构，协同云运维团队确保业务系统在云上的长期安全稳定运行。应用团队的成员通常都来自于业务部门，因为不同的业务部门拥有独立的应用团队，所以应用团队可能是多个，这些应用团队虚线汇报给CCoE团队，应用团队通常包含应用架构师、应用开发工程师、应用测试工程师和应用运维管理员，其职责和技能要求如下表所示。
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用，其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题： 大数据架构设计
证。 大数据应用迁移：是将基于大数据应用从一个运行环境迁移到另一个运行环境。 大数据迁移遵循如下的流程： 图1 大数据迁移流程 其中大数据应用的迁移请参考应用迁移上云，本章只对大数据应用迁移的特殊注意点进行描述。 大数据迁移流程每个阶段概述如下： 调研：调研大数据平台的版本和配置
到新应用。 图1 双跑场景 推数场景：适用于数据源主动向应用推数的场景，切换点在数据源，需要停止旧数据源推数，配置并启动新数据源向应用推数，将应用的数据源从旧数据源切换到新数据源。 图2 推数场景 抽数场景：适用于应用向数据源抽数的场景，切换点在应用，需要先停止应用向旧数据源抽数
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
