检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何构建平台工程 在云平台上构建平台工程，可以充分利用云平台提供的丰富服务和工具，降低构建和维护成本，并提高IDP的可靠性和可扩展性。以下是一些关键步骤。 明确平台工程的目标和需求 平台工程的核心目标是通过构建自助式内部开发平台（IDP），优化软件交付和生命周期管理，提高开发效率和交付速度
什么是应用现代化 把应用和数据搬“上云”并不是终点，上云只是数字化转型的开始，我们还需要持续进行巩固和优化，通过“应用现代化”来应对新的IT和业务的需求，支撑云上业务发展，“上云”只是做了搬运工和架构师的事，“云上”我们要做体验官，通过使用云的新技术来不断优化业务体验，支撑业务创新
平台调研 大数据调研简介 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。 图1 大数据调研的对象 大数据迁移需要调研4部分信息： 大数据平台调研，包括大数据集群、任务调度平台、数据流向。 数据调研，包括待迁移的数据类型、数据量、
调研 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块，本节重点介绍的是大数据集群和大数据任务调度平台的迁移，大数据应用的迁移方法请参考应用迁移上云，本节只介绍差异部分。 大数据集群迁移：将大数据集群（包括存储、
保障 在大数据迁移的保障阶段，需要执行以下任务来确保顺利过渡到新的云环境： 监控和警报设置：建立实时监控系统，监测集群、任务调度平台和应用程序的运行状态。设置警报，以便及时发现潜在的问题并采取措施。 优化集群性能：对大数据集群进行性能评估和调优。监视资源使用情况，优化配置参数、调整集群大小和资源分配
设计 大数据在云上的部署架构设计请参考大数据架构设计，本节不再赘述。这里重点介绍数据迁移方案和任务迁移方案的设计。 设计数据迁移方案 大数据的数据迁移涉及到3类数据，如下表： 表1 大数据迁移的三类数据 分类 说明 元数据 Hive元数据或外置元数据 存量数据 历史数据，短期内不会变化
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用，其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题： 大数据架构设计
验证 数据校验 数据库的对比方法有数据库内容对比、对象对比、行数对比，文件的对比方法有文件数量对比，大小对比，内容对比。具体的数据对比的方法请参考章节数据验证的内容。 任务验证 大数据任务迁移后，要确保作业能够正常运行、产生准确的结果，并且满足性能要求。一般从如下三方面验证： 验证作业执行的成功率
应用层迁移实施 主机迁移 主机迁移是典型的Rehost迁移方式，虽然主机（服务器）上可以承载各种系统应用如Nginx代理、数据库、容器、中间件、大数据等，但由于数据库/中间件/大数据等应用是以数据为核心，对于这类数据层面的迁移我们通常会采用独立的数据迁移方式而非主机迁移，这里讲的主机迁移对应的迁移层级为应用和操作系统
正式切换 正式切换的组织、准备和角色分工同切换演练基本一致，这里不再重复介绍。切换实施时，按照正式切换Runbook执行。不同业务系统的切换方案不同，对应的切换Runbook步骤也会不同，下面Runbook切换步骤仅供参考： 切换前准备和检查 正式切换前，先要按照Runbook Check
停服切换方案 停服时长评估 基于华为云的迁移经验，切换期间大部分应用停服时长在0.5小时~3.5小时，下面停服时长可供参考： 表1 停服时长分析 上云迁移停服时长评估 总停服时长（36~211分钟） 源端停机（12~75分钟） 增量数据同步及校验（6~40分钟） 目的端拉起（18~
中间件层迁移方案 当前企业业务中使用比较多的中间件类型为缓存中间件和消息中间件。中间件作为数据存储的临时场所，数据一般不用迁移，但在切换时，为了确保源端和目的端数据的一致性，需要等中间件消息队列中的消息完成消费后再切换。如果中间件缓存数据是持久化的，即作为数据库使用，此场景需要进行数据的迁移
切换 大数据的切换主要是指大数据应用的切换，其切换演练和正式切换的步骤请参考章节切换。本节重点介绍大数据应用切换的3个切换点，以便更好的指导大数据应用的切换。 双跑场景：大数据应用分别在源环境和目标环境各部署一套，实现双跑，切换点在域名，业务切换时只需要进行域名的切换，将业务流量切换到新应用
部署 大数据平台部署 大数据平台的部署可以参考如下方法： 大数据集群部署 基于架构设计的原则，云上大数据集群一般采用云服务。华为云MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群。MRS提供租户完全可控的企业级大数据集群云服务，轻松运行Hadoop
迁移 数据迁移 Hadoop数据迁移到华为云MRS服务 如图所示，将IDC机房或者其他公有云的Hadoop集群中的数据迁移到华为云MRS服务。详细操作指导请参考官网文档。 图1 Hadoop数据迁移 HBase数据迁移到华为云MRS服务 将IDC机房或其他公有云的HBase集群中的数据迁移到华为云
中间件层迁移实施 Redis迁移 Redis服务一般分为两种大的场景：缓存和数据库存储。在缓存时，一般不用进行迁移数据，大多数场景都是重新在华为云SQL数据库中重新缓存。一般迁移数据都是针对的Redis作为数据库存储使用的场景，其中在web场景下的缓存session时，也可以不用迁移
业务验证 业务验证对上云迁移非常重要。业务验证主要包括功能验证和性能验证等。在上云迁移过程中，有两个阶段需要进行业务验证。首先，业务部署完成后，在切换前需要进行功能和性能验证，其次，业务切换时，当业务流量切换到目的端，切换后也需要进行功能和性能验证。 功能验证 功能测试内容 功能测试确保应用系统在上线前能够正常运行
任务调研 任务调研主要包括如下方面： 表1 任务调研方法表 调研内容 描述 任务调度 如Azkaban、DolphinScheduler，Hera、Crontab等。 任务类型 基于编程语言分类： Jar类：常用于MRS、Flink、Spark等 SQL类： 常用于Hive、Spark
成本分析 成本分配驱动业务方承担财务责任 成本分配支撑企业将成本分配到各业务团队中，使得各业务团队的成本清晰可见。根据清晰的成本，业务部门可准确定价，并平衡成本、稳定性和性能，经济高效的提供领先方案。企业管理者基于数据决策各业务的云开支， 保障核心业务和战略业务方向的支出，不超支，
云原生安全服务 华为云提供了丰富的云原生安全服务，这些云原生安全云服务与华为的云平台深度集成，在性能、弹性、便利性上有较好的优势，同时，云服务商的安全运营经验也会持续推动云原生安全服务的能力提升，建议企业优先选择云原生安全服务。 数据加密服务 数据加密服务（Data Encryption
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
