检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何构建平台工程 在云平台上构建平台工程，可以充分利用云平台提供的丰富服务和工具，降低构建和维护成本，并提高IDP的可靠性和可扩展性。以下是一些关键步骤。 明确平台工程的目标和需求 平台工程的核心目标是通过构建自助式内部开发平台（IDP），优化软件交付和生命周期管理，提高开发效率
料等方面的信息。用于后续大数据调度平台的选型和方案设计。 调研现有的大数据任务调度平台的类型，例如Azkaban等，了解它们的特点和适用场景。 调研现有大数据任务调度平台的版本，并了解最新版本的功能更新和改进。 确认任务调度平台是否支持当前使用的大数据框架和技术，例如Hadoop
2026年将有80%的大型软件工程组织将建立平台团队为开发者提供可重用的服务、组件和工具。平台工程对企业带来的价值如下： 提升开发者体验: 平台工程提供自助服务功能，简化了基础设施配置、应用部署和管理等流程，让开发者更专注于业务逻辑的开发，而不是底层基础设施的管理。 加速软件交付:
平台工程 什么是平台工程 如何构建平台工程 父主题： 顶层规划
平台的组件要1：1对标设计，版本尽量不变更，有版本升级需求的需要评估适配改造工作量。 弹性和可扩展性：在云上部署大数据任务调度平台时，应考虑平台的弹性和可扩展性。云环境提供了弹性计算和存储资源，可以根据工作负载的需求自动调整容量。确保任务调度平台能够快速处理增加的任务负载，并支持水平扩展以满足业务需求。
周边系统集成功能测试 测试的内容强依赖应用系统的集成功能，比如某大型零售电商平台，和某团购平台、某外卖平台、某到家平台、某小视频平台等都有业务合作，集成的用例至少包括在这些集成平台的下单、用劵、通知发货，评论等各种功能的验证。 功能测试目的 验证应用系统迁移到目标端华为云后，更换了技术组件后的应用功能是否正常
验证大数据任务执行结果的一致性，对比新旧大数据平台的作业输出结果数据是否一致。可以使用对比工具、数据校验脚本或手动检查的方式进行验证。如果发现数据不一致的情况，可能需要考虑迁移过程中的数据转换、数据格式或数据处理逻辑的问题，并进行相应的修复和调整。 作业执行的性能验证 在迁移后，验证作业的执行性能，包括运行时间
容器化改造是将传统应用程序或服务迁移至容器化环境的过程，以下是进行容器化改造的一般步骤： 评估和规划：首先，评估应用程序或服务的特性、依赖关系和架构。确定哪些部分适合容器化，并制定一个改造计划。 容器化平台选择：选择一个适合你的需求的容器化平台。最常见的容器化平台是Docker，但也有其他选择，如Kubernetes等。
保障 在上云迁移的保障阶段，需要执行以下任务来确保顺利过渡到新的云环境： 云平台监控：确保建立有效的监控系统，跟踪云平台的性能、可用性和安全性。设置警报机制，及时发现并解决潜在的问题。 系统监控和运维：设置系统监控和告警，确保及时发现和解决潜在的问题。配置基础设施监控工具，监测服
任务数量 调研各类任务的总数量，用于评估任务迁移周期及改造工作量。如：XX调度平台下，Jar任务XX个。 任务更新周期 识别出不同调度平台，不同任务类型的任务更新周期。如：XX调度平台XX类任务月度更新；XX平台XX类型任务每日XX点更新。 任务详细信息 识别出所有任务的详细信息，包括任
易被硬件的采购和发货周期阻塞和延迟。 图1 基于传统IT的应用生命周期 基于云计算的应用系统建设的基本流程没有变化，但要求应用生命周期的某些阶段（上图中浅黄色标示的阶段）需要进行调整以适配云计算的特点，进而充分发挥出云计算的价值。 首先，由于云平台已经搭建了统一的资源池，并提供了
大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块，本节重点介绍的是大数据集群和大数据任务调度平台的迁移，大数据应用的迁移方法请参考应用迁移上云，本节只介绍差异部分。 大数据集群迁移：将大数据集群（包括存储、计算和管理组件）迁移到新的运行环境，
根据源端数据权限控制组件的不同，选择不同的权限数据迁移方式 Sentry、Ranger等 数据重要性 调研数据重要性的目的是区分核心数据和非核心数据，用于迁移优先级和数据校验标准。 交易类是核心数据，日志类是非核心数据 数据更新频率 针对不同的刷新周期，制定数据的迁移计划和校验计划。
部署主要是进行云上目标环境的资源开通和配置，并做好上云前的各项检查和测试，并进行迁移环境的准备。 要按照应用部署架构设计方案进行云上资源的开通和配置，云上资源开通主要有如下3种方式： 在云平台Console控制台手动创建云资源。 编写脚本或通过自动化平台对接，调用云平台的API接口，批量发
支持按照默认综合排序、最新发布、最多引用、我的关注对架构模板进行排序。 图1 Haydn平台架构设计模板 架构模板详情 图2 Haydn平台模板详情 架构模板引用 在详情页面右上方，点击“引用到设计中心”，可将该架构模板引用到指定的解决方案下。 父主题： 应用部署参考架构
华为云把安全合规作为首要任务，安全是华为云和客户的共同责任。在云服务模式下，华为云与客户共同承担云环境的安全保护责任，为明确双方的责任，确定责任边界，华为云制定了如下图所示的责任共担模型。 图1 安全责任共担模型 华为云的安全责任在于保障云平台和云服务自身的安全，涵盖华为云数据中心的物理环境和运行其上的基础服务、平
响数据的一致性，因此，应尽量减少批次的数量。 批次间相互独立：批次划分时，确保不同批次间尽量是相互独立的、松耦合的，很少有相互依赖的任务和数据流。独立的批次划分，有助于降低迁移中对其它业务域的影响。 批次内紧耦合：批次划分时，确保每个批次包含相关性较高的主题域和相互依赖的任务和数据流，包括数据共享场景。
收集到大数据平台进行后续处理和分析。 数据集成： 数据集成是将来自不同数据源的数据进行整合和转换的过程。这包括数据清洗、数据预处理、数据格式转换、数据合并等操作，以确保数据的一致性和准确性。 数据存储： 大数据平台需要具备高效的数据存储能力，以承载海量的数据。常见的数据存储技术包
采用自建的方案。如果目标云平台上有对应的大数据集群组件，但兼容性较差，经评估可能需要较大的改造工作量，部署架构设计时，可以考虑继续采用自建的方案。 最小改造原则：如无特别的业务驱动，要尽量避免进行大规模改造。大数据集群的组件要1：1对标设计，版本尽量一致，有版本升级需求的需要评估适配改造工作量。
多云战略的驱动力 当前多云战略正在成为一种主流趋势，越来越多的组织选择将业务系统部署在多个云服务商的云平台上，而不是依赖单一的云服务商。这种趋势的背后是多种因素的驱动，以下是一些主要的驱动力： 避免单云故障：将业务部署在单一云平台上存在单点故障风险。如果该云平台出现故障，例如大规
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
