检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本节重点介绍大数据平台、数据和任务的调研。 平台调研 大数据平台调研主要调研大数据集群、大数据任务调度平台和数据流向。
什么是平台工程 平台工程（Platform Engineering）是一种通过构建和运营自助式内部开发平台（IDP，Internal Developer Platform）来优化软件交付和生命周期管理的工程学科。
平台工程 什么是平台工程 如何构建平台工程 父主题： 顶层规划
大数据任务调度平台设计 设计云上的大数据任务调度平台部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据任务调度平台和组件，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议部署架构设计时，优先采用大数据云服务。
如何构建平台工程 在云平台上构建平台工程，可以充分利用云平台提供的丰富服务和工具，降低构建和维护成本，并提高IDP的可靠性和可扩展性。以下是一些关键步骤。
充分利用不同厂商的优势能力：不同的云服务商在技术、服务和功能方面各有优势。例如，某个云服务商可能在人工智能和机器学习方面拥有更强的技术实力，而另一个云服务商可能在数据库服务方面更具优势。
离线任务上班前和下班后执行 调研的方法主要是通过当前大数据平台获取，并辅助一些调研访谈进行补充和确认。 父主题： 大数据调研
表1 不同调研方式的适用场景 序号 调用方式 适用场景 优势 不足 1 现网CMDB平台 客户有CMDB平台，且包含应用调用模块 所见即可得，高效，可直接获取详细资源清单、数据层-数据层、数据层-应用层关联关系 1.有些传统的CMDB系统信息更新不及时 2 现网云管平台 客户有CMP
在快速变化的市场环境中，企业需要具备敏捷的业务能力，以保持竞争优势。 快速部署业务系统：云平台提供了高度灵活和可扩展的基础设施，企业可以迅速部署业务系统和服务，缩短上市时间。
如果目标云平台上没有对应的大数据集群组件，部署架构设计时，可以考虑继续采用自建的方案。如果目标云平台上有对应的大数据集群组件，但兼容性较差，经评估可能需要较大的改造工作量，部署架构设计时，可以考虑继续采用自建的方案。 最小改造原则：如无特别的业务驱动，要尽量避免进行大规模改造。
推动技术创新和业务融合，支持企业取得竞争优势。 父主题： 识别云化驱动力
架构模板查找 登录华为云官网，在上方导航栏选择“解决方案>通用解决方案>Haydn解决方案数字化平台”进入Haydn解决方案数字化平台首页，在页面右下角点击“解决方案加速场>架构模板”可进入架构模板页面。
容器化平台选择：选择一个适合你的需求的容器化平台。最常见的容器化平台是Docker，但也有其他选择，如Kubernetes等。 容器化应用程序：将应用程序拆分为较小的模块或微服务，并将每个模块打包为独立的容器镜像。
如：XX调度平台下，Jar任务XX个。 任务更新周期 识别出不同调度平台，不同任务类型的任务更新周期。如：XX调度平台XX类任务月度更新；XX平台XX类型任务每日XX点更新。 任务详细信息 识别出所有任务的详细信息，包括任务ID、名称、责任部门、责任人、执行时间、更新周期等。
保障 在上云迁移的保障阶段，需要执行以下任务来确保顺利过渡到新的云环境： 云平台监控：确保建立有效的监控系统，跟踪云平台的性能、可用性和安全性。设置警报机制，及时发现并解决潜在的问题。 系统监控和运维：设置系统监控和告警，确保及时发现和解决潜在的问题。
要按照应用部署架构设计方案进行云上资源的开通和配置，云上资源开通主要有如下3种方式： 在云平台Console控制台手动创建云资源。 编写脚本或通过自动化平台对接，调用云平台的API接口，批量发放云资源，每个云服务都有对应的API接口，可以进行资源的生命周期管理。
云原生安全服务 华为云提供了丰富的云原生安全服务，这些云原生安全云服务与华为的云平台深度集成，在性能、弹性、便利性上有较好的优势，同时，云服务商的安全运营经验也会持续推动云原生安全服务的能力提升，建议企业优先选择云原生安全服务。
大数据迁移批次规划说明 大数据迁移上云时，是选择整体迁移还是分批迁移，原则如下： 整体迁移的场景： 规模小：大数据平台数据量少（TB级），计算任务数量不多，可以采用整体迁移的方法，先在云上部署大数据平台，然后全量迁移元数据、数据和任务。
只有在充分的规划和准备下，才能最大程度地发挥云的优势，实现业务价值的最大化。 在组织和流程方面，首先需要设计云卓越中心CCoE（Cloud Center of Excellence）。
首先，最基本的要求是保障应用系统可以在云平台上长期安全稳定运行；其次，要让应用系统可以充分利用云计算的优势提升应用系统的质量，如提升应用系统的韧性、敏捷性、安全性和性能等，最后，应用系统生于云、长于云，可以基于云平台提供的新技术快速进行产品、服务甚至商业模式的创新，孵化新功能、提高业务运营效率
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
