检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据任务调度平台设计 设计云上的大数据任务调度平台部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据任务调度平台和组件，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议部署架构设计时，优先采用大数据云服务。
本节重点介绍大数据平台、数据和任务的调研。 平台调研 大数据平台调研主要调研大数据集群、大数据任务调度平台和数据流向。
什么是平台工程 平台工程（Platform Engineering）是一种通过构建和运营自助式内部开发平台（IDP，Internal Developer Platform）来优化软件交付和生命周期管理的工程学科。
平台工程 什么是平台工程 如何构建平台工程 父主题： 顶层规划
建立完善的监控和运维机制 为了保障平台和应用的稳定运行，需要建立覆盖基础设施、平台服务和应用层面的监控和运维机制。您可以利用应用运维管理服务（AOM），集中监控微服务的性能指标，如响应时间、错误率和调用次数等，帮助快速定位和解决问题。
熟悉主流云平台的虚拟机和云存储服务。 掌握Linux和Windows操作系统的管理与优化。 熟悉云原生的监控运维工具。 具备一定的脚本编写能力。 具备良好的故障排除和问题解决能力。 IT部门 云网络管理员 负责云平台网络架构的设计、配置和日常运维，保障网络稳定和安全。
任务调度： 大数据平台通常需要处理复杂的数据作业。任务调度系统（如Azkaban等）用于管理和调度各种数据处理作业，可以设置作业的依赖关系、调度频率、重试策略等，以确保作业的顺利执行和任务的准时完成。 数据应用： 大数据平台的最终目的是为业务提供有价值的数据应用。
如果目标云平台上没有对应的大数据集群组件，部署架构设计时，可以考虑继续采用自建的方案。如果目标云平台上有对应的大数据集群组件，但兼容性较差，经评估可能需要较大的改造工作量，部署架构设计时，可以考虑继续采用自建的方案。 最小改造原则：如无特别的业务驱动，要尽量避免进行大规模改造。
容器化平台选择：选择一个适合你的需求的容器化平台。最常见的容器化平台是Docker，但也有其他选择，如Kubernetes等。 容器化应用程序：将应用程序拆分为较小的模块或微服务，并将每个模块打包为独立的容器镜像。
如：XX调度平台下，Jar任务XX个。 任务更新周期 识别出不同调度平台，不同任务类型的任务更新周期。如：XX调度平台XX类任务月度更新；XX平台XX类型任务每日XX点更新。 任务详细信息 识别出所有任务的详细信息，包括任务ID、名称、责任部门、责任人、执行时间、更新周期等。
保障：业务切换后进行一段时间的实时监控和特别运维保障。 请参考大数据调研的调研方法，调研大数据集群、大数据任务调度平台和大数据应用的现状信息。 父主题： 大数据迁移
大数据迁移批次规划说明 大数据迁移上云时，是选择整体迁移还是分批迁移，原则如下： 整体迁移的场景： 规模小：大数据平台数据量少（TB级），计算任务数量不多，可以采用整体迁移的方法，先在云上部署大数据平台，然后全量迁移元数据、数据和任务。
保障 在上云迁移的保障阶段，需要执行以下任务来确保顺利过渡到新的云环境： 云平台监控：确保建立有效的监控系统，跟踪云平台的性能、可用性和安全性。设置警报机制，及时发现并解决潜在的问题。 系统监控和运维：设置系统监控和告警，确保及时发现和解决潜在的问题。
要按照应用部署架构设计方案进行云上资源的开通和配置，云上资源开通主要有如下3种方式： 在云平台Console控制台手动创建云资源。 编写脚本或通过自动化平台对接，调用云平台的API接口，批量发放云资源，每个云服务都有对应的API接口，可以进行资源的生命周期管理。
（AOM，CES，APM等）的管理权限 PaaS管理组 也叫中间件管理员，统一管理各个账号下的中间件资源 所有账号下中间件资源的管理权限 所有其他账号下的运维监控服务（AOM，CES，APM等）的管理权限 自动化运维组 统一监控和运维各个账号下的资源 运维监控账号的Tenant Administrator
基础环境在业界也叫做LandingZone（着陆区），基础环境设计包括6个方面，即账号和权限设计、整体网络设计、整体安全设计、资源治理设计、运维监控设计、财务管理设计。
如果该云平台出现故障，例如大规模宕机或区域性灾难，企业的业务将受到严重影响。多云战略可以通过将业务系统部署在多个独立的云平台上，实现跨云容灾，避免单一云平台故障带来的业务中断。即使一个云平台出现问题，其他云平台上的业务仍然可以正常运行，保障业务连续性。
模式2的公共服务和管理账号合并了模式1中运维监控账号、公共服务账号、数据平台账号和DevOps账号的职能。
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用，其中大数据应用的部署架构请参考应用架构设计。
IT管理账号设计原则：针对IT部门，可以按照企业当前的IT职责划分不同的IT管理类子账号，如安全运营、运维监控、网络运营、数据平台等子账号。 父主题： Landing Zone设计
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
