检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据任务调度平台设计 设计云上的大数据任务调度平台部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据任务调度平台和组件，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议部署架构设计时，优先采用大数据云服务。
调研大数据任务调度平台 需要调研大数据任务调度平台的类型、版本、支持的大数据框架和技术，调度任务类型，可视化和管理界面，扩展性和集成性，容错和故障恢复，安全性和权限控制以及社区支持和文档资料等方面的信息。用于后续大数据调度平台的选型和方案设计。
什么是平台工程 平台工程（Platform Engineering）是一种通过构建和运营自助式内部开发平台（IDP，Internal Developer Platform）来优化软件交付和生命周期管理的工程学科。
如何构建平台工程 在云平台上构建平台工程，可以充分利用云平台提供的丰富服务和工具，降低构建和维护成本，并提高IDP的可靠性和可扩展性。以下是一些关键步骤。
平台工程 什么是平台工程 如何构建平台工程 父主题： 顶层规划
编写脚本或通过自动化平台对接，调用云平台的API接口，批量发放云资源，每个云服务都有对应的API接口，可以进行资源的生命周期管理。详情请见对应服务的帮助文档。例如，利用API创建云服务器，请参考这个链接。
企业架构师团队或者外聘 数据架构师 负责设计和管理企业在云上的数据架构，包括数据存储、数据处理、数据集成和数据治理。 选择合适的数据存储方案，例如关系型数据库、NoSQL数据库、数据仓库等。 确保数据的质量、安全性和合规性。
持续集成与交付：建立持续集成与交付（CI/CD）流程，以便能够快速、可靠地构建、测试和部署新版本的容器化应用程序。 容器化改造是一个复杂的过程，需要仔细规划和评估。在开始之前，建议深入了解容器化技术和所选平台，并根据具体情况选择合适的工具和方法。 父主题： 应用现代化
云原生安全服务 华为云提供了丰富的云原生安全服务，这些云原生安全云服务与华为的云平台深度集成，在性能、弹性、便利性上有较好的优势，同时，云服务商的安全运营经验也会持续推动云原生安全服务的能力提升，建议企业优先选择云原生安全服务。
迁移中心（MgC）：是一站式迁移平台，集成了华为云的各个迁移工具，内置了由最佳实践总结而来的迁移工作流模板，您可以根据不同迁移场景，选择合适的迁移模板构建迁移工作流。具体功能及使用方法请查看MgC帮助文档。
通过数据采集和提取，将原始数据收集到大数据平台进行后续处理和分析。 数据集成： 数据集成是将来自不同数据源的数据进行整合和转换的过程。这包括数据清洗、数据预处理、数据格式转换、数据合并等操作，以确保数据的一致性和准确性。
实施集成：根据集成方案，开始实施集成。使用Roma Connect提供的工具和平台，配置和设置必要的集成组件和连接器。确保正确地配置数据映射、消息路由和安全认证等关键参数。 测试和验证：在将集成应用投入生产之前，进行全面的测试和验证。
如果该云平台出现故障，例如大规模宕机或区域性灾难，企业的业务将受到严重影响。多云战略可以通过将业务系统部署在多个独立的云平台上，实现跨云容灾，避免单一云平台故障带来的业务中断。即使一个云平台出现问题，其他云平台上的业务仍然可以正常运行，保障业务连续性。
如：XX调度平台下，Jar任务XX个。 任务更新周期 识别出不同调度平台，不同任务类型的任务更新周期。如：XX调度平台XX类任务月度更新；XX平台XX类型任务每日XX点更新。 任务详细信息 识别出所有任务的详细信息，包括任务ID、名称、责任部门、责任人、执行时间、更新周期等。
如果目标云平台上没有对应的大数据集群组件，部署架构设计时，可以考虑继续采用自建的方案。如果目标云平台上有对应的大数据集群组件，但兼容性较差，经评估可能需要较大的改造工作量，部署架构设计时，可以考虑继续采用自建的方案。 最小改造原则：如无特别的业务驱动，要尽量避免进行大规模改造。
大数据迁移批次规划说明 大数据迁移上云时，是选择整体迁移还是分批迁移，原则如下： 整体迁移的场景： 规模小：大数据平台数据量少（TB级），计算任务数量不多，可以采用整体迁移的方法，先在云上部署大数据平台，然后全量迁移元数据、数据和任务。
您可以进一步使用安全云脑全面清点各类资产的防护覆盖情况，统一管理各层防线的安全策略。 数据集成及安全分析 首先，将安全数据统一对接到安全云脑中，云服务日志一键接入，同时构建云上云下数据统一集成方案，接入第三方生态软件的日志。
一种常见的场景是企业购买的是现成的商业软件（如ERP、CRM），基本上不涉及应用程序的代码开发工作，或者只需要很少的跟周边系统的集成开发工作，这种场景的应用上线时间很容易被硬件的采购和发货周期阻塞和延迟。
基础设施主要包括支撑云服务的物理环境，华为自研的软硬件，以及运维运营包括计算、存储、网络、数据库、平台、应用、身份管理和高级安全服务等各项云服务的系统设施。同时，华为云深度集成第三方安全技术或服务，并负责对其进行安全运维。
周边系统集成功能测试 测试的内容强依赖应用系统的集成功能，比如某大型零售电商平台，和某团购平台、某外卖平台、某到家平台、某小视频平台等都有业务合作，集成的用例至少包括在这些集成平台的下单、用劵、通知发货，评论等各种功能的验证。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
