检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据任务调度平台设计 设计云上的大数据任务调度平台部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据任务调度平台和组件，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议部署架构设计时，优先采用大数据云服务。如果目标云平台上没有
如何构建平台工程 在云平台上构建平台工程，可以充分利用云平台提供的丰富服务和工具，降低构建和维护成本，并提高IDP的可靠性和可扩展性。以下是一些关键步骤。 明确平台工程的目标和需求 平台工程的核心目标是通过构建自助式内部开发平台（IDP），优化软件交付和生命周期管理，提高开发效率
什么是平台工程 平台工程（Platform Engineering）是一种通过构建和运营自助式内部开发平台（IDP，Internal Developer Platform）来优化软件交付和生命周期管理的工程学科。其目标是通过标准化和自动化的方式，减少开发人员与底层基础设施之间的复
调研大数据平台及业务的架构图及数据流图，如下图： 大数据平台及业务的架构图和数据流图。 平台数据接入源。 数据流入方式（如：实时数据上报、批量数据抽取）。 分析大数据平台数据流向，数据在平台内各个组件间的流向，例如：数据采集组件类型、采集组件下一层、存储数据组件，数据处理过程中的工作流等。
华为云大数据组件 常用的华为云大数据服务组件如下，设计大数据部署架构时可参考： MapReduce服务（MapReduce Service，简称MRS） MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群，完全兼容开源接口，轻松运行Hadoop、
平台工程 什么是平台工程 如何构建平台工程 父主题： 顶层规划
计算服务选型 华为云提供的计算服务主要是ECS（Elastic Cloud Server）服务和CCE（Cloud Container Engine）服务，华为云提供了很多ECS的实例类型，如下表所示，以满足多样化的计算场景需求。关于上述ECS实例类型的详细信息，请查看实例类型。
云原生安全服务 华为云提供了丰富的云原生安全服务，这些云原生安全云服务与华为的云平台深度集成，在性能、弹性、便利性上有较好的优势，同时，云服务商的安全运营经验也会持续推动云原生安全服务的能力提升，建议企业优先选择云原生安全服务。 数据加密服务 数据加密服务（Data Encryption
方式： 在云平台Console控制台手动创建云资源。 编写脚本或通过自动化平台对接，调用云平台的API接口，批量发放云资源，每个云服务都有对应的API接口，可以进行资源的生命周期管理。详情请见对应服务的帮助文档。例如，利用API创建云服务器，请参考这个链接。 使用华为云提供的应用
储和访问需求。 大数据计算： 大数据计算是对海量数据进行分布式、并行和实时处理的关键环节。主要的计算框架包括Hadoop、Spark、Flink等，它们支持分布式计算模型和任务调度。通过这些计算框架，可以进行数据处理、特征提取、机器学习、数据挖掘等复杂的计算和分析任务。 数据查询和分析：
参考架构库 Haydn是华为云面向合作伙伴和客户的数字化平台，当前Haydn已经积累了700+各类参考架构，企业可以根据业务场景搜索并引用华为云的应用部署参考架构，基于Haydn做架构设计，企业可以对参考架构做定制化修改，以更符合企业业务。 架构模板查找 登录华为云官网，在上方导航栏
云化转型（也叫云转型）是指将组织的IT基础设施、应用系统、业务流程等迁移到云计算平台，或者利用云计算技术对其业务模式和运营流程进行重构和优化的过程。它不仅仅是简单的“搬迁上云”，更是一个涉及战略、技术、组织和流程的全面转型。目标是利用云计算的优势，提升业务敏捷性和连续性，降低成本，并推动业务创新。
迁移中心（MgC）：是一站式迁移平台，集成了华为云的各个迁移工具，内置了由最佳实践总结而来的迁移工作流模板，您可以根据不同迁移场景，选择合适的迁移模板构建迁移工作流。具体功能及使用方法请查看MgC帮助文档。 资源发现与评估工具（RDA）：是一个部署在Windows主机上的工具，用于评估上云驱动力和准备度，
多个独立的云平台上，实现跨云容灾，避免单一云平台故障带来的业务中断。即使一个云平台出现问题，其他云平台上的业务仍然可以正常运行，保障业务连续性。 避免厂商锁定：将所有业务都放在一个云服务商的云平台里会造成厂商锁定，使企业在未来的谈判中处于劣势，并且难以迁移到其他平台。多云战略可以
微服务架构：云平台天然适合微服务和容器化部署，支持应用拆分和独立扩展，提升灵活性和可维护性。 无服务器计算：云平台提供的无服务器计算服务（如 FunctionGraph）允许用户将代码部署到云端，而无需管理服务器。云平台会根据请求自动分配计算资源，并在请求处理完成后释放资源。这种模式极大地简化了扩展性管理。 提升安全性
样的应用系统从开发、测试、部署到运行都是在云平台之上进行，也就是我们常说的云原生应用，通过这种方式可以更加充分发挥云计算的价值。下图是基于云计算的应用生命周期。 图2 基于云计算的应用生命周期 基于云计算的应用生命周期管理需要与前面介绍的云运营模式匹配，不同的云运营模式下，CCo
优先用大数据云服务：如果源端是自建的大数据集群，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议设计大数据集群部署架构时，优先采用大数据云服务。如果目标云平台上没有对应的大数据集群组件，部署架构设计时，可以考虑继续采用自建的方案。如果目标云平台上有对应的大数据集群组件，但
大数据迁移批次规划说明 大数据迁移上云时，是选择整体迁移还是分批迁移，原则如下： 整体迁移的场景： 规模小：大数据平台数据量少（TB级），计算任务数量不多，可以采用整体迁移的方法，先在云上部署大数据平台，然后全量迁移元数据、数据和任务。 关联关系复杂：大数据任务之间的关联关系很复杂，很难拆分，此时也可以选择整体迁移。
安全责任共担 华为云把安全合规作为首要任务，安全是华为云和客户的共同责任。在云服务模式下，华为云与客户共同承担云环境的安全保护责任，为明确双方的责任，确定责任边界，华为云制定了如下图所示的责任共担模型。 图1 安全责任共担模型 华为云的安全责任在于保障云平台和云服务自身的安全，涵
大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块，本节重点介绍的是大数据集群和大数据任务调度平台的迁移，大数据应用的迁移方法请参考应用迁移上云，本节只介绍差异部分。 大数据集群迁移：将大数据集群（包括存储、计算和管理组件）迁移到新的
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
