检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
华为云大数据组件 常用的华为云大数据服务组件如下，设计大数据部署架构时可参考： MapReduce服务（MapReduce Service，简称MRS） MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群，完全兼容开源接口，轻松运行Hadoop、
什么是平台工程 平台工程（Platform Engineering）是一种通过构建和运营自助式内部开发平台（IDP，Internal Developer Platform）来优化软件交付和生命周期管理的工程学科。其目标是通过标准化和自动化的方式，减少开发人员与底层基础设施之间的复
策略等。 调研数据流： 调研大数据平台及业务的架构图及数据流图，如下图： 大数据平台及业务的架构图和数据流图。 平台数据接入源。 数据流入方式（如：实时数据上报、批量数据抽取）。 分析大数据平台数据流向，数据在平台内各个组件间的流向，例如：数据采集组件类型、采集组件下一层、存储数据组件，数据处理过程中的工作流等。
平台工程 什么是平台工程 如何构建平台工程 父主题： 顶层规划
如何构建平台工程 在云平台上构建平台工程，可以充分利用云平台提供的丰富服务和工具，降低构建和维护成本，并提高IDP的可靠性和可扩展性。以下是一些关键步骤。 明确平台工程的目标和需求 平台工程的核心目标是通过构建自助式内部开发平台（IDP），优化软件交付和生命周期管理，提高开发效率
大数据任务调度平台设计 设计云上的大数据任务调度平台部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据任务调度平台和组件，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议部署架构设计时，优先采用大数据云服务。如果目标云平台上没有
参考架构库 Haydn是华为云面向合作伙伴和客户的数字化平台，当前Haydn已经积累了700+各类参考架构，企业可以根据业务场景搜索并引用华为云的应用部署参考架构，基于Haydn做架构设计，企业可以对参考架构做定制化修改，以更符合企业业务。 架构模板查找 登录华为云官网，在上方导航栏选
评估和规划：首先，评估应用程序或服务的特性、依赖关系和架构。确定哪些部分适合容器化，并制定一个改造计划。 容器化平台选择：选择一个适合你的需求的容器化平台。最常见的容器化平台是Docker，但也有其他选择，如Kubernetes等。 容器化应用程序：将应用程序拆分为较小的模块或微服务
大数据调研 平台调研 数据调研 任务调研 父主题： 调研评估
在多个独立的云平台上，实现跨云容灾，避免单一云平台故障带来的业务中断。即使一个云平台出现问题，其他云平台上的业务仍然可以正常运行，保障业务连续性。 避免厂商锁定：将所有业务都放在一个云服务商的云平台里会造成厂商锁定，使企业在未来的谈判中处于劣势，并且难以迁移到其他平台。多云战略可
PU，内存利用率性能数据，网络拓扑数据等)，并提供其迁移到华为云的推荐配置以及主机的一站式迁移能力。 主机迁移服务（SMS）：是一种P2V/V2V迁移服务，可以把X86物理服务器或者私有云、公有云平台上的虚拟机迁移到华为云弹性云服务器云主机上，具体使用方法请查看SMS帮助文档。
及开通”环节。 其次，由于云平台提供了云原生的DevOps开发工具链，如华为云提供的CodeArts,而且华为云提供的云服务都对外开放了很多API，您完全可以基于这些云原生的工具链和API进行应用系统的开发及测试，并通过流水线将应用系统直接部署在云平台上的预生产环境和生产环境。这
安全责任共担 华为云把安全合规作为首要任务，安全是华为云和客户的共同责任。在云服务模式下，华为云与客户共同承担云环境的安全保护责任，为明确双方的责任，确定责任边界，华为云制定了如下图所示的责任共担模型。 图1 安全责任共担模型 华为云的安全责任在于保障云平台和云服务自身的安全，涵
云资源开通及配置 部署主要是进行云上目标环境的资源开通和配置，并做好上云前的各项检查和测试，并进行迁移环境的准备。 要按照应用部署架构设计方案进行云上资源的开通和配置，云上资源开通主要有如下3种方式： 在云平台Console控制台手动创建云资源。 编写脚本或通过自动化平台对接，调
云原生安全服务 华为云提供了丰富的云原生安全服务，这些云原生安全云服务与华为的云平台深度集成，在性能、弹性、便利性上有较好的优势，同时，云服务商的安全运营经验也会持续推动云原生安全服务的能力提升，建议企业优先选择云原生安全服务。 数据加密服务 数据加密服务（Data Encryption
Hadoop数据迁移到华为云MRS服务 如图所示，将IDC机房或者其他公有云的Hadoop集群中的数据迁移到华为云MRS服务。详细操作指导请参考官网文档。 图1 Hadoop数据迁移 HBase数据迁移到华为云MRS服务 将IDC机房或其他公有云的HBase集群中的数据迁移到华为云MRS服务
优先用大数据云服务：如果源端是自建的大数据集群，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议设计大数据集群部署架构时，优先采用大数据云服务。如果目标云平台上没有对应的大数据集群组件，部署架构设计时，可以考虑继续采用自建的方案。如果目标云平台上有对应的大数据集群组件，但
为云ECS。 大数据应用部署 大数据应用的部署有2种方法，可以基于华为云ECS重新部署大数据应用，或者是使用华为云SMS工具将大数据应用迁移到华为云ECS。 平台权限配置 平台权限配置 在部署好目标大数据平台后，为了确保正确的权限设置，可以参考源端平台的权限设置，并按照以下步骤进行设置：
顶层规划 概述 云卓越中心 卓越架构设计 Landing Zone设计 安全架构设计 平台工程 云运营模式 应用生命周期管理 云项目管理 顶层规划的反模式
大数据迁移批次规划说明 大数据迁移上云时，是选择整体迁移还是分批迁移，原则如下： 整体迁移的场景： 规模小：大数据平台数据量少（TB级），计算任务数量不多，可以采用整体迁移的方法，先在云上部署大数据平台，然后全量迁移元数据、数据和任务。 关联关系复杂：大数据任务之间的关联关系很复杂，很难拆分，此时也可以选择整体迁移。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
