检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
华为云大数据组件 常用的华为云大数据服务组件如下，设计大数据部署架构时可参考： MapReduce服务（MapReduce Service，简称MRS） MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群，完全兼容开源接口，轻松运行Hadoop、
平台调研 大数据调研简介 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。 图1 大数据调研的对象 大数据迁移需要调研4部分信息： 大数据平台调研，包括大数据集群、任务调度平台、数据流向。 数据调研，包括待迁移的数据类型、数据量、元数据、数据权限、数据更新频率等。
如何构建平台工程 在云平台上构建平台工程，可以充分利用云平台提供的丰富服务和工具，降低构建和维护成本，并提高IDP的可靠性和可扩展性。以下是一些关键步骤。 明确平台工程的目标和需求 平台工程的核心目标是通过构建自助式内部开发平台（IDP），优化软件交付和生命周期管理，提高开发效率
什么是平台工程 平台工程（Platform Engineering）是一种通过构建和运营自助式内部开发平台（IDP，Internal Developer Platform）来优化软件交付和生命周期管理的工程学科。其目标是通过标准化和自动化的方式，减少开发人员与底层基础设施之间的复
平台工程 什么是平台工程 如何构建平台工程 父主题： 顶层规划
周边系统集成功能测试 测试的内容强依赖应用系统的集成功能，比如某大型零售电商平台，和某团购平台、某外卖平台、某到家平台、某小视频平台等都有业务合作，集成的用例至少包括在这些集成平台的下单、用劵、通知发货，评论等各种功能的验证。 功能测试目的 验证应用系统迁移到目标端华为云后，更换了技术组件后的应用功能是否正常
和运行状态。 测试和部署：在容器化改造完成后，进行全面的测试，包括单元测试、集成测试和性能测试。确保应用程序在容器环境中正常运行。然后，使用自动化工具或脚本将容器部署到生产环境中。 持续集成与交付：建立持续集成与交付（CI/CD）流程，以便能够快速、可靠地构建、测试和部署新版本的容器化应用程序。
对象存储迁移服务（OMS）：可以将其他云服务商对象存储服务中的数据在线迁移至华为云对象存储服务（OBS），具体使用方法请查看OMS帮助文档。 资源发现与评估工具（RDA）需要部署在华为云VPC内的ECS云服务器（Windows操作系统）上；对象存储迁移工具（OMS）为公共服务，不占用VPC内网IP资源，如果通
指导和审核安全运营工程师的工作，提供技术支持。 跟踪最新的安全技术，制定应对策略。 深入了解云平台的云安全服务和安全配置基线。 熟悉身份安全、网络安全、数据安全、应用安全、主机安全和安全运维等领域。 掌握安全评估工具和渗透测试技术。 具备安全合规（如等保2.0、ISO 27001等）的管理经验。 优秀的安全策略制定和技术指导能力。
大数据任务调度平台设计 设计云上的大数据任务调度平台部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据任务调度平台和组件，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议部署架构设计时，优先采用大数据云服务。如果目标云平台上没有
部署主要是进行云上目标环境的资源开通和配置，并做好上云前的各项检查和测试，并进行迁移环境的准备。 要按照应用部署架构设计方案进行云上资源的开通和配置，云上资源开通主要有如下3种方式： 在云平台Console控制台手动创建云资源。 编写脚本或通过自动化平台对接，调用云平台的API接口，批量发放云资源，每个云服务
Zone的组织单元和账号体系。 相关性原则：不需要把企业内部的完整组织架构映射到华为云上，只把那些负责管理IT系统的组织单元（如部门、分公司）和使用IT资源的用户映射到华为云上。如行政部门不管理、不查看、不操作任何云上IT资源，就不需要在华为云上创建一个对应行政部门的组织单元；如财务小张不负责IT系统
安全责任共担 华为云把安全合规作为首要任务，安全是华为云和客户的共同责任。在云服务模式下，华为云与客户共同承担云环境的安全保护责任，为明确双方的责任，确定责任边界，华为云制定了如下图所示的责任共担模型。 图1 安全责任共担模型 华为云的安全责任在于保障云平台和云服务自身的安全，涵
拟演练源端到目的端的切换步骤。 图3 演练环境 若企业源端有测试或预生产环境可以用作演练的源端，则只需在华为云搭建一套目的端即可。演练的目的端也可以复用华为云的生产环境，但是需要注意和生产环境要做好隔离，否则可能演练过程影响生产，造成重大事故。 图4 演练环境 演练实施和复盘 演练实施通常按照如下步骤进行：
5~30 1、提前关停非核心业务，减少消息量 2、统一监控平台，减少检查时间 - - - 应用测试 15~60 1、测试用例自动化 2、只测试核心测试用例 数据层停服（停写检查） 5~10 1、统一监控平台，减少检查时间 - - - 流量切换 1~5 1、通过API接口调用或脚本批量操作，减少操作时间
据库、对象存储服务、文件系统服务等）加载到Hive分区表。详细操作指导请参考官网文档。 MRS HDFS数据迁移到OBS CDM支持将MRS HDFS的数据迁移到OBS，详细操作指导请参考官网文档。 任务迁移 大数据任务迁移是指将大数据任务从一个调度平台迁移到另一个调度平台的过程
参考架构库 Haydn是华为云面向合作伙伴和客户的数字化平台，当前Haydn已经积累了700+各类参考架构，企业可以根据业务场景搜索并引用华为云的应用部署参考架构，基于Haydn做架构设计，企业可以对参考架构做定制化修改，以更符合企业业务。 架构模板查找 登录华为云官网，在上方导航栏选
及开通”环节。 其次，由于云平台提供了云原生的DevOps开发工具链，如华为云提供的CodeArts,而且华为云提供的云服务都对外开放了很多API，您完全可以基于这些云原生的工具链和API进行应用系统的开发及测试，并通过流水线将应用系统直接部署在云平台上的预生产环境和生产环境。这
PC流日志和OBS访问日志等） 合规审计团队 云审计服务CTS、云日志服务LTS、、配置审计服务Config、对象存储服务OBS等 数据平台账号 集中部署企业的大数据平台，将其他账号的业务数据统一采集到数据平台进行存储、处理和分析 数据处理团队 数据湖、大数据分析平台、数据接入服务、数据治理平台
开发账号的Tenant Administrator权限 DevOps账号下的开发人员权限 应用测试组 负责应用的测试工作和测试环境的管理工作 测试账号的Tenant Administrator权限 DevOps账号下的测试人员权限 权限设置 主账号的根用户或Admin用户属于超级管理员，拥有最大的
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
