检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
型和方案设计。 调研现有的大数据任务调度平台的类型，例如Azkaban等，了解它们的特点和适用场景。 调研现有大数据任务调度平台的版本，并了解最新版本的功能更新和改进。 确认任务调度平台是否支持当前使用的大数据框架和技术，例如Hadoop、Spark、Hive、Pig、Flink等。
Rehost 也称为“直接迁移”或“Lift and Shift”，将应用程序原封不动地从本地数据中心迁移到云平台。通常使用工具将虚拟机或物理服务器转换为云中的虚拟机。 快速迁移到云平台，以降低成本或提高可用性。 需要快速完成迁移，时间紧迫。 缺乏应用程序的深入了解或修改代码的资源。 Replatform
段只需要调研业务全景图，而在迁移试点和大规模上云阶段，则需要打开到每个应用系统的详细技术架构，收集每个应用系统的技术组件的详细信息，如组件版本信息，组件相关配置参数等。 大数据调研：先调研大数据的整体技术架构，然后逐步打开调研详细的信息。 每次的调研工作按照以下6步执行： 根据上
企业的运维团队合作，收集与基础环境相关的数据和信息。 一种常见的调研方式是通过企业内部的IT系统导出信息，例如配置管理数据库（CMDB）、云管理平台（CMP）、虚拟化管理软件等。这些系统可以提供有关硬件设备、网络拓扑、操作系统、应用程序以及相关配置和版本的信息，帮助调研人员了解企业的IT基础架构。
大数据参考架构 下图是典型的大数据架构，从数据集成、存储、计算、调度、查询和应用，构成了一个完整的数据流。 图1 大数据参考架构 大数据架构通常包括以下几个核心组件和流程，企业可以根据实际需要选择云服务或自建大数据组件： 业务数据源： 业务数据源是大数据平台的数据输入来源，可以是
战略与业务 主要评估组织在云化转型中的战略规划能力，云化战略是否与整体业务战略和目标保持一致，是否识别了关键的业务驱动力，是否制定了清晰的云化战略、云化目标和迁移策略等。同时也评估组织在制定云化战略时的前瞻性、全面性和可行性，以及对行业趋势和云技术趋势的把握。 组织与流程 主
为起点设计符合企业要求的安全运营框架及流程。 图1 安全运营框架 划分安全运营职责 首先，根据企业设计的云运营模式，明确业务部门的应用团队与CCoE团队之间的责任边界，如企业采用了赋能与协同运营模式，CCoE团队负责平台层面的安全防护和集中安全运营，应用团队则需要负责应用系统及所
处于劣势，并且难以迁移到其他平台。多云战略可以避免这种情况，保持企业在选择云服务商方面的灵活性。 降本增效：多云战略可以引入竞争机制，通过与多个云服务商合作，企业可以根据自身需求选择最合适的云服务，并利用云服务商之间的竞争来降低成本。此外，不同的云服务商在不同区域或服务上的定价策
SQL，支持多种接入方式，并兼容主流数据格式。数据无需复杂的抽取、转换、加载，使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。详细信息请参考官网文档。 云搜索服务（Cloud Search Service，简称CSS）
超过10万并发、要求全链路HTTPS或高级转发策略支持的场景，建议选择独享型ELB。 ECS需要访问公网时，不建议直接绑定EIP，建议增加公网NAT网关统一走SNAT，便于更灵活的管控。 需要面向公网提供服务时，不建议将公网IP直接绑定到ECS，而是建议绑定到ELB或NAT网关，以便灵活扩展和管控调整。
存放的是对象，可以直接存放文件，文件会自动产生对应的系统元数据，用户也可以自定义文件的元数据 访问方式 只能在ECS/BMS中挂载使用，不能被操作系统应用直接访问，需要格式化成文件系统（OS层，不涉及应用改造） 在ECS/BMS/CCE中通过网络协议挂载使用，支持NFS/CIFS（通用文件系统不支持CIF
信息安全基础培训：根据不同角色、岗位制定相应的安全基础能力培训计划。新员工转正前必须通过有关信息安全与隐私保护的上岗培训和考试；在岗员工需根据不同业务角色，选择相应课程进行学习与考试。管理者需参加信息安全必须的培训和研讨。 精准培训：通过大数据分析识别产品研发过程中的典型安全问题
建CCoE，包括业务部门、IT部门、财务部门、人力资源部门的专业人士等都应该加入到CCoE团队，形成一个跨职能的团队。这不仅能确保云化转型与业务目标紧密结合，还能在转型过程中有效解决各种问题。我们建议CCoE组织应该由CIO直接领导，这样可以有效提升云化转型过程中重要工作的汇报和
Jar类任务迁移流程 前提：Jar类任务调试依赖的数据已完成迁移，迁移方法请参考前面的数据迁移部分的内容。 根据云上大数据资源配置，修改源代码，例如版本、依赖库、数据库连接串，以及本地开发环境的库依赖配置等。 编译源代码，生成云上环境可执行的Jar包。 上传Jar包，并在任务调度平台部署和配置Jar包。
有应用迁移到云端，如下图： 图2 分批迁移流程 用小循环的每个阶段概述如下： 调研：对应用的技术架构进行详细的调研，详细到具体的技术组件和版本信息。 设计：深度调研结果，给出云上的技术架构和规格选型，输出详细的迁移方案和切换方案。 部署：创建云上资源，上云适配改造（如涉及），并做目标环境测试。
议参考官网提供的IAM最佳实践。 网络防线 核心是要做好网络边界防护和内网东西向的访问控制。 网络边界防护：网络边界主要指的是企业内部网络与外部网络的边界，典型的场景如互联网接入、VPN、专线接入。客户可以基于华为云提供的云防火墙（Cloud Firewall，CFW）、VPC的
考虑继续采用自建的方案。 最小改造原则：如无特别的业务驱动，要尽量避免进行大规模改造。大数据任务调度平台的组件要1：1对标设计，版本尽量不变更，有版本升级需求的需要评估适配改造工作量。 弹性和可扩展性：在云上部署大数据任务调度平台时，应考虑平台的弹性和可扩展性。云环境提供了弹性计
图1 双AZ高可用设计 设计要点： 业务模块：集群部署的业务，资源分别部署到 2 个AZ内，并通过 ELB 实现双AZ的负载均衡；单点业务ECS可通过 SDRS 作AZ级容灾。 云服务高可用：主备节点分别双AZ部署。 数据库同步：云上使用RDS数据库服务，进行跨AZ主备部署，跨AZ间数据同步。
接入层：通常是负载均衡、网关代理等组件，一般通过重新配置的方式实现迁移。 应用层：通常部署在主机或容器上，部署在主机上的应用一般通过华为云主机迁移工具SMS来迁，部署在容器上的应用，一般通过企业的CICD系统重新发布。 中间件层：通常是缓存中间件和消息中间件。缓存中间件一般通过华
Redis、Kafka、CSS云搜索、RDS for MySQL都支持把数据备份到OBS桶，应对数据误操作之后的风险； 云主机/云硬盘可通过CBR云备份服务实现整个云主机或者云硬盘的备份。 父主题： 应用部署参考架构
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
