检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
资源发现与评估工具（RDA）需要部署在华为云VPC内的ECS云服务器（Windows操作系统）上；对象存储迁移工具（OMS）为公共服务，不占用VPC内网IP资源，如果通过专线迁移数据，则需要部署离线OMS工具在华为云VPC内的ECS云服务器上；其它工具均会暂时占用VPC内网IP资源。 父主题： 部署
部署 大数据平台部署 大数据平台的部署可以参考如下方法： 大数据集群部署 基于架构设计的原则，云上大数据集群一般采用云服务。华为云MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群。MRS提供租户完全可控的企业级大数据集群云服务，轻松运行Hado
部署 云资源开通及配置 迁移工具部署 父主题： 应用迁移上云
设计云上的大数据任务调度平台部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据任务调度平台和组件，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议部署架构设计时，优先采用大数据云服务。如果目标云平台上没有对应的大数据任务调度组件，部署架构设计
大数据迁移流程每个阶段概述如下： 调研：调研大数据平台的版本和配置信息、数量类型和数据量、任务类型和任务量。 设计：设计大数据的部署架构、数据迁移方案、任务迁移方案和数据校验方案。 部署：部署大数据平台，包括集群部署和任务调度平台部署。 迁移：实施数据迁移和任务迁移。 验证：进行数据校验和任务验证。
堡的护城河、城墙、城门等多重防御体系。需要企业建立覆盖涵盖全技术堆栈的纵深防御机制，将多种类型的安全控制应用于所有技术堆栈，包括网络边缘、VPC、云存储、ECS实例、操作系统、应用程序配置和代码等。 安全和成本平衡（Balance between Security and Cost）
施，只需为实际使用的资源付费。云服务的主要类型包括基础设施即服务（IaaS）、平台即服务（PaaS）、软件即服务（SaaS）。 IaaS IaaS 将计算、存储、网络和其他基础设施资源以云服务的形式提供给用户，用户基于这些云服务可以部署和运行任意软件，其中可能包括操作系统、数据库
机制，一旦产生预警则及时应对，避免产生异常高成本。在发生异常时，分析根因也至关重要。如发现异常成本时，需要确认是业务发展导致，还是资源过度配置或资源闲置导致，并根据根因进行扩大预算或者优化资源使用。 使用成本中心的成本监控，您可以及时识别成本的异常增长。 成本监控引入机器学习，对
应用层迁移方案 应用层通常部署在物理机、虚拟机或容器内，应用的类型包括有状态和无状态两种。应用的部署方式和应用状态是应用层迁移方案设计时需要考虑的因素，不同的部署方式和应用状态适用的迁移方案不同。 平迁部署在主机上的应用 传统架构的应用，通常部署在物理机或虚拟机，建议优先通过华为
业需要持续监控系统性能指标，优化应用程序和基础设施的配置，利用缓存等技术提高响应速度，并定期评估和调整架构设计。 成本优化支柱 成本优化支柱旨在提升云资源的成本效益，消除不必要的开销和资源浪费。它鼓励企业采用经济高效的资源配置，利用计费模式优化、资源优化和架构优化等手段持续提升成
他云服务商对象存储服务中的数据轻松、平滑地迁移到华为云。通过第一次全量任务，将源端对象存储全量数据迁移至华为云OBS，业务切换时，在华为云配置回源规则，将部分增量数据，通过回源的方式迁移至华为云OBS，在业务切换后，再进行一次全量迁移，本次全量迁移，将自动跳过已经迁移的对象，将剩余增量数据迁移至华为云OBS。
设计任务迁移方案 大数据的任务包括三类：Jar类任务、SQL类任务、脚本类任务（Python、Shell），可以根据不同的任务类型选择合适的迁移方案。 表4 任务类型和迁移方案 任务类型 迁移方案 JAR类任务 所有Jar类任务都需要根据云上集群版本重新编译jar包，适配云上环境 SQL类任务 同版本：
它涉及到如何有效地配置、管理和优化IT资源，旨在提升性能和效率、降低成本、增强灵活性，以支持企业的业务目标和战略。广义上的IT运营模式还包括组织结构、运营流程、角色和职责等要素。简单来讲，IT运营模式是指IT部门如何运作的方式。传统的IT运营模式侧重于部署在自建数据中心或IDC
业务场景分析要存储的内容是否有多节点共享的诉求。 存储容量：不同的存储类型可以支持的容量不同，需要基于当前业务量和未来发展预估所需的容量级别，以便选择合适的存储类型： 表2 存储服务的最小和最大容量 存储类型 最小容量 最大容量 EVS 10GB 32TB SFS Turbo 20MB/s/TiB
云平台的性能、可用性和安全性。设置警报机制，及时发现并解决潜在的问题。 系统监控和运维：设置系统监控和告警，确保及时发现和解决潜在的问题。配置基础设施监控工具，监测服务器、存储、网络等关键指标，并确保日志记录和错误报警机制正常运行。 安全检查和漏洞修复：进行安全检查，查找可能存在
哪些环节需要优化。例如，可能存在环境配置复杂、部署流程繁琐、资源获取周期长等问题。通过与各个团队的沟通，收集需求，明确需要哪些服务、工具和功能来支持开发人员的工作。通过需求分析，制定平台工程的目标，包括但不限于： 提供统一的应用开发、测试和部署平台。 实现自动化的持续集成和持续交付（CI/CD）流水线。
方法请参考前面的数据迁移部分的内容。 根据云上大数据资源配置，修改源代码，例如版本、依赖库、数据库连接串，以及本地开发环境的库依赖配置等。 编译源代码，生成云上环境可执行的Jar包。 上传Jar包，并在任务调度平台部署和配置Jar包。 执行调度任务，并根据日志检查任务执行状态和结果。
为什么要上云试点 上云迁移试点是企业在进行大规模上云迁移之前的重要步骤，它能够帮助企业在大规模迁移之前充分了解和评估各种因素，通过试点上云迁移流程与相关配置，企业可以提前识别出相关风险，为后续大规模上云迁移提供经验。 风险控制：上云迁移是一个复杂的过程，涉及到不同的系统和业务。通过进行迁移试点
台和应用程序的运行状态。设置警报，以便及时发现潜在的问题并采取措施。 优化集群性能：对大数据集群进行性能评估和调优。监视资源使用情况，优化配置参数、调整集群大小和资源分配，以提高整体性能。 数据安全和权限管理：审查和加强数据的访问控制和权限管理机制。确保只有经授权的人员可以访问敏
双跑场景：大数据应用分别在源环境和目标环境各部署一套，实现双跑，切换点在域名，业务切换时只需要进行域名的切换，将业务流量切换到新应用。 图1 双跑场景 推数场景：适用于数据源主动向应用推数的场景，切换点在数据源，需要停止旧数据源推数，配置并启动新数据源向应用推数，将应用的数据源从旧数据源切换到新数据源。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
