检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
业务变化。如在进行一些促销活动时，对资源的需求往往比正常要高出多倍，这时企业在云上就可以通过可视化界面或者 OpenAPI 快速升级资源的配置，将资源调整到更高规格的实例上（如更多的 CPU、内存、带宽、磁盘空间等），以应对活动的流量冲击；而在活动过后，又可以将规格收缩回原来的规格，达到降低成本的目的。
间、资源利用率、并发性等。通过监测作业的执行指标和性能指标，可以评估迁移后的作业性能是否符合预期。如果作业的性能有问题，可能需要调整作业的配置参数、优化作业代码或考虑资源调配的问题。 在作业验证过程中，可以使用监控工具、日志分析和数据校验等手段，确保迁移后的大数据任务的可靠性和稳定性。
（或身份）可以使用该VPC终端节点访问云资源，通过配置VPCEP策略，企业可以构建一个封闭、安全的网络环境，不仅可以确保数据在内部网络中安全传输，还可以保障只有可信的身份才可以访问云资源及敏感数据。例如，企业可以将关键业务系统部署在VPC内，通过VPCEP访问华为云的RDS实例，
anding Zone，部署可扩展的网络基础设施，配置安全基线和运维基线；然后将各个应用系统和大数据平台迁移或直接部署到云上，或者基于云平台进行应用现代化改造，也可以基于云平台提供的各种创新技术直接在云上进行应用和业务创新。 运维治理：将应用系统迁移或部署到云上之后就进入了运维治
施工作，包括数据迁移、应用迁移、系统配置、业务割接等，确保迁移过程的数据一致性、安全性和性能。迁移实施工作属于一次性工作，经常会外包给云服务商或者云实施专业服务提供商。 云架构师：来自IT架构部门或具备深厚云技术背景的专家，负责云上架构的部署和优化，为实施团队提供技术支持和指导。
将计算、存储、网络和其他基础设施资源以云服务的形式提供给用户，用户基于这些云服务可以部署和运行任意软件，其中可能包括操作系统、数据库、中间件和应用程序。用户不控制底层云基础设施，但可以控制操作系统、存储、部署的应用程序以及可能的有限的网络组件（例如主机防火墙）。 PaaS PaaS 将
调研评估工程师：由IT主管指派，来自IT部门，对企业现有的IT基础设施、业务系统、应用架构、数据存储、安全策略等进行全面调研和评估，包括硬件配置、网络架构、软件版本、依赖关系等；分析这些设施与云服务的兼容性和迁移难度，评估将现有系统迁移到云平台的可行性。调研评估工作属于一次性工作，
调研任务调度平台支持的任务类型，包括Jar类任务、SQL类任务、脚本类任务（Python、Shell）等。 调研任务调度平台是否提供可视化和管理界面，以方便任务调度的配置、监控和管理。 了解任务调度平台的容错机制，包括任务失败后的重试机制、故障恢复策略等。 调研数据流： 调研大数据平台及业务的架构图及数据流图，如下图：
中，企业需要具备敏捷的业务能力，以保持竞争优势。 快速部署业务系统：云平台提供了高度灵活和可扩展的基础设施，企业可以迅速部署业务系统和服务，缩短上市时间。 快速弹性伸缩：云计算的弹性特性使企业能够根据业务需求，动态调整资源配置，快速满足业务高峰期或突发性需求。 敏捷开发与迭代：云
建议实现端到端的双AZ部署，如下图所示。 图1 双AZ高可用设计 设计要点： 业务模块：集群部署的业务，资源分别部署到 2 个AZ内，并通过 ELB 实现双AZ的负载均衡；单点业务ECS可通过 SDRS 作AZ级容灾。 云服务高可用：主备节点分别双AZ部署。 数据库同步：云上使用
10G的情况下，不建议使用该迁移方案。 图1 Redis离线迁移方案 迁移过程如下： 源Redis数据备份导出： IDC：使用第三方工具或配置策略将备份数据落盘（方法见Redis-cli或Redis-port）； 使用备份功能将rdb文件输出到S3中。 备份数据上传至OBS： EC2：使用OBS
华为云大数据组件 常用的华为云大数据服务组件如下，设计大数据部署架构时可参考： MapReduce服务（MapReduce Service，简称MRS） MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群，完全兼容开源接口，轻松运行Hadoop、S
云卓越中心 CFW Cloud Firewall 云防火墙 CMDB Configuration Management Database 配置管理数据库 CMM Cloud Maturity Model 云化成熟度模型 CNCF Cloud Native Computing Foundation
设计云上的大数据集群部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据集群，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议设计大数据集群部署架构时，优先采用大数据云服务。如果目标云平台上没有对应的大数据集群组件，部署架构设计时，
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用，其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题： 大数据架构设计
图所示。在这种运营模式中，所有业务系统都由专门的应用团队独立运营，应用团队不仅负责应用的设计、开发、测试、部署和运维工作，还需要负责业务系统所需IaaS和PaaS资源的部署和运维，同时要确保业务系统的安全性和云资源的成本管理。中心IT团队仅负责制定统一IT标准和IT流程，通过发文
地理冗余：将不同的AZ部署在不同的地理位置，可以防止地区范围的故障，例如自然灾害或电力中断对整个系统的影响。 企业可以基于AZ故障域进行应用的高可用性署设计，设计时可以考虑如下方面： 跨AZ部署：将应用程序的不同组件部署在多个AZ中，以确保即使一个AZ不可用，其他AZ中部署的组件仍能正常
设成本、电力供应系统和冷却系统的建设成本。如果是租赁IDC机房，主要是机架租赁成本，这个属于运营支出。 实施成本 一次性的系统集成、测试、部署等费用。 运营支出（Opex） 人力成本 机房运维、IT运维和安保所需的人力成本，包括人员的薪资、福利和培训等费用。 硬件维护成本 硬件设备的维护、维修、更新换代费用。
成本和可运维性遵循基础环境的设计进行适配即可。 大数据架构设计：大数据的部署架构设计包括大数据集群部署架构设计、大数据任务调度平台部署架构设计和大数据应用部署架构设计，其中大数据应用的部署架构可以参考应用部署架构的设计方法。大数据架构设计同样要考虑架构设计的6要素。 在做云上架构
障相互隔离。企业可在此基础上构建如下场景的高可用体系： 单AZ部署：通常情况云上不建议单AZ部署，除非是对时延特别敏感的业务，无法接受同Region的AZ间时延，这种情况可以考虑单AZ部署，利用云服务主备、集群化部署模式来满足单个业务节点故障时快速恢复业务的需求，主要利用集群内节
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
