检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
设计云上的大数据集群部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据集群，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议设计大数据集群部署架构时，优先采用大数据云服务。如果目标云平台上没有对应的大数据集群组件，部署架构设计时，
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用，其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题： 大数据架构设计
业务变化。如在进行一些促销活动时，对资源的需求往往比正常要高出多倍，这时企业在云上就可以通过可视化界面或者 OpenAPI 快速升级资源的配置，将资源调整到更高规格的实例上（如更多的 CPU、内存、带宽、磁盘空间等），以应对活动的流量冲击；而在活动过后，又可以将规格收缩回原来的规格，达到降低成本的目的。
根据不同场景选择不同的解决方法，并且结合多种方法，这样可以更容易地找到一种与需求符合的方法； 不断迭代的方法，使用数据驱动来优化资源类型和配置选项的选择； 性能度量 设置性能度量和监控指标，以捕获关键的性能指标； 使用可视化技术呈现性指标和性能问题（如：异常状态、低利用率等）； 性能监测
间、资源利用率、并发性等。通过监测作业的执行指标和性能指标，可以评估迁移后的作业性能是否符合预期。如果作业的性能有问题，可能需要调整作业的配置参数、优化作业代码或考虑资源调配的问题。 在作业验证过程中，可以使用监控工具、日志分析和数据校验等手段，确保迁移后的大数据任务的可靠性和稳定性。
、DevSecOps实践等，是否具备云原生应用的开发和部署能力。 云基础设施 主要评估组织对于云基础设施的设计、部署和管理能力，包括Landing Zone的设计和实施、网络和IAM的一体化管理、基于IaC的基础设施自动化部署、数据备份和弹性伸缩策略等。 云卓越架构 主要评估组织
景图，而在迁移试点和大规模上云阶段，则需要打开到每个应用系统的详细技术架构，收集每个应用系统的技术组件的详细信息，如组件版本信息，组件相关配置参数等。 大数据调研：先调研大数据的整体技术架构，然后逐步打开调研详细的信息。 每次的调研工作按照以下6步执行： 根据上云阶段，确定调研目的，梳理需要调研的信息。
物联网 物联网是指将各种物理设备和传感器与互联网连接起来，实现设备之间的通信和数据交换。以下是物联网如何使能业务创新、与业务结合并推动业务现代化的几个方面： 智能家居和智慧城市：物联网技术可以将家居设备、城市基础设施和公共服务连接起来，实现智能化管理和优化资源利用。通过物联网，人
大数据参考架构 下图是典型的大数据架构，从数据集成、存储、计算、调度、查询和应用，构成了一个完整的数据流。 图1 大数据参考架构 大数据架构通常包括以下几个核心组件和流程，企业可以根据实际需要选择云服务或自建大数据组件： 业务数据源： 业务数据源是大数据平台的数据输入来源，可以是
图所示。在这种运营模式中，所有业务系统都由专门的应用团队独立运营，应用团队不仅负责应用的设计、开发、测试、部署和运维工作，还需要负责业务系统所需IaaS和PaaS资源的部署和运维，同时要确保业务系统的安全性和云资源的成本管理。中心IT团队仅负责制定统一IT标准和IT流程，通过发文
地理冗余：将不同的AZ部署在不同的地理位置，可以防止地区范围的故障，例如自然灾害或电力中断对整个系统的影响。 企业可以基于AZ故障域进行应用的高可用性署设计，设计时可以考虑如下方面： 跨AZ部署：将应用程序的不同组件部署在多个AZ中，以确保即使一个AZ不可用，其他AZ中部署的组件仍能正常
练度，减少中断时长，确保切换过程的顺利进行。 预防问题：演练可以帮助发现可能存在的问题，比如切换过程中的应用和批处理任务启停顺序问题、网络配置问题、数据一致性对比等问题，从而提前进行预防和解决。 团队配合：演练可以让团队成员熟悉切换的全流程和切换步骤，从而更好地协同工作，提高团队配合效率。
了解过去6个月各企业项目的原始成本月度数据。 按区域汇总的月度成本 了解过去6个月按照区域汇总的原始成本月度数据。 ECS的月度按需成本和使用量 了解过去6个月云主机每月按需原始成本和按需使用量情况。 容器成本洞察 了解CCE集群、命名空间、工作负载粒度的成本分布和趋势。 父主题：
为什么需要Landing Zone 为了实现业务单元的安全和故障隔离，华为云的推荐做法是将不同业务单元的应用系统分别部署在不同的账号中。华为云账号具备以下三个属性。 华为云账号是一个资源容器，用户可以在其中部署任意云资源和上层业务应用系统，不同的账号相当于不同的资源容器，账号之间是完全隔离的。因此在一个
调研任务调度平台支持的任务类型，包括Jar类任务、SQL类任务、脚本类任务（Python、Shell）等。 调研任务调度平台是否提供可视化和管理界面，以方便任务调度的配置、监控和管理。 了解任务调度平台的容错机制，包括任务失败后的重试机制、故障恢复策略等。 调研数据流： 调研大数据平台及业务的架构图及数据流图，如下图：
成本和可运维性遵循基础环境的设计进行适配即可。 大数据架构设计：大数据的部署架构设计包括大数据集群部署架构设计、大数据任务调度平台部署架构设计和大数据应用部署架构设计，其中大数据应用的部署架构可以参考应用部署架构的设计方法。大数据架构设计同样要考虑架构设计的6要素。 在做云上架构
障相互隔离。企业可在此基础上构建如下场景的高可用体系： 单AZ部署：通常情况云上不建议单AZ部署，除非是对时延特别敏感的业务，无法接受同Region的AZ间时延，这种情况可以考虑单AZ部署，利用云服务主备、集群化部署模式来满足单个业务节点故障时快速恢复业务的需求，主要利用集群内节
应用架构设计 应用部署架构概述 可用性设计 可扩展性设计 性能设计 应用部署参考架构 父主题： 方案设计
大数据迁移上云时，是选择整体迁移还是分批迁移，原则如下： 整体迁移的场景： 规模小：大数据平台数据量少（TB级），计算任务数量不多，可以采用整体迁移的方法，先在云上部署大数据平台，然后全量迁移元数据、数据和任务。 关联关系复杂：大数据任务之间的关联关系很复杂，很难拆分，此时也可以选择整体迁移。 分批迁移的
ganizations服务构建一个清晰、有序、易于管理的云上组织架构，然后将企业的不同业务单元（如子公司、业务系统、产品线、部门、项目等）部署在各自独立的云账号中。这种方式不仅能够与公司现有的治理架构完美匹配，还能够实现高效的故障和安全隔离，将单个业务单元的故障和风险限制在其自身的范围内，减少“减少爆炸半径”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
