检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
设计云上的大数据集群部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据集群，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议设计大数据集群部署架构时，优先采用大数据云服务。如果目标云平台上没有对应的大数据集群组件，部署架构设计时，
境进行集中化的IT治理。CCoE团队赋能应用团队全权负责业务系统所需云资源的部署和运维，这样既可以减轻CCoE团队的负担，又可以提升应用团队的自主性，进一步提升应用系统的敏捷性。为避免各业务单元独立部署和运维云资源带来的标准不统一问题，CCoE团队需要制定相应的IT治理策略强制各
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用，其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题： 大数据架构设计
业务变化。如在进行一些促销活动时，对资源的需求往往比正常要高出多倍，这时企业在云上就可以通过可视化界面或者 OpenAPI 快速升级资源的配置，将资源调整到更高规格的实例上（如更多的 CPU、内存、带宽、磁盘空间等），以应对活动的流量冲击；而在活动过后，又可以将规格收缩回原来的规格，达到降低成本的目的。
根据不同场景选择不同的解决方法，并且结合多种方法，这样可以更容易地找到一种与需求符合的方法； 不断迭代的方法，使用数据驱动来优化资源类型和配置选项的选择； 性能度量 设置性能度量和监控指标，以捕获关键的性能指标； 使用可视化技术呈现性指标和性能问题（如：异常状态、低利用率等）； 性能监测
间、资源利用率、并发性等。通过监测作业的执行指标和性能指标，可以评估迁移后的作业性能是否符合预期。如果作业的性能有问题，可能需要调整作业的配置参数、优化作业代码或考虑资源调配的问题。 在作业验证过程中，可以使用监控工具、日志分析和数据校验等手段，确保迁移后的大数据任务的可靠性和稳定性。
确保网络安全和性能，满足数据传输要求。 实现网络的弹性和可扩展性，适应业务变化。 规划云网络架构，配置虚拟网络、子网、安全组等。 与安全团队合作，实施网络安全策略。 监控网络性能，优化网络配置。 合规审计专家 确保云化转型符合相关法律法规和行业标准。 降低合规风险，避免法律纠纷和罚款。
（或身份）可以使用该VPC终端节点访问云资源，通过配置VPCEP策略，企业可以构建一个封闭、安全的网络环境，不仅可以确保数据在内部网络中安全传输，还可以保障只有可信的身份才可以访问云资源及敏感数据。例如，企业可以将关键业务系统部署在VPC内，通过VPCEP访问华为云的RDS实例，
anding Zone，部署可扩展的网络基础设施，配置安全基线和运维基线；然后将各个应用系统和大数据平台迁移或直接部署到云上，或者基于云平台进行应用现代化改造，也可以基于云平台提供的各种创新技术直接在云上进行应用和业务创新。 运维治理：将应用系统迁移或部署到云上之后就进入了运维治
中，企业需要具备敏捷的业务能力，以保持竞争优势。 快速部署业务系统：云平台提供了高度灵活和可扩展的基础设施，企业可以迅速部署业务系统和服务，缩短上市时间。 快速弹性伸缩：云计算的弹性特性使企业能够根据业务需求，动态调整资源配置，快速满足业务高峰期或突发性需求。 敏捷开发与迭代：云
景图，而在迁移试点和大规模上云阶段，则需要打开到每个应用系统的详细技术架构，收集每个应用系统的技术组件的详细信息，如组件版本信息，组件相关配置参数等。 大数据调研：先调研大数据的整体技术架构，然后逐步打开调研详细的信息。 每次的调研工作按照以下6步执行： 根据上云阶段，确定调研目的，梳理需要调研的信息。
图所示。在这种运营模式中，所有业务系统都由专门的应用团队独立运营，应用团队不仅负责应用的设计、开发、测试、部署和运维工作，还需要负责业务系统所需IaaS和PaaS资源的部署和运维，同时要确保业务系统的安全性和云资源的成本管理。中心IT团队仅负责制定统一IT标准和IT流程，通过发文
施工作，包括数据迁移、应用迁移、系统配置、业务割接等，确保迁移过程的数据一致性、安全性和性能。迁移实施工作属于一次性工作，经常会外包给云服务商或者云实施专业服务提供商。 云架构师：来自IT架构部门或具备深厚云技术背景的专家，负责云上架构的部署和优化，为实施团队提供技术支持和指导。
目的端检查：通知云厂家进行资源日常状态的巡检和高可用性检查。另外目的端切换后就是正式生产环境，要确保告警、监控、日志、安全策略均已完成配置并做最后一次检查和确认。 正向迁移任务的状态检查：系统切换前通常迁移任务已经创建完成，并在增量同步状态中，确保迁移任务的增量同步状态正常，无异常报错或告警。
调研评估工程师：由IT主管指派，来自IT部门，对企业现有的IT基础设施、业务系统、应用架构、数据存储、安全策略等进行全面调研和评估，包括硬件配置、网络架构、软件版本、依赖关系等；分析这些设施与云服务的兼容性和迁移难度，评估将现有系统迁移到云平台的可行性。调研评估工作属于一次性工作，
为什么需要Landing Zone 为了实现业务单元的安全和故障隔离，华为云的推荐做法是将不同业务单元的应用系统分别部署在不同的账号中。华为云账号具备以下三个属性。 华为云账号是一个资源容器，用户可以在其中部署任意云资源和上层业务应用系统，不同的账号相当于不同的资源容器，账号之间是完全隔离的。因此在一个
专家，负责设计云上技术架构，包括选择合适的云服务（IaaS、PaaS、SaaS），基于四架构六要素设计云上目标架构，确保技术选型合理、资源配置最优，并为各项技术决策提供咨询。 数据架构师：由IT主管指派，来自IT部门的大数据团队，负责设计企业在云上的数据架构，包括数据存储、数据处理、数据集成和数据治理。
调研任务调度平台支持的任务类型，包括Jar类任务、SQL类任务、脚本类任务（Python、Shell）等。 调研任务调度平台是否提供可视化和管理界面，以方便任务调度的配置、监控和管理。 了解任务调度平台的容错机制，包括任务失败后的重试机制、故障恢复策略等。 调研数据流： 调研大数据平台及业务的架构图及数据流图，如下图：
他云服务商对象存储服务中的数据轻松、平滑地迁移到华为云。通过第一次全量任务，将源端对象存储全量数据迁移至华为云OBS，业务切换时，在华为云配置回源规则，将部分增量数据，通过回源的方式迁移至华为云OBS，在业务切换后，再进行一次全量迁移，本次全量迁移，将自动跳过已经迁移的对象，将剩余增量数据迁移至华为云OBS。
成本和可运维性遵循基础环境的设计进行适配即可。 大数据架构设计：大数据的部署架构设计包括大数据集群部署架构设计、大数据任务调度平台部署架构设计和大数据应用部署架构设计，其中大数据应用的部署架构可以参考应用部署架构的设计方法。大数据架构设计同样要考虑架构设计的6要素。 在做云上架构
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
