检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
1对标设计,版本尽量一致,有版本升级需求的需要评估适配改造工作量。 弹性扩展和自动伸缩:设计云上的大数据集群时,应考虑集群的弹性扩展和自动伸缩能力。这意味着集群可以根据工作负载的需求自动增加或减少计算和存储资源,以提高性能、效率并节约成本。 容错和高可用性:云上部署的大数据集群
批次规划 概述 迁移批次规划的方法 大数据迁移批次规划说明 父主题: 方案设计
重要表现形式; 针对存储资源,IOPS是指每秒发生的输入/输出操作的次数,是数据传输的一个度量方法; 针对数据库资源,并发能力是指一个时间段中有几个程序都处于运行的能力。 除此之外,我们还要考虑以下几个方面的内容:方案选择、性能度量、性能监测和性能权衡。 方案选择 根据不同场景选
以确保数据的一致性和准确性。 数据存储: 大数据平台需要具备高效的数据存储能力,以承载海量的数据。常见的数据存储技术包括分布式文件系统(如HDFS)、列式数据库(如HBase)等。这些存储系统提供高可靠性、可扩展性和容错性,以支持大规模数据的存储和访问需求。 大数据计算: 大数据
度平台的组件要1:1对标设计,版本尽量不变更,有版本升级需求的需要评估适配改造工作量。 弹性和可扩展性:在云上部署大数据任务调度平台时,应考虑平台的弹性和可扩展性。云环境提供了弹性计算和存储资源,可以根据工作负载的需求自动调整容量。确保任务调度平台能够快速处理增加的任务负载,并支持水平扩展以满足业务需求。
应用架构设计 应用部署架构概述 可用性设计 可扩展性设计 性能设计 应用部署参考架构 父主题: 方案设计
上云试点 为什么要上云试点 如何选择试点应用 上云试点执行与总结 父主题: 方案设计
的云上运行环境。 具体内容请参考章节 Landing Zone设计。 企业需要针对云环境的安全防护设计全面的安全防护方案,请参考章节安全架构设计。 父主题: 方案设计
批次规划 一、迁移分组 迁移分组主要是基于依赖关系将迁移对象进行分组,我们将一组具有强依赖关系的应用程序和基础架构的集合(包括APP、主机、存储、数据库、中间件等)放进一个迁移分组,迁移的时候要放同一批次,切换的时候要一起切。 依赖关系主要包括三种:共享数据依赖、共享服务器依赖、应用间的通信依赖。
成云下存储数据到云上存储数据的迁移。详细信息请查看上云迁移服务。 文件存储迁移 NAS文件存储是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统。华为云的弹性文件服务SFS提供按需扩展的高性能文件存储(NAS),可为云上多个弹性云服务器(Elastic Cloud Se
快速创建成本预算,同时用户可以为预算任务创建预算报告,华为云会在报告日为您发送预算情况报告。详情请参考华为云成本中心帮助文档。 父主题: 方案设计
大数据架构设计 设计原则 大数据集群设计 大数据任务调度平台设计 大数据参考架构 华为云大数据组件 父主题: 方案设计
以下是6R策略的含义和适用场景。 表1 6R策略的含义和适用场景 策略 含义 适用场景 Retire 停止使用应用程序或其组件,因为它不再需要或有更合适的替代方案。这并非严格意义上的“迁移”,而是对现有应用的淘汰。 应用程序不再被业务使用。 应用程序的功能已被其他系统取代。 维护应用程序的成本过高,且其业务价值低。
Private Cloud,VPC)之间高速、低时延、稳定安全的专属连接通道。可以让用户通过内网地址访问云上弹性云服务器、负载均衡等资源,也可以使云上云下进行业务互通、数据传输等。 EIP:即弹性公网IP(Elastic IP),包括公网IP地址与公网出口带宽服务。可以与弹性云服务器、
获、传送和存储数TB数据。详细信息请参考官网文档。 云数据迁移(Cloud Data Migration,简称CDM) 云数据迁移(Cloud Data Migration, 简称CDM),是一种高效、易用的数据集成服务。 CDM围绕大数据迁移上云和智能数据湖解决方案,提供了简单
扩展能力全貌。 图1 可扩展性设计示例 应用上云目标架构的各层可扩展方案设计要点如下: 应用层可扩展设计要点 若应用层实现了微服务架构,通过华为云CCE云容器引擎服务实现业务容器化部署,可通过CCE工作负载弹性伸缩能力实现APP业务的水平扩展,随着负载增加,APP业务POD能自动
此时我们可以对大数据按业务域进行拆分,将有关联的数据、任务、应用划分到一个批次进行迁移。分批次迁移可以有效的减少大数据迁移的风险,降低迁移方案复杂度,提高迁移效率。 大数据迁移通常按照主题域进行分批。主题域通常是按照业务功能划分,将有相似业务逻辑的关联数据集合到一起,比如销售主题
可用性设计 可用性定义 AZ故障域说明 云上高可用方案 双AZ高可用设计 两地三中心高可用设计 跨AZ高可用设计示例 父主题: 应用架构设计
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用,其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题: 大数据架构设计
制化修改,以更符合企业业务。 架构模板查找 登录华为云官网,在上方导航栏选择“解决方案>通用解决方案>Haydn解决方案数字化平台”进入Haydn解决方案数字化平台首页,在页面右下角点击“解决方案加速场>架构模板”可进入架构模板页面。 支持输入架构模板名称、适用行业、适用场景等关键字对架构模板进行查找;