检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 大数据参考架构 大数据架构通常包括以下几个核心组件和流程,企业可以根据实际需要选择云服务或自建大数据组件: 业务数据源: 业务数据源是大数据平台的数据输入来源,可以是传感器、网站日志、移动应用、社交媒体等各种数据源。
调研应用全景图 应用迁移的调研信息是由粗到细、逐步迭代的,持续整个上云周期,在前期主要是调研应用的全景图,在迁移阶段,要打开每个应用,调研详细的部署架构和组件信息。应用的调研需要找各业务域的应用架构师和应用运维管理员。 应用全景图的调研是在评估规划阶段进行的,一般按照业务域->业务系统
数据接入服务每小时可从数十万种数据源(如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等)中连续捕获、传送和存储数TB数据。详细信息请参考官网文档。
整体网络架构 Landing Zone的整体网络架构设计如下图所示。网络运营账号作为Landing Zone的网络枢纽,该账号集中管理多账号的边界网络出入口,并打通多账号下VPC之间的网络。在网络运营账号下集中部署企业路由器(Enterprise Router, ER),通过ER联通各账号下的
调研应用关联关系 在应用迁移上云时,除了调研企业内部的业务关联关系,还需要考虑外部关联关系。内部关联关系主要用于迁移批次规划和制定切换方案,外部关联关系主要用于评估业务影响,选择合适的停机窗口和制定切换方案。 图1 关联关系调研图 调研内部关联关系 关联关系分析是批次规划和切换方案的重要输入
赋能和协同运营模式 赋能和协同运营模式综合了上述两种云运营模式的优点,既允许一定程度的集中化管理,也确保业务系统的敏捷性。如下图所示,在赋能和协同运营模式中,CCoE团队负责集中建设和维护Landing Zone,包含云上的骨干网、IAM和合规审计系统等,同时负责制定统一的IT标准
全方位数据边界 全方位数据边界基于身份控制策略、网络控制策略和资源控制策略构筑起一道坚固的数据安全屏障。确保只有经过严格验证的可信身份,在符合安全标准的可信网络环境中,方能获得对特定资源的访问权限,从而保障数据安全。如下图所示,可信身份从互联网(不可信网络)访问云资源的请求会被拒绝
卓越架构设计 我们基于华为公司自身的云上架构设计经验和业界最佳实践整理了卓越架构技术框架(Well-Architected Framework,简称WAF),为架构师、软件工程师、运维工程师等技术人员提供一套云上架构设计原则和最佳实践,其目的是帮助企业在云上设计、构建和运营高韧性、
集中化运营模式 去中心化模式更强调的是快速创新而不是集中控制,集中化运营模式正好相反,强调的是集中控制而不是快速创新。如下图所示,在集中化运营模式中,CCoE团队负责集中建设和维护Landing Zone,包含云上的骨干网、IAM和合规审计系统等,同时对企业范围内的云环境进行集中化的
大数据集群设计 设计云上的大数据集群部署架构时,建议参考原则如下: 优先用大数据云服务:如果源端是自建的大数据集群,在目标云平台上有对应的云服务,且功能、性能、兼容性都满足,经评估改造工作量很小,建议设计大数据集群部署架构时,优先采用大数据云服务。如果目标云平台上没有对应的大数据集群组件
三类存储服务的对比 对比维度 EVS SFS OBS 特点 高可靠、高IOPS、弹性扩展(等同于硬盘) 高带宽、按需扩展、共享访问(等同于NAS) 高可靠、低成本、海量可扩展性、支持任意类型和大小的对象 使用场景 高性能计算、企业核心集群应用、企业应用系统和开发测试等 高性能计算、媒体处理
大数据任务调度平台设计 设计云上的大数据任务调度平台部署架构时,建议参考原则如下: 优先用大数据云服务:如果源端是自建的大数据任务调度平台和组件,在目标云平台上有对应的云服务,且功能、性能、兼容性都满足,经评估改造工作量很小,建议部署架构设计时,优先采用大数据云服务。如果目标云平台上没有对应的大数据任务调度组件
跨AZ高可用设计示例 跨AZ高可用是IDC上云最主要的价值之一。企业上云后最适合做跨AZ高可用,不仅成本低,而且很便利。下面以某大型零售电商平台为例,介绍上云后的跨AZ高可用设计方法。下图是总体架构图: 图1 高可用设计示例 接入层:Apisix双AZ均衡分布,当某个AZ出现故障时
双AZ高可用设计 公有云最常用的就是双AZ高可用方案,应用的四层架构(接入层、应用层、中间件、数据层)建议实现端到端的双AZ部署,如下图所示。 图1 双AZ高可用设计 设计要点: 业务模块:集群部署的业务,资源分别部署到 2 个AZ内,并通过 ELB 实现双AZ的负载均衡;单点业务
数据层迁移实施 对象存储迁移 对象存储适用于存储非结构化的数据,我们日常生活中见到的文档、文本、图片、XML、HTML、各类报表、音视频信息等等都是非结构化数据。不同的量级对应了不同的迁移方式,如下图所示: 图1 对象存储迁移方案 表1 三种对象存储迁移方式说明 对象存储 迁移方式
概述 企业上云通常先进行试点,试点完以后才进入大规模的上云迁移阶段。大规模上云阶段有两种上云形态: 分批迁移:对于能分批迁移的,企业通常会将大规模迁移划分为多个批次进行。大规模迁移的执行主要是按照批次规划逐批次进行迁移,如下图: 图1 分批迁移 整体迁移:对于不能分批的,应用的关联关系往往非常复杂
调研评估的反模式 在进行上云调研评估时,可能会遇到一些反模式,这些模式如果不加以识别和避免,可能会影响调研评估的效率,也可能会导致调研评估结果不准确,无法支撑有效决策和后续的上云方案设计。以下是一些在上云调研评估中常见的反模式。 没有选择正确的调研方法 调研开始阶段,直接发各种复杂的调研表格给企业
FinOps参考架构 华为云结合FinOps基金会的FinOps框架和华为自身的FinOps实践总结提炼的一套FinOps参考架构,如下图所示,总体上包含成本计划、成本控制、成本分析和成本优化四个阶段。 图1 华为云FinOps参考框架 华为云还提供的丰富的成本管理工具,提升成本管理的效率
迁移 数据迁移 Hadoop数据迁移到华为云MRS服务 如图所示,将IDC机房或者其他公有云的Hadoop集群中的数据迁移到华为云MRS服务。详细操作指导请参考官网文档。 图1 Hadoop数据迁移 HBase数据迁移到华为云MRS服务 将IDC机房或其他公有云的HBase集群中的数据迁移到华为云
制定6R策略 6R策略是指将现有的应用程序和数据迁移到云端的六种不同方式,如下图所示。 图1 6R策略 以下是6R策略的含义和适用场景。 表1 6R策略的含义和适用场景 策略 含义 适用场景 Retire 停止使用应用程序或其组件,因为它不再需要或有更合适的替代方案。这并非严格意义上的