检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用,其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题: 大数据架构设计
调研方式 调研方法有很多,企业要结合自身的实际情况,从调研的效率、调研获取信息的完整度和真实度三个方面评估,选择最合适的调研方式。通常情况下,优先推荐CMDB调研法,CMDB中缺少的信息再通过云管平台或调研访谈的方式补齐。 如下是常见的调研方式,建议企业遵循由易到难的调研思路进行调研
应用架构现代化 微服务改造上云 将传统的单体应用进行微服务改造并迁移到云环境是一个复杂的过程。下面是关于如何进行微服务改造和上云的一些基本步骤和考虑事项。 评估现有应用和目标: 首先,对传统单体应用进行全面评估,了解其架构、功能和性能特点。同时,明确希望在云环境中实现的目标,例如可伸缩性
基础设施调研 基础环境调研的主要是企业当前的IT基础架构的现状和上云需求,包括资源信息、组网信息、安全架构、运维架构、访问权限管控、资源计量计费等。调研的方式主要是从IT系统导出(如CMDB、CMP、虚拟化管理软件),并结合问卷访谈。基础环境的调研主要是找企业的运维团队。调研人员会与企业的运维团队合作
切换 大数据的切换主要是指大数据应用的切换,其切换演练和正式切换的步骤请参考章节切换。本节重点介绍大数据应用切换的3个切换点,以便更好的指导大数据应用的切换。 双跑场景:大数据应用分别在源环境和目标环境各部署一套,实现双跑,切换点在域名,业务切换时只需要进行域名的切换,将业务流量切换到新应用
部署 大数据平台部署 大数据平台的部署可以参考如下方法: 大数据集群部署 基于架构设计的原则,云上大数据集群一般采用云服务。华为云MRS是一个在华为云上部署和管理Hadoop系统的服务,一键即可部署Hadoop集群。MRS提供租户完全可控的企业级大数据集群云服务,轻松运行Hadoop
保障 在大数据迁移的保障阶段,需要执行以下任务来确保顺利过渡到新的云环境: 监控和警报设置:建立实时监控系统,监测集群、任务调度平台和应用程序的运行状态。设置警报,以便及时发现潜在的问题并采取措施。 优化集群性能:对大数据集群进行性能评估和调优。监视资源使用情况,优化配置参数、调整集群大小和资源分配
云卓越中心的演进 上述CCoE组织是针对企业大规模上云、用云和管云而建立的全功能团队,企业并不需要在云化转型早期就组建一个完整的CCoE组织。 云化转型早期主要是把第一批业务系统迁移或直接部署在云上,这个时候可以建立一个小型化CCoE组织,如下图所示,把必要的角色加入进来,足以支撑第一批业务系统的云化就可以
基础设施现代化 容器化改造是将传统应用程序或服务迁移至容器化环境的过程,以下是进行容器化改造的一般步骤: 评估和规划:首先,评估应用程序或服务的特性、依赖关系和架构。确定哪些部分适合容器化,并制定一个改造计划。 容器化平台选择:选择一个适合你的需求的容器化平台。最常见的容器化平台是
任务调研 任务调研主要包括如下方面: 表1 任务调研方法表 调研内容 描述 任务调度 如Azkaban、DolphinScheduler,Hera、Crontab等。 任务类型 基于编程语言分类: Jar类:常用于MRS、Flink、Spark等 SQL类: 常用于Hive、Spark
多云战略的驱动力 当前多云战略正在成为一种主流趋势,越来越多的组织选择将业务系统部署在多个云服务商的云平台上,而不是依赖单一的云服务商。这种趋势的背后是多种因素的驱动,以下是一些主要的驱动力: 避免单云故障:将业务部署在单一云平台上存在单点故障风险。如果该云平台出现故障,例如大规模宕机或区域性灾难
成本优化 选择合适的计费模式 华为云为客户提供了按需、包年包月、资源包、竞价实例等多种计费模式,不同的计费模式有着不同的适用场景。企业合理利用云资源的不同计费模式,来适配不同的业务形态,可以有效降低费率,实现成本节省。 按需计费:适用于临时、突发的业务场景。 包年包月:通过预付一定周期的资源使用费用
存储服务选型 华为云提供的存储服务主要是OBS(Object Storage Service,对象存储服务)、EVS(Elastic Volume Service,弹性云硬盘)、SFS(Scalable File Service,弹性文件服务)等,这三类存储服务的对比表如下所示。
云实施团队 云实施团队负责将企业内各个业务系统迁移或者直接部署到云上,这要求对企业现有的IT基础设施和业务系统进行详细的调研和评估,设计并实施技术方案。技术方案的设计由云架构团队负责,交给云实施团队负责方案实施,云实施团队通常包含调研评估工程师、迁移实施工程师,职责和技能要求如下表所示
技术驱动力 在数字化时代,云计算已成为企业技术战略的核心。对于CIO、CTO和技术主管而言,云化转型不仅是业务发展的需求,更是技术创新和变革的必然选择。云计算提供的技术优势,在资源弹性、系统韧性、扩展性、安全性和运维效率等方面实现飞跃。这些技术驱动力是业务驱动力和财务驱动力的底层技术支撑
安全运营框架 华为云基于自身多年的安全运营实践经验和帮助大量客户持续安全运营的经验,基于华为云提供的安全云脑服务总结了如下安全运营框架和流程,您的企业可以将其作为起点设计符合企业要求的安全运营框架及流程。 图1 安全运营框架 划分安全运营职责 首先,根据企业设计的云运营模式,明确业务部门的应用团队与
应用团队 企业内部通常有多个业务部门,每个业务部门负责自身所需业务系统的投资、建设和运维,因此通常在业务部门会组建自己的应用团队。将这些业务系统云化需要应用团队的配合和协同,应用团队需要协同云实施团队进行业务系统的现状调研、迁移实施、应用现代化改造和测试验证,协同云架构团队基于云技术和云服务设计业务系统的云上应用架构
应用部署架构概述 应用部署架构设计的方法论来源于华为云架构师在各个领域的实战经验,基于这些实战案例,我们总结了一套方法论来指导企业进行云上应用部署架构的设计,帮助企业上好云、用好云。 应用部署架构按照各个组件的功能,一般可以抽象出四个层级:接入层、应用层、中间件层、数据层。 图1
不停服切换方案 应用层切换不停服方案 若只涉及到应用层的切换,可参考章节 停服切换方案 中提到的应用灰度切流方案,切换期间不停服。 数据层或应用整体切换不停服方案 准备工作: 华为云应用层和数据层已完成迁移; 华为云应用层和数据层已完成业务验证,可正常使用。 业务切换: 修改两边的配置
区块链 区块链是一种去中心化、分布式的账本技术,可以确保数据的安全性和可信度。以下是区块链如何使能业务创新、与业务结合并推动业务现代化的几个方面: 透明度和可信度:区块链技术通过去中心化的特点,确保所有交易和数据记录被公开透明地存储,并且无法篡改。这为企业创造了更高的数据可信度和透明度