检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据迁移批次规划说明 大数据迁移上云时,是选择整体迁移还是分批迁移,原则如下: 整体迁移的场景: 规模小:大数据平台数据量少(TB级),计算任务数量不多,可以采用整体迁移的方法,先在云上部署大数据平台,然后全量迁移元数据、数据和任务。 关联关系复杂:大数据任务之间的关联关系很复杂,很难拆分,此时也可以选择整体迁移。
AZ故障域说明 AZ (Availability Zone) 是公有云的一个独立的故障域,一个AZ是由物理上互相隔离的数据中心组成,每个AZ都具有独立的电力供应、网络连接和硬件设施,公有云厂商通常会将不同的AZ部署在不同的地理位置,以提高系统的可用性和故障容错能力,AZ故障域的优点包括:
管理)以及敏捷管理方法做概要介绍。 项目进度风险通常是云化转型项目因各种超出预期的事件或问题导致项目周期延后,如新业务发布上线、关键业务数据库故障、病毒感染等事件,都会对项目实施周期带来影响,因此项目团队应充分考虑可能遇到的问题或风险来制定项目周期。应对项目周期风险的策略通常是综
平台调研 大数据调研简介 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。 图1 大数据调研的对象 大数据迁移需要调研4部分信息: 大数据平台调研,包括大数据集群、任务调度平台、数据流向。 数据调研,包括待迁移的数据类型、数据量、元数据、数据权限、数据更新频率等。
设计 大数据在云上的部署架构设计请参考大数据架构设计,本节不再赘述。这里重点介绍数据迁移方案和任务迁移方案的设计。 设计数据迁移方案 大数据的数据迁移涉及到3类数据,如下表: 表1 大数据迁移的三类数据 分类 说明 元数据 Hive元数据或外置元数据 存量数据 历史数据,短期内不会变化
切换 大数据的切换主要是指大数据应用的切换,其切换演练和正式切换的步骤请参考章节切换。本节重点介绍大数据应用切换的3个切换点,以便更好的指导大数据应用的切换。 双跑场景:大数据应用分别在源环境和目标环境各部署一套,实现双跑,切换点在域名,业务切换时只需要进行域名的切换,将业务流量切换到新应用。
调研 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块,本节重点介绍的是大数据集群和大数据任务调度平台的迁移,大数据应用的迁移方法请参考应用迁移上云,本节只介绍差异部分。 大数据集群迁移:将大数据集群(包括存储
保障 在大数据迁移的保障阶段,需要执行以下任务来确保顺利过渡到新的云环境: 监控和警报设置:建立实时监控系统,监测集群、任务调度平台和应用程序的运行状态。设置警报,以便及时发现潜在的问题并采取措施。 优化集群性能:对大数据集群进行性能评估和调优。监视资源使用情况,优化配置参数、调整集群大小和资源分配,以提高整体性能。
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用,其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题: 大数据架构设计
任务调研 任务调研主要包括如下方面: 表1 任务调研方法表 调研内容 描述 任务调度 如Azkaban、DolphinScheduler,Hera、Crontab等。 任务类型 基于编程语言分类: Jar类:常用于MRS、Flink、Spark等 SQL类: 常用于Hive、Spark、UDF等
团队拆小,DevSecOps敏捷运作 物理服务器 容器化部署、全面上云 应用现代化不只是采用云原生技术(如容器、微服务、DevOps、API网关等),还包括新技术(如AI、数字人、IoT、区块链等)的应用,使业务能够跟上时代的潮流,提升用户体验和创新能力。应用现代化包括如下4个方面: 图2 应用现代化的四个方面
可用性定义 可用性(Availability)是产品/服务在规定的条件下和规定的时刻或时间区间内处于可执行规定功能状态的能力,是产品可靠性和可维护性的综合反映。服务可用性一般会用SLA(Service-Level Agreement)来衡量,各类云服务都有承诺的SLA标准。不同SLA级别对应的停机时间如下表所示:
需要构建一套实时的采集以及数据运营系统,以支撑业务决策。 智能运维是未来 智能运维工具能够提高运维工作的效率和质量,降低人力成本。尤其是AI 时代,通过引入自动化、智能化等技术手段,团队可以更加高效地管理和维护系统,有几个原则: 选择合适的工具和技术,确保其与业务需求和技术栈相
全堆栈:评估模型要涵盖全技术堆栈,包括卓越架构(Well-Architected Framework)、云基础设施、应用现代化、大数据与AI、运营运维、安全防护等技术领域。 全旅程:评估模型要涵盖云化转型的端到端旅程,包括制定战略、顶层规划、方案设计、采用实施、运维治理等阶段。
华为云提供了丰富的云服务可以帮助您快速构建企业的内部开发平台。 应用平台(AppStage)是基于平台工程理念打造的下一代应用全生命周期管理和AI原生应用生命周期管理平台,帮助客户快速高效地实现传统应用及AI原生应用全生命周期管理,为应用构建、运维和运营等生命周期管理活动提供自助式服务能力,目标是通过标准化和自动化的服务来提升用户体验
不停服切换方案 应用层切换不停服方案 若只涉及到应用层的切换,可参考章节 停服切换方案 中提到的应用灰度切流方案,切换期间不停服。 数据层或应用整体切换不停服方案 准备工作: 华为云应用层和数据层已完成迁移; 华为云应用层和数据层已完成业务验证,可正常使用。 业务切换: 修改两边
调研应用全景图 应用迁移的调研信息是由粗到细、逐步迭代的,持续整个上云周期,在前期主要是调研应用的全景图,在迁移阶段,要打开每个应用,调研详细的部署架构和组件信息。应用的调研需要找各业务域的应用架构师和应用运维管理员。 应用全景图的调研是在评估规划阶段进行的,一般按照业务域->业务系统->应用模块逐层打开,如下图:
区块链 区块链是一种去中心化、分布式的账本技术,可以确保数据的安全性和可信度。以下是区块链如何使能业务创新、与业务结合并推动业务现代化的几个方面: 透明度和可信度:区块链技术通过去中心化的特点,确保所有交易和数据记录被公开透明地存储,并且无法篡改。这为企业创造了更高的数据可信度和
云上高可用方案 公有云上业务的可用性,由应用层的可用性,架构设计的可用性、云服务的可用性共同决定。业务可用性目标的达成是一项系统工程,公有云模式下,业务的可靠性取决于客户对整体业务架构的可用性设计、运维规范管理(如:备份机制、日常演练、人员操作规范等)。 图1 业务可用性方案 华
开发与运维现代化 通过DevOps实践,可以实现开发与运维的现代化。下面是一些步骤和实施建议: 文化转变:首先,要实现开发与运维的现代化,需要在组织中建立一个强调合作与共享的文化。开发团队和运维团队应该互相信任、合作,并且共同追求系统稳定性和持续交付。 自动化:自动化是DevOp