检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
切换 大数据的切换主要是指大数据应用的切换,其切换演练和正式切换的步骤请参考章节切换。本节重点介绍大数据应用切换的3个切换点,以便更好的指导大数据应用的切换。 双跑场景:大数据应用分别在源环境和目标环境各部署一套,实现双跑,切换点在域名,业务切换时只需要进行域名的切换,将业务流量切换到新应用。
概述 为什么要做批次规划 上云迁移批次规划是为了把上云迁移分成几个阶段,以便更加有效地迁移企业应用到云端。批次规划的目的是为了将上云迁移的复杂性减少到最低,以便更有效地安排上云迁移的时间,统筹资源,并分析各个迁移阶段的风险,让企业在最短的时间内完成上云迁移。 批次规划是企业上云迁
验证 数据校验 数据库的对比方法有数据库内容对比、对象对比、行数对比,文件的对比方法有文件数量对比,大小对比,内容对比。具体的数据对比的方法请参考章节数据验证的内容。 任务验证 大数据任务迁移后,要确保作业能够正常运行、产生准确的结果,并且满足性能要求。一般从如下三方面验证: 验证作业执行的成功率
基础环境设计 企业在云上的基础环境主要就是Landing Zone,企业在将任何业务系统云化之前,都需要提前规划和设计一个架构卓越、稳定可靠、易扩展和安全合规的云上运行环境。 具体内容请参考章节 Landing Zone设计。 企业需要针对云环境的安全防护设计全面的安全防护方案,请参考章节安全架构设计。
顶层规划的反模式 在顶层规划阶段,一些常见的反模式可能会阻碍云化转型的成功。识别并避免这些反模式,对于确保云化转型取得成功至关重要。以下是几种常见的反模式,以及对应的优化建议。 CCoE团队成员不够完善 CCoE是企业内部为云化转型专门成立的中心化团队,全程负责整个云化旅程,其目
什么是平台工程 平台工程(Platform Engineering)是一种通过构建和运营自助式内部开发平台(IDP,Internal Developer Platform)来优化软件交付和生命周期管理的工程学科。其目标是通过标准化和自动化的方式,减少开发人员与底层基础设施之间的复
基础设施调研 基础环境调研的主要是企业当前的IT基础架构的现状和上云需求,包括资源信息、组网信息、安全架构、运维架构、访问权限管控、资源计量计费等。调研的方式主要是从IT系统导出(如CMDB、CMP、虚拟化管理软件),并结合问卷访谈。基础环境的调研主要是找企业的运维团队。调研人员
战略制定的反模式 在云化战略的制定过程中,一些常见的反模式可能会阻碍云化转型的成功,甚至导致企业资源的浪费和业务的中断。识别并避免这些反模式,对于确保云化转型取得成功至关重要。以下是几种常见的反模式,以及对应的优化建议。 云化战略与业务战略没有对齐 这种反模式表现为云化转型缺乏与
采用实施的反模式 在云采用实施阶段,可能会遇到一些反模式,这些模式如果不加以识别和避免,可能会影响上云迁移效率、导致业务中断、造成不必要的成本浪费和增加维护难度。以下是一些常见的云采用实施阶段的反模式: 未采用自动化部署模式 该反模式是指企业依赖手动进行代码、云资源的配置和部署,效率低,人为错误高。
人员安全管理 企业需要对IT部门内的员工以会接触到企业敏感数据的员工进行人员安全管理,主要包括安全意识教育、安全能力培训、重点岗位管理和安全违规问责等。 安全意识教育 为了提升全员的信息安全意识,规避信息安全违规风险,保证业务的正常运营,企业可以从意识教育普及、宣传活动开展、承诺书签署三个方面开展安全意识教育
制定6R策略 6R策略是指将现有的应用程序和数据迁移到云端的六种不同方式,如下图所示。 图1 6R策略 以下是6R策略的含义和适用场景。 表1 6R策略的含义和适用场景 策略 含义 适用场景 Retire 停止使用应用程序或其组件,因为它不再需要或有更合适的替代方案。这并非严格意义上的“迁移”,而是对现有应用的淘汰。
组建调研评估团队 在企业上云过程中,组建一支高效的调研评估团队是至关重要的。该团队将负责开展详尽的调研工作,评估企业现有的IT基础设施、业务需求和上云的收益,确保上云策略的有效性和可行性。调研评估团队由来自不同部门的成员组成,企业可以参考前述的CCoE组织架构和角色职责,组建出一
平台调研 大数据调研简介 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。 图1 大数据调研的对象 大数据迁移需要调研4部分信息: 大数据平台调研,包括大数据集群、任务调度平台、数据流向。 数据调研,包括待迁移的数据类型、数据量、元数据、数据权限、数据更新频率等。
任务调研 任务调研主要包括如下方面: 表1 任务调研方法表 调研内容 描述 任务调度 如Azkaban、DolphinScheduler,Hera、Crontab等。 任务类型 基于编程语言分类: Jar类:常用于MRS、Flink、Spark等 SQL类: 常用于Hive、Spark、UDF等
数据调研 数据调研主要包括如下方面: 表1 数据调研方法表 调研内容 调研目的 举例 数据类型 根据数据类型选择合适的迁移工具 HDFS、HBase、MySQL等 数据量 历史数据量,用于评估历史数据迁移周期; 日增量数据,用于评估每日增量数据同步周期。 历史数据X PB 日增量Y
调研评估的反模式 在进行上云调研评估时,可能会遇到一些反模式,这些模式如果不加以识别和避免,可能会影响调研评估的效率,也可能会导致调研评估结果不准确,无法支撑有效决策和后续的上云方案设计。以下是一些在上云调研评估中常见的反模式。 没有选择正确的调研方法 调研开始阶段,直接发各种复
方案设计的反模式 在做上云方案设计时,可能会遇到一些反模式,这些模式如果不加以识别和避免,可能会降低系统的性能和安全性、造成不必要的成本浪费、增加维护难度,甚至导致项目的失败。以下是一些常见的上云方案设计时的反模式。 资源配置不合理 目标架构设计时,未根据业务负载需求合理配置资源
性能设计 性能是目标架构设计中需要考虑的非常重要的一个方面。上一小节介绍了可扩展性设计,性能设计要考虑很重要的一点就是扩展性,可以说可扩展性是高性能的必要条件, 影响云上应用性能的主要因素包括以下几个方面: 针对计算资源,延时是操作执行之间所花的等待时间,也是云计算性能的最直接表现;
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用,其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题: 大数据架构设计
迁移批次规划的方法 迁移批次规划既是科学也是艺术,有些规划依据数据,有些规划只能依赖专家经验,批次规划需要做好三件事情:迁移分组、迁移分批、迁移优先级。 图1 批次规划 一、迁移分组 迁移分组主要是基于依赖关系将迁移对象进行分组,我们将一组具有强依赖关系的应用程序和基础架构的集合