检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据参考架构 下图是典型的大数据架构,从数据集成、存储、计算、调度、查询和应用,构成了一个完整的数据流。 图1 大数据参考架构 大数据架构通常包括以下几个核心组件和流程,企业可以根据实际需要选择云服务或自建大数据组件: 业务数据源: 业务数据源是大数据平台的数据输入来源,可以是
如何识别驱动力 识别驱动力是云化转型的前提,决定了组织是否有正当的理由开启云化转型。识别驱动力是一个比较复杂的过程,需要综合考虑企业的业务战略、业务需求、财务需求和技术需求,并要与高层和干系人达成一致。以下是推荐的步骤: 响应关键业务事件 企业高层的云化转型决策通常源于实际业务需
迁移方案概述 迁移方案概述 应用上云迁移就像一次“搬家”,是围绕迁移源、迁移目标、迁移过程三要素而开展的一系列活动。 图1 应用上云迁移示意图 在进行迁移方案设计之前,先要参考第5章完成该应用的云上目标架构设计(B),然后设计从A->B的迁移方案(C)。 应用迁移方案要基于应用的
设计 大数据在云上的部署架构设计请参考大数据架构设计,本节不再赘述。这里重点介绍数据迁移方案和任务迁移方案的设计。 设计数据迁移方案 大数据的数据迁移涉及到3类数据,如下表: 表1 大数据迁移的三类数据 分类 说明 元数据 Hive元数据或外置元数据 存量数据 历史数据,短期内不会变化
平台调研 大数据调研简介 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。 图1 大数据调研的对象 大数据迁移需要调研4部分信息: 大数据平台调研,包括大数据集群、任务调度平台、数据流向。 数据调研,包括待迁移的数据类型、数据量、元数据、数据权限、数据更新频率等。
概述 根据Flexera在2024年发布的《State of the Cloud Report》报告显示,管理云成本成为企业用云的头号挑战,企业的的云成本平均超过预算15%,平均有27%的公有云成本是浪费的,51%的企业已经成立了专门的FinOps团队,另外有20%的企业计划在未来一年成立FinOps团队。
安全运营框架 华为云基于自身多年的安全运营实践经验和帮助大量客户持续安全运营的经验,基于华为云提供的安全云脑服务总结了如下安全运营框架和流程,您的企业可以将其作为起点设计符合企业要求的安全运营框架及流程。 图1 安全运营框架 划分安全运营职责 首先,根据企业设计的云运营模式,明确
云项目经理 云项目经理在指导委员会的授权下,负责领导和管理整个云化转型项目,确保项目在预算内按时完成,并符合质量标准。其主要职责包括: 项目计划与目标设定: 制定云化转型的整体计划,包括项目范围、目标、时间计划、预算和验收要求等。 项目执行与进度管理: 监督项目的执行过程,确保各
Runbook操作步骤设计 Runbook中的每一步操作,都有明确的操作步骤、操作命令/脚本、串/并行标记、操作人、确认人、预估开始时间、结束时间、预估执行时长。切换方案不同,对应的Runbook的操作步骤也不同。切换方案可以分停服切换和不停服切换。不停服切换方案对应用架构的要求
调研评估 概述 组建调研评估团队 基础设施调研 应用系统调研 大数据调研 调研方式 云服务选型 调研评估的反模式
采用实施的反模式 在云采用实施阶段,可能会遇到一些反模式,这些模式如果不加以识别和避免,可能会影响上云迁移效率、导致业务中断、造成不必要的成本浪费和增加维护难度。以下是一些常见的云采用实施阶段的反模式: 未采用自动化部署模式 该反模式是指企业依赖手动进行代码、云资源的配置和部署,效率低,人为错误高。
简介 标签是用于标识和分类云资源,通常由键(Key)和值(Value)组成。当用户拥有相同类型的许多云资源时,可以使用标签按各种维度(例如用途、所有者或环境等)对云资源进行标识和分类,然后基于标签进行资源筛选、成本归类和细粒度权限设置等,从而简化资源管理和优化成本。 如下图所示,
数据调研 数据调研主要包括如下方面: 表1 数据调研方法表 调研内容 调研目的 举例 数据类型 根据数据类型选择合适的迁移工具 HDFS、HBase、MySQL等 数据量 历史数据量,用于评估历史数据迁移周期; 日增量数据,用于评估每日增量数据同步周期。 历史数据X PB 日增量Y
成本分析 成本分配驱动业务方承担财务责任 成本分配支撑企业将成本分配到各业务团队中,使得各业务团队的成本清晰可见。根据清晰的成本,业务部门可准确定价,并平衡成本、稳定性和性能,经济高效的提供领先方案。企业管理者基于数据决策各业务的云开支, 保障核心业务和战略业务方向的支出,不超支,不浪费。
概述 上云调研不是一次完成的,而是持续整个上云过程,需要进行多次调研,持续迭代,每个阶段调研的信息都不同。本章主要介绍调研分析的思路和方法,在上云的每个阶段都可以参考此方法进行调研。如果上云工作不是企业自己主导,企业也可以基于此调研思路更好地配合第三方进行高效调研。但注意,同一阶
战略制定的反模式 在云化战略的制定过程中,一些常见的反模式可能会阻碍云化转型的成功,甚至导致企业资源的浪费和业务的中断。识别并避免这些反模式,对于确保云化转型取得成功至关重要。以下是几种常见的反模式,以及对应的优化建议。 云化战略与业务战略没有对齐 这种反模式表现为云化转型缺乏与
迁移批次规划的方法 迁移批次规划既是科学也是艺术,有些规划依据数据,有些规划只能依赖专家经验,批次规划需要做好三件事情:迁移分组、迁移分批、迁移优先级。 图1 批次规划 一、迁移分组 迁移分组主要是基于依赖关系将迁移对象进行分组,我们将一组具有强依赖关系的应用程序和基础架构的集合
指导委员会 指导委员会负责为云化转型项目提供建议、战略指导和决策支持,在云化转型中扮演着至关重要的作用。指导委员会的成员应该由云化转型的重要干系人(CEO、CIO、CTO、CFO、CISO、业务主管等)指定和委派,至少应该包含业务主管、IT主管、财务主管和人力资源主管。指导委员会
Runbook参考模板 Runbook Checklist参考 表1 Runbook Checklist参考样例 大类 前置工作项 责任部门 活动 是否涉及 是否完成 计划完成时间 责任人 组织和保障准备 - 项目经理 - 是 - - - - 项目经理 - 是 - - - 第三方/业态
FinOps团队 FinOps团队的主要职责是通过成本生命周期管理和持续成本运营,推动团队在预算内高效使用云资源,不断提升云资源的成本效益,实现业务价值最大化。FinOps团队通常包含FinOps教练、云成本运营工程师,职责和技能要求如下表所示。 表1 FinOps团队的角色和职责