检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
什么是平台工程 平台工程(Platform Engineering)是一种通过构建和运营自助式内部开发平台(IDP,Internal Developer Platform)来优化软件交付和生命周期管理的工程学科。其目标是通过标准化和自动化的方式,减少开发人员与底层基础设施之间的复
Deprecated等 使用标签策略 制定了标签键值规范之后,需要强制所有用户严格按照这个规范对云资源打标签,否则很容易造成资源标签的混乱,影响标签的使用效果。华为云提供的标签策略可帮助您在华为云账号中对云资源添加的标签进行规范化管理。 例如,标签策略规定为某资源添加的标签A需要遵循标签策略
设计标签方案 简介 标签最佳实践 典型使用场景 父主题: 方案设计
概述 为什么要做批次规划 上云迁移批次规划是为了把上云迁移分成几个阶段,以便更加有效地迁移企业应用到云端。批次规划的目的是为了将上云迁移的复杂性减少到最低,以便更有效地安排上云迁移的时间,统筹资源,并分析各个迁移阶段的风险,让企业在最短的时间内完成上云迁移。 批次规划是企业上云迁
在此基础上通过手工或自动化的方式进一步设置Landing Zone。 使用华为云提供的资源编排服务RFS或第三方自动化工具(如Terraform等)实现Landing Zone的自动化部署和管理。华为云资源编排服务(Resource Formation Service,简称RFS
导出源端HIVE元数据,导入华为云MRS-Hive 外置元数据MySQL 使用华为云DRS服务同步MySQL中的元数据到云上RDS 存量数据 Hive历史数据存放在HDFS 使用华为云CDM工具迁移所有历史数据到华为云MRS服务或华为云OBS存储(存算分离场景) Hbase历史数据 使用华为云CDM工具迁移所有历史数据到华为云MRS服务
Hadoop数据迁移到华为云MRS服务 如图所示,将IDC机房或者其他公有云的Hadoop集群中的数据迁移到华为云MRS服务。详细操作指导请参考官网文档。 图1 Hadoop数据迁移 HBase数据迁移到华为云MRS服务 将IDC机房或其他公有云的HBase集群中的数据迁移到华为云MRS服务。
验证 数据校验 数据库的对比方法有数据库内容对比、对象对比、行数对比,文件的对比方法有文件数量对比,大小对比,内容对比。具体的数据对比的方法请参考章节数据验证的内容。 任务验证 大数据任务迁移后,要确保作业能够正常运行、产生准确的结果,并且满足性能要求。一般从如下三方面验证: 验证作业执行的成功率
成本控制 通过预算管理,跟踪未来资源用量和费用执行 云资源按需灵活扩展,云成本在用云过程中不再固定不变。为了避免意外账单,需要在用云过程中精细化控制,对风险事项建立监控预警机制和应对机制,一旦产生预警则及时应对,避免产生异常高成本。在发生异常时,分析根因也至关重要。如发现异常成本
平台调研 大数据调研简介 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。 图1 大数据调研的对象 大数据迁移需要调研4部分信息: 大数据平台调研,包括大数据集群、任务调度平台、数据流向。 数据调研,包括待迁移的数据类型、数据量、元数据、数据权限、数据更新频率等。
任务调研 任务调研主要包括如下方面: 表1 任务调研方法表 调研内容 描述 任务调度 如Azkaban、DolphinScheduler,Hera、Crontab等。 任务类型 基于编程语言分类: Jar类:常用于MRS、Flink、Spark等 SQL类: 常用于Hive、Spark、UDF等
安全参考框架 基于上述安全设计原则,华为云推荐采用“一个中心 + 七层防线”的安全参考框架和华为云提供的云原生安全服务来构筑企业的云上安全防护体系,如下图所示。该安全框架完全遵守了纵深防御原则,将各种安全防护措施有机组合起来,针对保护对象(企业的关键业务系统和核心数据),因地制宜
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用,其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题: 大数据架构设计
设置资源标签 按照上面设计的标签命名规范,为每个云资源创建相应的标签。为避免云资源的实际操作人员乱打标签,您可以通过华为云提供的标签策略强制执行标签命名规范。 激活成本标签 使用标签按各种维度(例如用途、环境、部门等)对云资源进行成本分类之前,需要先进行成本标签激活,具体步骤请参考官网文档。
参考章节制定云化目标 。 量化业务收益:基于前面制定的云化目标,对其进行收益分析,将其转换为财务收益,以便进行项目ROI评估,为管理层的战略决策提供依据,请参考章节分析云化收益 。 持续跟踪和评估业务收益: 定期评估云化转型的业务收益,并根据实际情况调整云化目标。 云化战略缺乏与干系人的对齐
架构现状和上云需求,有针对性地进行规划和决策。通过评估资源使用情况、组网配置、安全架构等方面的数据,企业可以制定合适的云迁移策略,优化资源配置,提高运维效率,并确保访问权限的管控和资源计量计费的准确性。 总而言之,基础环境调研是为了深入了解企业的IT基础架构现状和上云需求,通过与
应用架构设计 应用部署架构概述 可用性设计 可扩展性设计 性能设计 应用部署参考架构 父主题: 方案设计
通过识别和避免这些反模式,并参考行业最佳实践和成功案例,可以更加科学实施上云方案,提高上云和用云的效率,更好地利用云平台的优势,发挥云技术的价值。 父主题: 采用实施
通过智能预测和估算,预估未来成本 随着企业深度上云,企业云上支出持续高速增长,如何预估未来云成本对企业的规划至关重要。企业未来用云成本通常包含两类,一是已经上云的业务持续产生的云成本,另外一类是因为新规划业务产生的云成本,如新上云业务或者出海等在其他区域提供服务产生的云成本。由于云支出是可变的,没有一种预测方法可以适用所有场景,
调研评估的反模式 在进行上云调研评估时,可能会遇到一些反模式,这些模式如果不加以识别和避免,可能会影响调研评估的效率,也可能会导致调研评估结果不准确,无法支撑有效决策和后续的上云方案设计。以下是一些在上云调研评估中常见的反模式。 没有选择正确的调研方法 调研开始阶段,直接发各种复