检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CDM围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移和集成的复杂性,有效的提高您数据迁移和集成的效率。详细信息请参考官网文档。
大数据迁移批次规划说明 大数据迁移上云时,是选择整体迁移还是分批迁移,原则如下: 整体迁移的场景: 规模小:大数据平台数据量少(TB级),计算任务数量不多,可以采用整体迁移的方法,先在云上部署大数据平台,然后全量迁移元数据、数据和任务。 关联关系复杂:大数据任务之间的关联关系很复杂
基础设施现代化 容器化改造是将传统应用程序或服务迁移至容器化环境的过程,以下是进行容器化改造的一般步骤: 评估和规划:首先,评估应用程序或服务的特性、依赖关系和架构。确定哪些部分适合容器化,并制定一个改造计划。 容器化平台选择:选择一个适合你的需求的容器化平台。最常见的容器化平台是
云资源开通及配置 部署主要是进行云上目标环境的资源开通和配置,并做好上云前的各项检查和测试,并进行迁移环境的准备。 要按照应用部署架构设计方案进行云上资源的开通和配置,云上资源开通主要有如下3种方式: 在云平台Console控制台手动创建云资源。 编写脚本或通过自动化平台对接,调用云平台的
大数据集群设计 设计云上的大数据集群部署架构时,建议参考原则如下: 优先用大数据云服务:如果源端是自建的大数据集群,在目标云平台上有对应的云服务,且功能、性能、兼容性都满足,经评估改造工作量很小,建议设计大数据集群部署架构时,优先采用大数据云服务。如果目标云平台上没有对应的大数据集群组件
多云战略的驱动力 当前多云战略正在成为一种主流趋势,越来越多的组织选择将业务系统部署在多个云服务商的云平台上,而不是依赖单一的云服务商。这种趋势的背后是多种因素的驱动,以下是一些主要的驱动力: 避免单云故障:将业务部署在单一云平台上存在单点故障风险。如果该云平台出现故障,例如大规模宕机或区域性灾难
推广云运维工具的使用,实现自动化和智能化。 培训运维团队,提升云运维技能。 应用架构师 优化应用架构,提升系统性能、可扩展性和可靠性。 支持应用现代化,充分利用云服务的优势。 确保应用满足业务需求,具备敏捷性和灵活性。 设计应用的云化架构,指导开发团队的实现。
任务调研 任务调研主要包括如下方面: 表1 任务调研方法表 调研内容 描述 任务调度 如Azkaban、DolphinScheduler,Hera、Crontab等。 任务类型 基于编程语言分类: Jar类:常用于MRS、Flink、Spark等 SQL类: 常用于Hive、Spark
安全参考框架 基于上述安全设计原则,华为云推荐采用“一个中心 + 七层防线”的安全参考框架和华为云提供的云原生安全服务来构筑企业的云上安全防护体系,如下图所示。该安全框架完全遵守了纵深防御原则,将各种安全防护措施有机组合起来,针对保护对象(企业的关键业务系统和核心数据),因地制宜的部署合适的安全措施
数据调研 数据调研主要包括如下方面: 表1 数据调研方法表 调研内容 调研目的 举例 数据类型 根据数据类型选择合适的迁移工具 HDFS、HBase、MySQL等 数据量 历史数据量,用于评估历史数据迁移周期; 日增量数据,用于评估每日增量数据同步周期。 历史数据X PB 日增量Y
参考架构库 Haydn是华为云面向合作伙伴和客户的数字化平台,当前Haydn已经积累了700+各类参考架构,企业可以根据业务场景搜索并引用华为云的应用部署参考架构,基于Haydn做架构设计,企业可以对参考架构做定制化修改,以更符合企业业务。 架构模板查找 登录华为云官网,在上方导航栏选择
整体网络架构 Landing Zone的整体网络架构设计如下图所示。网络运营账号作为Landing Zone的网络枢纽,该账号集中管理多账号的边界网络出入口,并打通多账号下VPC之间的网络。在网络运营账号下集中部署企业路由器(Enterprise Router, ER),通过ER联通各账号下的
云运维团队 云运维团队负责云基础设施的日常管理与维护,确保云基础设施的高可用性、高安全和高性能,协同应用运维管理员保障云上业务系统的长期安全稳定运行,并不断通过自动化和智能化技术提升运维效率。云运维团队通常包含云基础设施管理员、云网络管理员、数据库管理员和自动化工程师,职责和技能要求如下表所示
保障 在上云迁移的保障阶段,需要执行以下任务来确保顺利过渡到新的云环境: 云平台监控:确保建立有效的监控系统,跟踪云平台的性能、可用性和安全性。设置警报机制,及时发现并解决潜在的问题。 系统监控和运维:设置系统监控和告警,确保及时发现和解决潜在的问题。配置基础设施监控工具,监测服务器
应用生命周期管理 企业云化转型最核心的工作就是将支撑企业生产和运营的各种应用系统云化。首先,最基本的要求是保障应用系统可以在云平台上长期安全稳定运行;其次,要让应用系统可以充分利用云计算的优势提升应用系统的质量,如提升应用系统的韧性、敏捷性、安全性和性能等,最后,应用系统生于云、长于云
区块链 区块链是一种去中心化、分布式的账本技术,可以确保数据的安全性和可信度。以下是区块链如何使能业务创新、与业务结合并推动业务现代化的几个方面: 透明度和可信度:区块链技术通过去中心化的特点,确保所有交易和数据记录被公开透明地存储,并且无法篡改。这为企业创造了更高的数据可信度和透明度
应用团队 企业内部通常有多个业务部门,每个业务部门负责自身所需业务系统的投资、建设和运维,因此通常在业务部门会组建自己的应用团队。将这些业务系统云化需要应用团队的配合和协同,应用团队需要协同云实施团队进行业务系统的现状调研、迁移实施、应用现代化改造和测试验证,协同云架构团队基于云技术和云服务设计业务系统的云上应用架构
大数据参考架构 下图是典型的大数据架构,从数据集成、存储、计算、调度、查询和应用,构成了一个完整的数据流。 图1 大数据参考架构 大数据架构通常包括以下几个核心组件和流程,企业可以根据实际需要选择云服务或自建大数据组件: 业务数据源: 业务数据源是大数据平台的数据输入来源,可以是传感器
技术驱动力 在数字化时代,云计算已成为企业技术战略的核心。对于CIO、CTO和技术主管而言,云化转型不仅是业务发展的需求,更是技术创新和变革的必然选择。云计算提供的技术优势,在资源弹性、系统韧性、扩展性、安全性和运维效率等方面实现飞跃。这些技术驱动力是业务驱动力和财务驱动力的底层技术支撑
调研 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块,本节重点介绍的是大数据集群和大数据任务调度平台的迁移,大数据应用的迁移方法请参考应用迁移上云,本节只介绍差异部分。 大数据集群迁移:将大数据集群(包括存储、