检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
调研 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块,本节重点介绍的是大数据集群和大数据任务调度平台的迁移,大数据应用的迁移方法请参考应用迁移上云,本节只介绍差异部分。 大数据集群迁移:将大数据集群(包括存储
验证 数据验证 业务验证 父主题: 应用迁移上云
U,内存利用率性能数据,网络拓扑数据等),并提供其迁移到华为云的推荐配置以及主机的一站式迁移能力。 主机迁移服务(SMS):是一种P2V/V2V迁移服务,可以把X86物理服务器或者私有云、公有云平台上的虚拟机迁移到华为云弹性云服务器云主机上,具体使用方法请查看SMS帮助文档。 数
性能且成本优化的云基础设施和应用系统。云架构团队通常包含云架构师和数据架构师,其职责和技能要求如下表所示。 表1 云架构团队的角色和职责 角色 职责 技能要求 来源 云架构师 负责云平台和云基础设施的整体规划和架构设计,包括Landing Zone、平台工程、网络、存储、安全、灾
为云ECS。 大数据应用部署 大数据应用的部署有2种方法,可以基于华为云ECS重新部署大数据应用,或者是使用华为云SMS工具将大数据应用迁移到华为云ECS。 平台权限配置 平台权限配置 在部署好目标大数据平台后,为了确保正确的权限设置,可以参考源端平台的权限设置,并按照以下步骤进行设置:
云实施团队 云实施团队负责将企业内各个业务系统迁移或者直接部署到云上,这要求对企业现有的IT基础设施和业务系统进行详细的调研和评估,设计并实施技术方案。技术方案的设计由云架构团队负责,交给云实施团队负责方案实施,云实施团队通常包含调研评估工程师、迁移实施工程师,职责和技能要求如下
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用,其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题: 大数据架构设计
云运维团队 云运维团队负责云基础设施的日常管理与维护,确保云基础设施的高可用性、高安全和高性能,协同应用运维管理员保障云上业务系统的长期安全稳定运行,并不断通过自动化和智能化技术提升运维效率。云运维团队通常包含云基础设施管理员、云网络管理员、数据库管理员和自动化工程师,职责和技能要求如下表所示。
云安全团队 云安全团队负责云基础设施和云上业务系统的安全保障工作,主要职责包括云平台安全方案设计、访问控制与权限管理、安全监控与威胁检测、漏洞扫描与修复、数据加密与隐私保护、合规性审查与风险评估,以及应急响应与安全事件处理,确保云上业务系统的安全性、合规性和稳定性。云安全团队通常
概述 企业云化转型是一项复杂和系统的工程,涉及组织和流程、平台和架构、运维和管理等多个层面。如同建造摩天大楼,在挖地基之前就需要设计蓝图,企业在构建云基础设施和将业务系统上云之前,也需要进行全面而清晰的顶层规划。只有在充分的规划和准备下,才能最大程度地发挥云的优势,实现业务价值的最大化。
拥有良好的沟通和人际交往能力。 具备一定的云技术知识。 IT部门 云培训师 开发和交付云计算相关的培训课程,涵盖云基础设施、云架构设计、云运维、云安全等方面。 推广用云和管云的最佳实践,通过最佳实践减少云化风险。 扎实的云技术知识和实践经验。 优秀的教学能力和沟通技巧,能够将复杂的云技术概念清晰地传达给他人。
分布式架构:云平台支持分布式系统架构设计,允许应用程序在多个服务器或节点上运行,分散负载,避免单点故障,提高系统的扩展性和可用性。 自动弹性伸缩:利用云平台的自动化伸缩功能,系统可以根据预设的策略自动增加资源实例,以应对流量高峰,保持性能稳定。 微服务架构:云平台天然适合微服务
适用场景 优势 不足 1 现网CMDB平台 客户有CMDB平台,且包含应用调用模块 所见即可得,高效,可直接获取详细资源清单、数据层-数据层、数据层-应用层关联关系 1.有些传统的CMDB系统信息更新不及时 2 现网云管平台 客户有CMP或虚拟化管理平台 能够获取准确的资源详情 无法获取应用架构、关联关系等信息
导出源端HIVE元数据,导入华为云MRS-Hive 外置元数据MySQL 使用华为云DRS服务同步MySQL中的元数据到云上RDS 存量数据 Hive历史数据存放在HDFS 使用华为云CDM工具迁移所有历史数据到华为云MRS服务或华为云OBS存储(存算分离场景) Hbase历史数据 使用华为云CDM工具迁移所有历史数据到华为云MRS服务
档。 安全云脑 安全云脑(Security Master,SecMaster)是华为云原生的新一代安全运营中心,集华为云多年安全经验,基于云原生安全,提供云上资产管理、安全态势管理、安全信息和事件管理、安全编排与自动响应等能力,可以鸟瞰整个云上安全,精简云安全配置、云防护策略的设
Hadoop数据迁移到华为云MRS服务 如图所示,将IDC机房或者其他公有云的Hadoop集群中的数据迁移到华为云MRS服务。详细操作指导请参考官网文档。 图1 Hadoop数据迁移 HBase数据迁移到华为云MRS服务 将IDC机房或其他公有云的HBase集群中的数据迁移到华为云MRS服务。
Zone设计、平台工程设计、云运营模式设计等。 建立云治理框架:负责制定云平台的治理框架、治理策略、安全标准、合规性要求等,确保云基础设施和应用系统的安全、稳定和合规。 提供云技术支持: 为企业内部提供云技术方面的培训、咨询和支持,帮助各部门更好地理解和应用云技术。 管理云平台和资源:
硬件。 当云计算技术出现之后,企业基于云平台和云服务搭建IT基础设施,并逐步把大量业务系统迁移或者直接部署在公有云上,IT运营模式进入云计算时代。基于云平台的IT运营模式(简称云运营模式)将企业的关注点从IT基础设施上移到应用程序和数据资产,您需要有效配置、管理和优化云资源,以支
持竞争优势。 快速部署业务系统:云平台提供了高度灵活和可扩展的基础设施,企业可以迅速部署业务系统和服务,缩短上市时间。 快速弹性伸缩:云计算的弹性特性使企业能够根据业务需求,动态调整资源配置,快速满足业务高峰期或突发性需求。 敏捷开发与迭代:云平台支持DevOps实践,加速软件开发周期,实现业务系统的快速迭代和更新。
应用系统迁移或部署到云上后,云化转型正式进入了运维治理阶段。这一阶段至关重要,因为它直接影响着云上IT基础设施和业务系统的性能、可靠性、安全性和成本效益。通过持续和有效的运维治理,企业能够确保云资源的高效利用,保障业务的连续性和稳定性,实现对云环境的全面掌控,最大化云化转型的收益。