检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
调研 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块,本节重点介绍的是大数据集群和大数据任务调度平台的迁移,大数据应用的迁移方法请参考应用迁移上云,本节只介绍差异部分。
表1 云架构团队的角色和职责 角色 职责 技能要求 来源 云架构师 负责云平台和云基础设施的整体规划和架构设计,包括Landing Zone、平台工程、网络、存储、安全、灾备等方面,确保云基础设施的安全性、可靠性、性能和成本效益。 选择合适的云服务商和云服务类型。
保障公共IT服务的安全稳定运行。 熟悉主流云平台的IaaS和PaaS服务,并能熟练部署这些服务。 熟悉云平台之上实现资源共享的技术方案,如基于网络的共享、基于资源权限策略的共享和华为云资源共享服务RAM。 具备良好的跨部门沟通、协作和问题解决能力。
容量规划:根据业务需求和未来发展趋势,对云资源进行容量规划,例如计算资源、存储资源、网络带宽等。 成本估算:根据云服务商的定价模型,估算迁移到云平台的成本,并与传统IT架构的成本进行比较,为决策提供依据。 熟悉主流的云平台及云服务。
主机迁移服务(SMS):是一种P2V/V2V迁移服务,可以把X86物理服务器或者私有云、公有云平台上的虚拟机迁移到华为云弹性云服务器云主机上,具体使用方法请查看SMS帮助文档。 数据复制服务(DRS):用于数据库实时迁移和数据库实时同步的云服务。
微服务架构:云平台天然适合微服务和容器化部署,支持应用拆分和独立扩展,提升灵活性和可维护性。 无服务器计算:云平台提供的无服务器计算服务(如 FunctionGraph)允许用户将代码部署到云端,而无需管理服务器。云平台会根据请求自动分配计算资源,并在请求处理完成后释放资源。
熟练使用云平台的安全运营服务和各种安全监控工具。 掌握威胁检测技术、漏洞扫描工具和补丁管理流程。 熟悉日志分析工具和自动化脚本语言(如Python、Shell)。 了解云平台的安全配置(如安全组、防火墙规则)。 具备快速响应和处理安全事件的能力。 IT部门 父主题: 云卓越中心
也可以使用华为云CDM云迁移服务进行HBase数据搬迁,详细操作指导请参考官网文档。 图2 HBase数据迁移 Hive数据迁移到华为云MRS服务 使用华为云CDM服务可以很方便将IDC机房或者其他公有云Hive集群中的数据迁移到华为云MRS服务,详细操作指导请参考官网文档。
采用共享安全责任模型,云服务商负责云平台和云服务本身的安全,企业负责上层应用和数据的安全。 云服务商也会提供云原生安全服务和云安全最佳实践帮助企业保护上层应用和数据的安全。
通常情况下,优先推荐CMDB调研法,CMDB中缺少的信息再通过云管平台或调研访谈的方式补齐。 如下是常见的调研方式,建议企业遵循由易到难的调研思路进行调研。
从业务对外体验上,多数用户感知不到停服的影响,比如某购物平台,用户仍然可以浏览商品,但是不能下单,下单时可友好的提示:系统正在升级中,预计凌晨4点恢复,请您稍后重试下单等。
概述 基于云平台的新技术正驱动着产品和服务创新浪潮。 人工智能与大模型结合,赋予产品更智能的交互和更精准的个性化服务,例如AI客服、智能推荐系统等。 区块链技术则增强了产品和服务的安全性和可信度,可应用于供应链管理、数字身份认证等场景,构建透明可追溯的体系。
供应商管理:评估和管理云服务商,根据自身业务需求,选择最合适的云服务商及其优势服务,最大化地发挥云计算的价值。 促进跨部门协作: 作为跨部门的协调中心,促进业务部门、IT 部门和其他相关部门之间的沟通和协作,确保云化转型项目的顺利进行。
CIO、IT主管 技术 平台视角 基于云平台和云服务构建企业级、高安全、高可靠、高性能和易扩展的IT基础设施或技术平台,对上层应用系统提供计算、存储、网络、安全、数据库、中间件等服务,帮助应用团队快速基于该平台进行应用系统的开发、测试、部署和高效运维,并支撑应用系统的安全稳定运行。
本地化合规服务:云平台提供本地化的合规服务,例如数据驻留、数据主权、数据加密等,帮助企业满足特定地区的合规要求。例如,一些国家要求数据必须存储在境内,云服务商可以提供符合要求的本地数据中心和服务。
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用,其中大数据应用的部署架构请参考应用架构设计。
服务 使用Hbase快照方式,迁移Hbase数据到华为云MRS服务 增量数据 Hive增量数据 根据源端元数据查询每日变化数据,识别出需要迁移的数据目录,使用华为云CDM工具迁移增量数据上云 Hbase增量数据 使用华为云CDM工具迁移所有增量数据(根据时间戳)到华为云MRS服务
拓展新市场: 云平台的全球覆盖能力,使得企业更容易进入新的市场,拓展业务范围,接触到更广泛的客户群体,从而增加收入。 提升客户体验: 云平台可以提供更稳定、可靠和高性能的服务,提升客户满意度和忠诚度,从而增加收入和客户留存率。
概述 企业云化转型是一项复杂和系统的工程,涉及组织和流程、平台和架构、运维和管理等多个层面。如同建造摩天大楼,在挖地基之前就需要设计蓝图,企业在构建云基础设施和将业务系统上云之前,也需要进行全面而清晰的顶层规划。
跨AZ高可用设计示例 跨AZ高可用是IDC上云最主要的价值之一。企业上云后最适合做跨AZ高可用,不仅成本低,而且很便利。下面以某大型零售电商平台为例,介绍上云后的跨AZ高可用设计方法。