检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
华为云大数据组件 常用的华为云大数据服务组件如下,设计大数据部署架构时可参考: MapReduce服务(MapReduce Service,简称MRS) MRS是一个在华为云上部署和管理Hadoop系统的服务,一键即可部署Hadoop集群,完全兼容开源接口,轻松运行Hadoop、Spark
Landing Zone参考架构 公司IT治理架构 组织和账号设计 整体架构设计 身份和权限设计 整体网络架构 公共服务管理 多账号统一管理 数据边界 父主题: Landing Zone设计
如果要迁移到容器,就需要将传统应用进行容器化改造,将主机上的应用改造成容器镜像,部署到K8S或华为云CCE集群。
计算服务选型 华为云提供的计算服务主要是ECS(Elastic Cloud Server)服务和CCE(Cloud Container Engine)服务,华为云提供了很多ECS的实例类型,如下表所示,以满足多样化的计算场景需求。
容器化应用程序:将应用程序拆分为较小的模块或微服务,并将每个模块打包为独立的容器镜像。使用Dockerfile定义容器镜像的构建过程,包括依赖安装、配置和启动命令。 容器编排与管理:如果需要管理多个容器实例、自动扩展和负载均衡等功能,可以使用容器编排工具,如Kubernetes。
基于资源策略的共享:通过资源策略授予其他账号访问资源的权限,如OBS服务的桶策略、IMS服务的共享镜像和CBR的共享备份等。 父主题: Landing Zone参考架构
将源端服务器的系统盘和数据盘分别制作私有镜像,上传至华为云OBS对象存储服务中,在IMS镜像服务中,使用上传的外部镜像文件制作成私有镜像,最后使用私有镜像发放云服务器,完成整机迁移。迁移后的主机操作系统、系统配置,数据文件与源端服务器完全一致。
云应用引擎(Cloud Application Engine,CAE)是一个面向WEB、微服务应用的Serverless托管服务,提供极速部署、极低成本、极简运维的一站式应用托管方案。支持从源码、软件包、镜像包快速发布应用,秒级弹性伸缩、按量付费。
迁移中心(MgC):是一站式迁移平台,集成了华为云的各个迁移工具,内置了由最佳实践总结而来的迁移工作流模板,您可以根据不同迁移场景,选择合适的迁移模板构建迁移工作流。具体功能及使用方法请查看MgC帮助文档。
IMS、容器镜像服务SWR、弹性文件服务SFS、对象存储服务OBS、自建NTP服务器、自建AD服务器等公共资源 安全运营账号 作为企业安全运营中心,统一管控整个企业内所有账号的安全策略、安全规则和安全资源,为成员账号设置安全配置基线,对整个企业的信息安全负责 安全管理团队 统一部署具备跨账号安全管控的服务
IT部门 公共服务管理员 识别各个业务单元所需要的公共IT服务和资源,比如NTP服务器、AD服务器、自建DNS服务器、OBS桶、容器镜像库等,也可以是CodeArts等PaaS服务。 负责集中部署和维护这些公共IT服务,并将其共享给公司内所有业务单元使用。
图1 华为云FinOps参考框架 华为云还提供的丰富的成本管理工具,提升成本管理的效率,帮助企业在华为云上开展FinOps实践,持续提升云的成本效益。
EVS支持通过镜像、快照、云备份功能进行数据的快速备份和恢复,SFS Turbo支持通过云备份功能进行备份和恢复,SFS通用型、OBS一般用于超大容量业务场景、暂未规划备份能力。
应用架构设计 应用部署架构概述 可用性设计 可扩展性设计 性能设计 应用部署参考架构 父主题: 方案设计
也可以使用华为云CDM云迁移服务进行HBase数据搬迁,详细操作指导请参考官网文档。 图2 HBase数据迁移 Hive数据迁移到华为云MRS服务 使用华为云CDM服务可以很方便将IDC机房或者其他公有云Hive集群中的数据迁移到华为云MRS服务,详细操作指导请参考官网文档。
FinOps 概述 FinOps参考架构 成本计划 成本控制 成本分析 成本优化 父主题: 运维治理
离线计算任务的数据源可以使用数据同步工具CDM、ETL工具或自定义脚本实现数据接入;对于实时计算任务的数据源,可以使用Kafka MirrorMaker、Nginx流量镜像配置等方式,将实时数据上报到双跑的两个平台。
大数据架构设计 设计原则 大数据集群设计 大数据任务调度平台设计 大数据参考架构 华为云大数据组件 父主题: 方案设计
安全责任共担 华为云把安全合规作为首要任务,安全是华为云和客户的共同责任。在云服务模式下,华为云与客户共同承担云环境的安全保护责任,为明确双方的责任,确定责任边界,华为云制定了如下图所示的责任共担模型。
支持镜像方式数据拷贝,适合于互联网模式下的静态文件分布式部署,可扩充性好。 数据库迁移 数据库主要分为关系型数据库与非关系型数据库两大类,能保持数据一致性是关系型数据的最大优势,从IDC或者云上将数据库迁移到华为云,有以下三种方法: 利用SMS主机迁移。