检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
华为云大数据组件 常用的华为云大数据服务组件如下,设计大数据部署架构时可参考: MapReduce服务(MapReduce Service,简称MRS) MRS是一个在华为云上部署和管理Hadoop系统的服务,一键即可部署Hadoop集群,完全兼容开源接口,轻松运行Hadoop、
基于RAM的共享:通过华为云RAM服务设置资源共享,授权其他组织单元和账号使用该共享资源的权限,该共享方式更加安全。目前支持通过RAM进行跨账号共享的资源清单请参考官网文档。 基于资源策略的共享:通过资源策略授予其他账号访问资源的权限,如OBS服务的桶策略、IMS服务的共享镜像和CBR的共享备份等。
其他选择,如Kubernetes等。 容器化应用程序:将应用程序拆分为较小的模块或微服务,并将每个模块打包为独立的容器镜像。使用Dockerfile定义容器镜像的构建过程,包括依赖安装、配置和启动命令。 容器编排与管理:如果需要管理多个容器实例、自动扩展和负载均衡等功能,可以使用
Landing Zone参考架构 公司IT治理架构 组织和账号设计 整体架构设计 身份和权限设计 整体网络架构 公共服务管理 多账号统一管理 数据边界 父主题: Landing Zone设计
上IT资源,就不需要在华为云上创建一个对应HR部门的组织单元;财务小张不负责IT系统的成本核算、分析和预算管理,就无需为小张在华为云上创建一个拥有财务管理权限的用户。 华为云提供以下组织单元和账号的参考架构,建议按照业务架构、地理架构、IT职能等维度设计华为云上的组织单元的层级结构和账号群。
移。 图2 镜像导出导入方案 在源端与目标端无法通过网络使用SMS主机迁移服务进行整机迁移时,可以使用IMS镜像服务进行整机迁移。将源端服务器的系统盘和数据盘分别制作私有镜像,上传至华为云OBS对象存储服务中,在IMS镜像服务中,使用上传的外部镜像文件制作成私有镜像,最后使用私有
传统架构的应用,通常部署在物理机或虚拟机,建议优先通过华为云SMS主机迁移工具进行迁移;如果无法使用华为云SMS进行迁移的,可以采用应用重新部署的方式;对于可停机迁移的应用,也可以考虑采用镜像导出导入的方式进行迁移,详细方案见下表: 表1 主机平迁方案 迁移方案 迁移方式 特点 适用场景 使用华为云SMS主机迁移工具迁移(推荐)
FinOps参考架构 华为云结合FinOps基金会的FinOps框架和华为自身的FinOps实践总结提炼的一套FinOps参考架构,如下图所示,总体上包含成本计划、成本控制、成本分析和成本优化四个阶段。 图1 华为云FinOps参考框架 华为云还提供的丰富的成本管理工具,提升成本
集中身份权限管理:通过IAM身份中心提供的多账号统一身份管理与访问控制的功能,中心IT部门可以统一管理企业中使用华为云的用户,一次性配置企业的身份管理系统与华为云的单点登录,以及所有用户对组织下账号的访问权限。管理员集中创建用户,分配登录密码,并对其进行分组管理。集中权限管理
FinOps 概述 FinOps参考架构 成本计划 成本控制 成本分析 成本优化 父主题: 运维治理
实现自动化的持续集成和持续交付(CI/CD)流水线。 沉淀和复用企业内的公共组件和服务。 建立完善的监控和运维机制。 确保平台的安全性和合规性。 基于华为云搭建IDP 华为云提供了丰富的云服务可以帮助您快速构建企业的内部开发平台。 应用平台(AppStage)是基于平台工程理念打造的下一代应用全生命周
Hadoop数据迁移到华为云MRS服务 如图所示,将IDC机房或者其他公有云的Hadoop集群中的数据迁移到华为云MRS服务。详细操作指导请参考官网文档。 图1 Hadoop数据迁移 HBase数据迁移到华为云MRS服务 将IDC机房或其他公有云的HBase集群中的数据迁移到华为云MRS服务
优秀的跨部门沟通、协作和问题解决能力。 IT部门 公共服务管理员 识别各个业务单元所需要的公共IT服务和资源,比如NTP服务器、AD服务器、自建DNS服务器、OBS桶、容器镜像库等,也可以是CodeArts等PaaS服务。 负责集中部署和维护这些公共IT服务,并将其共享给公司内所有业务单元使用。 保障公共IT服务的安全稳定运行。
安全责任共担 华为云把安全合规作为首要任务,安全是华为云和客户的共同责任。在云服务模式下,华为云与客户共同承担云环境的安全保护责任,为明确双方的责任,确定责任边界,华为云制定了如下图所示的责任共担模型。 图1 安全责任共担模型 华为云的安全责任在于保障云平台和云服务自身的安全,涵
计算服务选型 华为云提供的计算服务主要是ECS(Elastic Cloud Server)服务和CCE(Cloud Container Engine)服务,华为云提供了很多ECS的实例类型,如下表所示,以满足多样化的计算场景需求。关于上述ECS实例类型的详细信息,请查看实例类型。
应用架构设计 应用部署架构概述 可用性设计 可扩展性设计 性能设计 应用部署参考架构 父主题: 方案设计
、平滑地迁移到华为云。通过第一次全量任务,将源端对象存储全量数据迁移至华为云OBS,业务切换时,在华为云配置回源规则,将部分增量数据,通过回源的方式迁移至华为云OBS,在业务切换后,再进行一次全量迁移,本次全量迁移,将自动跳过已经迁移的对象,将剩余增量数据迁移至华为云OBS。 在
导出源端HIVE元数据,导入华为云MRS-Hive 外置元数据MySQL 使用华为云DRS服务同步MySQL中的元数据到云上RDS 存量数据 Hive历史数据存放在HDFS 使用华为云CDM工具迁移所有历史数据到华为云MRS服务或华为云OBS存储(存算分离场景) Hbase历史数据 使用华为云CDM工具迁移所有历史数据到华为云MRS服务
存储服务选型 华为云提供的存储服务主要是OBS(Object Storage Service,对象存储服务)、EVS(Elastic Volume Service,弹性云硬盘)、SFS(Scalable File Service,弹性文件服务)等,这三类存储服务的对比表如下所示。
大数据架构设计 设计原则 大数据集群设计 大数据任务调度平台设计 大数据参考架构 华为云大数据组件 父主题: 方案设计