检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
华为云大数据组件 常用的华为云大数据服务组件如下,设计大数据部署架构时可参考: MapReduce服务(MapReduce Service,简称MRS) MRS是一个在华为云上部署和管理Hadoop系统的服务,一键即可部署Hadoop集群,完全兼容开源接口,轻松运行Hadoop、Spark
禁止公网访问华为云管理控制台,用户只能从内网访问控制台,确保敏感数据不经过互联网。 限制用户可以使用的Region,限制数据在不同Region间的转移,满足GDPR等合规要求。 父主题: Landing Zone参考架构
对海量数据支持更好 适用于将源端对象存储、网络文件存储,大数据存储迁移至华为云OBS对象存储、华为云SFS弹性文件存储、华为云大数据存储中的海量数据迁移。
大数据调研 平台调研 数据调研 任务调研 父主题: 调研评估
大数据迁移 调研 设计 部署 迁移 验证 切换 保障 父主题: 采用实施
通过第一次全量任务,将源端对象存储全量数据迁移至华为云OBS,业务切换时,在华为云配置回源规则,将部分增量数据,通过回源的方式迁移至华为云OBS,在业务切换后,再进行一次全量迁移,本次全量迁移,将自动跳过已经迁移的对象,将剩余增量数据迁移至华为云OBS。
云采用框架简介 概述 整体框架 目标读者 常用术语 缩略语
也可以使用华为云CDM云迁移服务进行HBase数据搬迁,详细操作指导请参考官网文档。 图2 HBase数据迁移 Hive数据迁移到华为云MRS服务 使用华为云CDM服务可以很方便将IDC机房或者其他公有云Hive集群中的数据迁移到华为云MRS服务,详细操作指导请参考官网文档。
资源发现与评估工具(RDA)需要部署在华为云VPC内的ECS云服务器(Windows操作系统)上;对象存储迁移工具(OMS)为公共服务,不占用VPC内网IP资源,如果通过专线迁移数据,则需要部署离线OMS工具在华为云VPC内的ECS云服务器上;其它工具均会暂时占用VPC内网IP资源
大数据架构设计 设计原则 大数据集群设计 大数据任务调度平台设计 大数据参考架构 华为云大数据组件 父主题: 方案设计
平台工程 什么是平台工程 如何构建平台工程 父主题: 顶层规划
Landing Zone参考架构 公司IT治理架构 组织和账号设计 整体架构设计 身份和权限设计 整体网络架构 公共服务管理 多账号统一管理 数据边界 父主题: Landing Zone设计
云卓越中心 云卓越中心简介 指导委员会 应用团队 云架构团队 云实施团队 云运维团队 云安全团队 云治理团队 FinOps团队 云项目经理 云卓越中心的演进 父主题: 顶层规划
应用架构设计 应用部署架构概述 可用性设计 可扩展性设计 性能设计 应用部署参考架构 父主题: 方案设计
安全责任共担 华为云把安全合规作为首要任务,安全是华为云和客户的共同责任。在云服务模式下,华为云与客户共同承担云环境的安全保护责任,为明确双方的责任,确定责任边界,华为云制定了如下图所示的责任共担模型。
云原生安全服务 华为云提供了丰富的云原生安全服务,这些云原生安全云服务与华为的云平台深度集成,在性能、弹性、便利性上有较好的优势,同时,云服务商的安全运营经验也会持续推动云原生安全服务的能力提升,建议企业优先选择云原生安全服务。
大数据应用部署 大数据应用的部署有2种方法,可以基于华为云ECS重新部署大数据应用,或者是使用华为云SMS工具将大数据应用迁移到华为云ECS。
图1 华为云FinOps参考框架 华为云还提供的丰富的成本管理工具,提升成本管理的效率,帮助企业在华为云上开展FinOps实践,持续提升云的成本效益。
Landing Zone设计 全面云化的IT治理挑战 为什么需要Landing Zone Landing Zone设计原则 Landing Zone参考架构 父主题: 顶层规划
云运营模式 什么是云运营模式 去中心化运营模式 集中化运营模式 赋能和协同运营模式 父主题: 顶层规划