检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
华为云大数据组件 常用的华为云大数据服务组件如下,设计大数据部署架构时可参考: MapReduce服务(MapReduce Service,简称MRS) MRS是一个在华为云上部署和管理Hadoop系统的服务,一键即可部署Hadoop集群,完全兼容开源接口,轻松运行Hadoop、
存储服务选型 华为云提供的存储服务主要是OBS(Object Storage Service,对象存储服务)、EVS(Elastic Volume Service,弹性云硬盘)、SFS(Scalable File Service,弹性文件服务)等,这三类存储服务的对比表如下所示。
公共服务管理 首先您要识别出各个业务单元所需要的公共IT服务和资源,比如NTP服务器、SFS文件存储、自建DNS服务器、OBS桶、虚拟机镜像、证书等,也可以是CodeArts等PaaS服务。然后集中部署和维护这些公共IT服务,将其共享给公司内所有业务单元。华为云提供了三种资源共享的方式。
用户接入采用多线路动态BGP,实现公网访问线路的自动容错,可靠性高; 华为云ELB采用集群跨可用区高可靠部署,单数据中心机房故障对业务无影响; 应用接入层采用跨可用区集群部署,单可用区的故障不会影响到全局业务; 业务容器POD多副本均衡的跨AZ部署,通过华为云CCE容器引擎的调度策略实现,从而确保业务负载跨数据中心高可靠;
S数据迁移帮助文档。 云数据迁移服务(CDM):支持近20种常用数据源,满足数据在云上和云下的不同迁移场景。具体使用方法请查看CDM帮助文档。 对象存储迁移服务(OMS):可以将其他云服务商对象存储服务中的数据在线迁移至华为云对象存储服务(OBS),具体使用方法请查看OMS帮助文档。
Hadoop数据迁移到华为云MRS服务 如图所示,将IDC机房或者其他公有云的Hadoop集群中的数据迁移到华为云MRS服务。详细操作指导请参考官网文档。 图1 Hadoop数据迁移 HBase数据迁移到华为云MRS服务 将IDC机房或其他公有云的HBase集群中的数据迁移到华为云MRS服务
数据迁移服务,通过调用源端对象存储的SDK,可快速传输数据并对数据进行加密存储,将数据复制到华为云OBS,可以帮助把对象存储数据从其他云服务商对象存储服务中的数据轻松、平滑地迁移到华为云。通过第一次全量任务,将源端对象存储全量数据迁移至华为云OBS,业务切换时,在华为云配置回源规
将成本按照业务语义分配到有意义的分组,拆分公共成本 成本明细 获取成本分配明细(下载和OBS订阅) 账单数据存储 订阅详细的账单明细到OBS桶 云智能看板(CXO看板) 面向CXO、高管以及组织管理者提供的仪表盘集合。 成本节省与优化 按需转包年包月优化评估 获取按需转包年包月商品的成本优化机会 资源包使用率/覆盖率分析
桶策略和VPCEP策略可以结合起来使用,达到“双端固定”的效果,一方面,设置VPCEP策略可以限制VPC中的服务器(ECS/CCE/BMS)只能访问OBS中的特定资源;另一方面,设置桶策略可以限定OBS中的桶只能被特定VPC中的服务器访问,从而在请求来源和被访问资源两个角度保障了安全性。关于如何配置双端固定,请查看这个链接。
机迁移到华为云弹性云服务器上,从而帮助您轻松地把服务器上的应用和数据迁移到华为云,主机迁移服务工作原理如下图所示: 图1 SMS迁移过程 主机迁移服务的安全传输原理指的是:源端服务器中的迁移Agent从主机迁移服务获取到迁移指令后,会动态生成安全证书和密钥并且通过华为云OpenStack
导出源端HIVE元数据,导入华为云MRS-Hive 外置元数据MySQL 使用华为云DRS服务同步MySQL中的元数据到云上RDS 存量数据 Hive历史数据存放在HDFS 使用华为云CDM工具迁移所有历史数据到华为云MRS服务或华为云OBS存储(存算分离场景) Hbase历史数据 使用华为云CDM工具迁移所有历史数据到华为云MRS服务
迁移方式 特点 适用场景 华为云DRS数据复制服务 (推荐) 全量+增量迁移 配置简单,一键迁移,支持实时同步增量数据 1.适用于自建或云服务MySQL实例迁移华为云服务MySQL实例 2.适用于自建或云服务MySQL实例迁移至华为云自建MySQL实例(需先迁到云服务再迁移到自建) mysqldump导出导入
备份数据上传至OBS: EC2:使用OBS Browser/obsutil工具将备份文件(aof/rdb)上传至DCS所在的Region的OBS。 S3:创建OMS任务,将S3中的rdb备份文件迁移传输到DCS所在的Region的OBS。 创建DCS迁移任务: 在DCS服务中的数据
包年包月:通过预付一定周期的资源使用费用,来获取优惠的计费模式。一般适用于资源长期使用,业务较稳定的场景。 资源包:一种特殊的包年包月,可通过预付一定周期下某种资源使用量的费用,来获取优惠的计费模式。资源包可以抵扣多个资源的用量,适用于长期使用且用量比较稳定的场景。 竞价计费:适应于业务稳定性不高,
云原生安全服务 华为云提供了丰富的云原生安全服务,这些云原生安全云服务与华为的云平台深度集成,在性能、弹性、便利性上有较好的优势,同时,云服务商的安全运营经验也会持续推动云原生安全服务的能力提升,建议企业优先选择云原生安全服务。 数据加密服务 数据加密服务(Data Encryption
数据层:包括数据库、对象存储、文件系统,数据库一般通过华为云的数据迁移工具DRS做迁移,对象存储一般通过华为云对象存储迁移工具OMS做迁移,文件系统一般通过Rsync等迁移工具来迁移。 迁移工具兼容性 迁移工具的兼容性以各个迁移工具官网文档发布的最新结果为准: SMS兼容的操作系统清单
Service 云凭据管理服务 CSP Cloud Service Provider 云服务提供商或云服务商 CSR Corporate social responsibility 企业社会责任 DBSS Database Security Service 数据库安全服务 DC Direct
为什么需要Landing Zone 为了实现业务单元的安全和故障隔离,华为云的推荐做法是将不同业务单元的应用系统分别部署在不同的账号中。华为云账号具备以下三个属性。 华为云账号是一个资源容器,用户可以在其中部署任意云资源和上层业务应用系统,不同的账号相当于不同的资源容器,账号之间
N、CFW、WAF、AAD等 公共服务账号 集中部署和管理企业的公共资源、服务和应用系统,并共享给其他所有成员账号使用 公共服务管理团队 镜像服务IMS、容器镜像服务SWR、弹性文件服务SFS、对象存储服务OBS、自建NTP服务器、自建AD服务器等公共资源 安全运营账号 作为企业
软件制品部署到各个业务账号; 公共服务账号需要与本地IDC互联; 生产、开发、测试环境要求网络隔离。 图2 各账号VPC网络的连通性矩阵 日志账号是集中存放审计日志和运行日志的地方,主要使用了华为云的CTS服务、LTS服务和OBS服务,该三个服务没有租户面IP地址,所以不需要考虑