华为云大数据组件 常用的华为云大数据服务组件如下,设计大数据部署架构时可参考: MapReduce服务(MapReduce Service,简称MRS) MRS是一个在华为云上部署和管理Hadoop系统的服务,一键即可部署Hadoop集群,完全兼容开源接口,轻松运行Hadoop、
基础上进行资源共享,该方式仅限于拥有租户可见IP地址的资源,如NTP服务器、自建DNS服务器或者SFS文件存储等。 基于RAM的共享:通过华为云RAM服务设置资源共享,授权其他组织单元和账号使用该共享资源的权限,该共享方式更加安全。目前支持通过RAM进行跨账号共享的资源清单请参考官网文档。
码注入、文件包含、敏感文件访问、第三方应用漏洞攻击、CC攻击、恶意爬虫扫描、跨站请求伪造等攻击,保护Web服务安全稳定。在WAF管理控制台将网站添加并接入WAF,即可启用WAF。启用之后,您网站所有的公网流量都会先经过WAF,恶意攻击流量在WAF上被检测过滤,而正常流量返回给源站
Zone 为了实现业务单元的安全和故障隔离,华为云的推荐做法是将不同业务单元的应用系统分别部署在不同的账号中。华为云账号具备以下三个属性。 华为云账号是一个资源容器,用户可以在其中部署任意云资源和上层业务应用系统,不同的账号相当于不同的资源容器,账号之间是完全隔离的。因此在一个账号
使用nginx或openresty做流量转发 方案1:使用SMS主机迁移工具将nginx或openresty服务运行的服务器迁移到华为云,并修改对应的转发策略。 方案2:在华为云ECS服务上重新部署nginx或openresty,然后拷贝源端配置文件到目的端,并修改配置文件的转发策略。 负载均衡器
P结合keep-alive实现。 跨境业务需要提升指定区域用户范围跨境资源的体验时,选择云连接CC搭配全球加速GA,使流量通过华为云骨干网实现降低时延的效果。 低并发、大流量基础四/七层负载分发场景建议选择共享型ELB并开启性能保障模式(支持5万并发),购买两个实例、通过域名解析分流可获得更大的并发支持。
高性能计算、媒体处理、文件共享和内容管理和Web服务等 大数据分析、静态网站托管、在线视频点播、基因测序和智能视频监控等 存储逻辑 存放的是二进制数据,无法直接存放文件,如果需存放要先格式化文件系统 存放的是文件,会以文件和文件夹的层次结构来整理和呈现 存放的是对象,可以直接存放文件,文件会自动
用的中台成本。 华为云提供多种成本分配能力支撑企业分配成本: 直接成本分配:企业可以通过按照资源产生成本时归属的关联账号、企业项目或成本标签进行成本分配。 权益商品成本分摊:包年包月、资源包等权益商品成本,按照实际使用情况摊销到企业项目、标签和资源。 流量型资源的公共成本按用量拆
性; 修改配置,将华为云应用层指向华为云数据层,启动应用服务; 外部DNS域名解析,解析地址从源端切换到华为云,流量进入华为云。 图4 数据层整体切换 应用层灰度切流,数据层分批切换 应用层灰度切流前做好如下准备工作: 源端应用层已迁移或部署到华为云; 华为云应用层跨云访问源端数
据层,实现双写。注意:双写的数据一致性由应用逻辑保障; 实时对比源端和目标端数据一致性; 历史数据迁移至华为云数据层; 修改外部DNS域名解析地址,将外部流量从源端切换到华为云。 图1 不停服切换方案 父主题: 设计切换方案
在业务网关部署GoReplay工具,复制现网流量,在目的端进行回放。 低成本、效率高:无需梳理各个系统的接口和业务逻辑,可以直接基于实际流量进行测试 一方面线上大量真实流量确保覆盖率,另一方面支持中间过程的验证,例如发送消息的内容、中间计算过程等等的全对象的对比验证,传统手工编写验证点很难实现。
ER),通过ER联通各账号下的VPC网络,从而实现多账号共享使用VPN和云专线与线下IDC互通,也能实现多账号共享使用公网NAT网关与互联网通信,还能共享使用云连接与其他Region进行互通。 在该账号下统一管理网络资源,一方面可以减少管理工作量,另外也有利于制定和实施统一的网
HBase会把数据存储在HDFS上,主要包括HFile文件和WAL文件,由配置项“hbase.rootdir”指定在HDFS上的路径,华为云MRS的默认存储位置是“/hbase”文件夹下。HBase自带的一些机制和工具命令也可以实现数据搬迁,例如:通过导出Snapshots快照
对象存储迁移服务(OMS):可以将其他云服务商对象存储服务中的数据在线迁移至华为云对象存储服务(OBS),具体使用方法请查看OMS帮助文档。 资源发现与评估工具(RDA)需要部署在华为云VPC内的ECS云服务器(Windows操作系统)上;对象存储迁移工具(OMS)为公共服务,不占用VPC内网IP资源,如果通过专
生产数据中心和容灾中心分别部署在华为云 2 个不同 Region。 生产中心采用双AZ部署(双活、热备),容灾中心单AZ。 在生产和容灾中心分别部署RDS数据库实例,数据库 1:1:1 主备复制。 生产和容灾中心产生的配置、日志、快照和备份等,通过 OBS 实现跨区复制。 生产站点某
使用备份功能将rdb文件输出到S3中。 备份数据上传至OBS: EC2:使用OBS Browser/obsutil工具将备份文件(aof/rdb)上传至DCS所在的Region的OBS。 S3:创建OMS任务,将S3中的rdb备份文件迁移传输到DCS所在的Region的OBS。 创建DCS迁移任务:
服务,通过调用源端对象存储的SDK,可快速传输数据并对数据进行加密存储,将数据复制到华为云OBS,可以帮助把对象存储数据从其他云服务商对象存储服务中的数据轻松、平滑地迁移到华为云。通过第一次全量任务,将源端对象存储全量数据迁移至华为云OBS,业务切换时,在华为云配置回源规则,将部
导出源端HIVE元数据,导入华为云MRS-Hive 外置元数据MySQL 使用华为云DRS服务同步MySQL中的元数据到云上RDS 存量数据 Hive历史数据存放在HDFS 使用华为云CDM工具迁移所有历史数据到华为云MRS服务或华为云OBS存储(存算分离场景) Hbase历史数据 使用华为云CDM工具迁移所有历史数据到华为云MRS服务
拟演练源端到目的端的切换步骤。 图3 演练环境 若企业源端有测试或预生产环境可以用作演练的源端,则只需在华为云搭建一套目的端即可。演练的目的端也可以复用华为云的生产环境,但是需要注意和生产环境要做好隔离,否则可能演练过程影响生产,造成重大事故。 图4 演练环境 演练实施和复盘 演练实施通常按照如下步骤进行:
化数据的存储方式主要为文件存储和对象存储。 NAS迁移方案 表5 NAS迁移方案 迁移方案 迁移方式 特点 适用场景 华为云CDM服务 (海量数据迁移推荐) 全量+增量 操作简单,支持增量迁移。对海量数据支持更好 适用于将源端对象存储、网络文件存储,大数据存储迁移至华为云OBS对
您即将访问非华为云网站,请注意账号财产安全