华为云大数据组件 常用的华为云大数据服务组件如下,设计大数据部署架构时可参考: MapReduce服务(MapReduce Service,简称MRS) MRS是一个在华为云上部署和管理Hadoop系统的服务,一键即可部署Hadoop集群,完全兼容开源接口,轻松运行Hadoop、
基础上进行资源共享,该方式仅限于拥有租户可见IP地址的资源,如NTP服务器、自建DNS服务器或者SFS文件存储等。 基于RAM的共享:通过华为云RAM服务设置资源共享,授权其他组织单元和账号使用该共享资源的权限,该共享方式更加安全。目前支持通过RAM进行跨账号共享的资源清单请参考官网文档。
码注入、文件包含、敏感文件访问、第三方应用漏洞攻击、CC攻击、恶意爬虫扫描、跨站请求伪造等攻击,保护Web服务安全稳定。在WAF管理控制台将网站添加并接入WAF,即可启用WAF。启用之后,您网站所有的公网流量都会先经过WAF,恶意攻击流量在WAF上被检测过滤,而正常流量返回给源站
e实现。 跨境业务需要提升指定区域用户范围跨境资源的体验时,选择云连接CC搭配全球加速GA,使流量通过华为云骨干网实现降低时延的效果。 低并发、大流量基础四/七层负载分发场景建议选择共享型ELB并开启性能保障模式(支持5万并发),购买两个实例、通过域名解析分流可获得更大的并发支持。
使用nginx或openresty做流量转发 方案1:使用SMS主机迁移工具将nginx或openresty服务运行的服务器迁移到华为云,并修改对应的转发策略。 方案2:在华为云ECS服务上重新部署nginx或openresty,然后拷贝源端配置文件到目的端,并修改配置文件的转发策略。 负载均衡器
务使用的中台成本。 华为云提供多种成本分配能力支撑企业分配成本: 直接成本分配:企业可以通过按照资源产生成本时归属的关联账号、企业项目或成本标签进行成本分配。 权益商品成本分摊:包年包月、资源包等权益商品成本,按照实际使用情况摊销到企业项目、标签和资源。 流量型资源的公共成本按用
性; 修改配置,将华为云应用层指向华为云数据层,启动应用服务; 外部DNS域名解析,解析地址从源端切换到华为云,流量进入华为云。 图4 数据层整体切换 应用层灰度切流,数据层分批切换 应用层灰度切流前做好如下准备工作: 源端应用层已迁移或部署到华为云; 华为云应用层跨云访问源端数
据层,实现双写。注意:双写的数据一致性由应用逻辑保障; 实时对比源端和目标端数据一致性; 历史数据迁移至华为云数据层; 修改外部DNS域名解析地址,将外部流量从源端切换到华为云。 图1 不停服切换方案 父主题: 设计切换方案
绍如何通过GoReplay流量复制进行性能压测。 GoReplay是一个用于复制、重放和操作HTTP流量的开源工具。它可以捕获实时流量,并将其发送到一个或多个目标服务器,从而实现流量的复制和重放。通过GoReplay,可以将实际的HTTP请求和响应流量复制到测试、开发或生产环境中
ER),通过ER联通各账号下的VPC网络,从而实现多账号共享使用VPN和云专线与线下IDC互通,也能实现多账号共享使用公网NAT网关与互联网通信,还能共享使用云连接与其他Region进行互通。 在该账号下统一管理网络资源,一方面可以减少管理工作量,另外也有利于制定和实施统一的网
生产数据中心和容灾中心分别部署在华为云 2 个不同 Region。 生产中心采用双AZ部署(双活、热备),容灾中心单AZ。 在生产和容灾中心分别部署RDS数据库实例,数据库 1:1:1 主备复制。 生产和容灾中心产生的配置、日志、快照和备份等,通过 OBS 实现跨区复制。 生产站点某
接入层:Apisix双AZ均衡分布,当某个AZ出现故障时,ELB健康检查机制仍可将流量转发到正常AZ的Apisix实例处理。 应用层:容器化部署,业务节点跨AZ分布。即使某AZ异常,Apisix可以将流量转发到正常应用后端。 中间件层:Kafka、Solr和ES采用3AZ集群部署,任
使用备份功能将rdb文件输出到S3中。 备份数据上传至OBS: EC2:使用OBS Browser/obsutil工具将备份文件(aof/rdb)上传至DCS所在的Region的OBS。 S3:创建OMS任务,将S3中的rdb备份文件迁移传输到DCS所在的Region的OBS。 创建DCS迁移任务:
导大数据应用的切换。 双跑场景:大数据应用分别在源环境和目标环境各部署一套,实现双跑,切换点在域名,业务切换时只需要进行域名的切换,将业务流量切换到新应用。 图1 双跑场景 推数场景:适用于数据源主动向应用推数的场景,切换点在数据源,需要停止旧数据源推数,配置并启动新数据源向应用
数据层:包括数据库、对象存储、文件系统,数据库一般通过华为云的数据迁移工具DRS做迁移,对象存储一般通过华为云对象存储迁移工具OMS做迁移,文件系统一般通过Rsync等迁移工具来迁移。 迁移工具兼容性 迁移工具的兼容性以各个迁移工具官网文档发布的最新结果为准: SMS兼容的操作系统清单
中心的多账号授权方式访问和管理其他账号下的云资源。例如,IaaS管理员和PaaS管理员需要统一管理企业范围内各个账号的IaaS资源和中间件资源,这就需要采用IAM身份中心提供的多账号授权方式访问部署在其他账号下的IaaS资源和中间件资源,如下图所示。 图3 – IaaS管理员和P
导出源端HIVE元数据,导入华为云MRS-Hive 外置元数据MySQL 使用华为云DRS服务同步MySQL中的元数据到云上RDS 存量数据 Hive历史数据存放在HDFS 使用华为云CDM工具迁移所有历史数据到华为云MRS服务或华为云OBS存储(存算分离场景) Hbase历史数据 使用华为云CDM工具迁移所有历史数据到华为云MRS服务
拟演练源端到目的端的切换步骤。 图3 演练环境 若企业源端有测试或预生产环境可以用作演练的源端,则只需在华为云搭建一套目的端即可。演练的目的端也可以复用华为云的生产环境,但是需要注意和生产环境要做好隔离,否则可能演练过程影响生产,造成重大事故。 图4 演练环境 演练实施和复盘 演练实施通常按照如下步骤进行:
化数据的存储方式主要为文件存储和对象存储。 NAS迁移方案 表5 NAS迁移方案 迁移方案 迁移方式 特点 适用场景 华为云CDM服务 (海量数据迁移推荐) 全量+增量 操作简单,支持增量迁移。对海量数据支持更好 适用于将源端对象存储、网络文件存储,大数据存储迁移至华为云OBS对
获取成本分配明细(下载和OBS订阅) 账单数据存储 订阅详细的账单明细到OBS桶 云智能看板(CXO看板) 面向CXO、高管以及组织管理者提供的仪表盘集合。 成本节省与优化 按需转包年包月优化评估 获取按需转包年包月商品的成本优化机会 资源包使用率/覆盖率分析 了解已购买资源包的使用效率 资源包建议
您即将访问非华为云网站,请注意账号财产安全