检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
验证 数据校验 数据库的对比方法有数据库内容对比、对象对比、行数对比,文件的对比方法有文件数量对比,大小对比,内容对比。具体的数据对比的方法请参考章节数据验证的内容。 任务验证 大数据任务迁移后,要确保作业能够正常运行、产生准确的结果,并且满足性能要求。
同步后会再对比源端和目的端文件数量。 文件大小 python脚本 迁移完成后,通过对比源端和目的端总文件大小判断是否一致。 文件内容 python脚本 迁移完成后,通过计算源端和目的端文件的哈希值,比较两个文件的哈希值是否一致。 父主题: 验证
System for Cross-domain Identity Management 跨域身份管理 SCP Service Control Policy 服务控制策略 SecMaster Security Master 安全云脑 SFS Scalable File Service 弹性文件服务
Web服务等 大数据分析、静态网站托管、在线视频点播、基因测序和智能视频监控等 存储逻辑 存放的是二进制数据,无法直接存放文件,如果需存放要先格式化文件系统 存放的是文件,会以文件和文件夹的层次结构来整理和呈现 存放的是对象,可以直接存放文件,文件会自动产生对应的系统元数据,用户也可以自定义文件的元数据
Web应用防火墙服务 Web应用防火墙(Web Application Firewall,WAF),通过对HTTP(S)请求进行检测,识别并阻断SQL注入、跨站脚本攻击、网页木马上传、命令/代码注入、文件包含、敏感文件访问、第三方应用漏洞攻击、CC攻击、恶意爬虫扫描、跨站请求伪造等攻击
常见的数据存储技术包括分布式文件系统(如HDFS)、列式数据库(如HBase)等。这些存储系统提供高可靠性、可扩展性和容错性,以支持大规模数据的存储和访问需求。 大数据计算: 大数据计算是对海量数据进行分布式、并行和实时处理的关键环节。
应用迁移上云简介 应用迁移上云简介 应用上云迁移是指将应用的接入层、应用层、中间件层和数据层迁移到云端的过程,迁移策略采用Rehost或Replatform,不含Refactor(应用改造),数据层包含对象存储、块存储、文件存储、关系型数据库、非关系型数据库。
对海量数据支持更好 适用于将源端对象存储、网络文件存储,大数据存储迁移至华为云OBS对象存储、华为云SFS弹性文件存储、华为云大数据存储中的海量数据迁移。
图1 资源共享方案 基于网络的共享:通过ER或VPC Peering将账号之间的网络打通,在此基础上进行资源共享,该方式仅限于拥有租户可见IP地址的资源,如NTP服务器、自建DNS服务器或者SFS文件存储等。
如下图: 图3 大数据双跑方案 双跑方案的设计思路如下: 数据和任务迁移 在数据源接入前,先进行数据和任务的迁移,包括将历史数据从原平台迁移到新的大数据平台,并迁移相关的作业代码、脚本和配置文件等。
数据层:包括数据库、对象存储、文件系统,数据库一般通过华为云的数据迁移工具DRS做迁移,对象存储一般通过华为云对象存储迁移工具OMS做迁移,文件系统一般通过Rsync等迁移工具来迁移。
文件存储迁移 NAS文件存储是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统。
HBase会把数据存储在HDFS上,主要包括HFile文件和WAL文件,由配置项“hbase.rootdir”指定在HDFS上的路径,华为云MRS的默认存储位置是“/hbase”文件夹下。
解析配置文件:对于每个配置文件,需要编写脚本或使用现有工具来解析其内容,脚本可以根据文件格式和语法规则,提取出关键信息并进行处理。
数据层:负责系统业务数据的持久化,为上层业务逻辑的实现提供数据支持,一般是各类数据库、文件系统等。
离线备份导入 备份文件导入方式当前支持迁移到Redis3.0、Redis4.0和Redis5.0;暂时不支持导入自建Redis5.0生成的rdb备份文件。
通过编写配置文件或使用命令行工具,定义容器的部署和运行方式。 网络和存储配置:配置容器之间的网络通信和访问外部资源的方式。确保容器可以与其他容器、数据库、消息队列等进行交互,并确保数据持久性和可靠性。
将源端服务器的系统盘和数据盘分别制作私有镜像,上传至华为云OBS对象存储服务中,在IMS镜像服务中,使用上传的外部镜像文件制作成私有镜像,最后使用私有镜像发放云服务器,完成整机迁移。迁移后的主机操作系统、系统配置,数据文件与源端服务器完全一致。
全量迁移 离线迁移,操作复杂,源端业务停机时间长,需要源端业务停机后制作RDB/AOF文件,不支持增量同步数据 所有 消息中间件迁移方案 确定消息中间件的切换场景 表3 消息中间件切换场景 适用产品 切换窗口 迁移方式 Kafka RabbitMQ RocketMQ ActiveMQ
方案2:在华为云ECS服务上重新部署nginx或openresty,然后拷贝源端配置文件到目的端,并修改配置文件的转发策略。