检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
存储服务选型 华为云提供的存储服务主要是OBS(Object Storage Service,对象存储服务)、EVS(Elastic Volume Service,弹性云硬盘)、SFS(Scalable File Service,弹性文件服务)等,这三类存储服务的对比表如下所示。
消息中间件:华为云提供的分布式消息中间件主要包含:Kafka、RabbitMQ、RocketMQ等。 数据层:负责系统业务数据的持久化,为上层业务逻辑的实现提供数据支持,一般是各类数据库、文件系统等。
区块链 区块链是一种去中心化、分布式的账本技术,可以确保数据的安全性和可信度。以下是区块链如何使能业务创新、与业务结合并推动业务现代化的几个方面: 透明度和可信度:区块链技术通过去中心化的特点,确保所有交易和数据记录被公开透明地存储,并且无法篡改。
云搜索服务(Cloud Search Service,简称CSS) 基于Elasticsearch且完全托管的在线分布式搜索服务,为用户提供结构化、非结构化文本、以及基于AI向量的多条件检索、统计、报表。
文件存储迁移 NAS文件存储是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统。
常见的数据存储技术包括分布式文件系统(如HDFS)、列式数据库(如HBase)等。这些存储系统提供高可靠性、可扩展性和容错性,以支持大规模数据的存储和访问需求。 大数据计算: 大数据计算是对海量数据进行分布式、并行和实时处理的关键环节。
图1 资源共享方案 基于网络的共享:通过ER或VPC Peering将账号之间的网络打通,在此基础上进行资源共享,该方式仅限于拥有租户可见IP地址的资源,如NTP服务器、自建DNS服务器或者SFS文件存储等。
横向(水平)扩展:适用于分布式应用、无状态应用、快速变化的应用等场景下,固定数据的资源配比显然已经无法应对业务的快速变化,此时就可以依托于云上丰富的资源和快速的水平伸缩能力来应对。
分布式架构:云平台支持分布式系统架构设计,允许应用程序在多个服务器或节点上运行,分散负载,避免单点故障,提高系统的扩展性和可用性。 自动弹性伸缩:利用云平台的自动化伸缩功能,系统可以根据预设的策略自动增加资源实例,以应对流量高峰,保持性能稳定。
数据层可扩展设计要点 数据库中间件层:分布式数据库中间件采用华为云DDM,DDM本身集群部署,随着数据库业务增加,可平滑扩容DDM集群的规格,应对更大量的数据库处理。
应用迁移上云简介 应用迁移上云简介 应用上云迁移是指将应用的接入层、应用层、中间件层和数据层迁移到云端的过程,迁移策略采用Rehost或Replatform,不含Refactor(应用改造),数据层包含对象存储、块存储、文件存储、关系型数据库、非关系型数据库。
对海量数据支持更好 适用于将源端对象存储、网络文件存储,大数据存储迁移至华为云OBS对象存储、华为云SFS弹性文件存储、华为云大数据存储中的海量数据迁移。
一种常见的方法是使用分布式事务管理器(如Saga模式),以保证微服务之间的数据操作具有一致性和原子性。 实施监控和日志记录: 对于微服务架构,实施全面的监控和日志记录是非常重要的。使用适当的监控工具和日志系统,收集和分析每个微服务的指标和日志,以及整体系统的性能和故障信息。
Web应用防火墙服务 Web应用防火墙(Web Application Firewall,WAF),通过对HTTP(S)请求进行检测,识别并阻断SQL注入、跨站脚本攻击、网页木马上传、命令/代码注入、文件包含、敏感文件访问、第三方应用漏洞攻击、CC攻击、恶意爬虫扫描、跨站请求伪造等攻击
主机迁移服务(SMS):是一种P2V/V2V迁移服务,可以把X86物理服务器或者私有云、公有云平台上的虚拟机迁移到华为云弹性云服务器云主机上,具体使用方法请查看SMS帮助文档。 数据复制服务(DRS):用于数据库实时迁移和数据库实时同步的云服务。
Scalable File Service 弹性文件服务 SLA Service Level Agreement 服务水平协议 SLO Service Level Objective 服务水平目标 SNAT Source Network Address Translation 源地址转换
文件存储 文件数量 rclone Rclone迁移工具,使用MD5哈希值来验证文件的完整性。同步后会再对比源端和目的端文件数量。 rsync rsync迁移工具,使用MD5哈希值来验证文件的完整性,如果校验和不匹配,则rsync会重新传输该文件,以确保数据一致性。
具备数据库备份与恢复、主从同步、分布式架构的运维经验。 熟悉数据库安全策略和数据加密技术。 IT部门 自动化工程师 开发和维护自动化运维工具,提升运维效率。 实现云资源的自动化部署、监控和扩展。 编写脚本或代码实现日常运维任务的自动化。 推动智能化运维技术的应用,如AIOps。
验证 数据校验 数据库的对比方法有数据库内容对比、对象对比、行数对比,文件的对比方法有文件数量对比,大小对比,内容对比。具体的数据对比的方法请参考章节数据验证的内容。 任务验证 大数据任务迁移后,要确保作业能够正常运行、产生准确的结果,并且满足性能要求。
Pinpoint 开源 Pinpoint可以跟踪分布式应用程序之间的事务,以检查整体结构和运行状况。Pinpoint可以实时监控应用程序,并清晰快速地了解应用程序拓扑。 Workshop头脑风暴法:可以通过组织专题会议,引导熟悉业务系统的骨干人员梳理关联关系。