检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 大数据的数据迁移顺序 元数据迁移 首先,进行元数据的迁移。元数据是描述数据的数据,包括数据结构、数据定义、数据关系等信息。在元数据迁移阶段,需要将原始数据的元数据信息导出,并在目标系统中重新建立或导入元数据,以确保目标系统能够正确理解和解析数据。 历史数据迁移 在元数据迁移完
Redis服务一般分为两种大的场景:缓存和数据库存储。在缓存时,一般不用进行迁移数据,大多数场景都是重新在华为云SQL数据库中重新缓存。一般迁移数据都是针对的Redis作为数据库存储使用的场景,其中在web场景下的缓存session时,也可以不用迁移,当客户端重新登录时会在华为云DCS中再一次存储。
大数据迁移批次规划说明 大数据迁移上云时,是选择整体迁移还是分批迁移,原则如下: 整体迁移的场景: 规模小:大数据平台数据量少(TB级),计算任务数量不多,可以采用整体迁移的方法,先在云上部署大数据平台,然后全量迁移元数据、数据和任务。 关联关系复杂:大数据任务之间的关联关系很复杂,很难拆分,此时也可以选择整体迁移。
华为云上的绝大部分云服务都具备高可用性的方案,提供了从数据中心、硬件、数据、自助服务等多个层次的高可用性构建能力。华为云数据中心布局于全球,可以满足不同地域(Region)的资源需求,每个地域又分多个可用区(AZ),可用区之间的风火水电相互独立,可用区之间的故障相互隔离。企业可在此基础上构建如下场景的高可用体系:
本最优的应用系统。 WAF涵盖了五大支柱,如下图所示。 图1 华为云卓越架构技术框架(Well-Architected Framework) 韧性支柱 韧性支柱关注系统在面对故障、压力和变化时的持续可用性和可靠性。它强调通过设计冗余组件、故障全面检测、过载控制和故障快速恢复等技术
档。 数据安全中心 数据安全中心服务(Data Security Center,DSC)是新一代的云化数据安全平台,提 供数据分级分类、数据安全风险识别、数据水印溯源和数据静态脱敏等基础数据安全能力。DSC通过数据安全总览整合数据安全生命周期各阶段状态,对外呈现整体云上数据安全态
是,华为云只是租户数据托管者,租户对其数据拥有所有权和控制权。华为云绝不允许运维运营人员在未经授权的情况下访问租户数据。华为云关注内外部合规要求的变化,负责遵从华为云服务所必需的安全法律法规,开展所服务行业的安全标准评估,并且向租户分享我们的合规实践,保持应有的透明度。 华为云携
调研大数据平台及业务的架构图及数据流图,如下图: 大数据平台及业务的架构图和数据流图。 平台数据接入源。 数据流入方式(如:实时数据上报、批量数据抽取)。 分析大数据平台数据流向,数据在平台内各个组件间的流向,例如:数据采集组件类型、采集组件下一层、存储数据组件,数据处理过程中的工作流等。 图2 数据流示例
当前企业业务中使用比较多的中间件类型为缓存中间件和消息中间件。中间件作为数据存储的临时场所,数据一般不用迁移,但在切换时,为了确保源端和目的端数据的一致性,需要等中间件消息队列中的消息完成消费后再切换。如果中间件缓存数据是持久化的,即作为数据库使用,此场景需要进行数据的迁移。所以中间件的迁移方案
用率性能数据,网络拓扑数据等),并提供其迁移到华为云的推荐配置以及主机的一站式迁移能力。 主机迁移服务(SMS):是一种P2V/V2V迁移服务,可以把X86物理服务器或者私有云、公有云平台上的虚拟机迁移到华为云弹性云服务器云主机上,具体使用方法请查看SMS帮助文档。 数据复制服务
续任务改造和迁移时,和关键人员及时沟通。 任务依赖关系 识别关键任务,识别任务间依赖关系。 调研的方法主要是通过当前大数据平台获取,并辅助一些调研访谈进行补充和确认。 父主题: 大数据调研
以提高整体性能。 数据安全和权限管理:审查和加强数据的访问控制和权限管理机制。确保只有经授权的人员可以访问敏感数据,并采取适当的加密和脱敏措施保护数据安全。 自动化任务调度:确保大数据任务调度平台的运行和调度正常。优化调度策略,确保任务按时准确完成,并处理可能的故障或异常情况。
成本预算计划 企业上云过程中,可以利用华为云的成本中心进行成本预算计划和管理。通过华为云的成本中心,企业可以实现对云开支的全面预算管理和监控,提高资源利用率,降低不必要的支出。合理的预算计划和持续的成本优化将有助于企业在云环境中获得更高的投资回报,实现业务的数字化转型目标。 制定预算计划时,可以参考以下内容:
量。 数据冗余和备份:在不同的AZ中实施数据冗余和备份策略,确保数据的可用性和可恢复性,即使一个AZ的数据丢失或不可用,仍能从其他AZ中的冗余数据进行恢复,确保数据的可用性和完整性。 自动故障恢复:设置自动化故障转移机制,在一个AZ发生故障时,自动将应用程序切换到其他可用的AZ上
先选择距离较近的AZ,可以降低网络延迟并提高应用的响应速度。 延迟验证 在正式实施双AZ高可用方案前,需要充分的测试和验证来评估应用程序在不同AZ之间的延迟情况。通过模拟真实负载的压力测试,来记录不同AZ之间的应用调用延迟,用于评估是否满足业务的需求,并做出相应的决策。 父主题:
流量的方式,流量逐步灰度切换到华为云接入层。 图5 应用层灰度切流 接下来进行数据层分批切换,某批次数据层切换步骤如下: 停止本批次数据层相关的应用和批处理任务。本批次的数据层静止(中间件消息队列中的消息消费完成,数据库无新增数据); 数据对比一致后,切换数据层; 修改相关的配置
主机迁移是典型的Rehost迁移方式,虽然主机(服务器)上可以承载各种系统应用如Nginx代理、数据库、容器、中间件、大数据等,但由于数据库/中间件/大数据等应用是以数据为核心,对于这类数据层面的迁移我们通常会采用独立的数据迁移方式而非主机迁移,这里讲的主机迁移对应的迁移层级为应用
停写不停读,主要指切换期间,为了追求较好的用户体验,保持一部分读的服务不停服,保持在线可使用状态;为了保持数据一致性,写的服务仍然采用停服方式进行切换。从业务对外体验上,多数用户感知不到停服的影响,比如某购物平台,用户仍然可以浏览商品,但是不能下单,下单时可友好的提示:系统正在升级中,预计凌晨4点恢复,请您稍后重试下单等。
/数据层,目标端的应用层指向源端和目标端的中间件层/数据层,实现双写。注意:双写的数据一致性由应用逻辑保障; 实时对比源端和目标端数据一致性; 历史数据迁移至华为云数据层; 修改外部DNS域名解析地址,将外部流量从源端切换到华为云。 图1 不停服切换方案 父主题: 设计切换方案
件工程的方法解决问题,从“消防员”向“建构师”转型。 高可用架构是前提 高可用架构是确定性的前提,通过设计合理的架构,可以降低系统故障的风险,缩短故障恢复的时长,并且控制故障的影响范围,高可用架构的设计与落地需要关注如下三点: 瞄准SLO 的目标,运用科学的方法进行架构的设计,对可用性架构的选择以及落地时间进行管理。