检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
切换方案比较 切换类型 方案说明 数据一致性风险 业务改造投入 停服时长(小时) 读 写 停服切换 最常用的切换方式,停止服务切换能重复保证数据一致性 低 低 0.5~3.5 停写不停读切换 较少用的切换方式,需要业务整改来实现停写不挺读,停止写服务切换能充分保证数据一致性 低 中 不停 0
主备实例配置了数据持久化,数据不仅会持久化到主节点磁盘,还会实时同步到备节点,同时备节点也会持久化一份数据。 主备实例部署在不同的可用区内,不同可用区的电力、网络相互隔离,当主节点所在的机房因为电力或者网络出现故障,备节点将接管服务,客户端与备节点正常建立连接以及读写数据。 Redi
服务和应用程序。它收集性能数据和通信时间数据,并突出显示性能不佳的服务和应用程序。 网络空间测绘 商用 网络空间测绘是一个应用和服务器发现工具。支持无代理自动发现,广泛支持MS和LINUX/Unix、云供应商、管理程序,硬件、虚拟和应用层;可用于多数据中心的远程收集。 Device42
企业的云化转型对目标、范围、进度、成本和质量要有清晰的定义,需要作为一个标准的项目进行运作,然而,企业的云化转型是一项系统性工程,涉及组织、流程和技术的方方面面,它是一个持续时间长达数年的复杂项目,科学的项目管理方法和行动方案直接影响云化转型的效率和质量,最终将会影响云化目标的实现。
验证 数据校验 数据库的对比方法有数据库内容对比、对象对比、行数对比,文件的对比方法有文件数量对比,大小对比,内容对比。具体的数据对比的方法请参考章节数据验证的内容。 任务验证 大数据任务迁移后,要确保作业能够正常运行、产生准确的结果,并且满足性能要求。一般从如下三方面验证: 验证作业执行的成功率
的四层部署架构,即接入层、应用层、中间件层和数据层,同时还要调研每一层技术组件的详细信息,比如规格、版本、容量等。具体的调研内容如下: 调研应用的四层部署架构 收集接入层、应用层、中间件层和数据层的详细信息,收集三种关联关系(共享数据、共享服务器、应用间通信依赖),可以参考下表收集应用的详细部署架构:
云服务性能测试(以数据库为例) 对于大多数应用系统来说,整个系统的瓶颈往往在数据库。因为应用的其他组件,例如网络带宽、负载均衡、应用服务器、中间件等比较容易实现水平扩展,但对于数据库,由于数据一致性要求高,多数业务系统仍然采用数据库主备方式实现,未实现数据库的分布式架构。 常用的数据库相关指标有:
应用代码进行读写分离改造,改造后再按照8.4.3.3写服务关停方案实施,实现只读不写的效果。 图3 应用改造方案 中间件层/数据层配置只读 中间件层和数据层收回业务账号写权限,不允许服务写中间件层/数据层的操作。 图4 中间件和数据只读方案 父主题: 设计切换方案
已适配ARM的大部分应用场景 鲲鹏内存优化型 鲲鹏 km 与m系列相比,采用鲲鹏处理器,价格更低 数据库/内存数据库 鲲鹏超高I/O型 鲲鹏 ki 与i系列相比,采用鲲鹏处理器,价格更低 大数据/缓存数据库 鲲鹏AI推理加速型 鲲鹏 kai 与ai系列相比,采用鲲鹏处理器,价格更低 深度学习、科学计算、CAE
整集群大小和资源分配,以提高整体性能。 数据安全和权限管理:审查和加强数据的访问控制和权限管理机制。确保只有经授权的人员可以访问敏感数据,并采取适当的加密和脱敏措施保护数据安全。 自动化任务调度:确保大数据任务调度平台的运行和调度正常。优化调度策略,确保任务按时准确完成,并处理可能的故障或异常情况。
将生产环境与测试环境放在不同的分批中,先迁移测试环境,可以大大降低生产环境的迁移风险。 三、迁移优先级 影响上云迁移优先级的影响因素有如下: 表1 迁移优先级影响因子 影响因素 影响结果 业务上云意愿 上云意愿度高的先上,意愿度低的后上 业务环境 测试环境优先,生产环境最后 业务重要性
调研数据流: 调研大数据平台及业务的架构图及数据流图,如下图: 大数据平台及业务的架构图和数据流图。 平台数据接入源。 数据流入方式(如:实时数据上报、批量数据抽取)。 分析大数据平台数据流向,数据在平台内各个组件间的流向,例如:数据采集组件类型、采集组件下一层、存储数据组件,数据处理过程中的工作流等。
认为上云只是一个简单的技术迁移,而忽视了应用程序架构、数据依赖关系及其对业务流程的影响,导致迁移后出现各种问题。 优化建议:要充分进行内、外部各种关联关系分析,识别强弱关联,并评估风险和影响,作为后续批次规划和切换方案的输入,将问题和影响降到最低。 通过识别并避免这些反模式,可以更加高
档。 数据安全中心 数据安全中心服务(Data Security Center,DSC)是新一代的云化数据安全平台,提 供数据分级分类、数据安全风险识别、数据水印溯源和数据静态脱敏等基础数据安全能力。DSC通过数据安全总览整合数据安全生命周期各阶段状态,对外呈现整体云上数据安全态
推数场景:适用于数据源主动向应用推数的场景,切换点在数据源,需要停止旧数据源推数,配置并启动新数据源向应用推数,将应用的数据源从旧数据源切换到新数据源。 图2 推数场景 抽数场景:适用于应用向数据源抽数的场景,切换点在应用,需要先停止应用向旧数据源抽数,然后配置并启动应用从新数据源抽数,
调研 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块,本节重点介绍的是大数据集群和大数据任务调度平台的迁移,大数据应用的迁移方法请参考应用迁移上云,本节只介绍差异部分。 大数据集群迁移:将大数据集群(包括存储
Z过载,以确保即使一个AZ受到高负载或故障影响,其他AZ也能接受并处理流量。 数据冗余和备份:在不同的AZ中实施数据冗余和备份策略,确保数据的可用性和可恢复性,即使一个AZ的数据丢失或不可用,仍能从其他AZ中的冗余数据进行恢复,确保数据的可用性和完整性。 自动故障恢复:设置自动化
点就是扩展性,可以说可扩展性是高性能的必要条件, 影响云上应用性能的主要因素包括以下几个方面: 针对计算资源,延时是操作执行之间所花的等待时间,也是云计算性能的最直接表现; 针对网络资源,吞吐量是评价数据处理执行的速率; 在数据传输方面,用字节/秒或者比特/秒来表示,吞吐量的限制是性能瓶颈的一种重要表现形式;
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用,其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题: 大数据架构设计
部署 大数据平台部署 大数据平台的部署可以参考如下方法: 大数据集群部署 基于架构设计的原则,云上大数据集群一般采用云服务。华为云MRS是一个在华为云上部署和管理Hadoop系统的服务,一键即可部署Hadoop集群。MRS提供租户完全可控的企业级大数据集群云服务,轻松运行Hado