检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据迁移批次规划说明 大数据迁移上云时,是选择整体迁移还是分批迁移,原则如下: 整体迁移的场景: 规模小:大数据平台数据量少(TB级),计算任务数量不多,可以采用整体迁移的方法,先在云上部署大数据平台,然后全量迁移元数据、数据和任务。 关联关系复杂:大数据任务之间的关联关系很复杂,很难拆分,此时也可以选择整体迁移。
向华为云上Redis(DCS服务或自建Redis)数据迁移,具体使用方法请查看DCS数据迁移帮助文档。 云数据迁移服务(CDM):支持近20种常用数据源,满足数据在云上和云下的不同迁移场景。具体使用方法请查看CDM帮助文档。 对象存储迁移服务(OMS):可以将其他云服务商对象存储
产分类及制定数据库实例防护策略,如数据库主备及集群设计、数据灾备及恢复策略、VPC及安全组配置、互联网访问配置、访问通道加密配置、数据库认证和鉴权配置、数据库审计配置以及其他安全配置。 无论使用哪一项华为云服务,租户始终是其数据的所有者和控制者。租户负责各项具体的数据安全配置,对
转型的关键业务事件。 数字化转型: 企业进行数字化转型,需要更先进的IT技术和平台支撑,云平台可以提供丰富的数字化工具和服务。 数据中心退役:现有数据中心即将到期或设备老化,需要进行更新换代,迁移上云成为一个具有吸引力的选择。 合并和拆分: 企业收购、合并或拆分会对IT基础设施产
实施难度:根据企业的IT部门的实施能力,选择一些实施难度较低的应用作为试点。 业务影响:考虑上云后对其它业务流程及数据流向的影响,尽量避免影响其它业务的正常运行。 安全性:考虑上云后对数据安全性及相关法律法规要求,尽量避免存在安全风险或者违反相关法律法规情况。 可测试性:企业上云要通过试点迁
中提到的应用灰度切流方案,切换期间不停服。 数据层或应用整体切换不停服方案 准备工作: 华为云应用层和数据层已完成迁移; 华为云应用层和数据层已完成业务验证,可正常使用。 业务切换: 修改两边的配置,使源端应用层指向源端和目标端的中间件层/数据层,目标端的应用层指向源端和目标端的中间件层/数据层,实现双写。注意:双写的数据一致性由应用逻辑保障;
传统架构的应用,通常部署在物理机或虚拟机,建议优先通过华为云SMS主机迁移工具进行迁移;如果无法使用华为云SMS进行迁移的,可以采用应用重新部署的方式;对于可停机迁移的应用,也可以考虑采用镜像导出导入的方式进行迁移,详细方案见下表: 表1 主机平迁方案 迁移方案 迁移方式 特点 适用场景 使用华为云SMS主机迁移工具迁移(推荐)
最常用的切换方式,停止服务切换能重复保证数据一致性 低 低 0.5~3.5 停写不停读切换 较少用的切换方式,需要业务整改来实现停写不挺读,停止写服务切换能充分保证数据一致性 低 中 不停 0.5~3.5 不停服切换 很少用的切换方式,需要业务整改来实现双写或者双向同步,不停服切换需要业务改造来保证数据一致性,复杂度和难度较高
平台调研 大数据调研简介 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。 图1 大数据调研的对象 大数据迁移需要调研4部分信息: 大数据平台调研,包括大数据集群、任务调度平台、数据流向。 数据调研,包括待迁移的数据类型、数据量、元数据、数据权限、数据更新频率等。
档。 数据安全中心 数据安全中心服务(Data Security Center,DSC)是新一代的云化数据安全平台,提 供数据分级分类、数据安全风险识别、数据水印溯源和数据静态脱敏等基础数据安全能力。DSC通过数据安全总览整合数据安全生命周期各阶段状态,对外呈现整体云上数据安全态
推数场景:适用于数据源主动向应用推数的场景,切换点在数据源,需要停止旧数据源推数,配置并启动新数据源向应用推数,将应用的数据源从旧数据源切换到新数据源。 图2 推数场景 抽数场景:适用于应用向数据源抽数的场景,切换点在应用,需要先停止应用向旧数据源抽数,然后配置并启动应用从新数据源抽数,
调研 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块,本节重点介绍的是大数据集群和大数据任务调度平台的迁移,大数据应用的迁移方法请参考应用迁移上云,本节只介绍差异部分。 大数据集群迁移:将大数据集群(包括存储
验证 数据校验 数据库的对比方法有数据库内容对比、对象对比、行数对比,文件的对比方法有文件数量对比,大小对比,内容对比。具体的数据对比的方法请参考章节数据验证的内容。 任务验证 大数据任务迁移后,要确保作业能够正常运行、产生准确的结果,并且满足性能要求。一般从如下三方面验证: 验证作业执行的成功率
整集群大小和资源分配,以提高整体性能。 数据安全和权限管理:审查和加强数据的访问控制和权限管理机制。确保只有经授权的人员可以访问敏感数据,并采取适当的加密和脱敏措施保护数据安全。 自动化任务调度:确保大数据任务调度平台的运行和调度正常。优化调度策略,确保任务按时准确完成,并处理可能的故障或异常情况。
云上创新 概述 人工智能 大数据 区块链 元宇宙 物联网 父主题: 采用实施
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用,其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题: 大数据架构设计
迁移时,和关键人员及时沟通。 任务依赖关系 识别关键任务,识别任务间依赖关系。 调研的方法主要是通过当前大数据平台获取,并辅助一些调研访谈进行补充和确认。 父主题: 大数据调研
维规范管理(如:备份机制、日常演练、人员操作规范等)。 图1 业务可用性方案 华为云上的绝大部分云服务都具备高可用性的方案,提供了从数据中心、硬件、数据、自助服务等多个层次的高可用性构建能力。华为云数据中心布局于全球,可以满足不同地域(Region)的资源需求,每个地域又分多个可
上云试点 为什么要上云试点 如何选择试点应用 上云试点执行与总结 父主题: 方案设计
客户可以将华为云导出的账单和公司自己财务生成的账单进行多维度对账,以确认资源的购买、使用和账户的实际支出是否一致。 资金监控和资源包预警 华为云分别从账户资金余额和资源包剩余使用量的角度跟踪是否有异常支出,避免产生额外消费。 开启可用额度预警,您可以及时接收系统发出的可用额度不足预