检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Migration, 简称CDM),是一种高效、易用的数据集成服务。 CDM围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移和集成的复杂性,有效的提高您数据迁移和集成的效率。详细信息请参考官网文档。 数据快递服务(Data
Hadoop数据迁移到华为云MRS服务 如图所示,将IDC机房或者其他公有云的Hadoop集群中的数据迁移到华为云MRS服务。详细操作指导请参考官网文档。 图1 Hadoop数据迁移 HBase数据迁移到华为云MRS服务 将IDC机房或其他公有云的HBase集群中的数据迁移到华为云MRS服务
消费完通道内的消息后,整个消息中间件直接切换到华为云。 数据层:包括数据库、对象存储、文件系统,数据库一般通过华为云的数据迁移工具DRS做迁移,对象存储一般通过华为云对象存储迁移工具OMS做迁移,文件系统一般通过Rsync等迁移工具来迁移。 迁移工具兼容性 迁移工具的兼容性以各个迁移工具官网文档发布的最新结果为准:
使用备份功能将rdb文件输出到S3中。 备份数据上传至OBS: EC2:使用OBS Browser/obsutil工具将备份文件(aof/rdb)上传至DCS所在的Region的OBS。 S3:创建OMS任务,将S3中的rdb备份文件迁移传输到DCS所在的Region的OBS。 创建DCS迁移任务:
协助客户验证全量与增量数据迁移的效果,完成云下存储数据到云上存储数据的迁移。详细信息请查看上云迁移服务。 文件存储迁移 NAS文件存储是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统。华为云的弹性文件服务SFS提供按需扩展的高性能文件存储(NAS),可为云上多个弹性云服务器(Elastic
适用于将源端对象存储、网络文件存储,大数据存储迁移至华为云OBS对象存储、华为云SFS弹性文件存储、华为云大数据存储中的海量数据迁移。 开源工具rclone/rsync 全量 rclone配置复杂;rsync迁移效率低 适用于华为云FMS工具和华为云CDM服务无法使用时的迁移场景。 对象存储迁移方案
务运行的服务器迁移到华为云。 方案2:在华为云ECS重新部署Kong/Zuul网关,然后拷贝源端配置文件到华为云ECS,并修改转发策略 DNS域名解析 解析应用的内外部域名 方案1:使用华为云平台的DNS服务替代源端的DNS,并重新配置DNS解析地址。 方案2:在华为云的ECS上
资源的权限,该共享方式更加安全。目前支持通过RAM进行跨账号共享的资源清单请参考官网文档。 基于资源策略的共享:通过资源策略授予其他账号访问资源的权限,如OBS服务的桶策略、IMS服务的共享镜像和CBR的共享备份等。 父主题: Landing Zone参考架构
将源端服务器的系统盘和数据盘分别制作私有镜像,上传至华为云OBS对象存储服务中,在IMS镜像服务中,使用上传的外部镜像文件制作成私有镜像,最后使用私有镜像发放云服务器,完成整机迁移。迁移后的主机操作系统、系统配置,数据文件与源端服务器完全一致。关于主机迁移服务的更多详细信息,请参考IMS帮助文档。
验证 数据校验 数据库的对比方法有数据库内容对比、对象对比、行数对比,文件的对比方法有文件数量对比,大小对比,内容对比。具体的数据对比的方法请参考章节数据验证的内容。 任务验证 大数据任务迁移后,要确保作业能够正常运行、产生准确的结果,并且满足性能要求。一般从如下三方面验证: 验证作业执行的成功率
并迁移相关的作业代码、脚本和配置文件等。迁移工具和方法根据具体需求选择,例如使用离线数据传输工具、大数据迁移工具CDM等。 数据源接入 将目标大数据集群接入与原大数据集群相同的数据源。这确保了源数据的一致性。可以使用数据同步工具、ETL工具或自定义脚本等方式实现数据源的连接和数据
FinOps参考架构 华为云结合FinOps基金会的FinOps框架和华为自身的FinOps实践总结提炼的一套FinOps参考架构,如下图所示,总体上包含成本计划、成本控制、成本分析和成本优化四个阶段。 图1 华为云FinOps参考框架 华为云还提供的丰富的成本管理工具,提升成本管理的效率,帮
当企业云化转型的规模逐步变大,云化转型进入运维治理阶段的时候,可以将小型化的CCoE组织逐步扩大,增加更多的运维治理阶段所需的关键角色,如云基础设施管理员、云网络管理员、数据库管理员、应用运维管理员、云治理专家、安全运营工程师、云成本运营工程师等,逐步演进到如下全功能的CCoE组织。
高性能计算、媒体处理、文件共享和内容管理和Web服务等 大数据分析、静态网站托管、在线视频点播、基因测序和智能视频监控等 存储逻辑 存放的是二进制数据,无法直接存放文件,如果需存放要先格式化文件系统 存放的是文件,会以文件和文件夹的层次结构来整理和呈现 存放的是对象,可以直接存放文件,文件会自动
安全责任共担 华为云把安全合规作为首要任务,安全是华为云和客户的共同责任。在云服务模式下,华为云与客户共同承担云环境的安全保护责任,为明确双方的责任,确定责任边界,华为云制定了如下图所示的责任共担模型。 图1 安全责任共担模型 华为云的安全责任在于保障云平台和云服务自身的安全,涵盖华
战。 如何做好业务单元的安全和故障隔离,确保业务单元之间的云资源、应用和数据的隔离? 如何减少单点故障的爆炸半径? 企业组织架构和业务架构经常调整,云上资源如何灵活应对? 如何设计跨多个业务单元的网络架构、建立受控的网络连接通道? 如何统一管控多个业务单元的边界网络出入口? 如何规划生产、开发和测试环境?
困难,增加了查找、监控和管理的复杂性。 优化建议:所有创建的云资源都要打好标签,方便后续的运维管理和成本优化。 通过识别和避免这些反模式,并参考行业最佳实践和成功案例,可以更加科学实施上云方案,提高上云和用云的效率,更好地利用云平台的优势,发挥云技术的价值。 父主题: 采用实施
大数据平台通常需要处理复杂的数据作业。任务调度系统(如Azkaban等)用于管理和调度各种数据处理作业,可以设置作业的依赖关系、调度频率、重试策略等,以确保作业的顺利执行和任务的准时完成。 数据应用: 大数据平台的最终目的是为业务提供有价值的数据应用。数据应用可以是基于大数据分析的实时报表、可
CCoE的工作中,将会导致云平台与实际业务需求脱节。由于缺乏来自业务一线的实际输入,云化技术方案的设计可能无法满足业务场景,迁移过程也会因缺乏应用团队的配合而变得困难重重。更重要的是,应用团队的缺席会阻碍DevOps和自动化的推进,限制创新,最终导致云化转型无法带来预期的业务价值。
战略制定的反模式 在云化战略的制定过程中,一些常见的反模式可能会阻碍云化转型的成功,甚至导致企业资源的浪费和业务的中断。识别并避免这些反模式,对于确保云化转型取得成功至关重要。以下是几种常见的反模式,以及对应的优化建议。 云化战略与业务战略没有对齐 这种反模式表现为云化转型缺乏与