数据治理中心 DATAARTS STUDIO-CDM有哪些优势?

时间:2024-04-28 17:34:32

CDM 有哪些优势?

云数据迁移 (Cloud Data Migration,简称CDM)服务基于分布式计算框架,利用并行化处理技术,使用CDM迁移数据的优势如表1所示。

表1 CDM优势

优势项

用户自行开发

CDM

易使用

自行准备服务器资源,安装配置必要的软件并进行配置,等待时间长。

程序在读写两端会根据数据源类型,使用不同的访问接口,一般是数据源提供的对外接口,例如JDBC、原生API等,因此在开发脚本时需要依赖大量的库、SDK等,开发管理成本较高。

CDM提供了Web化的管理控制台,通过Web页实时开通服务。

用户只需要通过可视化界面对数据源和迁移任务进行配置,服务会对数据源和任务进行全面的管理和维护,用户只需关注数据迁移的具体逻辑,而不用关心环境等问题,极大降低了开发维护成本。

CDM还提供了REST API,支持第三方系统调用和集成。

实时监控

需要自行选型开发。

您可以使用 云监控服务 监控您的CDM集群,执行自动实时监控、告警和通知操作,帮助您更好地了解CDM集群的各项性能指标。

免运维

需要自行开发完善运维功能,自行保证系统可用性,尤其是告警及通知功能,否则只能人工值守。

使用CDM服务,用户不需要维护服务器、虚拟机等资源。CDM的日志,监控和告警功能,有异常可以及时通知相关人员,避免7*24小时人工值守。

高效率

在迁移过程中,数据读写过程都是由一个单一任务完成的,受限于资源,整体性能较低,对于海量数据场景通常不能满足要求。

CDM任务基于分布式计算框架,自动将任务切分为独立的子任务并行执行,能够极大提高数据迁移的效率。针对Hive、HBase、MySQL、DWS( 数据仓库 服务)数据源,使用高效的数据导入接口导入数据。

多种数据源支持

数据源类型繁杂,针对不同数据源开发不同的任务,脚本数量成千上万。

支持数据库、Hadoop、NoSQL、数据仓库、文件等多种类型的数据源。

多种网络环境支持

随着云计算技术的发展,用户数据可能存在于各种环境中,例如公有云、自建/托管IDC、混合场景等。在异构环境中进行数据迁移需要考虑网络连通性等因素,给开发和维护都带来较大难度。

无论数据是在用户本地自建的IDC中(Internet Data Center,互联网数据中心)、云服务中、第三方云中,或者使用E CS 自建的数据库或文件系统中,CDM均可帮助用户轻松应对各种数据迁移场景,包括数据上云,云上数据交换,以及云上数据回流本地业务系统。

support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0139.html