CDM应用场景

CDM典型应用场景

大数据迁移上云

大数据迁移上云

本地数据是指存储在用户自建或者租用的IDC中的数据,或者第三方云环境中的数据,包括关系型数据库、NoSQL数据库、OLAP数据库、文件系统等。

这个场景是用户希望利用云上的计算和存储资源,需要先将本地数据迁移上云。该场景下,需要保证本地网络与云上网络是连通的。

数据批量入湖

数据批量入湖

这个场景支持用户本地数据全量和T+1增量入湖。

CDM产品特点

  • 易使用 HOT

    CDM提供Web化的管理控制台。

    可视化界面对数据源和迁移任务进行配置。

    提供了REST API,支持第三方系统调用和集成。

    CDM提供Web化的管理控制台;可视化界面对数据源和迁移任务进行配置;提供了REST API,支持第三方系统调用和集成。

  • 高效率 TOP

    CDM任务基于分布式计算框架,自动将任务切分为独立的子任务并行执行,能够极大提高数据迁移的效率。针对Hive、HBase、MySQL、DWS(数据仓库服务)数据源,使用高效的数据导入接口导入数据。

    CDM任务基于分布式计算框架,自动将任务切分为独立的子任务并行执行,能够极大提高数据迁移的效率。针对Hive、HBase、MySQL、DWS(数据仓库服务)数据源,使用高效的数据导入接口导入数据。

  • 实时监控 HOT

    您可以使用云监控服务监控您的CDM集群,执行自动实时监控、告警和通知操作,帮助您更好地了解CDM集群的各项性能指标。

    您可以使用云监控服务监控您的CDM集群,执行自动实时监控、告警和通知操作,帮助您更好地了解CDM集群的各项性能指标。

  • 免运维

    使用CDM服务,用户不需要维护服务器、虚拟机等资源。CDM的日志,监控和告警功能,有异常可以及时通知相关人员,避免7X24小时人工值守。

    使用CDM服务,用户不需要维护服务器、虚拟机等资源。CDM的日志,监控和告警功能,有异常可以及时通知相关人员,避免7X24小时人工值守。

  • 多种数据源支持

    CDM支持数据库、Hadoop、NoSQL、数据仓库、文件等多种类型的数据源。

    CDM支持数据库、Hadoop、NoSQL、数据仓库、文件等多种类型的数据源。

  • 多种网络环境支持

    CDM帮助用户轻松应对各种数据迁移场景,包括数据上云,云上数据交换,以及云上数据回流本地业务系统。

    CDM帮助用户轻松应对各种数据迁移场景,包括数据上云,云上数据交换,以及云上数据回流本地业务系统。

CDM常见问题

常见问题

  • CDM迁移性能如何?

    单个cdm.large规格实例理论上可以支持1TB~8TB/天的数据迁移,实际传输速率受公网带宽、集群规格、文件读写速度、作业并发数设置、磁盘读写性能等因素影响。

  • CDM有哪些安全防护?

    CDM是一个完全托管的服务,提供了以下安全防护能力保护用户数据安全。

    1. 实例隔离:CDM服务的用户只能使用自己创建的实例,实例和实例之间是相互隔离的,不可相互访问。
    2. 系统加固:CDM实例的操作系统进行了特别的安全加固,攻击者无法从Internet访问CDM实例的操作系统。
    3. 密钥加密:用户在CDM上创建连接输入的各种数据源的密钥,CDM均采用高强度加密算法保存在CDM数据库。
    4. 无中间存储:数据在迁移的过程中,CDM只处理数据映射和转换,而不会存储任何用户数据或片段。
  • 是否支持增量迁移?

    CDM支持增量数据迁移。利用定时任务配置和时间宏变量函数等参数,可支持以下场景的增量数据迁移:

    1. 文件增量迁移
    2. 关系数据库增量迁移
    3. HBase/CloudTable增量迁移
  • 是否支持字段转换?

    支持,CDM支持以下字段转换器:

    1. 脱敏
    2. 去前后空格
    3. 字符串反转
    4. 字符串替换
    5. 表达式转换
  • 是否支持同步作业到其他集群?

    CDM虽然不支持直接在不同集群间迁移作业,但是通过批量导出、批量导入作业的功能,可以间接实现集群间的作业迁移。