检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过数据开发实现数据增量迁移 DataArts Studio服务的DLF组件提供了一站式的大数据协同开发平台，借助DLF的在线脚本编辑、周期调度CDM的迁移作业，也可以实现增量数据迁移。 这里以DWS导入到OBS为例，介绍DLF配合CDM实现增量迁移的流程： 获取CDM作业的JSON
的提高您数据迁移和集成的效率。 产品首页 图说ECS 立即使用 立即使用 成长地图 由浅入深，带您玩转CDM 01 了解 了解华为云CDM的产品架构、功能和基础知识，有助于您更准确地匹配实际业务。 产品介绍 什么是云数据迁移 产品优势 迁移原理 支持的数据源 03 入门 介绍云数据迁移（Cloud
支持人员。 CDM服务基于分布式计算框架，利用并行化处理技术，支持用户稳定高效地对海量数据进行移动，实现不停服数据迁移，快速构建所需的数据架构。 图1 CDM定位 产品功能 表/文件/整库迁移 支持批量迁移表或者文件，还支持同构/异构数据库之间整库迁移，一个作业即可迁移几百张表。
如何将云下内网或第三方云上的私网与CDM连通？ 很多企业会把关键数据源建设在内网，例如数据库、文件服务器等。由于CDM运行在云上，如果要通过CDM迁移内网数据到云上的话，可以通过以下几种方式连通内网和CDM的网络： 如果目标数据源为云下的数据库，则需要通过公网或者专线打通网络。通
员投入不足，大数据集群能力不匹配，而无法聚焦业务创新，使得存量100T的数据只有4%的利用率。 在将本地的贸易统计数据迁移到华为云之后，基于华为公有云的大数据分析能力，可帮助H公司屏蔽大数据基础设施复杂的构建、维护过程，使其客户人员可以全身心聚焦业务创新，盘活100T的存量数据，使资产最大化变现。
创建连接 CDM有两种迁移方式，支持的数据源有所不同： 表/文件迁移：适用于数据入湖和数据上云场景下，表或文件级别的数据迁移，请参见表/文件迁移支持的数据源类型。 整库迁移：适用于数据入湖和数据上云场景下，离线或自建数据库整体迁移场景，请参见整库迁移支持的数据源类型。 支持的数据源 新建连接
贸易数据极简上云与统计分析 贸易数据上云场景介绍 操作流程概述 使用CDM上传数据到OBS 分析数据
模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 10000 SSL加密 可选参数，控制是否通过SSL加密方式连接数据库，创建云数据MySQL连接时显示该参数。 是 连接属性 可选参数，单击“添加”可增加多个指定数据源的JDBC连接器的属性，参考对应数据库的JDBC连接器说明文档进行配置。
Studio工作空间均可使用。 集群创建好以后不支持修改规格，如果需要使用更高规格的，需要重新创建一个集群。 CDM集群为ARM或X86版本，依赖于底层资源的架构。 CDM暂不支持控制迁移数据的速度，请避免在业务高峰期执行迁移数据的任务。 在迁移数据时CDM会对数据源端产生压力。建议创建新的数据库账
参考创建OBS表创建OBS外表，包括贸易统计数据库、贸易详单信息表和基础信息表。 基于业务需求，在DLI控制台中开发相应的SQL脚本进行贸易统计分析。 父主题： 贸易数据极简上云与统计分析
通过CDM作业的定时任务，每天自动上传增量数据到OBS。 使用DLI分析数据 通过DLI直接分析OBS中的业务数据，支撑H公司客户进行贸易统计分析。 父主题： 贸易数据极简上云与统计分析
使用CDM上传数据到OBS 上传存量数据 上传增量数据 父主题： 贸易数据极简上云与统计分析
建或公有云上的文件系统，关系数据库，数据仓库，NoSQL数据库，大数据云服务，对象存储等数据源。 CDM适用于以下场景： 数据上云：使用华为公有云服务时，用户可以将其历史数据或增量数据从私有云/本地数据中心/第三方公有云迁移到华为云。 云服务间数据交换：用户可以在华为云的大数据服
fromJobConfig.startTime 否 String 时间区间左边界（包含该值），格式为“yyyy-MM-dd hh:mm:ss”。 表示只抽取该时间及以后的数据。 fromJobConfig.endTime 否 String 时间区间右边界（不包含该值），格式为“yyyy-MM-dd hh:mm:ss”。
供源端和目的端数据源的用户名和密码，这些信息将存储在CDM实例的数据库中。保护这些信息对于CDM安全至关重要。 图1 CDM迁移原理 安全边界和风险规避 图2 风险规避 如图2所示，CDM可能存在以下威胁： 互联网威胁：恶意用户可能通过CDM控制台攻击CDM。 数据中心威胁：恶意
应用场景 大数据迁移上云 本地数据是指存储在用户自建或者租用的IDC中的数据，或者第三方云环境中的数据，包括关系型数据库、NoSQL数据库、OLAP数据库、文件系统等。 这个场景是用户希望利用云上的计算和存储资源，需要先将本地数据迁移上云。该场景下，需要保证本地网络与云上网络是连通的。
通过脚本将一个月前的历史数据导入到DES盒子。DES盒子的相关操作请参见数据快递服务 DES。 DES将数据快递到华为云数据中心。 使用华为云CDM将DES中的数据迁移到华为云OBS。 使用华为云CDM将OBS数据迁移到MRS。 其中CDM相关操作，与CDM迁移近一个月的数据相同，都是使用二进制直接传输文件目录，2个集群并发执行作业。
CDM通过DES（数据快递服务）迁移1个月前的历史数据，迁移路径如下： CDH → DES → CDM（华为云） → OBS → CDM（华为云） → MRS DES适用场景：数据量大，用户私有云与华为云无专线打通，用户私有云网络到公网带宽有限。 优点：传输可靠性高，受专线以及网络质量影响较小。 缺点：迁移方式耗时较长。
安全性是华为云与您的共同责任，如图1所示。 华为云：负责云服务自身的安全，提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全，涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的
300） 数据集成有两种迁移方式，支持的数据源有所不同： 表/文件迁移：适用于数据入湖和数据上云场景下，表或文件级别的数据迁移，请参见表/文件迁移支持的数据源类型。 整库迁移：适用于数据入湖和数据上云场景下，离线或自建数据库整体迁移场景，请参见整库迁移支持的数据源类型。 本文介绍2.10
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
