检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MD5校验文件一致性 CDM数据迁移以抽取-写入模式进行,CDM首先从源端抽取数据,然后将数据写入到目的端。在迁移文件到OBS时,迁移模式如图1所示。 图1 迁移文件到OBS 在这个过程中,CDM支持使用MD5检验文件一致性。 抽取时 该功能支持源端为OBS、HDFS、FTP、SFTP
DLI程序包:作业执行前,会将资源包文件上传到DLI资源管理。 OBS路径:作业执行时,不会上传资源包文件到DLI资源管理,文件的OBS路径会作为启动作业消息体的一部分,推荐使用该方式。 分组设置 否 当“资源类型”选择“DLI程序包”时,才需要配置该参数。 将Spark程序资源包上传到指定的分组中,主Jar包和依赖包会上传到同一个分组中。
通过还原功能,您可还原已备份的资产,包含作业、脚本、资源和环境变量。 约束限制 该功能依赖于OBS服务。 当前备份内容不会自动老化删除,您需要定期手动清理备份文件。 前提条件 已开通对象存储服务,并在OBS中创建文件夹。 备份资产 参考访问DataArts Studio实例控制台,登录DataArts
CDM目前只支持导入文件到OBS时,目的端使用KMS加密,表/文件迁移和整库迁移都支持。在“目的端作业配置”的“高级属性”中配置。 KMS密钥需要先在数据加密服务创建,具体操作请参见《数据加密服务 用户指南》。 当启用KMS加密功能后,用户上传对象时,数据会加密成密文存储在OBS。用户从OBS下载加
称。 驱动文件来源 是 选择驱动文件的来源方式。 驱动文件路径 是 “驱动文件来源”选择“OBS路径”时配置。 驱动文件在OBS上的路径。需要您自行到官网下载.jar格式驱动并上传至OBS中。 GBASE8A驱动:获取地址 https://www.gbase.cn/download/gbase-8a
fromJobConfig.useQuery 否 Boolean 该参数设置为“true”时,上传到OBS的对象使用的对象名,为去掉query参数后的字符。 该参数设置为“false”时,上传到OBS的对象使用的对象名,包含query参数。 fromJobConfig.md5FileSuffix
通过数据开发实现数据增量迁移 DataArts Studio服务的DLF组件提供了一站式的大数据协同开发平台,借助DLF的在线脚本编辑、周期调度CDM的迁移作业,也可以实现增量数据迁移。 这里以DWS导入到OBS为例,介绍DLF配合CDM实现增量迁移的流程: 获取CDM作业的JSON
MySQL数据迁移到MRS Hive分区表 MySQL数据迁移到OBS MySQL数据迁移到DWS MySQL整库迁移到RDS服务 Oracle数据迁移到云搜索服务 Oracle数据迁移到DWS OBS数据迁移到云搜索服务 OBS数据迁移到DLI服务 MRS HDFS数据迁移到OBS
格式保存该文件。 将源数据CSV文件上传到OBS服务。 登录控制台,选择“存储 > 对象存储服务 OBS”,进入OBS控制台。 单击“创建桶”,然后根据页面提示配置参数,创建一个名称为“fast-demo”的OBS桶。 为保证网络互通,OBS桶区域请选择和DataArts Stu
MD5校验文件一致性 CDM数据迁移以抽取-写入模式进行,CDM首先从源端抽取数据,然后将数据写入到目的端。在迁移文件到OBS时,迁移模式如图1所示。 图1 迁移文件到OBS 在这个过程中,CDM支持使用MD5检验文件一致性。 抽取时 该功能支持源端为OBS、HDFS、FTP、SFTP
Flink作业来实现统计单词的个数。 前提条件 具有OBS相关路径的访问权限。 已开通MapReduce服务MRS,并创建MRS集群。 数据准备 下载Flink作业资源包"wordcount.jar",下载地址:https://github.com/huaweicloudDocs/dgc/blob/master/WordCount
导出质量报告至OBS,会将质量报告导出到工作空间中配置的作业日志OBS路径中,导出记录保留3个月。 数据目录 单工作空间中元数据采集任务最多创建100个。 元数据采集任务通过执行引擎相关的DDL SQL获取,不建议单个任务采集超过1000张表。如有需要可拆分为多个采集任务,另外调度时
置。否则可能导致迁移作业失败。 说明: 脏数据当前仅支持写入到OBS桶路径中。因此仅当已具备OBS连接时,此参数才可以配置。 是 脏数据写入连接 当“是否写入脏数据”为“是”才显示该参数。 脏数据要写入的连接,目前只支持写入到OBS连接。 obs_link OBS桶 当“脏数据写
DISTransferTask:创建DIS转储任务 CloudTableManager:CloudTable表管理,创建和删除表。 OBSManager:OBS路径管理,包括创建和删除路径。 RestClient:REST API请求 SMN:发送短信或邮件 MRSSpark:执行MRS服务的Spark作业
文件增量迁移 CDM支持对文件类数据源进行增量迁移,全量迁移完成之后,第二次运行作业时可以导出全部新增的文件,或者只导出特定的目录/文件。 目前CDM支持以下文件增量迁移方式: 增量导出指定目录的文件 适用场景:源端数据源为文件类型(OBS/HDFS/FTP/SFTP)。这种增量
如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。 在创建表/文件迁移作业的字段映射界面,可新建字段转换器,如下图所示。 图1 新建字段转换器 CDM可以在迁移过程中对字段进行转换,目前支持以下字段转换器:
CDM与其他数据迁移服务有什么区别,如何选择? 华为云上涉及数据迁移的服务有以下几种: 云数据迁移服务 CDM 对象存储迁移服务 OMS 数据复制服务 DRS 主机迁移服务 SMS 数据库和应用迁移 UGO 数据快递服务 DES 上述数据迁移服务的区别请参见各个数据迁移服务区别。 什么是云数据迁移服务(CDM)
贸易数据极简上云与统计分析 贸易数据上云场景介绍 操作流程概述 使用CDM上传数据到OBS 分析数据
返回“表/文件迁移”页面后,可在作业列表中查看到新建的作业。 图11 迁移作业运行结果 参考步骤6~步骤8,再新建名为ratings_obs2dws的迁移作业,将ratings.csv数据迁移到DWS的ratings_item表中。待作业运行成功后,数据迁移结束。 图12 数据迁移结果
响,跨越多个交换机设备。 CDM通过DES(数据快递服务)迁移1个月前的历史数据,迁移路径如下: CDH → DES → CDM(华为云) → OBS → CDM(华为云) → MRS DES适用场景:数据量大,用户私有云与华为云无专线打通,用户私有云网络到公网带宽有限。 优点: