检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
文件增量迁移 CDM支持对文件类数据源进行增量迁移，全量迁移完成之后，第二次运行作业时可以导出全部新增的文件，或者只导出特定的目录/文件。 目前CDM支持以下文件增量迁移方式： 增量导出指定目录的文件 适用场景：源端数据源为文件类型（OBS/HDFS/FTP/SFTP）。这种增量
管理文件水印 本章主要介绍如何进行文件水印相关操作。 对结构化数据文件（csv、xml和json）注入暗水印，水印内容不可见，需要进行水印提取。 对非结构化数据文件（docx、pptx、xlsx和pdf）注入明水印，可在本地打开文件，查看水印内容。 约束与限制 结构化数据文件暗水
文件增量迁移 CDM支持对文件类数据源进行增量迁移，全量迁移完成之后，第二次运行作业时可以导出全部新增的文件，或者只导出特定的目录/文件。 目前CDM支持以下文件增量迁移方式： 增量导出指定目录的文件 适用场景：源端数据源为文件类型（OBS/HDFS/FTP/SFTP）。这种增量
查询作业文件 功能介绍 从OBS路径上导入作业前，可以通过此接口查询导入作业文件中是否有作业和脚本。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。 URI URI格式 POST /v1/{project_id}/jobs/check-file 参数说明 表1
如果想要在文件系统间按原样复制文件，则可以选择二进制格式。二进制格式传输文件到文件的速率高、性能稳定，且不需要在作业第二步进行字段匹配。 文件传输的目录结构 CDM的文件传输，支持单文件，也支持一次传输目录下所有的文件。传输到目的端后，目录结构会保持原样。 增量迁移文件 使用CD
如果想要在文件系统间按原样复制文件，则可以选择二进制格式。二进制格式传输文件到文件的速率高、性能稳定，且不需要在作业第二步进行字段匹配。 文件传输的目录结构 CDM的文件传输，支持单文件，也支持一次传输目录下所有的文件。传输到目的端后，目录结构会保持原样。 增量迁移文件 使用CD
下载资源任务文件 功能介绍 该接口用于下载资源文件。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/quality/resource/download 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项
通过节点可以执行的操作： 移动文件：将源文件或目录，移动到新目录中。 复制文件：复制源文件或目录。 重命名文件：重命名文件仅支持最后一级目录或文件重命名。 如重命名目录时，源文件或目录：obs://test/a/b/c/，目的目录：obs://test/a/b/d/；重命名文件时，源文件或目录：obs://test/a/b/hello
入多个文件名（最多50个），文件名之间默认使用“|”分隔，您也可以自定义文件分隔符，从而实现文件列表迁移。 迁移文件或对象时支持文件级增量迁移（通过配置跳过重复文件实现），但不支持断点续传。 例如要迁移3个文件，第2个文件迁移到一半时由于网络原因失败，再次启动迁移任务时，会跳过第
查看日志时，系统提示“OBS日志文件不存在，请检查文件是否被删除或者没有OBS写入权限。”怎么办？ 问题现象 查看数据开发的节点日志时，系统提示“OBS日志文件不存在，请检查文件是否被删除或者没有OBS写入权限”，如下图所示： 图1 提示信息 原因分析 数据开发的日志存储在OBS
密出来的数据会错误，且系统不会提示异常。 这样CDM从HDFS导出加密过的文件时，写入目的端的文件便是解密后的明文文件。 目的端配置加密 创建CDM导入文件到HDFS的作业时，目的端数据源选择HDFS、文件格式选择二进制格式后，在“目的端作业配置”的“高级属性”中，配置如下参数。
密出来的数据会错误，且系统不会提示异常。 这样CDM从HDFS导出加密过的文件时，写入目的端的文件便是解密后的明文文件。 目的端配置加密 创建CDM导入文件到HDFS的作业时，目的端数据源选择HDFS、文件格式选择二进制格式后，在“目的端作业配置”的“高级属性”中，配置如下参数。
入多个文件名（最多50个），文件名之间默认使用“|”分隔，您也可以自定义文件分隔符，从而实现文件列表迁移。 迁移文件或对象时支持文件级增量迁移（通过配置跳过重复文件实现），但不支持断点续传。 例如要迁移3个文件，第2个文件迁移到一半时由于网络原因失败，再次启动迁移任务时，会跳过第
FTP、HTTP。可校验CDM抽取的文件，是否与源文件一致。 该功能由源端作业参数“MD5文件名后缀”控制（“文件格式”为“二进制格式”时生效），配置为源端文件系统中的MD5文件名后缀。 当源端数据文件同一目录下有对应后缀的保存md5值的文件，例如build.sh和build.sh
JSON格式：以JSON格式解析源文件，一般都是用于迁移文件到数据表的场景。 CSV格式 列表文件 当“文件格式”选择为“二进制格式”时，才有该参数。 打开列表文件功能时，支持读取OBS桶中文件（如txt文件）的内容作为待迁移文件的列表。该文件中的内容应为待迁移文件的绝对路径（不支持目录），例如直接写为如下内容：
FTP、HTTP。可校验CDM抽取的文件，是否与源文件一致。 该功能由源端作业参数“MD5文件名后缀”控制（“文件格式”为“二进制格式”时生效），配置为源端文件系统中的MD5文件名后缀。 当源端数据文件同一目录下有对应后缀的保存md5值的文件，例如build.sh和build.sh
上传导入的文件接口 功能介绍 该接口用于数据质量导入文件使用。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/quality/resource/upload 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
新建表/文件迁移作业 操作场景 CDM可以实现在同构、异构数据源之间进行表或文件级别的数据迁移，支持表/文件迁移的数据源请参见支持的数据源。 约束限制 记录脏数据功能依赖于OBS服务。 作业导入时，JSON文件大小不超过1MB。 单文件传输大小不超过1TB。 配置源端和目的端参数时，字段名不可包含&和%。
导入包含API信息的EXCEL文件 功能介绍 导入包含API信息的EXCEL文件。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/service/import/excel 表1 路径参数 参数 是否必选 参数类型 描述 project_id
导出包含API信息的EXCEL文件 功能介绍 导出包含API信息的EXCEL文件。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/service/export/excel 表1 路径参数 参数 是否必选 参数类型 描述 project_id
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
