数据治理中心 DATAARTS STUDIO-文件格式介绍:二进制格式

时间:2024-12-27 10:13:32

二进制格式

如果想要在文件系统间按原样复制文件,则可以选择二进制格式。二进制格式传输文件到文件的速率高、性能稳定,且不需要在作业第二步进行字段匹配。

  • 文件传输的目录结构

    CDM 的文件传输,支持单文件,也支持一次传输目录下所有的文件。传输到目的端后,目录结构会保持原样。

  • 增量迁移文件

    使用CDM进行二进制传输文件时,目的端有一个参数“重复文件处理方式”,可以用作文件的增量迁移,具体请参见文件增量迁移

    增量迁移文件的时候,选择“重复文件处理方式”“跳过重复文件”,这样如果源端有新增的文件,或者是迁移过程中出现了失败,只需要再次运行任务,已经迁移过的文件就不会再次迁移。

  • 写入到临时文件

    二进制迁移文件时候,可以在目的端指定是否写入到临时文件。如果指定了该参数,在文件复制过程中,会将文件先写入到一个临时文件中,迁移成功后,再进行rename或move操作,在目的端恢复文件。

  • 生成文件MD5值

    对每个传输的文件都生成一个MD5值,并将该值记录在一个新文件中,新文件以“.md5”作为后缀,并且可以指定MD5值生成的目录。

support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0016.html