华为云首页用户手册

云数据迁移 CDM-配置HTTP源端参数

云数据迁移 CDM-配置HTTP源端参数

时间：2024-12-02 10:57:37

云数据迁移 CDM

配置HTTP源端参数

作业中源连接为HTTP连接时，源端作业参数如表1所示。当前只支持从HTTP URL导出数据，不支持导入。

表1 HTTP/HTTPS作为源端时的作业参数
参数名	说明	取值样例
文件URL	通过使用GET方法，从HTTP/HTTPS协议的URL中获取数据。用于读取一个公网HTTP/HTTPS URL的文件，包括第三方对象存储的公共读取场景和网盘场景。	https://bucket.obs.myhuaweicloud.com/object-key
列表文件	选择“是”，将待上传的文本文件中所有URL对应的文件拉取到OBS，文本文件记录的是HDFS上的文件路径。	是
列表文件源连接	文本文件存储在OBS桶中，这里需要选择已建立的OBS连接。	obs_link
列表文件OBS桶	存储文本文件的OBS桶名称。	obs-cdm
列表文件或目录	在OBS中存储文本文件的文件自定义目录，多级目录可用“/”进行分隔。	test1
文件格式	传输数据时使用的格式。其中 CS V和JSON仅支持迁移到数据表场景，二进制格式适用于文件迁移场景。	二进制格式
压缩格式	选择对应压缩格式的源文件进行迁移：无：表示传输所有格式的文件。 GZIP：表示只传输GZIP格式的文件。 ZIP：表示只传输ZIP格式的文件。 TAR.GZ：表示只传输TAR.GZ格式的文件。	无
压缩文件后缀	压缩格式非无时，显示该参数。该参数需要解压缩的文件后缀名。当一批文件中以该值为后缀时，才会执行解压缩操作，否则保持原样传输。当输入*或为空时，所有文件都会被解压。	*
文件分隔符	传输多个文件时， CDM 使用这里配置的文件分隔符来区分各个文件，默认为\|。列表文件选择“是”时，不显示该参数。	\|
QUERY参数	该参数设置为“是”时，上传到OBS的对象使用的对象名，为去掉query参数后的字符。该参数设置为“否”时，上传到OBS的对象使用的对象名，包含query参数。	否
忽略不存在原路径/文件	如果将其设为是，那么作业在源路径不存在的情况下也能成功执行。	否
MD5文件名后缀	校验CDM抽取的文件，是否与源文件一致，详细请参见MD5校验文件一致性。	.md5
QUERY参数	此字段为true时，则上传对象时使用的对象名为去掉query参数的字符。	否

父主题： 配置CDM作业源端参数

上一篇：云数据迁移 CDM-支持云审计的关键操作

下一篇：云数据迁移 CDM-HBase/CloudTable增量迁移

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

云数据迁移 CDM-配置HTTP源端参数

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题