对象存储服务 OBS-增量同步复制对象:参数说明

时间：2024-09-03 19:46:20

对象存储服务 OBS

参数说明

参数	约束	描述
srcbucket	必选	源桶名。
dstbucket	必选	目标桶名。
dest	可选	目标对象名前缀。说明：如果该值不为空且不以“/”结尾，则工具会自动为该值末尾加上“/”作为目标对象名前缀。
key	可选	源对象名前缀。规则如下：如果该值为空，则将目标桶内满足目标对象名前缀的所有对象与源桶中的所有对象保持一致；如果该值不为空，则将目标桶内满足目标对象名前缀的所有对象与源桶内满足源对象名前缀的所有对象保持一致。说明：如果该值不为空且不以“/”结尾，则工具会自动为该值末尾加上“/”作为源对象名前缀。请参考同步复制示例理解该参数的使用方式。
dryRun	附加参数，可选	测试模式运行，不执行实际的复制操作。
crr	附加参数，可选	复制时使用客户端跨区域复制模式，从通过数据流的方式从源桶直接复制数据到目标桶，且两个桶可以是任意两个OBS服务的桶。说明：如果设置了该参数，必须确保更新了配置文件中客户端跨区域复制的相关配置信息，具体可参考更新配置文件。复制时源桶对应的配置信息为配置文件中的：akCrr/skCrr/tokenCrr/endpointCrr，目标桶对应的配置信息为配置文件中的：ak/sk/token/endpoint。须知：开启跨区域复制后，因为会占用执行命令主机上传和下载的双向带宽、CPU和内存等资源，可能会影响执行命令主机的性能。
vlength	附加参数，可选	复制完成后，验证目标桶对象大小是否与源桶中对象的大小一致。说明：必须与crr参数配合使用。
vmd5	附加参数，可选	复制完成后，验证目标桶的MD5值是否与源桶中对象的MD5值一致。说明：必须与crr参数配合使用。源桶中对象必须包含元数据x-obs-meta-md5chksum，否则会忽略MD5值校验。 MD5值校验通过后，会将该值设置为目标对象元数据x-obs-meta-md5chksum，用于下载或复制时校验MD5。
p	附加参数，可选	每个分段复制任务的最大并发数，默认为配置文件中的defaultParallels。
threshold	附加参数，可选	开启分段复制任务的阈值，单位：字节，默认为配置文件中的defaultBigfileThreshold。说明：如果待复制的源对象小于该阈值，则使用直接复制模式；否则使用分段复制模式。直接复制模式不会产生断点记录文件，不支持断点续传。支持带容量单位配置，例如，配置1MB代表1048576字节。
acl	附加参数，可选	复制对象时可指定的目标对象的预定义访问策略。支持的值： private public-read public-read-write bucket-owner-full-control 说明：以上四个值分别对应：私有读写、公共读、公共读写、桶拥有者完全控制，四种预定义访问策略。
sc	附加参数，可选	复制对象时可指定的目标对象的存储类型。支持的值： standard：标准存储，访问时延低、吞吐量高，适用于有大量热点文件（平均一个月多次）或小文件（小于1MB）。 warm：低频访问存储，可用性略低于standard，适用于不频繁访问（平均一年少于12次）但在需要时也要求快速访问数据的业务场景。 cold：归档存储，安全、持久且成本极低，适用于很少访问（平均一年访问一次）数据的业务场景。
meta	附加参数，可选	复制对象时可指定的目标对象的自定义元数据。格式为：key1:value1#key2:value2#key3:value3。说明：以上值表示复制对象完成后，桶内目标对象包含三组自定义元数据，分别为：key1:value1、key2:value2、key3:value3。
fs	附加参数，可选	是否使用并行文件系统的列举方式，如果桶是并行文件系统，推荐加上该参数。注意：该列举方式会因为目录结构，耗时会差别很大。该参数开启后，会忽略marker和limit值，统计桶或者并行文件系统或者指定目录的大小。 Util 5.5.12版本及以上支持该参数。
ps	附加参数，可选	每个分段复制任务的段大小，单位：字节，取值范围是100KB~5GB，默认为配置文件中的defaultPartSize。说明：支持带容量单位配置，例如，配置1MB代表1048576字节。支持配置为auto，此时obsutil会根据源对象大小自动设置每个分段任务的段大小。
cpd	附加参数，可选	生成断点记录文件的文件夹，默认为运行obsutil命令的用户目录的子文件夹.obsutil_checkpoint。说明：每个分段复制任务会产生唯一对应的断点记录文件并保存至该文件夹的copy子文件夹下，分段任务执行成功后，对应的断点记录文件会被自动删除；分段任务执行失败或被中断后，下次执行该分段任务时会尝试通过对应的断点记录文件恢复任务。
j	附加参数，批量复制时可选	同步复制时的最大并发数，默认为配置文件中的defaultJobs。说明：工具会保证该值至少为1。
exclude	附加参数，批量复制时可选	不包含源对象的匹配模式，如：.txt。说明：支持“”匹配多个任意字符和“?”匹配单个任意字符，例如abc.txt代表匹配以abc开头以.txt结尾的任意文件。您可以使用“\”代表匹配“”字符本身，使用“\?”代表匹配“?”字符本身。如果待复制的对象名匹配该参数，则跳过该对象的复制。须知：建议使用引号传递该匹配模式（macOS/Linux操作系统使用单引号，Windows操作系统使用双引号）防止特殊符号被操作系统转义，导致不可预期的结果。该匹配模式作用于对象全路径（含从根路径开始的对象前缀和对象名，例如，桶内对象路径为obs://bucket/src1/src2/test.txt，则对象的全路径为src1/src2/test.txt）。该匹配模式仅适用于对象名非“/”结尾的对象。支持指定多个exclude参数，如-exclude=.xxx -exclude=*.xxx
include	附加参数，批量复制时可选	包含源对象的匹配模式，如：.jpg。说明：支持“”匹配多个任意字符和“?”匹配单个任意字符。您可以使用“\”代表匹配“”字符本身，使用“\?”代表匹配“?”字符本身。首先执行exclude的匹配规则，如果待复制的对象名不匹配exclude，则判断待复制的对象名是否匹配该参数，如果匹配则复制该对象，否则跳过该文件的复制。须知：建议使用引号传递该匹配模式（macOS/Linux操作系统使用单引号，Windows操作系统使用双引号）防止特殊符号被操作系统转义，导致不可预期的结果。该匹配模式作用于对象全路径（含从根路径开始的对象前缀和对象名，例如，桶内对象路径为obs://bucket/src1/src2/test.txt，则对象的全路径为src1/src2/test.txt）。该匹配模式仅适用于对象名非“/”结尾的对象。支持指定多个include参数，如-include=.xxx -include=.xxx
timeRange	附加参数，可选	同步复制对象时的时间段匹配模式，仅复制最后修改时间在该时间段内的对象。该匹配模式优先级低于对象名匹配模式：exclude和include，优先执行对象名匹配模式后才会执行该匹配模式。说明：使用“time1-time2”，代表匹配的时间段，其中time1必须小于等于time2，格式为yyyyMMddHHmmss。时间格式支持自动补全，例如yyyyMMdd等价于yyyyMMdd000000，yyyyMM等价于yyyyMM01000000。使用“-time2”，代表匹配最后修改时间在time2之前的所有文件，使用“time1-”，代表匹配最后修改时间time1之后的所有文件。须知：该匹配模式表示的时间是UTC时间。该匹配模式仅适用于对象名非“/”结尾的对象。
mf	附加参数，可选	设置名称匹配模式（include、exclude）和时间匹配模式（timeRange）对对象名以“/”结尾的对象也生效。
o	附加参数，可选	生成结果清单文件的文件夹，命令执行完成后，会在该文件夹下生成结果清单文件（可能包含成功结果、失败结果和警告结果三个文件），默认为运行obsutil命令的用户目录的子文件夹.obsutil_output。说明：结果清单文件命名规则：sync_{succeed \| failed \| warning}_report_时间_TaskId.txt。单个结果清单文件默认情况下最大为30MB且最大可保留的文件个数为1024，可在配置文件中通过recordMaxLogSize和recordBackups分别配置。当涉及多文件/文件夹时，如需确认失败任务的具体错误信息，可参考结果清单文件夹下的失败结果清单文件"sync_failed_report_时间_TaskId.txt"及日志路径下的日志文件；
config	附加参数，可选	运行当前命令时的自定义配置文件，可支持的配置参数请参考配置参数说明。
e	附加参数，可选	指定终端节点。
i	附加参数，可选	指定用户的AK。
k	附加参数，可选	指定用户的SK。
t	附加参数，可选	指定用户的securitytoken。