检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
该列举方式会因为目录结构,耗时会差别很大。 该参数开启后,会忽略marker和limit值,统计桶或者并行文件系统或者指定目录的大小。 Util 5.5.12版本及以上支持该参数。 ps 附加参数,可选 每个分段复制任务的段大小,单位:字节,取值范围是100KB~5GB,默认为配置文件中的defaultPartSize。
说明: 工具会保证该值至少为1。 encoding-type 附加参数,可选 对象名有特殊字符时,取值为url。 说明: Util 5.5.12版本及以上支持该参数。 msm 附加参数,多文件/文件夹上传时必选 开启多文件/文件夹上传模式,支持的值:[1|2]。 说明: 如果msm=1
兼容目录,s3fs尽可能支持目录类型的对象,并将其识别为目录。 可以识别为目录对象的对象有“dir/”、“dir_$folder$”。 注意: 1.92版本必须添加此挂载参数,否则无法显示桶内的多级目录对象。 例:使用sdk创建对象:a/b/c或a/b/c/,若不添加此参数将无法显示目录a。
个或多个版本。 表5 删除开启多版本桶的桶内文件 操作类别 操作效果 删除对象的当前版本 如果当前版本不是删除标记,则生命周期创建具有唯一版本ID的删除标记,当前版本会成为历史版本,删除标记成为当前版本。 如果当前版本是删除标记,则不执行任何操作。 删除对象的历史版本 删除对象的历史版本,删除的历史版本无法恢复。
log4j.logger.com.obs=ERROR 对接步骤 以Hadoop 3.1.1为例(建议使用最新的版本,不推荐使用低于2.8.3版本的hadoop与hadoop-huaweicloud配套使用)。 下载hadoop-3.1.1.tar.gz,并解压到/opt/hadoop-3
恢复失败的下载任务 功能说明 根据任务号(TaskId)恢复失败的下载任务。 命令结构 Windows操作系统 obsutil cp -recover=xxx [-dryRun] [-tempFileDir=xxx] [-f] [-u] [-vlength] [-vmd5] [-j=1]
增量同步下载对象 功能说明 将OBS源桶指定路径下的所有对象同步到本地目标路径,使两边内容保持一致。这里的增量同步有两层含义:1)增量,依次比较源对象和目标文件,只下载存在变化的源对象;2)同步,命令执行完成后,保证OBS指定源桶指定路径是本地目标路径的子集,即OBS源桶指定路径
恢复失败的上传任务 功能说明 根据任务号(TaskId)恢复失败的上传任务。 命令结构 Windows操作系统 obsutil cp -recover=xxx [-arcDir=xxx] [-dryRun] [-f] [-u] [-vlength] [-vmd5] [-j=1] [-p=1]
恢复失败的复制任务 功能说明 根据任务号(TaskId)恢复失败的复制任务。 命令结构 Windows操作系统 obsutil cp -recover=xxx [-dryRun] [-f] [-u] [-crr] [-vlength] [-vmd5] [-j=1] [-p=1]
该列举方式会因为目录结构,耗时会差别很大。 该参数开启后,会忽略marker和limit值,统计桶或者并行文件系统或者指定目录的大小。 Util 5.5.12版本及以上支持该参数。 limit 附加参数,可选 列举结果的最大个数,小于等于0表示列举所有结果,不设置时的默认值为1000。 说明: 如果
增量同步上传对象 功能说明 将本地源路径下的所有内容同步到OBS指定目标桶,使两边内容保持一致。此处的增量同步有两层含义: 增量,依次比较源文件和目标对象,只上传存在变化的源文件。 同步,命令执行完成后,保证本地源路径是OBS指定目标桶的子集,即本地源路径下的所有文件均能在OBS指定目标桶中找到对应对象。
授权码下载对象 功能说明 使用授权码下载对象或按对象名前缀批量下载对象到本地。 下载对象或批量下载时,请确保OBS桶中的源对象不发生变化,否则可能产生下载失败或者数据不一致的问题。 命令结构 Windows操作系统 直接输入授权码下载单个对象 obsutil share-cp authorization_code
该列举方式会因为目录结构,耗时会差别很大。 该参数开启后,会忽略marker和limit值,统计桶或者并行文件系统或者指定目录的大小。 Util 5.5.12版本及以上支持该参数。 fr 附加参数,恢复单个cold存储对象时可选 恢复单个cold存储对象时生成结果清单文件。 f 附加参数,批量恢复cold存储对象时可选
该列举方式会因为目录结构,耗时会差别很大。 该参数开启后,会忽略marker和limit值,统计桶或者并行文件系统或者指定目录的大小。 Util 5.5.12版本及以上支持该参数。 ps 附加参数,可选 每个分段复制任务的段大小,单位:字节,取值范围是100KB~5GB,默认为配置文件中的defaultPartSize。
预置模板参数说明 Data+已下线,如果需要使用数据处理服务,可使用数据工坊 DWR。 详情请参见数据工坊 DWR。 本小节提供Data+各类函数模板及自定义函数的参数配置说明。 当前支持的函数模板如下: 不同区域支持的预置模板数量不同,请以控制台实际支持的模板为准。 表1 Data+函数模板
断点续传 使用场景 当上传大文件时,经常出现因网络不稳定或程序崩溃导致上传失败的情况。失败后再次重新上传不仅浪费资源,而且当网络不稳定时仍然有上传失败的风险。断点续传上传接口能有效地解决此类问题引起的上传失败,其原理是将待上传的文件分成若干个分段分别上传,不仅能在失败重传时节省资
流式上传(PUT上传) 使用场景 如果待上传的文本文件、图片、视频等资源小于5GB,您可以选择流式上传,即PUT操作的方式将对象上传到桶中。 PUT上传中参数通过请求头域传递,上传需在URL中指定对象名,请求行为如下所示: PUT /ObjectName HTTP/1.1 虽然O
表单上传(POST上传) 使用场景 如果待上传的文本文件、图片、视频等资源小于5GB,您可以选择表单上传,即POST操作的方式将对象上传到桶中。 POST上传作为消息体中的表单域传递,上传提交的URL为桶域名,无需指定对象名。请求行为如下所示: POST / HTTP/1.1 虽
流式上传(PUT上传) 使用场景 如果待上传的文本文件、图片、视频等资源小于5GB,您可以选择流式上传,即PUT操作的方式将对象上传到桶中。 PUT上传中参数通过请求头域传递,上传需在URL中指定对象名,请求行为如下所示: PUT /ObjectName HTTP/1.1 虽然O
该列举方式会因为目录结构,耗时会差别很大。 该参数开启后,会忽略marker和limit值,统计桶或者并行文件系统或者指定目录的大小。 Util 5.5.12版本及以上支持该参数。 versionId 附加参数,设置单个对象属性时可选 待设置属性对象的版本号。 fr 附加参数,设置单个对象属性时可选