检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
gStatus标签的logging文件。 默认存储类别为低频访问存储或归档存储的桶不能作为存放日志文件的桶。日志文件存放到桶中后,这些日志文件会占用空间,并按照用户存放数据同样的计费策略进行计费。 目标桶开启KMS加密时,需要在委托中授予KMS访问权限。 请求消息样式 1 2
我可以在桶间进行文件移动吗? 可以。 OBS支持使用工具(OBS Browser+、obsutil)在同一区域内移动对象,您可以移动单个文件或文件夹到其他指定路径下。文件或文件夹被移动后,源路径下的文件或文件夹会被删除。详情请参见使用OBS Browser+移动文件或文件夹或移动对象。
如果只允许上传到桶中的某个或多个文件夹下,桶内对象选择“指定对象”后,资源路径填写可上传的文件夹路径+通配符(例如:example-folder/*),支持配置多个资源路径。 授权操作 动作范围:自定义配置 选择动作: ListBucket(列举桶内对象,获取桶元数据) PutObject
常见问题 可以只使用SFS Turbo HPC型文件系统支撑AI训练吗? 当数据规模较小,不存在冷热数据分级降本诉求,又希望能方便快捷的构建AI训练系统时,可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗? OBS
跨区域复制:是OBS提供的跨区域数据容灾能力,支持将源桶数据复制到与其不同区域的目标桶。 服务端加密:通过服务端加密功能,对上传至OBS桶中的数据进行加密保护。 对象锁定(WORM):为桶开启WORM后,可实现桶中的对象在您指定的时间段内不能被删除或篡改。 跨域资源共享(CORS):通过配置
公网环境下如何提高上传大文件速度?(Python SDK) 在公网环境下,对于超过100MB的大文件,建议通过分段上传方式上传。 分段上传是将单个对象拆分为一系列段分别上传,每个段都是对象数据的连续部分,您可以按照任意顺序上传段。如果其中某个段传输失败,可以重新传输该段且不会影响
公网环境下如何提高上传大文件速度?(Java SDK) 在公网环境下对于超过100MB的大文件,建议通过分段上传方式上传。 分段上传是将单个对象拆分为一系列段分别上传,每个段都是对象数据的连续部分,您可以按照任意顺序上传段。如果其中某个段传输失败,可以重新传输该段且不会影响其他段
的所有文件,使用“time1-*”,代表匹配最后修改时间time1之后的所有文件。 o 附加参数,批量生成时可选 生成结果清单文件的文件夹,命令执行完成后,会在该文件夹下生成结果清单文件(可能包含成功结果和失败结果两个文件),默认为运行obsutil命令的用户目录的子文件夹.obsutil_output。
断点记录文件的文件夹,默认为obsutil命令同级子文件夹.obsutil_checkpoint。 u 附加参数,可选 删除所有分段上传任务的断点记录文件。 说明: 同时会尝试删除每个断点记录文件中记录的分段上传任务。 d 附加参数,可选 删除所有分段下载任务的断点记录文件。 说明:
并行文件系统 并行文件系统挂载后,为何显示256T? 文件列表是否支持排序?
SE的文件系统工具,用于将OBS并行文件系统挂载至Linux系统,让用户能够在本地像操作文件系统一样直接使用OBS海量的存储空间。 对于原本使用本地文件系统存储数据的用户,如果希望把数据存储在OBS上但不改变数据的访问方式,可以使用obsfs。 功能概述 支持挂载并行文件系统到L
如果只允许上传到桶中的某个或多个文件夹下,桶内对象选择“指定对象”后,资源路径填写可上传的文件夹路径+通配符(例如:example-folder/*),支持配置多个资源路径。 授权操作 动作范围:自定义配置 选择动作: ListBucket(列举桶内对象,获取桶元数据) PutObject
ETag是对象内容的唯一标识,可以通过该值识别对象内容是否有变化。比如上传对象时ETag为A,下载对象时ETag为B,则说明对象内容发生了变化。实际的ETag是对象的哈希值。ETag只反映变化的内容,而不是其元数据。上传的对象或拷贝操作创建的对象,通过MD5加密后都有唯一的ET
分享对象 OBS提供分享功能,将存放在OBS中对象(文件或文件夹)限时分享给所有用户。 文件分享 文件分享强调临时性,所有分享的URL都是临时URL,存在有效期。 临时URL是由文件的访问域名和临时鉴权信息组成。示例如下: https://bucketname.obs.cn-north-4
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
s方式上传同名文件到OBS,会导致OBS内已有文件被覆盖。 如果您在生命周期规则中配置了定期删除文件的规则,OBS会根据生命周期的配置定期删除符合条件的文件。详情请参见生命周期管理。 如果您配置了跨区域复制规则,且选择的是增/删/改同步,则对源存储空间(桶)进行文件修改或删除操作
象的共享链接地址。 匿名用户单击该链接地址即可通过浏览器访问该对象。对象链接地址格式为:https://桶名.域名/文件夹目录层级/对象名。如果该对象存在于桶的根目录下,其链接地址将不会有文件夹目录层级。如果您想了解域名是什么,请参见OBS域名。 图1 对象链接 对于存储类别为归
如何进行分段上传?(Java SDK) 在上传文件时,您可以指定上传文件的某一段的数据来进行分段上传,步骤如下: 您需要以AK、SK、Endpoint先初始化一个客户端ObsClient。 指定桶名和对象名初始化一个InitiateMultipartUploadRequest,您
跨区域复制:是OBS提供的跨区域数据容灾能力,支持将源桶数据复制到与其不同区域的目标桶。 服务端加密:通过服务端加密功能,对上传至OBS桶中的数据进行加密保护。 对象锁定(WORM):为桶开启WORM后,可实现桶中的对象在您指定的时间段内不能被删除或篡改。 跨域资源共享(CORS):通过配置
是否支持同步删除文件 不支持。 当前obsutil工具支持同步上传本地目录到OBS桶中,同步成功后,如果用户删除了本地目录下的部分文件,再次进行增量同步上传时,工具将只会检查本地存在的文件是否需要增量进行上传,无法感知已删除文件是否需要在目标桶内进行删除。 需要注意的是,如果在上