检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对于大量小文件的上传、下载,主要受TPS(单位时间内处理文件个数)影响,而非带宽。 批量上传可以增加“-j”和“-p”等参数,并将参数值调高,观察传输速度是否提高。参考性能调优最佳实践 父主题: OBS Browser+和obsutil等工具相关
终端节点(Endpoint)和访问域名 终端节点(Endpoint):OBS为每个区域提供一个终端节点,终端节点可以理解为OBS在不同区域的区域域名,用于处理各自区域的访问请求。各区域的终端节点详情请参见地区和终端节点。 访问域名:OBS会为每一个桶分配默认的访问域名。访问域名是
资源和成本规划 本节介绍最佳实践中资源规划情况,包含以下内容: 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容
权限和授权项 权限及授权项说明 桶相关授权项 对象相关授权项
桶和对象相关 创建桶失败 上传对象失败 下载对象失败 删除桶失败 删除对象失败 通过URL访问对象失败 如何在浏览器中在线预览OBS中的对象? 我可以修改对象名称吗? 我可以在线编辑OBS中的对象吗? 如何获取对象访问路径? 我可以修改桶所在的区域吗? 如何修改桶所属的企业项目?
时间计费。例如,一个深度归档存储对象在OBS中存储了170天后删除,会按照180天计费。 数据恢复:深度归档存储需要先恢复才能访问。深度归档存储恢复方式有标准和加急两种,标准恢复耗时5~12 h,加急恢复耗时3~5 h。 数据恢复是指对于低频、归档存储和深度归档存储的对象,在访问
存储类别简介 OBS支持桶级和对象级存储类别。 OBS提供了四种存储类别:标准存储、低频访问存储、归档存储、深度归档存储(受限公测中)。 不同的存储类别可以满足客户业务对存储性能、成本的不同诉求。 标准存储访问时延低和吞吐量高,因而适用于有大量热点文件(平均一个月多次)或小文件(
设置桶和对象的存储类别 操作场景 本章节指导用户在创建桶和上传对象时,初次设置桶和对象的存储类别。如果桶和对象已有存储类别,而您想要修改其存储类别,请查看转换桶和对象的存储类别。 桶存储类别和对象存储类别 创建桶时支持设置桶存储类别,也可在桶创建完成后修改桶存储类别。 上传对象时
OBS Browser+和obsutil等工具相关 使用obsutil下载文件夹前期速度正常,下载到90%后速度变慢 使用obsutil下载文件到99%后失败 obsutil上传下载速度慢 obsutil cp命令如何开启增量上传、下载和复制? 并行文件系统是否支持挂载到Windows服务器?
OBS提供了这些存储类别:标准存储、低频访问存储、归档存储、深度归档存储(受限公测中),从而满足客户业务对存储性能、成本的不同诉求,详情可参见OBS存储类别。 调用设置桶存储类别接口,可设置指定桶的存储类别。设置了桶的默认存储类别之后,如果上传对象、复制对象和初始化多段上传任务时未指定对象的存储类别
Z存储和多AZ存储。了解单AZ和多AZ的区别 存储时间按照数据在OBS中存储的实际天数计算。 存储单个对象小于64KB按64KB计算,大于64KB按实际大小计算。 按需计费 包年包月 低频访问存储数据容量 OBS中存储的低频访问存储数据所占用的存储空间容量,区分单AZ存储和多AZ存储。了解单AZ和多AZ的区别
下载和安装obsutil 下载地址 针对不同操作系统,obsutil的下载地址如表1所示。 表1 下载地址 操作系统 软件包下载地址 SHA256校验和 Windows 64位 obsutil_windows64 46440850e63600b31888f2c7c8e79db99
OBS提供了三种四种存储类型:标准存储、低频访问存储、归档存储、深度归档存储(受限公测中),从而满足客户业务对存储性能、成本的不同诉求,详情可参见OBS存储类型。 调用设置桶存储类型接口,可设置指定桶的存储类型。设置了桶的默认存储类型之后,若上传对象、复制对象和初始化多段上传任务时未指定对象的存储类型,
仅支持将标准存储、低频访问存储或归档存储对象转换为深度归档存储对象。如果要将深度归档存储对象转换为标准存储、低频访问存储对象或归档存储,需要手动先恢复对象,然后手动转换存储类别。 归档和深度归档存储不支持多AZ。因此不支持使用生命周期的存储类别转换功能,将多AZ桶或对象的存储类别转化为归档或深度归档存储。 取值范围:
上传对象或者初始化分段上传任务时,您可以直接指定对象的过期时间。 归档存储和深度归档存储不支持多AZ,因此不支持使用生命周期的存储类别转换功能,将多AZ的桶或对象转化为归档或深度归档存储。 低频访问存储的最低存储时间为30天,归档存储的最低存储时间为90天,深度归档存储的最低存储时间为180天。如果对象经过
OBS提供了这些存储类型:标准存储、低频访问存储、归档存储、深度归档存储(受限公测中),从而满足客户业务对存储性能、成本的不同诉求,详情可参见OBS存储类型。 调用设置桶存储类型接口,可设置指定桶的存储类型。设置了桶的默认存储类型之后,如果上传对象、复制对象和初始化多段上传任务时未指定对象的存储类型
仅支持将标准存储、低频访问存储或归档存储对象转换为深度归档存储对象。如果要将深度归档存储对象转换为标准存储、低频访问存储对象或归档存储,需要手动先恢复对象,然后手动转换存储类别。 归档和深度归档存储不支持多AZ。因此不支持使用生命周期的存储类别转换功能,将多AZ桶或对象的存储类别转化为归档或深度归档存储。 取值范围:
obs:object:PutObject √ √ 获取对象内容和对象元数据 下载对象 获取对象元数据 obs:object:GetObject √ √ 获取指定版本对象内容和对象元数据 下载对象 获取对象元数据 obs:object:GetObjectVersion √ √ 单个删除和批量删除对象 删除对象 批量删除对象
OBS提供了这些存储类型:标准存储、低频访问存储、归档存储、深度归档存储(受限公测中),从而满足客户业务对存储性能、成本的不同诉求,详情可参见OBS存储类型。 调用设置桶存储类型接口,可设置指定桶的存储类型。设置了桶的默认存储类型之后,如果上传对象、复制对象和初始化多段上传任务时未指定对象的存储类型
配置和查看对象元数据 使用场景 元数据(Metadata)为描述对象属性的信息,是一组名称和值的配对,用作对象管理的一部分。OBS 中有两种元数据:系统定义的对象元数据和对象自定义元数据介绍。 您可以在上传对象时在OBS中设置对象元数据,也可以在上传对象后修改元数据。 元数据介绍