检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
文件列表是否支持排序? 文件列表支持按照“大小”和“最后修改时间”进行排序,您可以单击参数后的按钮对文件进行排序。 最后修改时间排序,支持前1000个文件按照时间排序。如果并行文件系统内文件数量超过5000条,文件列表按照英文单词在字典中的先后顺序进行排序,且只支持按文件名的前缀搜索。
移动文件或文件夹 移动文件或文件夹的实现方式:复制文件或文件夹到指定位置,然后删除原有文件或文件夹。 批量移动文件数量超过万级别时,建议使用obsutil工具,详见复制对象和删除对象。 前提条件 用户需要有待操作文件的ACL读写权限。 操作步骤 登录OBS Browser。 选中待配置的桶,进入桶界面。
删除文件或文件夹 用户可根据需要删除已有文件或文件夹。 背景知识 删除文件夹时,文件夹内的文件也将同时被删除,请务必确认这些文件可以被删除。 删除无用的文件或文件夹可节省空间和成本。 用户上传到OBS的某些文件,可能需要定期删除,对于这类删除文件的场景,可通过OBS的生命周期管理
如果桶内已存在同名对象,如何判定覆盖上传成功?(Java SDK) 上传完成后,您可以调用ObsClient.getObjectMetadata接口获取目标对象大小和最后修改时间,再与数据源进行比较: 如果两者大小一致且目标对象的最后修改时间晚于数据源的最后修改时间则表明上传成功,否则上传失败。
支持的大数据组件简介 在华为云大数据存算分离方案中,OBS除了可以与大数据平台对接外,还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下: Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题: 对接大数据组件
下载归档存储对象 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 如果要下载归档存储对象,需要先将归档存储对象恢复。恢复归档存储对象的恢复选项可支持两类,见下表: 选项 说明 OBS
档存储对象,示例代码如下: // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全;本示例以ak和sk保存在环境变量中为例,运行本示例前请先在本地环境中设置环境变量ACCESS_KEY_ID和SECRET_ACCESS_KEY_ID。
删除托管配置(Java SDK) 功能介绍 OBS允许在桶内保存静态的网页资源,如.html网页文件、flash文件、音视频文件等,当客户端通过桶的Website接入点访问这些对象资源时,浏览器可以直接解析出这些支持的网页资源,呈现给最终用户。典型的应用场景有: 重定向所有的请求到另外一个站点。
设置桶的网站配置 功能介绍 OBS允许在桶内保存静态的网页资源,如.html网页文件、flash文件、音视频文件等,当客户端通过桶的Website接入点访问这些对象资源时,浏览器可以直接解析出这些支持的网页资源,呈现给最终用户。典型的应用场景有: 重定向所有的请求到另外一个站点。
OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容量和性能需求选择,AI场景建议选择250MB/s/TiB及以上的存储类型。 ModelArts:AI开发平台,采用多机多卡分布式训练。
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
OBS为容量型存储,在时延、带宽等存储性能上无法满足高性能AI训练,建议使用SFS Turbo HPC型高性能文件系统加速AI训练任务,训练速度加快可以节省AI算力费用。 文件系统使用空间不足,可以扩容吗? SFS Turbo文件系统支持在线扩容,扩容过程中挂载文件系统可能失败,建议业务低峰期扩容。
SDK的重试机制是什么?(Java SDK) SDK通过创建并配置客户端章节中的maxErrorRetry参数来实行重试,默认重试3次,建议值为0到5次之间。 当调用ObsClient的接口发生网络连接异常或者服务端返回5XX错误时,SDK会进行指数退避重试。 ObsClient
添加桶 桶是OBS中存储对象的容器。您需要先创建一个桶,然后才能在OBS中存储数据。 一个账号及账号下的所有IAM用户可创建的桶+并行文件系统的上限为100个。建议结合OBS细粒度权限控制能力,合理进行桶规划和使用。例如,建议在桶内根据对象前缀划分不同的目录,通过细粒度权限控制实
我可以在OBS中存储多少数据? OBS系统和单个桶都没有总数据容量和对象/文件数量的限制,但对于单次上传对象的大小有如下限制: OBS管理控制台支持批量上传文件,单次最多支持100个文件同时上传,总大小不超过5GB。如果只上传1个文件,则这个文件最大为5GB。 OBS Brows
创建文件夹 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 OBS本身是没有文件夹的概念的,桶中存储的元素只有对象。创建文件夹实际上是创建了一个大小为0且对象名以“/”结尾的对象,这类对象与其他对象无任何差异,可以进行下载、删
并行文件系统 并行文件系统挂载后,为何显示256T? 文件列表是否支持排序?
删除所有分段上传任务的断点记录文件。 说明: 同时会尝试删除每个断点记录文件中记录的分段上传任务。 d 附加参数,可选 删除所有分段下载任务的断点记录文件。 说明: 同时会尝试删除每个断点记录文件中记录的临时文件。 c 附加参数,可选 删除所有分段复制任务的断点记录文件。 说明: 同时会尝
下载文件或文件夹 操作步骤 登录OBS Browser。 单击待操作的桶,选中需要下载的文件或文件夹后,单击右键选择“下载”。 客户端支持批量下载,选择多个文件或文件夹,单击对象列表上方的“下载”即可批量下载对象。 对于存储类别为归档存储的桶中的文件,需要确认对象的状态为“已恢复”才能对其进行下载。
转归档存储、转低频访问存储。控制台目前仅支持配置超期、转归档存储。同样的由于并行文件系统不支持多版本,生命周期规则中配置多版本相关的超期、转归档存储、转低频访问存储也不支持。 在配置并行文件系统直读的情况下,您可以通过直读的方式读取归档存储文件。 您最多可以在一个并行文件系统下配