对象存储服务 OBS-配置SFS Turbo数据自动导出到OBS桶

时间:2023-12-14 15:30:17

配置SFS Turbo数据自动导出到OBS桶

配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。

  1. SFS Turbo的自动导出功能当前处于受限使用状态,请提交工单联系技术支持人员进行配置。
  2. 文件导出速度受OBS服务的写入带宽上限影响,默认是16Gbit/s,如果大模型训练生成的Checkpoint文件过大、导出速度过慢,可提交工单申请调大OBS服务的写入带宽。
support.huaweicloud.com/bestpractice-obs/zh-cn_topic_0000001769017917.html