对象存储服务 OBS-操作流程

时间:2024-09-18 16:15:34

操作流程

本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速,流程如图1所示。

图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤
表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明

序号

步骤

说明

1

规划组网和资源

此步骤请提交工单联系技术支持人员进行支撑配置。

2

创建资源

  1. 创建VPC:创建1个虚拟私有云和子网。
  2. 创建SFS Turbo HPC型文件系统:创建1个SFS Turbo文件系统,文件系统类型选择“HPC型”,存储类型请根据存储容量和性能需求选择,AI场景建议选择250MB/s/TiB及以上的存储类型。
  3. 创建OBS桶:创建1个OBS桶,存储类别为“标准存储”,桶策略为“私有”。
  4. 创建ModelArts资源池:创建1个专属资源池。

3

基本配置

  1. 配置ModelArts和SFS Turbo间网络直通。
    1. 创建委托授权ModelArts云服务使用SFS Turbo。
    2. 配置ModelArts网络关联SFS Turbo。
  2. 配置SFS Turbo和OBS联动。
  3. 配置SFS Turbo数据自动导出到OBS桶。
  4. 配置SFS Turbo数据淘汰策略。

4

训练

  1. 上传数据至OBS并预热到SFS Turbo中。
  2. 创建训练任务。

5

例行运维

使用OBS+SFS Turbo的存储加速方案的过程中,您可以进行采取以下运维措施,保证系统正常高效运行:

  • SFS Turbo容量监控及告警。
  • SFS Turbo性能监控。
  • 调整SFS Turbo数据淘汰策略。
  • SFS Turbo容量及性能扩容。
  • OBS性能监控。

如果您想了解更多本方案相关信息,或在方案使用过程中存在疑问,可通过方案咨询渠道,寻求专业人员支持。

support.huaweicloud.com/bestpractice-obs/obs_05_2303.html