检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题： 实施步骤
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”，进入“训练作业”列表。 单击右上角的“创建训练作业”，进入“创建训练作业”页面，在该页面填写训练作业相关参数信息。
Management Service，IMS），云审计服务（Cloud Trace Service，CTS）等。 OBS可以作为其他云服务的数据分析学习的数据源，例如MapReduce服务 （MapReduce Service，MRS）， AI开发平台ModelArts等。
将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后，可以使用数据预热功能，以减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中，数据预热功能的具体操作请参考创建SFS
可以只使用SFS Turbo HPC型文件系统支撑AI训练吗？ 当数据规模较小，不存在冷热数据分级降本诉求，又希望能方便快捷的构建AI训练系统时，可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗？ OBS为容量型存储，在时延、带宽
数据恢复费用 访问低频访问存储类别、归档存储类别和深度归档存储类别的对象时，会根据对象大小等产生额外的数据恢复费用。此项费用不管通过内、外网访问均会产生；如果使用外网访问，则会同时计入到公网流出流量费用。 计费说明 资费项 计费项 含义 适用的计费模式 数据恢复费用 数据读取流量
恢复归档或深度归档存储对象 功能介绍 如果要获取归档存储或深度归档对象的内容，需要先将对象恢复，然后再执行下载数据的操作。对象恢复后，会产生一个标准存储类型的对象副本，也就是说会同时存在标准存储类型的对象副本和归档或深度归档存储类型的对象，在恢复对象的保存时间到期后标准存储类型的对象副本会自动删除。
用户授权。 注意事项 归档存储或深度归档存储的对象正在恢复的过程中，不支持修改恢复方式，不允许暂停或删除恢复任务。 数据恢复后，会产生一个标准存储类别的对象副本，即对象同时存在标准存储类别的对象副本和归档存储或深度归档存储类别的对象。归档存储或深度归档存储对象恢复完成时，对象的恢
Turbo高性能，加速训练过程 训练数据集高速读取，避免GPU/NPU因存储I/O等待产生空闲，提升GPU/NPU利用率。 大模型TB级Checkpoint文件秒级保存和加载，减少训练任务中断时间。 3 数据导入导出异步化，不占用训练任务时长，无需部署外部迁移工具 训练任务开始前将数据从OBS导入到SFS
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后，训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存，无需手工导出，异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限
恢复归档或深度归档存储对象(Java SDK) 功能说明 如果要下载归档或深度归档存储对象，需要先将归档或深度归档存储对象恢复。恢复归档存储对象的恢复选项可支持两类，见下表： 选项 说明 OBS Java SDK对应值 快速恢复 恢复耗时1~5分钟。 RestoreTierEnum
恢复归档或深度归档存储对象(Go SDK) 功能说明 如果要获取归档或深度归档存储对象的内容，需要先将对象恢复，然后再执行下载数据的操作。对象恢复后，会产生一个标准存储类型的对象副本，也就是说会同时存在标准存储类型的对象副本和归档或深度归档存储对象，在恢复对象的保存时间到期后标准存储类型的对象副本会自动删除。
恢复归档或深度归档存储对象(Python SDK) 功能说明 归档要先将对象恢复，然后再执行下载数据的操作。对象恢复后，会产生一个标准存储类型的对象副本，也就是说会同时存在标准存储类型的对象副本和归档或深度归档存储对象，在恢复对象的保存时间到期后标准存储类型的对象副本会自动删除。
恢复归档或深度归档存储对象(Harmony SDK) 功能说明 如果要获取归档或深度归档存储对象的内容，需要先将对象恢复，然后再执行下载数据的操作。对象恢复后，会产生一个标准存储类型的对象副本，也就是说会同时存在标准存储类型的对象副本和归档或深度归档存储对象，在恢复对象的保存时间
表1 存储类别对比 对比项目 标准存储 低频访问存储 归档存储 深度归档存储（受限公测） 特点 高性能、高可靠、高可用的对象存储服务 高可靠、较低成本的实时访问存储服务 归档数据的长期存储，存储单价更优惠 深度归档数据的长期存储，存储单价相比归档存储更优惠 应用场景 云应用、数据分享、内容分享、热点对象
同时存在标准存储类型的对象副本和归档或深度归档存储对象，在恢复对象的保存时间到期后标准存储类型的对象副本会自动删除。 该接口可以恢复指定桶中的归档存储对象。 接口约束 您必须是桶拥有者或拥有恢复归档或深度归档存储对象的权限，才能恢复归档或深度归档存储对象。建议使用IAM或桶策略进
如图所示，OBS支持通过生命周期实现以下场景的存储类别自动转换： 标准存储->低频访问存储、归档存储、深度归档存储 低频访问存储->归档存储、深度归档存储 归档存储->深度归档存储 执行生命周期规则时，OBS依据桶的多版本状态执行的转换操作如下： 未开启多版本的桶 开启多版本的桶 暂停多版本的桶
资源和成本规划 本节介绍最佳实践中资源规划情况，包含以下内容： 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS：存放训练数据集、预训练模型等数据资源的桶，桶存储类别为“标准存储”，桶策略为“私有”。 SFS Turbo：文件系统类型为“HPC型”，存储类型请根据存储容
启用跨区域复制规则后，符合以下条件的对象会复制到目标桶中： 新上传的对象（归档存储或深度归档存储对象除外）。 有更新的对象，比如对象内容有更新，或者某一对象跨区域复制成功后源桶对象ACL设置有更新。 桶中的历史对象（需要开启“同步历史对象”功能，且归档存储或深度归档存储对象除外）。 父主题： 跨区域复制
实施步骤 创建资源 基本配置 训练 例行维护 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
