检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Turbo和对象存储服务OBS之间进行数据迁移? 背景知识 对象存储服务OBS是华为云提供的稳定、安全、高效、易用的云存储服务,具备标准Restful API接口,可存储任意数量和形式的非结构化数据。 高性能弹性文件服务SFS Turbo是华为云提供的按需扩展的高性能文件存储(NAS)
计费项 默认为按需计费模式。即按您购买时选择的存储容量和时长收费,而不是以实际的使用量收费。以小时为单位,按每小时整点结算。结算时,时长不足1小时的,按1小时计费。计费模型如表1所示。 表1 计费模型 计费项 计费因子 标准型、标准型-增强版(停售)、性能型、性能型-增强版(停售
存储联动管理 绑定后端存储 查询后端存储列表 获取后端存储详细信息 删除后端存储 更新后端存储属性 更新后端存储自动同步策略 创建数据导入导出任务 查询数据导入导出任务详情 查询数据导入导出任务列表 删除数据导入导出任务 更新文件系统 父主题: API
HPC型支持和OBS数据联动,您可以通过SFS Turbo HPC型文件系统来加速对OBS对象存储中的数据访问,并将生成的结果数据异步持久化到OBS对象存储中长期低成本保存。 图1 基于OBS+SFS Turbo的华为云AI云存储解决方案 方案优势 华为云AI云存储解决方案的主要优势如下表所示。
s/TiB、1000MB/s/TiB、标准型、标准型-增强版、性能型、性能型-增强版类型 存储空间 HPC缓存型 存储空间 带宽大小 计费周期 费用结算的最小时长为1小时,与具体的购买时刻无关。例如在结算18:00~19:00的文件系统存储费用时,无论文件系统是在18:00~19
String OBS桶名称 endpoint String OBS桶所在的区域域名 policy ObsDataRepositoryPolicy object 后端存储自动同步策略 attributes ObsTargetAttributes object 后端存储属性。2024
更新后端存储属性 功能介绍 更新后端存储属性 接口约束 该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API
删除后端存储 功能介绍 删除后端存储 接口约束 该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题
Turbo? 高性能弹性文件服务默认为按需计费,即按购买的存储容量和时长收费。您也可以购买包年包月套餐,提前规划资源的使用额度和时长。在欠费时,您需要及时(15天之内)续费以避免您的文件系统资源被清空。 按需计费购买 注册云服务账号。 打开华为云网站www.huaweicloud.com。 单击页面右上角“注册”。
SFS Turbo 标准型-增强版等规格停售公告 停售公告 华为云计划于2023/08/21 20:00(北京时间)将高性能弹性文件服务SFS Turbo 标准型-增强版、性能型-增强版规格正式停售。 停售区域 华北-乌兰察布一、华北-北京四、华北-北京一、华东-上海一、华东-上
如何购买高性能弹性文件服务? 高性能弹性文件服务默认为按需计费,即按购买的存储容量和时长收费。您也可以购买包年包月套餐,提前规划资源的使用额度和时长。在欠费时,您需要及时(15天之内)续费以避免您的文件系统资源被清空。 按需计费购买 注册云服务账号。 打开华为云网站www.huaweicloud.com。 单击页面右上角“注册”。
取后端存储详细信息接口去轮询绑定完成状态。 如果返回状态为AVAILABLE,代表绑定后端存储成功。 如果返回状态MISCONFIGURED,代表绑定后端存储失败。DELETING 状态暂不支持。 obs ObsDataRepository object OBS类型后端存储 表10
OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容量和性能需求选择,AI场景建议选择250MB/s/TiB及以上的存储类型。 ModelArts:AI开发平台,采用多机多卡分布式训练。
带宽=min{2GB/s,DSS存储池可用带宽} IOPS=min{20k,DSS存储池可用IOPS} 存储池可用带宽和IOPS,与存储容量成正比例关系。在购买专属弹性文件服务,规划DSS专属存储资源时,需要为专属弹性文件服务预留对应的容量和性能,避免出现容量或性能不足,影响专属文件存储服务。 在“
扩容与缩容SFS Turbo文件系统 是否支持扩容 支持 是否支持缩容 不支持 目标容量取值范围 标准型、标准型-增强版(停售)、性能型、性能型-增强版(停售):扩容步长至少为100GB起步。标准型和性能型可调整最大容量不超过32TB,增强版可调整最大容量不超过320TB。 20MB/s
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的 IaaS、PaaS 和 SaaS 类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践