检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数 说明 当前容量 当前文件系统的容量。 目标容量 容量调整后文件系统的容量。 取值约束: 标准型、标准型-增强版(停售)、性能型、性能型-增强版(停售):扩容步长至少为100GB起步。标准型和性能型可调整最大容量不超过32TB,增强版可调整最大容量不超过320TB。 20MB/s
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
Turbo上对这些文件所进行的数据和元数据的修改,会被自动同步到OBS桶里。 DELETED:表示删除数据,在SFS Turbo联动目录下删除文件,OBS桶对应的对象也会被删除,只有被SFS Turbo写入的OBS对象才会被删除。 状态码: 404 表10 响应Body参数 参数 参数类型
40MB/s/TiB 125MB/s/TiB 250MB/s/TiB 500MB/s/TiB 1000MB/s/TiB HPC缓存型文件系统 标准型、标准型-增强版、性能型、性能型-增强版类型的SFS Turbo文件系统,请使用“查询目录资源使用情况”接口。 调试 您可以在API Exp
Turbo上对这些文件所进行的数据和元数据的修改,会被自动同步到OBS桶里。 DELETED:表示删除数据,在SFS Turbo联动目录下删除文件,OBS桶对应的对象也会被删除,只有被SFS Turbo写入的OBS对象才会被删除。 表9 ObsTargetAttributes 参数 参数类型 描述
不支持多层目录,不能包含字符'/'。 obs 是 ObsDataRepository object OBS类型后端存储 表4 ObsDataRepository 参数 是否必选 参数类型 描述 bucket 是 String OBS桶名称 endpoint 是 String OBS桶所在的区域域名 policy
数据预热),export(导出)。 附加元数据导入方式会导入OBS对象的元数据(名称、大小、最后修改时间)以及来源于SFS Turbo 导出时的附加元数据(如uid、gid、mode)。 快速导入方式仅会导入OBS对象的元数据(名称、大小、最后修改时间),不会导入其它附加元数据(如uid、gid、mode),SFS
40MB/s/TiB 125MB/s/TiB 250MB/s/TiB 500MB/s/TiB 1000MB/s/TiB HPC缓存型文件系统 标准型、标准型-增强版、性能型、性能型-增强版类型的SFS Turbo文件系统,请使用“查询目录资源使用情况”接口。 调试 您可以在API Exp
存储底层包含HDD和SSD两种存储介质;存储系统采用分布式存储架构,全模块架构冗余设计,无单一故障点。 无缝集成 高性能弹性文件服务同时支持NFS和SMB协议。通过标准协议访问数据,无缝适配主流应用程序进行数据读写。同时兼容SMB2.0/2.1/3.0版本,Windows客户端可轻松访问共享空间。 操作简单、低成本
Turbo上对这些文件所进行的数据和元数据的修改,会被自动同步到OBS桶里。 DELETED:表示删除数据,在SFS Turbo联动目录下删除文件,OBS桶对应的对象也会被删除,只有被SFS Turbo写入的OBS对象才会被删除。 表11 ObsTargetAttributes 参数 参数类型 描述
配置ModelArts和SFS Turbo间网络直通 创建委托授权ModelArts云服务使用SFS Turbo 使用IAM管理员账号登录IAM控制台。 在IAM控制台的左侧导航窗格中选择“权限管理 > 权限”。 配置调用SFS Turbo接口的自定义策略: 单击右上角的“创建自定义策略”,进入自定义策略配置页面。
40MB/s/TiB 125MB/s/TiB 250MB/s/TiB 500MB/s/TiB 1000MB/s/TiB HPC缓存型文件系统 标准型、标准型-增强版、性能型、性能型-增强版类型的SFS Turbo文件系统,请使用“查询目录资源使用情况”接口。 调试 您可以在API Exp
文件系统类型,有效值为STANDARD或者PERFORMANCE。当文件系统正在创建时,该字段不返回。 SFS Turbo上一代文件系统规格类型:标准型和标准型增强版填写STANDARD,性能型和性能型增强版填写PERFORMANCE。 20MB/s/TiB、40MB/s/TiB、125MB
40MB/s/TiB 125MB/s/TiB 250MB/s/TiB 500MB/s/TiB 1000MB/s/TiB HPC缓存型文件系统 标准型、标准型-增强版、性能型、性能型-增强版类型的SFS Turbo文件系统,请使用“查询目录资源使用情况”接口。 调试 您可以在API Exp
String MIME类型 表3 请求Body参数 参数 是否必选 参数类型 描述 attributes 是 ObsTargetAttributes object 后端存储属性 表4 ObsTargetAttributes 参数 是否必选 参数类型 描述 file_mode 否 Integer
HPC性能不足时,需要通过容量扩容来提高性能吞吐。 OBS性能监控 您可以在CES云监控服务上监控SFS Turbo关联的OBS桶的性能使用情况,SFS Turbo和OBS之间的数据导入导出速度会受OBS服务的读写带宽上限QoS影响,默认是16Gbit/s,如果导入导出速度受到OBS读写带宽上限影响,可提交
可以直接从云下访问高性能弹性文件服务吗? SFS Turbo支持通过IDC专线或其他方式建立通信后,可以从云下访问SFS Turbo文件系统。 父主题: 其他类
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”,进入“训练作业”列表。 单击右上角的“创建训练作业”,进入“创建训练作业”页面,在该页面填写训练作业相关参数信息。
能会影响云服务资源的正常运行,需要及时充值。详细介绍请参见欠费说明。 停止计费 当云服务资源不再使用时,可以将他们退订或删除,从而避免继续收费。详细介绍请参见停止计费。 成本管理 您可以从成本构成、成本分配、成本分析和成本优化四个维度来管理成本。更多详情,请参见成本管理。
-P:数据拷贝进度。 --links:复制源端的软链接,目的端保持为软链接的形式。 --copy-links:复制源端软链接指向的文件内容,目的端变成文件的形式,不再是软链接。 --create-empty-src-dirs:复制源端的空目录到目的端。 等待数据完成同步后,可前往目标文件系统查看是否已成功迁移。