检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取文件系统异步任务详情 功能介绍 获取文件系统异步任务详情。仅支持查询目录资源使用情况的任务,API请求路径的feature取值为dir-usage,以下简称为DU任务。 接口约束 在2023年8月1号之后创建的文件系统支持该API操作。后端有5min的缓存时间,查询的数据可能
红线与绿线:mv或者link操作,绿色表示允许操作,红色表示不允许操作。 虚线矩形:配额目录区域。 管理目录配额 配额具体操作请参考《高性能弹性文件服务API参考》 > API > 目录管理。 添加与修改配额 只能对空目录设置配额。 只能对配额目录修改配额,配额需高于原配额。 必须要提供的3个参数:
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
份。 前提条件 删除文件系统之前,建议先卸载已挂载的文件系统。卸载操作请参见卸载SFS Turbo文件系统。 操作步骤 登录高性能弹性文件服务管理控制台。 在文件系统列表中,单击指定文件系统所在行的“更多 > 删除”或“更多 > 退订”。 按需计费的SFS Turbo文件系统在对
Turbo文件系统进行缩容操作,可以通过购买小容量的新文件系统再将原文件系统数据进行手动迁移,实现“缩容”。 包年/包月的SFS Turbo文件系统扩容 登录高性能弹性文件服务管理控制台。 在SFS Turbo文件系统列表中,单击需要扩容的SFS Turbo文件系统所在行的“扩容”,进入“扩容”页面。 图1 包年/包月的SFS
常见问题 可以只使用SFS Turbo HPC型文件系统支撑AI训练吗? 当数据规模较小,不存在冷热数据分级降本诉求,又希望能方便快捷的构建AI训练系统时,可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗? OBS
如何将SFS Turbo部署至CCE? 请根据实际的业务情况,阅读存储管理-CSI-存储概述或存储管理-Flexvolume-极速文件存储卷,并在CCE界面完成部署操作。 父主题: SFS Turbo迁移类问题
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
获取文件系统异步任务列表 功能介绍 获取文件系统异步任务列表。仅支持查询目录资源使用情况的任务,API请求路径的feature取值为dir-usage,以下简称为DU任务。 接口约束 在2023年8月1号之后创建的文件系统支持该API操作。后端有5min的缓存时间,查询的数据可能
SFS Turbo文件系统可以跨区域挂载吗? SFS Turbo支持同区域(region)下跨可用区(AZ)挂载。 SFS Turbo可以通过使用云连接CC“跨区域VPC互通”方案将不同区域的vpc内网打通,从而采取指定IP的方式跨区域(Region)挂载。 当您的业务对时延、IOPS指标要求较高时,使用SFS
SFS Turbo文件系统可以跨账号挂载使用吗? 支持但不推荐。 针对性能稳定性和延迟要求不高的场景,SFS Turbo文件系统基于VPC的对等连接功能,可以使用跨账号挂载。更多关于VPC对等连接功能信息和实现方法请参见VPC对等连接。 父主题: SFS Turbo挂载类问题
您可以在CES云监控服务上监控SFS Turbo关联的OBS桶的性能使用情况,SFS Turbo和OBS之间的数据导入导出速度会受OBS服务的读写带宽上限QoS影响,默认是16Gbit/s,如果导入导出速度受到OBS读写带宽上限影响,可提交工单联系技术支持人员申请调大OBS服务的读写带宽。
SFS Turbo文件系统使用空间不足,可以扩容吗? 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB和1000MB/s/TiB等类型的SFS Turbo文件系统:支持在线扩容,扩容过程中,正在挂载使用的连接可能存在30%左右的性能抖动;
SFS Turbo文件系统支持多可用区吗? 单个文件系统只能创建在一个可用区,比如可用区1,但是任何可用区都可以挂载访问。 文件系统不支持多可用区数据冗余,文件系统所在可用区不可用时,文件系统不可用。 父主题: SFS Turbo其他类问题
SFS Turbo文件系统中的数据可以跨区域迁移吗? 文件系统中的数据支持跨区域迁移,具体操作请参见数据迁移。 父主题: SFS Turbo迁移类问题
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”,进入“训练作业”列表。 单击右上角的“创建训练作业”,进入“创建训练作业”页面,在该页面填写训练作业相关参数信息。
每个账号最多可以创建多少个SFS Turbo文件系统? SFS Turbo文件系统单次只能创建一个。当需要创建多于20个SFS Turbo文件系统时请单击这里提交工单申请扩大配额。 目前每个账号最多可以创建20个SFS Turbo文件系统。 父主题: SFS Turbo规格类问题
挂载文件系统到子目录失败了怎么办? 现象描述 如果在挂载子目录前未先创建对应的子目录,则会导致挂载失败。例如图1subdir为子目录,但是文件系统根目录下面没有subdir这个目录,所以导致挂载失败。这里文件系统提示的报错是 Permission denied,实际上是由于该子目录不存在导致的。
如何提高SFS Turbo文件系统复制和删除操作的效率? Linux常用cp、rm、tar命令,默认属于串行操作,无法发挥网络文件系统的并发优势,需要用户并发执行以上命令,提升执行效率。 父主题: SFS Turbo删除类问题