检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
即可实现ECS间的文件共享。Linux客户端建议使用NFS协议。 删除子网 支持区域: 全部 挂载NFS文件系统到云服务器(Linux) 备份 备份是文件系统在某一时间点的完整备份,记录了这一时刻文件系统的所有配置数据和业务数据。当您的文件系统出现故障或文件系统中的数据发生逻辑错误等时,可快速使用备份恢复数据。
Turbo支持同区域(region)下跨可用区(AZ)挂载。 SFS Turbo可以通过使用云连接CC“跨区域VPC互通”方案将不同区域的vpc内网打通,从而采取指定IP的方式跨区域(Region)挂载。 当您的业务对时延、IOPS指标要求较高时,使用SFS Turbo文件系统进行同区域下跨可用区挂载或者跨区域挂
FS文件系统的场景下),且您需要达到较高的带宽或IOPS时,建议开启该功能; 开启nconnect后对于单并发、小IO数据块等场景会有一定的时延增加,当您的业务为小并发的延迟敏感型时,不建议开启该功能; nconnect功能开启后,可以提升NFS客户端与服务端之间的吞吐性能,最终
修改文件系统绑定的安全组 功能介绍 修改SFS Turbo文件系统绑定的安全组。修改安全组为异步任务,可以通过“查询单个文件系统”返回的子状态字段“sub_status”来判断是否修改安全组状态,子状态为“232”即为修改安全组成功。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API
训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中,数据预热功能的具体操作请参考创建SFS Turbo 和 OBS 之间的联动任务。 您可通过查询联动任务详情接口查看导入任务的完成状态。 如果您觉得数据集规模较小或数据集变化不太频繁,不需要通过数据联动来做数据
支持文件系统挂载的操作系统 已通过兼容性测试的操作系统如表1所示。 表1 支持文件系统挂载的操作系统列表 类型 版本范围 CentOS CentOS 5,6,7 for x86 Debian Debian GNU/Linux 6,7,8,9 for x86 Oracle Oracle
已创建的文件系统数量已经达到配额上限,请提交工单申请扩大配额。 子网IP不足 如果子网IP资源不足,可以更换子网或者释放当前文件系统使用的子网下其他的IP地址。 后台资源不足 计算&存储资源等后台资源达到上限,请提交工单进行技术咨询。 提交工单 如果上述方法均不能解决您的疑问,请提交工单寻求更多帮助。
Turbo:增加挂载配置,选择创建资源中创建的SFS Turbo HPC型文件系统。 单击“提交”,完成训练作业的创建。 训练作业创建完成后,后台将自动完成容器镜像下载、代码目录下载、执行启动命令等动作。训练作业一般需要运行一段时间,根据您的训练业务逻辑和选择的资源不同,训练时长将持续几十分钟
约束限制 您能创建的文件系统的数量和容量与配额有关系,如果您想查看服务配额、扩大配额,具体请参见“配额”。 更详细的限制请参见具体API的说明。 父主题: 使用前必读
面向AI场景使用OBS+SFS Turbo的存储加速实践 方案概述 资源和成本规划 操作流程 实施步骤 常见问题
文件系统中的数据是否可以跨区域迁移? 文件系统中的数据支持跨区域迁移,具体操作请参见数据迁移。 父主题: 限制类
其他操作 SFS Turbo性能测试 使用非root的普通用户挂载文件系统到Linux云服务器 挂载NFS文件系统子目录到云服务器(Linux) 数据迁移
高性能弹性文件服务提供了REST(Representational State Transfer)风格API,支持您通过HTTPS请求调用,调用方法请参见如何调用API。 父主题: 使用前必读
在文件系统中存放的单个文件最大支持多少? SFS Turbo文件系统支持存放最大为320TB的单个文件。 父主题: 规格类
可能原因 处理措施 文件系统和挂载的服务器不在同一个可用区 在与服务器相同的可用区新建一个文件系统,将另一可用区的文件系统数据迁移至新文件系统后,再将新文件系统挂载至服务器。 使用场景与文件系统类型不匹配 结合业务场景,参考文件系统类型,选择正确的文件系统类型。 并发数过高或过低
Turbo文件系统用于存放日志文件。 登录作为计算节点的云服务器,挂载文件系统。 配置日志目录为共享文件系统(建议每个主机使用不同的日志文件)。 启动应用程序。 前提条件 已完成VPC创建。 已完成作为头节点和计算节点的云服务器创建并将其归属在已创建的VPC下。如果需要将云下日志文件上传至SFS
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
常见问题 可以只使用SFS Turbo HPC型文件系统支撑AI训练吗? 当数据规模较小,不存在冷热数据分级降本诉求,又希望能方便快捷的构建AI训练系统时,可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗? OBS
为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 创建VPC 虚拟私有云可以为您构建隔离的、用户自主配置和管理的虚拟网络环境,操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo HPC型文件系统 创建SFS
根据返回的文件系统id查询SFS Turbo文件系统详情,具体操作请参考查询文件系统详细信息。 查询文件系统详情返回状态status为“200”,则表示创建SFS Turbo文件系统成功。请求异常的返回值说明请参考对应API接口的异常返回值。其他的状态请参考SFS Turbo文件系统状态。 根据文件系统的id,可对SFS