检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
生命周期管理 创建文件系统 查询文件系统详细信息 删除文件系统 获取文件系统列表 扩容文件系统 父主题: SFS Turbo API说明
修改文件系统绑定的安全组 功能介绍 修改SFS Turbo文件系统绑定的安全组。修改安全组为异步任务,可以通过“查询单个文件系统”返回的子状态字段“sub_status”来判断是否修改安全组状态,子状态为“232”即为修改安全组成功。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API
Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用状态,请提交工单联系技术支持人员进行配置。 文件导出速度受OBS服务的写入带宽上限
从控制台获取项目ID的步骤如下: 登录管理控制台。 鼠标悬停在右上角的用户名,选择下拉列表中的“我的凭证”。 在“API凭证”页面的项目列表中查看项目ID。 图1 查看项目ID 父主题: 附录
√ 创建文件系统异步任务 POST /v1/{project_id}/sfs-turbo/shares/{share_id}/fs/{feature}/tasks sfsturbo:shares:createFsAsyncTask - √ √ 获取文件系统异步任务列表 GET /v
查询项目标签 功能介绍 查询租户在指定Project中所有资源的标签集合。 URI GET /v3/sfs/tms/{project_id}/file-systems/tags 参数说明 参数 是否必选 参数类型 描述 project_id 是 String 操作用户的项目ID,获取方法请参见获取项目ID。
与其他云服务的关系 弹性文件服务与其他云服务的关系如图1所示。 图1 弹性文件服务与其他服务的关系示意图 弹性文件服务与其他服务的关系 表1 与其他云服务的关系 功能 相关服务 位置 云服务器和文件系统归属于同一项目下,用于挂载共享路径实现数据共享。 弹性云服务器(Elastic
练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中,数据预热功能的具体操作请参考创建SFS Turbo 和 OBS 之间的联动任务。 您可通过查询联动任务详情接口查看导入任务的完成状态。 如果您觉得数据
SFS Turbo API说明 生命周期管理 连接管理 共享标签 名称管理 文件系统管理 存储联动管理 目录管理 权限管理 任务管理
请求示例 { "action" : "config_gc_time", "gc_time" : 5 } 响应示例 状态码: 200 任务下发成功 { "gc_time" : 10 } 状态码: 404 错误响应 { "errCode" : "SFS.TURBO.0002"
大模型TB级Checkpoint文件秒级保存和加载,减少训练任务中断时间。 3 数据导入导出异步化,不占用训练任务时长,无需部署外部迁移工具 训练任务开始前将数据从OBS导入到SFS Turbo,训练过程中写入到SFS Turbo的Checkpoint数据异步导出到OBS,均不占用训练任务时长。 SFS Turbo
-bc7142af4dde/targets/11abef677ac40f46644d1d5cfc2424a4 响应示例 状态码: 202 任务下发成功 { "target_id" : "00000334-xxxx-402d-a5d4-bxxxxx87b939", "del
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
获取obs导入导出任务数据失败 请重新获取obs导入导出的数据,如果问题未得到解决,请联系技术支持 400 SFS.TURBO.0106 The OBS task does not exist obs 任务不存在 请选择存在的obs任务或者创建相应的obs任务 400 SFS.TURBO
挂载成功后,用户可以在云服务器上访问文件系统的子目录,执行读取或写入操作。 问题处理 如果在挂载子目录前未先创建对应的子目录,则会导致挂载失败。例如: 图1 无子目录挂载 图中subdir为子目录,但是文件系统根目录下面没有subdir这个目录,所以导致挂载失败。这里文件系统提示的报错是 Permission
使用which命令查看mount和umount命令的路径。 图1 查看命令路径 执行vi /etc/sudoers命令编辑sudoers文件。 在root账号下添加普通用户账号,下图以添加普通用户Mike为例。 图2 添加用户 编辑完成后,单击“Esc”,并输入:wq,保存文件并退出。
在备份副本列表的操作列单击“创建文件系统”。 图5 创建文件系统 如果没有备份副本,在云备份控制台的SFS Turbo备份界面对应的“存储库”页签,找到对应的存储库,单击“执行备份”。确认信息,单击“确定”。 图6 执行备份 配置文件系统相关数据。如图7所示。 图7 创建文件系统 要了解这些参数
则为创建失败,请提交工单进行技术咨询。 图3 通用文件系统创建成功 创建SFS Turbo文件系统 在左侧导航栏,选择“SFS Turbo”。在页面右上角单击“创建文件系统”。 如图4所示,根据界面提示配置参数,参数说明如表3所示。 图4 创建SFS Turbo文件系统 表3 参数说明
图解弹性文件服务
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速,流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。