检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
满足不同场景的业务需求。云硬盘就类似PC中的硬盘。 存储数据的逻辑 存放的是文件，会以文件和文件夹的层次结构来整理和呈现数据。 存放的是对象，可以直接存放文件，文件会自动产生对应的系统元数据，用户也可以自定义文件的元数据。 存放的是二进制数据，无法直接存放文件，如果需要存放文件，需要先格式化文件系统后使用。
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后，训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存，无需手工导出，异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使
面向AI场景使用OBS+SFS Turbo的存储加速实践 方案概述 资源和成本规划 操作流程 实施步骤 常见问题
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速，流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
CanonicalizedHeaders HTTP请求头域中的SFS请求头字段，即以“x-obs-”作为前辍的头域，如“x-obs-date，x-obs-acl，x-obs-meta-*”。 请求头字段中关键字的所有字符要转为小写（但内容值需要区分大小写，如“x-obs-storage-class:STA
查询API版本的详细信息 功能介绍 查询API版本的详细信息。 URI GET /{api_version}/ 参数说明 参数 是否必选 参数类型 描述 api_version 是 String API版本号。值为v1或v2。 请求消息头 该操作消息头与普通请求一样，请参见表3。
实施步骤 创建资源 基本配置 训练 例行维护 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践
映射到后端的一个IP，导致客户端与服务端的网络连接分布不均，从而无法充分利用服务端分布式集群能力。 当客户端数量较少时，如果希望最大限度地利用文件系统性能，一种有效的方法是为每个客户端指定一个不同的服务端IP地址进行挂载。通过这种方式，可以更均匀地分布客户端与服务端的网络连接，从
Turbo默认只能被云上同一个VPC内的ECS/CCE访问，用户可通过云专线/VPN/对等连接等方式打通网络，实现多种访问方式。 云下或其他云访问： 云专线/VPN 云上同区域同一账号不同VPC： VPC对等连接 云上同区域跨账号访问： VPC对等连接 不同区域访问： 云连接 迁移数据分为两
描述 project_id 是 String 操作用户的项目ID，获取方法请参见获取项目ID。 project_id 是 String 要查询、更新或删除配额的租户的ID，这个ID不同于URI中第一个项目ID，第一个ID为管理租户的ID。 请求消息头 该操作消息头与普通请求一样，请参见表3。
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题： 实施步骤
查询job的状态详情 功能介绍 查询job的执行状态。 可用于查询SFS Turbo异步API的执行状态。例如：可使用调用创建并绑定ldap配置接口时返回的jobId，通过该接口查询job的执行状态。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Ex
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题： 实施步骤
VPC终端节点能够将VPC私密地连接到终端节点服务，使VPC中的云资源无需弹性公网IP就能够访问终端节点服务，提高了访问效率，为您提供更加灵活、安全的组网方式。 通用文件系统通过VPC终端节点，建立与云服务器的通信，以实现云服务器能够访问文件系统。 VPC终端节点（VPC Endpoint）
构造请求 本节介绍REST API请求的组成，并以调用IAM服务的获取用户Token来说明如何调用API，该API获取用户的Token，Token可以用于调用其他API时鉴权。 您还可以通过这个视频教程了解如何构造请求调用API：https://bbs.huaweicloud.com/videos/102987。
查询共享的标签 功能介绍 查询指定共享的所有标签信息。 URI GET /v2/{project_id}/sfs/{share_id}/tags 参数说明 参数 是否必选 参数类型 描述 project_id 是 String 操作用户的项目ID，获取方法请参见获取项目ID。 share_id
Turbo：增加挂载配置，选择创建资源中创建的SFS Turbo HPC型文件系统。 单击“提交”，完成训练作业的创建。 训练作业创建完成后，后台将自动完成容器镜像下载、代码目录下载、执行启动命令等动作。训练作业一般需要运行一段时间，根据您的训练业务逻辑和选择的资源不同，训练时长将持续几十分钟到几
Turbo HPC型文件系统绑定OBS后端之后，建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容，仅保留文件元数据，数据内容释放后不占用SFS Turbo文件系统上的存储空间，再次访问该文件时，将重新从OBS中加载文件数据内容。 登录SFS管理控制台。
如已成功挂载文件系统，可跳过此章节。请记录步骤4的本地目录后，按照为每个用户创建有读写权限的子目录执行操作。 前提条件 确定云服务器操作系统类型，不同操作系统安装NFS客户端的命令不同。 已完成创建文件系统，并获取到文件系统的挂载地址。 选择与文件系统所属VPC相同的云服务器进行挂载。 云服务器上
String 用户在某一区域下的安全组ID。 share_proto 是 String 文件系统共享协议，有效值为NFS。NFS（Network File System），即网络文件系统。一种使用于分散式文件系统的协议，通过网络让不同的机器、不同的操作系统能够彼此分享数据。 share_type
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
