检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 创建VPC 虚拟私有云可以为您构建隔离的、用户自主配置和管理的虚拟网络环境,操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo HPC型文件系统 创建SFS
一到多个字典形式组织的键值对。其中share_used作为key,对应的value表示共享已经使用的容量,单位是Bytes。SFS容量型文件系统已用容量小于1MB时,将不会显示已用容量。enterprise_project_id作为key,对应的value是共享所属的企业项目ID。 status
Id,描述statement的字符串 Action String 本条statement作用的操作,取值范围:FullControl(读写)、Read(只读)。 枚举值: FullControl Read Effect String 效果,指定本条statement的权限是允许,必须为Allow。
Unauthorized 被请求的页面需要用户名和密码。 403 Forbidden 对被请求页面的访问被禁止。 404 Not Found 服务器无法找到被请求的页面。 405 Method Not Allowed 请求中指定的方法不被允许。 406 Not Acceptable 服务器生成的响应无法被客户端所接受。
修改文件系统绑定的安全组 功能介绍 修改SFS Turbo文件系统绑定的安全组。修改安全组为异步任务,可以通过“查询单个文件系统”返回的子状态字段“sub_status”来判断是否修改安全组状态,子状态为“232”即为修改安全组成功。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API
实施步骤 创建文件系统本地目录 为每个用户创建有读写权限的子目录 父主题: 为文件系统创建普通用户可读写的子目录
明。 须知: 本文提供的成本预估费用仅供参考,资源的实际费用以华为云管理控制台或价格计算器显示为准。 如果您想了解更多本方案相关信息,或在方案使用过程中存在疑问,可通过方案咨询渠道,寻求专业人员支持。 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
-name=randread_test 其中,“/mnt/sfsturbo/fio_test_01 -name”为待测试的目标文件的挂载路径,需具体到文件名,即这里要测试的是“/mnt/sfsturbo”目录下的“fio_test_01 -name”文件,请根据实际填写。 fio结果: 单队列随机写 fio命令:
说明: 如果已经通过TMS的预定义标签功能预先创建了标签,则可以直接选择对应的标签键和值。预定义标签的详细内容,请参见预定义标签简介。 标签的设置说明如表2所示。 表2 标签说明 参数 说明 举例 键 输入标签的键,同一个备份标签的键不能重复。键可以自定义,也可以选择预先在标签服务(TMS)创建好的标签的键。
Turbo:增加挂载配置,选择创建资源中创建的SFS Turbo HPC型文件系统。 单击“提交”,完成训练作业的创建。 训练作业创建完成后,后台将自动完成容器镜像下载、代码目录下载、执行启动命令等动作。训练作业一般需要运行一段时间,根据您的训练业务逻辑和选择的资源不同,训练时长将持续几十分钟
共享资源搜索字段。当该字段不设置时,默认为搜索租户的所有共享。 tags 否 Array of tags 标签搜索字段。包含标签,结果返回满足tags搜索条件的共享资源列表。搜索条件中所有tag之间是“与”的关系,即只有当所有tag搜索条件都满足时,共享资源才可以被搜索。每个tag搜索条件的key-va
本条statement生效的条件。 表5 Condition 参数 是否必选 参数类型 描述 SourceVpc 是 String 指定VPC的VPCid。 VpcSourceIp 否 Array of strings 指定的IP或IP范围(暂不支持该参数)。 响应参数 该请求的响应消息使用公共消息头,具体请参考
Turbo性能测试 fio是一个开源的I/O压力测试工具,可以使用fio工具对SFS进行吞吐量和IOPS的性能测试。 前提条件 已在云服务器上安装fio工具。fio可从官网或GitHub下载。 注意和说明 测试性能依赖client和server之间的网络带宽及文件系统的容量大小。 安装fio 以Linux
Turbo性能测试 fio是一个开源的I/O压力测试工具,可以使用fio工具对SFS进行吞吐量和IOPS的性能测试。 前提条件 已在云服务器上安装fio工具。fio可从官网或GitHub下载。 注意和说明 测试性能依赖client和server之间的网络带宽及文件系统的容量大小。 安装fio 以Linux
String 用户的DomainID(账号ID) 表4 Buckets 参数 参数类型 描述 Bucket Bucket object 具体的文件系统信息 表5 Bucket 参数 参数类型 描述 Name String 文件系统名称 CreationDate String 文件系统的创建时间
X-Auth-Token 是 String 账号的token Content-Type 是 String MIME类型 表3 请求Body参数 参数 是否必选 参数类型 描述 path 是 String 合法的的目录全路径 mode 否 Long 目录权限,默认值是755,取值范围是0到777。
存储在文件系统中的数据进行加密,访问数据时,自动将加密数据解密后返回给用户。 具体使用方法请参见文件系统加密。 数据备份 备份是SFS Turbo文件系统在某一时间点的完整备份,记录了这一时刻文件系统的所有配置数据和业务数据。当您的文件系统出现故障或文件系统中的数据发生逻辑错误时
Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。 登录SFS管理控制台。 在文件系统列表中,单击创建的HPC型文件系统名称,进入文件系统详情页面。