检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
求,又希望能方便快捷的构建AI训练系统时,可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗? OBS为容量型存储,在时延、带宽等存储性能上无法满足高性能AI训练,建议使用SFS Turbo HPC型高性能文件系统加
conf”文件。在已有的nameserver配置前写入DNS服务器的IP地址。DNS服务器东北区IP地址为100.125.6.250,其它区域详情请参见华为云内网DNS地址。 图1 配置DNS 格式如下: nameserver 100.125.1.250 nameserver 100.125.17
https://{Endpoint}/v3/projects”,其中{Endpoint}为IAM的终端节点,可以从地区和终端节点获取。接口的认证鉴权请参见认证鉴权。 响应示例如下,其中projects下的“id”即为项目ID。 { "projects": [ {
上传数据至OBS并预热到SFS Turbo中 上传数据至OBS 已经在OBS上创建好普通OBS桶,请参见创建普通OBS桶。 已经安装obsutil,请参考下载和安装obsutil。 登录Imagenet数据集下载官网地址,下载Imagenet21k数据集:http://image-net
不支持多层目录,不能包含字符'/'。 obs 是 ObsDataRepository object OBS类型后端存储 表4 ObsDataRepository 参数 是否必选 参数类型 描述 bucket 是 String OBS桶名称 endpoint 是 String OBS桶所在的区域域名 policy
站和编辑工作站的云服务器上,再将素材文件由上载工作站上传到挂载的文件系统,最终实现多个编辑工作站直接对挂载文件系统中的素材进行编辑。 配置流程 整理好需要上传的素材文件。 登录弹性文件服务控制台,创建一个文件系统用于存放素材文件。 登录作为上载工作站和编辑工作站的云服务器,挂载文件系统。
目前TMS调用时只包含一个tag结构体 key:_sys_enterprise_project_id。 目前TMS调用时key下面只包含一个value,0表示默认企业项目。 sys_tags和租户标签过滤条件(tags、tags_any、not_tags、not_tags_any)不能同时使用。 请求参
Turbo文件系统,文件系统类型选择“HPC型”,操作指导请参考创建SFS Turbo文件系统。 创建OBS桶 创建OBS桶,存储类别为“标准存储”,桶策略为“私有”,操作指导请参考创建OBS桶。 创建ModelArts资源池 以常见的专属资源池为例,专属资源池提供独享的计算资源,可用于
} ] } 状态码 正常 状态码 描述 200 查询项目标签成功。 异常 状态码 描述 400 标签等参数非法。 401 认证失败。 403 鉴权失败。 404 资源未找到。 500 系统异常。 父主题: 标签
] } 响应示例 无 状态码 正常 状态码 描述 204 批量删除资源标签成功。 异常 状态码 描述 400 标签等参数非法。 401 认证失败。 403 鉴权失败。 404 资源未找到。 500 系统异常。 父主题: 标签
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
对于获取用户Token接口,返回如图1所示的消息头,其中“x-subject-token”就是需要获取的用户Token。有了Token之后,您就可以使用Token认证调用其他API。 图1 获取用户Token响应消息头 响应消息体(可选) 该部分可选。响应消息体通常以结构化格式(如JSON或XML)返回
权限检查,以最大程度减少故障影响面。 接口约束 base_dn和url不为空 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id
P服务器中配置的信息进行身份验证和UGO权限检查,以最大程度减少故障影响面。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI PUT /v1/{project_id}
请求消息头 该操作消息头与普通请求一样,请参见表3。 请求消息 参数说明 参数 是否必选 参数类型 描述 share 是 Object share对象 share字段说明: 参数 是否必选 参数类型 描述 display_name 否 String 新的共享名称,长度为0~255。 display_description
该操作消息头与普通请求一样,请参见表3。 请求消息 参数说明 无 请求样例 无 响应消息 参数说明 参数 参数类型 描述 share Object share对象 share字段说明: 参数 参数类型 描述 links Array 共享链接。 availability_zone String 可用区AZ(availability
目前TMS调用时只包含一个tag结构体 key:_sys_enterprise_project_id。 目前TMS调用时key下面只包含一个value,0表示默认企业项目。 sys_tags和租户标签过滤条件(tags、tags_any、not_tags、not_tags_any)不能同时使用。 请求参
配置ModelArts和SFS Turbo间网络直通 创建委托授权ModelArts云服务使用SFS Turbo 使用IAM管理员账号登录IAM控制台。 在IAM控制台的左侧导航窗格中选择“权限管理 > 权限”。 配置调用SFS Turbo接口的自定义策略: 单击右上角的“创建自定义策略”,进入自定义策略配置页面。
增强版类型的SFS Turbo文件系统,请使用“查询目录资源使用情况”接口。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI DELETE /v1/{project_
增强版类型的SFS Turbo文件系统,请使用“查询目录资源使用情况”接口。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id