检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
求,又希望能方便快捷的构建AI训练系统时,可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗? OBS为容量型存储,在时延、带宽等存储性能上无法满足高性能AI训练,建议使用SFS Turbo HPC型高性能文件系统加
--links:复制源端的软链接,目的端保持为软链接的形式。 --copy-links:复制源端软链接指向的文件内容,目的端变成文件的形式,不再是软链接。 --create-empty-src-dirs:复制源端的空目录到目的端。 等待数据完成同步后,可前往目标文件系统查看是否已成功迁移。 验证 登录已创建好的Linux系统云服务器。
查询共享详细信息 功能介绍 查询共享详细信息。 URI GET /v2/{project_id}/shares/{share_id} 参数说明 参数 是否必选 参数类型 描述 share_id 是 String 共享的ID。 project_id 是 String 操作用户的项目ID,获取方法请参见获取项目ID。
查询共享标签 功能介绍 查询指定共享的所有标签信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/sfs-turbo/{share_id}/tags
unmanaged:共享不受管理 limit 否(查询参数) Integer 返回的共享个数最大值,不指定该参数,默认全部返回。 offset 否(查询参数) Integer 共享查询个数从0开始的偏移量,必须大于等于0。 sort_key 否(查询参数) String 查询结果排序关键字。可用的值有id
查询资源标签 功能介绍 查询指定资源的标签。 URI GET /v3/sfs/tms/{project_id}/file-systems/{resource_id}/tags 参数说明 参数 是否必选 参数类型 描述 project_id 是 String 操作用户的项目ID,获取方法请参见获取项目ID。
原因1:文件系统已被删除。 登录管理控制台,查看文件系统是否已被删除。 是 => 重新创建文件系统或者选择已有文件系统进行挂载(文件系统与云服务器必须归属在同一VPC下)。 否 => 原因2。 原因2:执行挂载命令的云服务器和被挂载的文件系统不在同一VPC下。 登录管理控制台,查看云服务器归属的VPC和文件系统归属的VPC是否相同。
share_id 文件共享 查看监控数据 登录管理控制台。 选择“管理与监管 > 云监控服务> 云服务监控 > 弹性文件服务 SFS”,在文件系统列表中,单击待查看监控数据的文件系统“操作”列下的“更多 > 查看监控指标”。 您可以选择监控指标项或者监控时间段,查看对应的弹性文件服务监控数据。
例,其他操作系统执行命令可参考挂载NFS文件系统到云服务器(Linux)。 登录云服务器,查看nfs-utils是否已安装。执行如下命令,若无结果表示未安装。 rpm -qa|grep nfs 图1 查看是否已安装软件包 执行如下命令,安装nfs-utils软件包。 yum -y
HPC型文件系统绑定OBS后端之后,建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。 登录SFS管理控制台。
通用文件系统的使用和数据安全。您只要保证云服务账号上有足够的余额,系统会自动以按需计费的模式进行结算。 查看资源包详情 在SFS管理控制台左侧导航栏选择“资源包管理”。 查看资源包的详细信息。包括资源包规格、状态、剩余容量、生效/失效时间、订单号和使用明细。 续费资源包 在SFS
查询可用区 功能介绍 列出可用区。 请参考查询API版本完成API版本查询后,如果version的值小于等于2.6,则添加请求头“X-Openstack-Manila-Api-Version: 微版本号”,例如:“X-Openstack-Manila-Api-Version: 2
_data_loss_error。 limit 否(查询参数) Integer 返回的共享个数最大值。 offset 否(查询参数) Integer 共享查询个数的偏移量。 sort_key 否(查询参数) String 查询结果排序关键字。可用的值有:id, status, size
查询Ldap的配置 功能介绍 查询Ldap的配置。LDAP(Lightweight Directory Access Protocol),中文名称轻量级目录访问协议,是对目录服务器(Directory Server)进行访问、控制的一种标准协议。LDAP服务器可以集中式地管理用户
查询目录是否存在 功能介绍 查询目录是否存在 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/sfs-turbo/shares/{share_id}/fs/dir
查询共享的标签 功能介绍 查询指定共享的所有标签信息。 URI GET /v2/{project_id}/sfs/{share_id}/tags 参数说明 参数 是否必选 参数类型 描述 project_id 是 String 操作用户的项目ID,获取方法请参见获取项目ID。 share_id
查询项目标签 功能介绍 查询租户在指定Project中所有资源的标签集合。 URI GET /v3/sfs/tms/{project_id}/file-systems/tags 参数说明 参数 是否必选 参数类型 描述 project_id 是 String 操作用户的项目ID,获取方法请参见获取项目ID。
} } 从控制台获取项目ID 从控制台获取项目ID的步骤如下: 登录管理控制台。 鼠标悬停在右上角的用户名,选择下拉列表中的“我的凭证”。 在“API凭证”页面的项目列表中查看项目ID。 图1 查看项目ID 父主题: 附录
配置ModelArts和SFS Turbo间网络直通 创建委托授权ModelArts云服务使用SFS Turbo 使用IAM管理员账号登录IAM控制台。 在IAM控制台的左侧导航窗格中选择“权限管理 > 权限”。 配置调用SFS Turbo接口的自定义策略: 单击右上角的“创建自定义策略”,进入自定义策略配置页面。
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前