检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
时与模型大小、存储的IO性能等密切相关,往往需要几分钟到几十分钟不等,为了保证训练状态的一致性,保存checkpoint时训练必须暂停,保存时间影响了训练过程的整体效率。当发生故障,训练程序从已有checkpoint恢复时,每张卡都需要从持久化存储中加载,在训练集群规模较大,存储
同的日志文件)。 启动应用程序。 前提条件 已完成VPC创建。 已完成作为头节点和计算节点的云服务器创建并将其归属在已创建的VPC下。如果需要将云下日志文件上传至SFS Turbo文件系统中,请参考通过云专线迁移数据至弹性文件服务。 已开通弹性文件服务。 配置参考 登录弹性文件服务管理控制台。
基于HTTPS请求的API(Application programming interface)管理方式或管理控制台方式均可访问弹性文件服务。 API方式 如果用户需要将云服务平台上的弹性文件服务集成到第三方系统,用于二次开发,请使用API方式访问弹性文件服务,具体操作请参见《弹性文件服务API参考》。 管理控制台方式
查询数据导入导出任务列表 功能介绍 查询数据导入导出任务列表 接口约束 该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统 调试 您可以在API E
"Effect": "Allow" } ] } 示例2:拒绝用户删除文件系统 拒绝策略需要同时配合其他策略使用,否则没有实际作用。用户被授予的策略中,一个授权项的作用如果同时存在Allow和Deny,则遵循Deny优先。 如果您给用户授予SFS
目前,华为云已在全球多个地域开放云服务,您可以根据需求选择适合自己的区域和可用区。更多信息请参见华为云全球站点。 如何选择区域? 选择区域时,您需要考虑以下几个因素: 地理位置 一般情况下,建议就近选择靠近您或者您的目标用户的区域,这样可以减少网络时延,提高访问速度。 在除中国大陆以外
“<”,“>”,“\”,“,”,“|”,“/”。 须知: 调用删除共享标签接口删除标签时,如果标签的键中存在不被URL直接解析的特殊字符,需要对标签的键进行URL转义处理。 请求消息头 该操作消息头与普通请求一样,请参见表3。 请求消息 参数说明 无 请求样例 无 响应消息 参数说明
客户端会主动删除该文件;如果该客户端未清理该文件时就已经crash,这些文件将会残留在文件系统中。 清理.nfs文件 .nfs文件一定是需要被清理的文件,您可以直接使用rm -f命令进行删除,删除之后不会影响文件系统的正常使用。直接删除.nfs文件如果报错,类似如下场景: 图1
DELETE操作正常返回。 异常 返回值 说明 400 Bad Request 服务器未能处理请求。 401 Unauthorized 被请求的页面需要用户名和密码。 403 Forbidden 对被请求页面的访问被禁止。 404 Not Found 服务器无法找到被请求的页面。 405 Method
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
将被释放,数据无法恢复。 图1 按需计费SFS资源生命周期 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 避免和处理欠费 欠费后需要及时充值,详细操作请参见账户充值。 如果不再使用弹性文件服务,您可以将文件系统资源删除,以免继续扣费。 您可以在“费用中心 > 总览”页面
“/”。只能包含大写字母、小写字母、数字,特殊字符"-"和"_"。 说明:调用删除共享标签接口删除标签时,如果标签的键中存在不被URL直接解析的特殊字符,需要对标签的键进行URL转义处理。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String
西南-贵阳一 亚太-曼谷 非洲-约翰内斯堡 拉美-墨西哥城一 拉美-圣地亚哥 备份 SFS容量型/SFS Turbo支持加密 当您由于业务需求从而需要对存储在文件系统的数据进行加密时,弹性文件服务为您提供加密功能,可以对新创建的文件系统进行加密。 支持区域: 全部 文件系统加密 SFS容量型/SFS
状态码 正常 202 异常 状态码 说明 400 Bad Request 服务器未能处理请求。 401 Unauthorized 被请求的页面需要用户名和密码。 403 Forbidden 对被请求页面的访问被禁止。 404 Not Found 服务器无法找到被请求的页面。 405 Method
对应请求消息头,响应同样也有消息头,如“Content-type”。 对于获取用户Token接口,返回如图1所示的消息头,其中“x-subject-token”就是需要获取的用户Token。有了Token之后,您就可以使用Token认证调用其他API。 图1 获取用户Token响应消息头 响应消息体(可选)
每条记录对应一个挂载信息,每条记录有6个字段,对应的字段说明请参见字段说明。 为获得最优的系统性能,建议按照“配置样例”进行配置。如果业务需要,您也可以根据实际情况自定义部分挂载参数,但变更配置后将会在一定程度上影响系统性能。 单击“Esc”,并输入:wq,保存文件并退出。 完成
由账号在IAM中创建的用户,是云服务的使用人员,具有身份凭证(密码和访问密钥)。 在我的凭证下,您可以查看账号ID和IAM用户ID。通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。 区域(Region) 从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VP
支持变更为包年/包月计费模式。 按需转包年/包月 变更文件系统类型 不支持 不支持 变更文件系统容量 支持变更文件系统容量。 不支持缩容。 支持扩容,扩容需要补差价。扩容后,文件系统到期时间不变。 支持变更文件系统容量。 不支持缩容。 支持扩容,根据扩容后的容量按需计费。 适用场景 适用于可预估
状态码 正常 202 异常 状态码 说明 400 Bad Request 服务器未能处理请求。 401 Unauthorized 被请求的页面需要用户名和密码。 403 Forbidden 对被请求页面的访问被禁止。 404 Not Found 服务器无法找到被请求的页面。 405 Method
Bad Request 无效输入:扩容后的大小必须大于当前大小(当前:XX,新大小:XX) 401 Unauthorized 被请求的页面需要用户名和密码。 403 Forbidden 对被请求页面的访问被禁止。 404 Not Found 服务器无法找到被请求的页面。 405 Method