检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
均直接持久化到存储系统,耗时与模型大小、存储的IO性能等密切相关,往往需要几分钟到几十分钟不等,为了保证训练状态的一致性,保存checkpoint时训练必须暂停,保存时间影响了训练过程的整体效率。当发生故障,训练程序从已有checkpoint恢复时,每张卡都需要从持久化存储中加载
通用文件系统快速入门 创建文件系统 获取文件系统列表
通用文件系统挂载后为什么会显示250TB? 通用文件系统容量无限制。用户在客户端上执行df -h时,为了显示需要,系统则直接返回了250TB。数值实际上无任何意义,可以使用的容量无限制。 父主题: 其他类
Linux内核5.4版本之后客户端的NFSv3文件系统顺序读业务场景性能不符合预期,如何处理? 问题描述 在Linux内核5.4版本之后的客户端上挂载NFSv3协议的文件系统,使用cp或dd等方式触发顺序读业务场景,读带宽与每秒请求数明显不符合预期。 问题原因 预读机制:访问内存
文件系统管理 创建文件系统异步任务 获取文件系统异步任务列表 获取文件系统异步任务详情 取消/删除文件系统异步任务 配置hpc缓存型后端信息 父主题: SFS Turbo API说明
欠费后,您可以在“费用中心”查看欠费详情。在欠费时,将按照保留期处理规则处理弹性文件服务内的资源和费用,详见“保留期”。为了防止相关资源不会被停止服务或者逾期释放,您需要及时进行还款或充值。 查询步骤 登录管理控制台。 单击页面右上角的“费用”进入“费用中心”页面。 在“总览”页面可以查看到当前的欠费金额。
用户签名验证 SFS通过AK/SK对请求进行签名,在向SFS发送请求时,客户端发送的每个消息头需要包含由SK、请求时间、请求类型等信息生成的签名信息。 AK(Access Key ID):访问密钥ID。与私有访问密钥关联的唯一标识符;访问密钥ID和私有访问密钥一起使用,对请求进行
欠费后,您可以在“费用中心”查看欠费详情。在欠费时,将按照保留期处理规则处理弹性文件服务内的资源和费用,详见“保留期”。为了防止相关资源不会被停止服务或者逾期释放,您需要及时进行还款或充值。 查询步骤 登录管理控制台。 单击页面右上角的“费用”进入“费用中心”页面。 在“总览”页面可以查看到当前的欠费金额。
请确认包年/包月文件系统还未到期。 在SFS控制台页面开通自动续费 SFS Turbo文件系统:您可以在购买包年/包月文件系统页面开通自动续费,如图1所示。 图1 SFS Turbo文件系统自动续费配置 通用文件系统:您可以在购买资源包页面开通自动续费,如图2所示。 图2 通用文件系统自动续费配置
包年/包月文件系统从购买到被自动删除之前,您可以随时为文件系统续费,以延长文件系统的使用时间。 在云服务控制台续费 登录弹性文件服务管理控制台。 登录管理控制台。 单击管理控制台左上角的,选择区域。 单击左侧导航栏的图标,选择“存储 > 弹性文件服务 SFS”。选择对应的文件系统。 在文
文件系统中的数据是否可以跨区域迁移? 暂时不支持直接跨区域迁移文件系统数据,您需要在购买文件系统时规划好合适的区域,或者可以将数据复制至本地后再传至另一区域。 SFS Turbo文件系统可以使用云备份进行备份数据,再使用备份复制的功能,将备份副本复制至另一区域再创建一个与原区域数据一致的SFS
事件类型 当告警类型选择事件时,需要选择事件类型,可选择系统事件或自定义事件。 系统事件 事件来源 当告警类型选择事件时,需要设置事件来源。 当事件类型选择系统事件时,需要选择事件来源的云服务名称。 当事件类型选择自定义事件,事件来源需要与上报的字段一致,格式需要为service.item形式。
文件系统配额管理 默认情况下,SFS对文件系统的使用容量是没有限制的。为了让用户对容量和资源进行合理的分配和管理,通用文件系统支持对文件系统进行配额管理,包括设置配额、删除配额。 通用文件系统设置配额包括设置容量配额和文件数限制。 约束限制 由于配额的校验依赖于文件系统存量,而文
入口一:选择“存储 > 弹性文件服务”,在文件系统列表单击查看监控数据的文件系统“操作”列下的“监控”。 入口二:选择“管理与监管 > 云监控服务> 云服务监控 > 弹性文件服务Turbo EFS”,在文件系统列表中,单击待查看监控数据的文件系统“操作”列下的“查看监控指标”。 您可以
扩容错误 当文件系统处于扩容错误状态,文件系统可自动恢复到可用状态。如果不能恢复到可用状态,请联系管理员解决。 缩容错误 当文件系统处于缩容错误状态,文件系统自动恢复到可用状态大约需要5分钟。 缩容失败 当文件系统处于缩容失败状态,文件系统自动恢复到可用状态大约需要5分钟。
添加授权操作步骤 本章节介绍如何通过控制台完成添加授权进行权限管理。 登录弹性文件服务管理控制台。 在通用文件系统列表中,找到待添加授权的通用文件系统并单击目标通用文件系统名称,进入通用文件系统详情界面。 在“权限管理”页签,单击“添加授权”。 图1 添加授权 在“添加授权”弹窗内,参考表3完成授权的添加。
单个文件系统最多可以添加20个标签。 同一个文件系统的标签的“键”不允许重复。 文件系统标签的“键”创建之后不可再编辑,只可对标签的“值”进行编辑。可以对标签进行删除操作。 操作步骤 登录弹性文件服务管理控制台。 在通用文件系统>文件系统列表中,找到待添加标签的文件系统并单击目标文件系统名称,进入文件系统详情界面。
冻结”,您将无法对处于保留期的通用文件系统资源执行任何操作,SFS Turbo文件系统资源将被限制访问和使用,例如SFS Turbo文件系统被冻结时,SFS Turbo文件系统IO会被限制。 保留期到期后,如果您仍未支付账户欠款,那么文件系统资源将被释放,数据无法恢复。 图1 按需计费SFS资源生命周期
security_group_id 是 String 需要修改的目标安全组ID。 响应参数 状态码: 202 表5 响应Body参数 参数 参数类型 描述 id String SFS Turbo文件系统ID。 请求示例 修改文件系统绑定的安全组,需要修改的目标安全组ID为“26f6b565-
监控安全风险 SFS提供基于云监控服务CES的资源监控能力,帮助用户监控账号下的文件存储系统的使用情况,执行自动实时监控、告警和通知操作。用户可以实时监控弹性文件服务的客户端连接数、带宽、IOPS、容量等信息。 关于SFS支持的监控指标,以及如何创建监控告警规则等内容,请参见监控。