检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
弹性文件服务数据迁移 方案概述 通过云专线迁移(rclone工具) 跨服务器迁移(rclone工具) 通过云专线迁移(rsync工具) 文件系统之间迁移数据 SFS容量型文件系统迁移至其他文件系统
文件接口方式的数据共享访问:由于 AI 架构需要使用到大规模的计算集群(GPU/NPU服务器),集群中的服务器访问的数据来自一个统一的数据源,即一个共享的存储空间。这种共享访问的数据有诸多好处,它可以保证不同服务器上访问数据的一致性,减少不同服务器上分别保留数据带来的数据冗余等。
一个文件系统最多支持同时挂载到多少台云服务器上?
数据保护技术 数据加密 弹性文件服务支持服务器端加密功能,文件存储会对存储在文件系统中的数据进行加密,访问数据时,自动将加密数据解密后返回给用户。 具体使用方法请参见文件系统加密。
按需计费资源 对于按需计费模式的资源,例如按需计费的弹性文件服务、按需计费的弹性云服务器等,如果不再使用这些资源且需停止计费,请删除相应资源。
本次更新说明如下: 增加“Windows IIS服务器挂载NFS文件系统失败”章节。 2019-01-30 第一次正式发布。
404 Not Found 服务器无法找到被请求的页面。 父主题: 文件共享
通过域名(DNS)随机将该文件系统挂载到云服务器时,在未达到云服务器满载性能前,可能出现挂载不均匀的现象。可通过增加挂载点的数量的方式,最大限度利用所有可用云服务器的资源。
core_transformer_config_from_args from megatron.training.yaml_arguments import core_transformer_config_from_yaml from megatron.core.models.gpt.gpt_layer_specs
Connection 指明与服务器的连接是长连接还是短连接。 类型:字符串。 有效值:keep-alive | close。 默认值:无。 Date 系统响应的时间。 类型:字符串。 默认值:无。 x-obs-id-2 帮助定位问题的特殊符号。 类型:字符串。 默认值:无。
400 SFS.TURBO.0030 Ecs resource not enough ECS资源不足,该规格在选择的AZ售罄 请更换可用区重试。
"sfs:shares:updateShare" ] }, { "Effect": "Allow", "Action": [ "ecs
配置ModelArts和SFS Turbo间网络直通 创建委托授权ModelArts云服务使用SFS Turbo 使用IAM管理员账号登录IAM控制台。 在IAM控制台的左侧导航窗格中选择“权限管理 > 权限”。 配置调用SFS Turbo接口的自定义策略: 单击右上角的“创建自定义策略
资源和成本规划 本节介绍最佳实践中资源规划情况,包含以下内容: 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容量和性能需求选择
删除文件系统 功能介绍 删除文件系统 URI DELETE / 请求参数 表1 请求Header参数 参数 是否必选 参数类型 描述 Authorization 是 String 签名头域 Date 是 String 请求时间 Host 是 String 表明主机地址。如filesystem.sfs3
快速删除文件系统 功能介绍 快速删除文件系统。 URI DELETE /v3/sfs/file-systems/{file-system}/quickly 请求参数 表1 请求Header参数 参数 是否必选 参数类型 描述 Authorization 是 String 签名头域。
例如,用户要调用接口来查询云服务器列表,那么这个IAM用户被授予的策略中必须包含允许“ecs:servers:list”的授权项,该接口才能调用成功。
删除文件系统ACL 功能介绍 删除文件系统ACL URI DELETE / 表1 Query参数 参数 是否必选 参数类型 描述 sfsacl 是 String / 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 Date 是 String 请求消息时间 Authorization
加速原理与安装AITurbo SDK 背景 当前,大模型训练往往使用成百上千加速卡训练几周到几个月不等。在训练过程中,故障导致训练中断经常发生。训练程序一般采用周期 checkpoint方案来将训练状态持久化到存储,当发生故障时,训练程序能恢复到故障之前的模型和优化器的状态继续训练
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速,流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置