检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
文件接口方式的数据共享访问:由于 AI 架构需要使用到大规模的计算集群(GPU/NPU服务器),集群中的服务器访问的数据来自一个统一的数据源,即一个共享的存储空间。这种共享访问的数据有诸多好处,它可以保证不同服务器上访问数据的一致性,减少不同服务器上分别保留数据带来的数据冗余等。
一个文件系统最多支持同时挂载到多少台云服务器上?
按需计费资源 对于按需计费模式的资源,例如按需计费的弹性文件服务、按需计费的弹性云服务器等,如果不再使用这些资源且需停止计费,请删除相应资源。
core_transformer_config_from_args from megatron.training.yaml_arguments import core_transformer_config_from_yaml from megatron.core.models.gpt.gpt_layer_specs
其他类 如何从云服务器访问文件系统? 如何确认Linux云服务器上的文件系统处于可用状态? 弹性文件服务会占用用户的哪些资源? SFS容量型文件系统挂载后为什么容量显示为10P? 通用文件系统挂载后为什么会显示250TB?
本次更新说明如下: 增加“Windows IIS服务器挂载NFS文件系统失败”章节。 2019-01-30 第一次正式发布。
数据保护技术 数据加密 弹性文件服务支持服务器端加密功能,文件存储会对存储在文件系统中的数据进行加密,访问数据时,自动将加密数据解密后返回给用户。 具体使用方法请参见文件系统加密。
404 Not Found 服务器无法找到被请求的页面。 父主题: 文件共享
通过域名(DNS)随机将该文件系统挂载到云服务器时,在未达到云服务器满载性能前,可能出现挂载不均匀的现象。可通过增加挂载点的数量的方式,最大限度利用所有可用云服务器的资源。
Connection 指明与服务器的连接是长连接还是短连接。 类型:字符串。 有效值:keep-alive | close。 默认值:无。 Date 系统响应的时间。 类型:字符串。 默认值:无。 x-obs-id-2 帮助定位问题的特殊符号。 类型:字符串。 默认值:无。
"sfs:shares:updateShare" ] }, { "Effect": "Allow", "Action": [ "ecs
400 SFS.TURBO.0030 Ecs resource not enough ECS资源不足,该规格在选择的AZ售罄 请更换可用区重试。
配置ModelArts和SFS Turbo间网络直通 创建委托授权ModelArts云服务使用SFS Turbo 使用IAM管理员账号登录IAM控制台。 在IAM控制台的左侧导航窗格中选择“权限管理 > 权限”。 配置调用SFS Turbo接口的自定义策略: 单击右上角的“创建自定义策略
资源和成本规划 本节介绍最佳实践中资源规划情况,包含以下内容: 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容量和性能需求选择
快速删除文件系统 功能介绍 快速删除文件系统。 URI DELETE /v3/sfs/file-systems/{file-system}/quickly 请求参数 表1 请求Header参数 参数 是否必选 参数类型 描述 Authorization 是 String 签名头域。
删除文件系统 功能介绍 删除文件系统 URI DELETE / 请求参数 表1 请求Header参数 参数 是否必选 参数类型 描述 Authorization 是 String 签名头域 Date 是 String 请求时间 Host 是 String 表明主机地址。如filesystem.sfs3
例如,用户要调用接口来查询云服务器列表,那么这个IAM用户被授予的策略中必须包含允许“ecs:servers:list”的授权项,该接口才能调用成功。
删除文件系统ACL 功能介绍 删除文件系统ACL URI DELETE / 表1 Query参数 参数 是否必选 参数类型 描述 sfsacl 是 String / 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 Date 是 String 请求消息时间 Authorization
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速,流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置
dedicated_flavor 否 String 创专属文件系统,要创建的虚拟机的规格。 dedicated_storage_id 否 String 创专属文件系统,要指定一个专属分布式存储的ID。