检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Turbo联动目录下创建的文件,及之后对这些文件进行的元数据和数据修改,会被自动同步到OBS桶里。 CHANGED:表示修改数据,从OBS桶里导入到SFS Turbo联动目录下的文件,在SFS Turbo上对这些文件所进行的数据和元数据的修改,会被自动同步到OBS桶里。 DELETED:表示删除数据,在SFS Tur
文件接口方式的数据共享访问:由于 AI 架构需要使用到大规模的计算集群(GPU/NPU服务器),集群中的服务器访问的数据来自一个统一的数据源,即一个共享的存储空间。这种共享访问的数据有诸多好处,它可以保证不同服务器上访问数据的一致性,减少不同服务器上分别保留数据带来的数据冗余等。另外以
查询后端存储列表 获取后端存储详细信息 删除后端存储 更新后端存储属性 更新后端存储自动同步策略 创建数据导入导出任务 查询数据导入导出任务详情 查询数据导入导出任务列表 删除数据导入导出任务 更新文件系统 父主题: API
ModelArts:AI开发平台,采用多机多卡分布式训练。 VPC:虚拟私有云和子网。 算法及数据:准备AI训练需要的算法及数据集,如Swin-Transformer算法,及ImageNet21K数据集。 说明: 为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelA
该接口可以更新后端存储自动同步策略。 创建数据导入导出任务 该接口可以创建数据导入导出任务。 查询数据导入导出任务详情 该接口可以查询数据导入导出任务详情。 查询数据导入导出任务列表 该接口可以查询数据导入导出任务列表。 删除数据导入导出任务 该接口可以删除数据导入导出任务。 更新文件系统 该接口可以更新文件系统冷数据淘汰时间。
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
如何在高性能弹性文件服务SFS Turbo和对象存储服务OBS之间进行数据迁移 如何将SFS Turbo部署至CCE SFS Turbo文件系统中的数据可以跨区域迁移吗 如何在高性能弹性文件服务SFS Turbo和云硬盘EVS之间进行数据迁移
Turbo联动目录下创建的文件,及之后对这些文件进行的元数据和数据修改,会被自动同步到OBS桶里。 CHANGED:表示修改数据,从OBS桶里导入到SFS Turbo联动目录下的文件,在SFS Turbo上对这些文件所进行的数据和元数据的修改,会被自动同步到OBS桶里。 DELETED:表示删除数据,在SFS Tur
备份是文件系统在某一时间点的完整备份,记录了这一时刻文件系统的所有配置数据和业务数据。当您的文件系统出现故障或文件系统中的数据发生逻辑错误等时,可快速使用备份恢复数据。 全部 加密SFS Turbo文件系统 当您由于业务需求从而需要对存储在文件系统的数据进行加密时,高性能弹性文件服务为您提供加密功能,可以对新创建的文件系统进行加密。
配置ModelArts网络关联SFS Turbo。 配置SFS Turbo和OBS联动。 配置SFS Turbo数据自动导出到OBS桶。 配置SFS Turbo数据淘汰策略。 4 训练 上传数据至OBS并预热到SFS Turbo中。 创建训练任务。 5 例行运维 使用OBS+SFS Turbo
支持标准型、性能型等,满足不同应用场景性能诉求。 弹性扩展 容量按需扩容,性能线性增长。 安全可靠 三副本冗余:存储数据持久度高达99.9999999%。 数据加密:存储池支持数据加密,保护数据安全。 VPC隔离:安全可靠,租户间100%隔离。 物理独享:存储池物理隔离,资源独享。 备份恢复 专
Turbo联动目录下创建的文件,及之后对这些文件进行的元数据和数据修改,会被自动同步到OBS桶里。 CHANGED:表示修改数据,从OBS桶里导入到SFS Turbo联动目录下的文件,在SFS Turbo上对这些文件所进行的数据和元数据的修改,会被自动同步到OBS桶里。 DELETED:表示删除数据,在SFS Tur
Turbo联动目录下创建的文件,及之后对这些文件进行的元数据和数据修改,会被自动同步到OBS桶里。 CHANGED:表示修改数据,从OBS桶里导入到SFS Turbo联动目录下的文件,在SFS Turbo上对这些文件所进行的数据和元数据的修改,会被自动同步到OBS桶里。 DELETED:表示删除数据,在SFS Tur
如果创建加密的SFS Turbo文件系统,将会使用用户填写的kms密钥进行加密。注意,该密钥如果删除,该文件系统的数据将无法使用。 在往文件系统的文件夹写数据的过程中会占用服务器的运行内存,但不会占用服务器磁盘的存储空间,文件系统使用的是独立空间。 父主题: SFS Turbo其他类问题
ReqUpdateHpcCacheData 参数 是否必选 参数类型 描述 gc_time 是 Long 冷数据淘汰时间。单位:小时。指定时间内线上缓存的数据如果没有被访问则会自动从缓存中删除。0表示数据不会因为时间原因自动从缓存中删除。 ck_time 是 Long 后端校验时间。单位:秒。指
性能随容量增加而提升,同时保障数据的高持久度,满足业务增长需求。 存储底层包含HDD和SSD两种存储介质;存储系统采用分布式存储架构,全模块架构冗余设计,无单一故障点。 无缝集成 高性能弹性文件服务支持NFS,通过标准协议访问数据,无缝适配主流应用程序进行数据读写。 操作简单、低成本
文件系统所在的可用区。 类型 文件系统的类型。 协议类型 文件系统的协议类型为NFS。 已用容量(GB) 文件系统存放数据已使用的空间。 说明: 该数据不是实时数据,平均15分钟刷新一次。 最大容量(GB) 文件系统的最大使用容量。 加密 已经创建的文件系统的加密状态,包括“是”和“否”。
安全 责任共担 身份认证与访问控制 数据保护技术 审计 监控安全风险
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
forward only; forwarders{ xx.xx.xx.xx;}; }; 用户本地数据中心如果没有DNS服务器,需要将连接DNS服务的终端节点的节点IP增加到用户本地数据中心节点的/etc/resolv.conf文件中。 “xxxxxx-xxxxxx-xxxxxx-xxxxxx-xxxxxx