检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限
参考《云备份用户指南》的“快速创建SFS Turbo备份”章节,完成创建备份存储库的操作,再根据创建文件系统备份完成创建备份操作。 系统会自动进行文件系统的备份。 您可以在备份页面,查看备份创建状态。当文件系统备份的“备份状态”变为“可用”时,表示备份创建成功。 在云备份控制台使用备份创建新文件系统
Turbo导出这个对象时,如果OBS桶里该对象没有发生过修改,则会覆盖OBS桶里的对象,如果OBS桶里该对象发生过修改,则不会覆盖。 对象正在被导出时,上传同名对象可能会造成新上传的对象被覆盖。 开启WORM策略的OBS桶,无法从SFS Turbo导出数据到OBS桶。 数据淘汰功能
文件接口方式的数据共享访问:由于 AI 架构需要使用到大规模的计算集群(GPU/NPU服务器),集群中的服务器访问的数据来自一个统一的数据源,即一个共享的存储空间。这种共享访问的数据有诸多好处,它可以保证不同服务器上访问数据的一致性,减少不同服务器上分别保留数据带来的数据冗余等。另外以 AI
) 说明: 最终一致性意味着当通过多客户端访问共享文件系统时,因为一个客户端的访问请求可能路由到不同的分布式后端,当命中到分布式后端的本地cache时,可能无法实时获取到其他客户端的更新操作,cache的失效时间通常为3~30s之间。 单文件系统可添加VPC数量 20个 挂载SFS
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
Turbo挂载类问题 同时挂载至两个服务器的SFS Turbo文件系统数据存在延时怎么办? SFS Turbo文件系统可以跨区域挂载吗? SFS Turbo文件系统可以跨账号挂载使用吗? 一个SFS Turbo文件系统最多支持同时挂载到多少台云服务器上? 如何使用非root的普通用户挂载文件系统到Linux云服务器
查看或编辑备份策略。 使用已有: 选择云备份存储库的:在下拉列表中选择已有的云备份存储库。 设置备份策略:在下拉列表中选择备份策略,或进入云备份控制台查看或编辑备份策略。 暂不购买:跳过云备份的配置步骤。如文件系统购买成功后仍需设置备份保护,请进入云备份控制台找到目标存储库,绑定文件系统。
自动导出到OBS桶。 表5 AutoExportPolicy 参数 是否必选 参数类型 描述 events 否 Array of strings 后端存储自动导出到OBS桶的数据更新类型。 NEW:表示新增数据,SFS Turbo联动目录下创建的文件,及之后对这些文件进行的元数据和数据修改,会被自动同步到OBS桶里。
如何在高性能弹性文件服务SFS Turbo和对象存储服务OBS之间进行数据迁移? 背景知识 对象存储服务OBS是华为云提供的稳定、安全、高效、易用的云存储服务,具备标准Restful API接口,可存储任意数量和形式的非结构化数据。 高性能弹性文件服务SFS Turbo是华为云提供的按需扩展的高性能文件存储(
存储在文件系统中的数据进行加密,访问数据时,自动将加密数据解密后返回给用户。 具体使用方法请参见文件系统加密。 数据备份 备份是SFS Turbo文件系统在某一时间点的完整备份,记录了这一时刻文件系统的所有配置数据和业务数据。当您的文件系统出现故障或文件系统中的数据发生逻辑错误时
SFS Turbo删除类问题 如何删除.nfs类型的文件? 如何提高SFS Turbo文件系统复制和删除操作的效率?
Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。 登录SFS管理控制台。 在文件系统列表中,单击创建的HPC型文件系统名称,进入文件系统详情页面。
SFS Turbo迁移类问题 如何在高性能弹性文件服务SFS Turbo和对象存储服务OBS之间进行数据迁移? 如何将SFS Turbo部署至CCE? SFS Turbo文件系统中的数据可以跨区域迁移吗? 如何在高性能弹性文件服务SFS Turbo和云硬盘EVS之间进行数据迁移?
not found 对象不存在或没有权限 请使用合法的参数重试。 400 SFS.TURBO.0003 Invalid name 名称不符合规则 请使用合法的参数重试。 400 SFS.TURBO.0004 Invalid vpc 指定的vpc无效 请使用合法的参数重试。 400/500
900",待绑定的OBS桶名为myBucket,待绑定的OBS桶endpoint为obs.region.example.com,联动目录名称为sfsturboDirName,指定导入的文件在文件系统的权限为750,指定导入的目录在文件系统的权限为640,指定导入的文件及目录在文件系统的uid为0、gid为0。
Turbo文件系统的最大性能?。 选择网络 - 选择VPC及其子网。 VPC:云服务器无法访问不在同一VPC下的文件系统,请选择与云服务器相同的VPC。 子网:子网是VPC内的IP地址块,同一个VPC下,子网网段不会重复。通过子网提供与其他网络隔离的、可以独享的网络资源,以提高网络安全。
strings 后端存储自动导出到OBS桶的数据更新类型。 NEW:表示新增数据,SFS Turbo联动目录下创建的文件,及之后对这些文件进行的元数据和数据修改,会被自动同步到OBS桶里。 CHANGED:表示修改数据,从OBS桶里导入到SFS Turbo联动目录下的文件,在SFS Tur
安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的 IaaS、PaaS 和 SaaS 类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服
strings 后端存储自动导出到OBS桶的数据更新类型。 NEW:表示新增数据,SFS Turbo联动目录下创建的文件,及之后对这些文件进行的元数据和数据修改,会被自动同步到OBS桶里。 CHANGED:表示修改数据,从OBS桶里导入到SFS Turbo联动目录下的文件,在SFS Tur