检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
求选择适合的方案上传数据至OBS,更多内容请参考数据上云方案。 将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后,可以使用数据预热功能,以减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS
资源池:专属资源池,选择创建资源中创建的ModelArts资源池。 SFS Turbo:增加挂载配置,选择创建资源中创建的SFS Turbo HPC型文件系统。 单击“提交”,完成训练作业的创建。 训练作业创建完成后,后台将自动完成容器镜像下载、代码目录下载、执行启动命令等动作。训练作业一般需要
根据文件系统所占用的存储空间容量和使用时长计费。 低频型 存储空间 根据文件系统所占用的存储空间容量和使用时长计费。 写流量 根据写流量大小计费。 读流量 根据读流量大小计费。 SFS Turbo文件系统 SFS Turbo文件系统默认为按需计费模式,按您购买时选择的存储容量和时长收费
的数据,不能保证完全同步。 前提条件 已在云上和本地分别创建一台Linux操作系统的服务器。 服务器已完成弹性IP的配置,保证两台服务器间可以相互访问。 已创建SFS Turbo文件系统,并获取到文件系统的挂载地址。 已经获取到本地NAS存储的挂载地址。 资源规划 本章节介绍案例中使用的资源信息。具体如表1所示。
支持实现增量迁移,即只迁移发生变化的数据。 操作前提 已在云上和本地分别创建一台Linux操作系统的服务器。 服务器已完成弹性IP的配置,保证两台服务器间可以相互访问。 已创建SFS Turbo文件系统,并获取到文件系统的挂载地址。 已经获取到本地NAS存储的挂载地址。 操作步骤 登录弹性云服务器管理控制台。
存放的是文件,会以文件和文件夹的层次结构来整理和呈现数据。 存放的是对象,可以直接存放文件,文件会自动产生对应的系统元数据,用户也可以自定义文件的元数据。 存放的是二进制数据,无法直接存放文件,如果需要存放文件,需要先格式化文件系统后使用。 访问方式 在ECS/BMS中通过网络协议挂载使用,支持NFS和CIFS
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
详见share字段说明 share字段说明: 参数 是否必选 参数类型 描述 share_proto 是 String 文件系统共享协议,有效值为NFS(适用于linux系统)。 size 是 Integer 共享容量,单位GB。申请的共享容量不能大于配额值,需要查看配额,请参考配额查询接口。
问。 如何迁移? SFS的文件系统需要挂载到弹性云服务器、容器或裸金属服务器上,对于SFS和OBS之间的数据迁移,可以理解为服务器与OBS或者容器与OBS之间的数据迁移,其中服务器或容器中的数据存放在所挂载的SFS文件系统中。 所以,SFS文件系统挂载到服务器或容器之后,便可以登
打开www.huaweicloud.com,单击“注册”。 根据提示信息完成注册,详细操作请参见如何注册华为云管理控制台的用户?。 注册成功后,系统会自动跳转至您的个人信息界面。 参考实名认证完成个人或企业账号实名认证。 为账户充值 您需要确保账户有足够金额。 关于弹性文件服务的价格,请参见价格说明。
可为云上多个弹性云服务器和裸金属服务器等提供共享访问。如果用户需要使用完全托管的共享文件存储,希望可以通过多个云上服务器共享访问一个文件系统,则可以使用弹性文件服务。 下面介绍如何调用创建共享API创建文件共享,API的调用方法请参见如何调用API。 前提条件 您需要规划弹性文
nfs文件是NFS客户端用于管理文件系统中被打开文件的删除行为。如果一个进程打开的某个文件被另一个进程删除,该进程会将此文件重命名为.nfsXXX类型文件。当这个文件的打开引用计数为0时,客户端会主动删除该文件;如果该客户端未清理该文件时就已经crash,这些文件将会残留在文件系统中。 清理.nfs文件
进入文件系统列表页面。 选择资源所在的区域,在筛选条件中选择“ID”,并输入步骤2中复制的资源ID,单击图标即可查找到该资源。 图2 查找资源 单击操作列的“更多 > 删除”,对文件系统执行删除操作,确保列表中已无该资源。 按需计费资源删除后,可能还会存在账单信息,因为系统通常会在
弹性云服务器无需添加规则即可互相访问。系统会为每个云账号默认创建一个默认安全组,用户也可以创建自定义的安全组。 SFS Turbo文件系统安全组要求:为了确保SFS Turbo能够被您的弹性云服务器访问,在成功创建SFS Turbo后,系统将自动放通SFS Turbo中NFS协议
查询SFS审计事件 操作场景 用户进入云审计服务创建管理类追踪器后,系统开始记录云服务资源的操作。云审计服务管理控制台会保存最近7天的操作记录。 本节介绍如何在云审计服务管理控制台查看或导出最近7天的操作记录: 在新版事件列表查看审计事件 在旧版事件列表查看审计事件 使用限制 单
给用户组授权之前,请您了解用户组可以添加的SFS系统策略,并结合实际需求进行选择,SFS支持的系统策略及策略间的对比,请参见:SFS系统权限。如果您需要对除SFS之外的其它服务授权,IAM支持服务的所有策略请参见权限策略。 使用限制 SFS容量型文件系统适用于所有的SFS系统策略,以及创建的自定义策略。
配置完成后,单击“立即创建”,完成文件系统创建。 Linux系统ECS挂载操作请参见挂载NFS文件系统到云服务器(Linux);Windows系统ECS挂载操作请参见挂载NFS文件系统到云服务器(Windows)和挂载CIFS文件系统到云服务器(Windows)。 登录头节点将需要上传的网站文件上传到挂载的文件系统。
其他类 如何从云服务器访问文件系统? 如何确认Linux云服务器上的文件系统处于可用状态? 弹性文件服务会占用用户的哪些资源? SFS容量型文件系统挂载后为什么容量显示为10P? 通用文件系统挂载后为什么会显示250TB? 如何在弹性文件服务SFS和对象存储服务OBS之间进行数据迁移?
生命周期管理 创建文件系统 查询文件系统详细信息 删除文件系统 获取文件系统列表 扩容文件系统 父主题: SFS Turbo API说明
述。 计费项 弹性文件服务不同类型的文件系统,如SFS容量型文件系统、通用文件系统、SFS Turbo文件系统都可按需计费。其中SFS容量型文件系统、通用文件系统、SFS Turbo文件系统的计费项都是存储空间,SFS Turbo文件系统的HPC缓存型还可以按“带宽大小”计费项来