检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题
Engine,CCE&Cloud Container Instance,CCI),裸金属服务器(Bare Metal Server,BMS)提供共享访问。 您可以使用本文档提供API对文件系统进行相关操作,如创建、查询、删除、更新等。支持的全部操作请参见API概览。 在调用高性能弹性文件服务API之前,请确
20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
Turbo。 通过公网将云上NAS存储数据迁移至SFS Turbo中也可以参考本方案完成。 约束与限制 仅支持使用Linux系统的云服务器进行数据迁移。 文件UID和GID在同步操作后将不再保持一致。 文件访问模式同步操作后不再保持一致。 端口号22的出入方向需允许访问。 支持实现增量迁移,即只迁移发生变化的数据。
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
客户端的挂载参数,开启后支持NFS客户端与服务端之间建立多条TCP连接来提升吞吐性能。 前提条件 Linux内核为5.3及以上版本。 当客户端与服务端之间网络延迟较高(例如在线下IDC访问云上NFS文件系统和跨Region挂载NFS文件系统的场景下),且您需要达到较高的带宽或IOPS时,建议开启该功能;
如何将SFS Turbo部署至CCE? 请根据实际的业务情况,阅读存储管理-CSI-存储概述或存储管理-Flexvolume-极速文件存储卷,并在CCE界面完成部署操作。 父主题: SFS Turbo迁移类问题
mountport=[本地监听端口] 127.0.0.1:/ [挂载点] 加密挂载完成后,在此挂载点上的所有文件操作与非加密场景的文件操作一致。 如果stunnel进程异常退出会导致文件操作卡住,可以利用crontab等linux能力,保证stunnel进程退出后自动拉起。 依赖组件 stunnel,crontab
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
制台。 单击“创建文件系统”,SFS Turbo文件系统需选择“按需计费”模式。 使用阶段SFS Turbo文件系统按购买时选择的存储容量和时长计费。 包年/包月购买 SFS Turbo文件系统,除了在创建文件系统时购买包年/包月套餐,还可以将按需计费的文件系统转为包周期计费。 方式一:购买包年/包月套餐的SFS
生命周期管理 创建文件系统 查询文件系统详细信息 删除文件系统 获取文件系统列表 扩容文件系统 父主题: API
单击“创建文件系统”。 使用阶段SFS Turbo文件系统按购买时选择的存储容量和时长计费。 包年/包月购买 SFS Turbo文件系统除了在创建文件系统时购买包年/包月,还可以将按需计费的文件系统转为包周期计费。 购买方式一:购买包年/包月的文件系统。参考创建文件系统,在创建时计费模式选择“包年/包月”。
足高性能AI训练,建议使用SFS Turbo HPC型高性能文件系统加速AI训练任务,训练速度加快可以节省AI算力费用。 文件系统使用空间不足,可以扩容吗? SFS Turbo文件系统支持在线扩容,扩容过程中挂载文件系统可能失败,建议业务低峰期扩容。 父主题: 面向AI场景使用OBS+SFS
NAS和SFS Turbo文件系统需要配置在同一个VPC下。 约束与限制 支持拷贝特殊文件,如连接文件、设备等。 支持单文件断点续传。 支持保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性。 支持使用rcp、rsh、ssh等方式来配合传输文件。 支持实现增量迁移,即只迁移发生变化的数据。
~ 2023/05/08 23:59:59 您需要为每个计费周期预先付费,每个计费周期中,文件系统的费用计算如下: 文件系统费用 = 文件系统单价 * 容量 * 购买时长 示例中的文件系统费用= 0.4元/GiB/月 * 500GiB * 1个月 = 200元 上述示例中的价格仅
查看指定资源的账单 使用SFS Turbo资源ID查询账单 登录管理控制台,选择“存储 > 弹性文件服务”。 进入文件系统列表页面。 单击SFS Turbo文件系统名称,进入SFS Turbo文件系统详情页。在如下图所示位置单击鼠标左键,复制资源ID。 图1 获取资源ID 在控制台顶部菜单栏中选择“费用
公共参数 SFS Turbo文件系统状态 SFS Turbo文件系统子状态
Server)进行访问、控制的一种标准协议。LDAP服务器可以集中式地管理用户和群组的归属关系,通过绑定LDAP服务器,当一个用户访问您的文件系统的文件时,SFS Turbo将会访问您的LDAP服务器以进行用户身份验证,并且获取用户和群组的归属关系,从而进行Linux标准的文件UG
20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。