检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
资源。 为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 创建VPC 虚拟私有云可以为您构建隔离的、用户自主配置和管理的虚拟网络环境,操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
Turbo性能测试 fio是一个开源的I/O压力测试工具,可以使用fio工具对SFS进行吞吐量和IOPS的性能测试。 前提条件 已在云服务器上安装fio工具。fio可从官网或GitHub下载。 注意和说明 测试性能依赖client和server之间的网络带宽及文件系统的容量大小。 安装fio 以Linux
常见问题 可以只使用SFS Turbo HPC型文件系统支撑AI训练吗? 当数据规模较小,不存在冷热数据分级降本诉求,又希望能方便快捷的构建AI训练系统时,可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗? OBS
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
一个文件系统最多支持同时挂载到多少台云服务器上? 一个SFS容量型文件系统最多支持同时挂载到10000台云服务器上。 一个SFS Turbo文件系统最多支持同时挂载到3000台云服务器上。 一个通用文件系统最多支持同时挂载到10000台云服务器上。 父主题: 规格类
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
HPC型是按每TB单位容量来提供一定的带宽吞吐,因此当SFS Turbo HPC性能不足时,需要通过容量扩容来提高性能吞吐。 OBS性能监控 您可以在CES云监控服务上监控SFS Turbo关联的OBS桶的性能使用情况,SFS Turbo和OBS之间的数据导入导出速度会受OBS服务的读写带宽上限Qo
对目录服务器(Directory Server)进行访问、控制的一种标准协议。LDAP服务器可以集中式地管理用户和群组的归属关系,通过绑定LDAP服务器,当一个用户访问您的文件系统的文件时,SFS Turbo将会访问您的LDAP服务器以进行用户身份验证,并且获取用户和群组的归属关
K)。 您需要规划文件系统所在的区域信息,并根据区域确定调用API的Endpoint,详细信息请参见地区和终端节点。 区域一旦确定,创建完成后无法修改。 在cn-north-4区域创建一个名为filesystem001的文件系统 示例中使用通用的Apache Http Client。
挂载文件系统 挂载NFS协议类型文件系统到云服务器(Linux) 挂载NFS协议类型文件系统到云服务器(Windows) 挂载CIFS协议类型文件系统到云服务器(Windows) 自动挂载文件系统
对目录服务器(Directory Server)进行访问、控制的一种标准协议。LDAP服务器可以集中式地管理用户和群组的归属关系,通过绑定LDAP服务器,当一个用户访问您的文件系统的文件时,SFS Turbo将会访问您的LDAP服务器以进行用户身份验证,并且获取用户和群组的归属关
Location 否 String 区域 响应参数 该请求的响应消息使用公共消息头,具体请参考 表1。 响应消息体(可选) 响应消息体通常以结构化格式(如JSON或XML)返回,与响应消息头中Content-type对应,传递除响应消息头之外的内容。 请求示例 在“cn-east-3”区域创建文件系统,主机地址是Host:
Turbo:增加挂载配置,选择创建资源中创建的SFS Turbo HPC型文件系统。 单击“提交”,完成训练作业的创建。 训练作业创建完成后,后台将自动完成容器镜像下载、代码目录下载、执行启动命令等动作。训练作业一般需要运行一段时间,根据您的训练业务逻辑和选择的资源不同,训练时长将持续几十分钟
不同VPC的云服务器也能共享访问同一个文件系统。 √ √ 可通过VPC对等连接的方式实现 √ 配置多账号访问 只要将其他账号使用的VPC的VPC ID添加到文件系统的VPC列表下,且云服务器IP地址或地址段被添加至授权地址中,则实际上不同账号间归属于不同VPC的云服务器也能共享访问同一个文件系统。
用户可以将SFS容量型文件系统中的数据迁移至通用文件系统或SFS Turbo文件系统中。 此方案通过创建一台Linux操作系统的云服务器,来连接SFS容量型文件系统和其他文件系统的通信。 约束与限制 仅支持使用Linux系统的云服务器进行数据迁移。 Linux系统云服务器、SFS容量型文件系统和其他文件
如何购买弹性文件服务? 弹性文件服务默认为按需计费,即按购买的存储容量和时长收费。您也可以购买包年包月套餐,提前规划资源的使用额度和时长。在欠费时,您需要及时(15天之内)续费以避免您的文件系统资源被清空。 资源包的大小与文件系统的计算吞吐能力无关。 按需计费购买 注册云服务账号。 打开华为云网站www
Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。 登录SFS管理控制台。 在文件系统列表中,单击创建的HPC型文件系统名称,进入文件系统详情页面。
训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中,数据预热功能的具体操作请参考创建SFS Turbo 和 OBS 之间的联动任务。 您可通过查询联动任务详情接口查看导入任务的完成状态。 如果您觉得数据集规模较小或数据集变化不太频繁,不需要通过数据联动来做数据
4版本之后客户端的NFSv3文件系统顺序读业务场景性能不符合预期,如何处理? 问题描述 在Linux内核5.4版本之后的客户端上挂载NFSv3协议的文件系统,使用cp或dd等方式触发顺序读业务场景,读带宽与每秒请求数明显不符合预期。 问题原因 预读机制:访问内存的速度比访问硬盘或