检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中,数据预热功能的具体操作请参考创建SFS Turbo 和 OBS 之间的联动任务。 您可通过查询联动任务详情接口查看导入任务的完成状态。 如果您觉得数据集规模较小或数据集变化不太频繁,不需要通过数据联动来做数据
Turbo提供各种规格的文件存储,您可以根据业务需求选择其中一种或几种文件系统,为业务运转提供必要的可靠性、安全性和持续性。 您可以根据以下文件存储的对比情况,选用适合您业务场景的文件系统或提交工单联系技术支持人员支撑您的选择。 通用文件系统 通用文件系统为用户提供一个完全托管的共享文件存储
训练数据的读取要尽量读得快,减少计算对 I/O 的等待,而 Checkpoint主要要求高吞吐、减少训练中断的时间。 文件接口方式的数据共享访问:由于 AI 架构需要使用到大规模的计算集群(GPU/NPU服务器),集群中的服务器访问的数据来自一个统一的数据源,即一个共享的存储空间
据备份等。SFS容量型文件系统不适合海量小文件业务,推荐使用SFS Turbo文件系统。 时延是指低负载情况下的最低延迟,非稳定时延。 10MB以上为大文件,1MB以上为大IO。 SFS容量型文件系统目前已售罄,请使用通用文件系统,涉及数据迁移的客户可提交工单解决。 通用文件系统
一般情况下,建议就近选择靠近您或者您的目标用户的区域,这样可以减少网络时延,提高访问速度。 在除中国大陆以外的亚太地区有业务的用户,可以选择“中国-香港”、“亚太-曼谷”或“亚太-新加坡”区域。 在非洲地区有业务的用户,可以选择“非洲-约翰内斯堡”区域。 在拉丁美洲地区有业务的用户,可以选择“拉美-圣地亚哥”区域。
4版本之后客户端的NFSv3文件系统顺序读业务场景性能不符合预期,如何处理? 问题描述 在Linux内核5.4版本之后的客户端上挂载NFSv3协议的文件系统,使用cp或dd等方式触发顺序读业务场景,读带宽与每秒请求数明显不符合预期。 问题原因 预读机制:访问内存的速度比访问硬盘或
参数说明 参数 说明 名称 已添加的VPC的名称,例如:vpc-01。 授权IP数量 已经添加的IP地址或IP地址段的个数。 操作 包含“添加”和“删除”操作。“添加”即添加授权的IP地址,包括对授权的IP地址、读/写权限、用户权限、用户root权限及优先级的设置,请参见表2。“删除”即删除该VPC。
享的网络资源,以提高网络安全。 说明: 请选择与您的云服务器相同的VPC,此时能达到最好的网络性能。您也可以通过虚拟私有云的VPC对等连接方式将两个或多个VPC互连,实现多VPC、跨VPC下的文件共享。 当跨VPC访问文件系统时,时延、带宽、IOPS会有较大的损耗,建议您优先采用同VPC访问。
建隔离的、用户自主配置和管理的虚拟网络环境,提升用户云上资源的安全性,简化用户的网络部署。 您可以在VPC中定义安全组、VPN、IP地址段、带宽等网络特性。用户可以通过VPC方便地管理、配置内部网络,进行安全、快捷的网络变更。同时,用户可以自定义安全组内与组间弹性云服务器的访问规则,加强弹性云服务器的安全保护。
实际作用。用户被授予的策略中,一个授权项的作用如果同时存在Allow和Deny,则遵循Deny优先。 如果您给用户授予SFS FullAccess的系统策略,但不希望用户拥有SFS FullAccess中定义的删除文件系统权限,您可以创建一条拒绝删除文件系统的自定义策略,然后同时将SFS
如何调整SFS容量型资源包的大小? 如果资源包较小,希望可以扩容:可以叠加购买资源包,且会优先使用原购买资源包的容量。 如果资源包较大,希望可以缩容:暂不支持直接缩容,可以先将原资源包退订后重新购买。 也可以等待本资源包周期结束后重新购买来调整资源包的大小。 父主题: 计费FAQ
如何调整SFS容量型资源包的大小? 如果资源包较小,希望可以扩容:可以叠加购买资源包,且会优先使用原购买资源包的容量。 如果资源包较大,希望可以缩容:暂不支持直接缩容,可以先将原资源包退订后重新购买。 也可以等待本资源包周期结束后重新购买来调整资源包的大小。 父主题: 计费类
创建IP地址授权的场景的共享访问规则时,API的microversions需要是2.28以及之后的版本,且需要在请求URL中添加vpc_ip_base_acl参数,详细请参考下述的请求样例(按照IP地址授权的场景)。 属于VPC A中的弹性云服务器IP地址可以被成功添加至VPC B的授权I
只能对配额目录修改配额,配额需高于原配额。 必须要提供的3个参数: 配额路径:目录绝对路径。 配额容量:单位为MiB,表示用户在配额路径下所拥有文件和目录的最大存储量。 配额文件数:表示用户在配额路径下所拥有文件和目录的最大数量。 删除与查询配额 必须要提供的1个参数: 配额路径:目录的绝对路径。 FAQ 为什么添加目录配额失败?
创建文件系统,在多个云服务器中挂载使用,实现文件系统的共享访问。 创建文件系统前,确认是否创建VPC和ECS,并将ECS归属到已创建的VPC下。如果VPC不一致,SFS Turbo可通过VPC对等连接建立与ECS的通信。 本指南以某公司存储文件为例,介绍如何实现文件的共享存储。 Step1 登录管理控制台
为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 创建VPC 虚拟私有云可以为您构建隔离的、用户自主配置和管理的虚拟网络环境,操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo HPC型文件系统 创建SFS
使用文件系统的目的。 本章节以Windows 2012版本操作系统为例进行CIFS类型的文件系统的挂载。 同一SFS容量型文件系统不能同时支持NFS协议和CIFS协议。 前提条件 已完成创建文件系统,并获取到文件系统的挂载地址。 存在至少一台与文件系统所属VPC相同的云服务器。
已完成创建文件系统,并获取到文件系统的挂载地址。 存在至少一台与文件系统所属VPC相同的云服务器。 云服务器(ECS)上已配置了用于内网解析文件系统域名的DNS服务器的IP地址,具体配置操作请参见配置DNS。 约束与限制 Windows系统建议使用CIFS协议类型的文件系统。 SFS Tur
NFSv3协议下默认的导出选项是rw,no_root_squash,no_all_squash,sync。CIFS协议下默认的导出选项是rw,sync。 CIFS的加密文件系统不支持copychunk复制。 CIFS类型的文件系统不支持使用Linux操作系统的云服务器进行挂载。
nfs类型的文件? 将数据从SFS容量型迁移至SFS Turbo后,容量为什么变大了? 如何提高SFS Turbo文件系统拷贝和删除操作的效率? SFS Turbo二级及三级目录权限如何继承? 如何将SFS Turbo部署至CCE? 如何发挥SFS Turbo文件系统的最大性能?