检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Turbo文件系统的“共享路径”一栏获取。具体字段说明如下所示。 参数 说明 挂载地址 SFS Turbo文件系统的挂载地址。设置为挂载NFS文件系统到根目录中mount命令中的挂载地址。 /local_path 挂载点,即云服务器上创建的挂载SFS Turbo文件系统的目录。设置为挂
lookupcache是和目录项缓存相关的一个参数,这个参数的取值可以是all,none,pos或者positive。lookupcache=none表示客户端既不信任标记为positive的缓存,也不信任标记为negative的缓存,达到禁用缓存的效果。 解决方法 如果已挂载文件系统,请先参考卸载SFS
whole文件夹中。上传方法请参考obsutil命令行工具使用指导。 OBS针对不同场景提供了多种数据上云方案,您可根据数据量、耗时、费用等需求选择适合的方案上传数据至OBS,更多内容请参考数据上云方案。 将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件
FS文件系统的场景下),且您需要达到较高的带宽或IOPS时,建议开启该功能; 开启nconnect后对于单并发、小IO数据块等场景会有一定的时延增加,当您的业务为小并发的延迟敏感型时,不建议开启该功能; nconnect功能开启后,可以提升NFS客户端与服务端之间的吞吐性能,最终
高性能弹性文件服务提供了REST(Representational State Transfer)风格API,支持您通过HTTPS请求调用,调用方法请参见如何调用API。 父主题: 使用前必读
报错。 安装完成后,可以输入以下命令查询rsync工具的安装和版本情况。 rsync -version 图2 查看工具安装情况 您可以执行rsync命令迁移存量数据或迁移增量数据。 迁移存量数据:执行以下命令,将源端服务器/mnt/src目录中的数据全量同步迁移至目的端服务器/mnt/dst目录(SFS
Turbo文件系统可以跨账号挂载使用吗 支持但不推荐。 针对性能稳定性和延迟要求不高的场景,SFS Turbo文件系统基于VPC的对等连接功能,可以使用跨账号挂载。更多关于VPC对等连接功能信息和实现方法请参见VPC对等连接。 父主题: SFS Turbo挂载类问题
能导致客户端与服务端的网络连接分布不均,从而无法充分利用服务端分布式集群能力。 当客户端数量较少时,如果希望最大限度地利用文件系统性能,一种有效的方法是为每个客户端指定一个不同的服务端IP地址进行挂载。通过这种方式,可以更均匀地分布客户端与服务端的网络连接,从而更有效地利用服务端资源,提高系统性能。
仅支持使用Linux系统的云服务器进行数据迁移。 文件UID和GID在同步操作后将不再保持一致。 文件访问模式同步操作后不再保持一致。 支持实现增量迁移,即只迁移发生变化的数据。 通过 rclone 工具进行同步时,在执行命令之前写入的数据,可以完全同步;在执行命令之后写入的数据,不能保证完全同步。
--fallocate=none 其中,“/mnt/nfs/test_fio”为待测试的目标文件的挂载路径,需具体到文件名,即这里要测试的是“/mnt/nfs”目录下的“test_fio”文件,请根据实际填写。 fio结果: fio命令: fio --randrepeat=1 --ioengine=libaio
--fallocate=none 其中,“/mnt/nfs/test_fio”为待测试的目标文件的挂载路径,需具体到文件名,即这里要测试的是“/mnt/nfs”目录下的“test_fio”文件,请根据实际填写。 fio结果: fio命令: fio --randrepeat=1 --ioengine=libaio
文件系统自动断开挂载 问题描述 文件系统与服务器的连接断开,需要重新挂载。 可能原因 没有配置自动挂载,重启服务器后会自动断开。 解决方法 参考自动挂载文件系统,在云服务器设置重启时进行自动挂载。 提交工单 如果上述方法均不能解决您的疑问,请提交工单寻求更多帮助。
查看连接DNS服务的终端节点创建完成后返回的节点IP。 在用户本地数据中心的DNS服务器配置相应的DNS转发规则,将解析SFS Turbo域名的请求转发到连接DNS服务的终端节点。 不同操作系统中配置DNS转发规则的方法不同,具体操作请参考对应DNS软件的操作指导。 本步骤以Unix操作系统,常见的DNS软件Bind为例介绍:
IAM用户若希望使用AK/SK访问SFS,必须要账号为其开启“编程访问”。开启方法请参见查看或修改IAM用户信息。 在调用接口的时候,需要使用AK/SK进行签名验证。AK/SK获取步骤如下: 登录控制台。 鼠标指向界面右上角的登录用户名,在下拉列表中单击“我的凭证”。 单击“管理访问密钥”。
--transfers:传输文件的并发数目。 --checkers:扫描本地文件的并发数目。 -P:数据拷贝进度。 --links:复制源端的软链接,目的端保持为软链接的形式。 --copy-links:复制源端软链接指向的文件内容,目的端变成文件的形式,不再是软链接。 --cre
--transfers:传输文件的并发数目。 --checkers:扫描本地文件的并发数目。 -P:数据拷贝进度。 --links:复制源端的软链接,目的端保持为软链接的形式。 --copy-links:复制源端软链接指向的文件内容,目的端变成文件的形式,不再是软链接。 --cre
子网IP不足 如果子网IP资源不足,可以更换子网或者释放当前文件系统使用的子网下其他的IP地址。 后台资源不足 计算&存储资源等后台资源达到上限,请提交工单进行技术咨询。 提交工单 如果上述方法均不能解决您的疑问,请提交工单寻求更多帮助。
障之前的模型和优化器的状态继续训练。原生Pytorch系框架在保存checkpoint时均直接持久化到存储系统,耗时与模型大小、存储的IO性能等密切相关,往往需要几分钟到几十分钟不等,为了保证训练状态的一致性,保存checkpoint时训练必须暂停,保存时间影响了训练过程的整体效
可能原因 处理措施 文件系统和挂载的服务器不在同一个可用区 在与服务器相同的可用区新建一个文件系统,将另一可用区的文件系统数据迁移至新文件系统后,再将新文件系统挂载至服务器。 使用场景与文件系统类型不匹配 结合业务场景,参考文件系统类型,选择正确的文件系统类型。 并发数过高或过低
Turbo文件系统成功。请求异常的返回值说明请参考对应API接口的异常返回值。其他的状态请参考SFS Turbo文件系统状态。 根据文件系统的id,可对SFS Turbo文件系统进行查询、删除等操作。 具体示例 在已获取token的前提下,curl命令创建SFS Turbo文件系统的具体实例: curl