检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
弹性文件服务提供标准的文件访问协议,用户可以将现有应用和工具与弹性文件服务无缝集成。 弹性文件服务提供简单易用的操作界面,用户可以快捷地创建和管理文件系统,无需操心文件系统的部署、扩展和优化等运维事务。
SFS Turbo提供标准的文件访问协议NFS(仅支持NFSv3),用户可以将现有应用和工具与SFS Turbo无缝集成。 SFS Turbo提供简单易用的操作界面,用户可以快捷地创建和管理文件系统,无需操心文件系统的部署、扩展和优化等运维事务。
表1 OBS提供的数据迁移工具 工具 支持的操作系统类型 (支持的具体版本参考对应方式的指导文档) 指导文档 管理控制台 Windows 用户指南 OBS Browser+ Windows OBS Browser+工具指南 obsutil(推荐) Windows/Linux obsutil
通过云专线迁移(rclone工具) 通过云专线迁移(rsync工具) 无法打通网络直接挂载,可以通过公网访问华为云ECS绑定的EIP,也可进行传输迁移。 跨服务器迁移(rclone工具) 父主题: 弹性文件服务数据迁移
您还可以通过这个视频教程了解如何使用Token认证:https://bbs.huaweicloud.com/videos/101333。 AK/SK认证 AK/SK签名认证方式仅支持消息体大小在12MB以内,12MB以上的请求请使用Token认证。
如果您觉得数据集规模较小或数据集变化不太频繁,不需要通过数据联动来做数据导入导出,您可借助外部工具将数据从OBS迁移到SFS Turbo中,操作指导请参考OBS和SFS之间的数据迁移,推荐使用obsutil工具。 父主题: 训练
/rclone-* rclone工具不保留源端的文件权限或属组信息,有相关需求请使用rsync工具。 执行以下命令,进行数据同步。
选择“工具 > Internet Information Services(IIS)管理器 ”,展开“网站”,选中目标网站。 单击“基本设置”,确认“物理路径”是否正确。 正确的物理路径格式为删除挂载地址中的冒号(:)后的路径。
3 数据导入导出异步化,不占用训练任务时长,无需部署外部迁移工具 训练任务开始前将数据从OBS导入到SFS Turbo,训练过程中写入到SFS Turbo的Checkpoint数据异步导出到OBS,均不占用训练任务时长。
选择“控制面板 > 系统和安全 > 管理工具 > Network File System 服务(NFS)”,如图5所示。 图5 管理工具 右键单击“NFS客户端”选择“属性”,修改传输协议为“TCP协议”,同时选中“使用硬装载”,如图6和图7所示。
可以通过管理控制台或跨平台远程访问工具(例如PuTTY)登录已购买的ECS。 图3 登录ECS 查看ECS是否安装NFS客户端。执行命令:rpm -qa|grep nfs。 图4 查看ECS是否安装NFS客户端 挂载文件系统。创建用于挂载文件系统的本地路径:mkdir 本地路径。
mount -t nfs -o vers=3,timeo=600,noresvport,nolock 文件系统2挂载地址 /mnt/dst 下载并安装rclone工具。下载地址请参见https://rclone.org/downloads/。 执行以下命令,进行数据同步。
mount -t nfs -o vers=3,timeo=600,noresvport,nolock 文件系统挂载地址 /mnt/dst 在Linux云服务器中执行以下命令安装rclone工具。
mount -t nfs -o vers=3,timeo=600,noresvport,nolock 文件系统2挂载地址 /mnt/dst 下载并安装rclone工具。下载地址请参见https://rclone.org/downloads/。 执行以下命令,进行数据同步。
发起请求 共有两种方式可以基于已构建好的请求消息发起请求,分别为: cURL cURL是一个命令行工具,用来执行各种URL操作和信息传输。cURL充当的是HTTP客户端,可以发送HTTP请求给服务端,并接收响应消息。cURL适用于接口调试。
华为云成本中心支持通过多种不同的方式对成本进行归集和重新分配,您可以根据需要选择合适的分配工具。 通过关联账号进行成本分配 企业主客户可以使用关联账号对子客户的成本进行归集,从而对子账号进行财务管理。详细介绍请参见通过关联账号维度查看成本分配。
mount -t nfs -o vers=3,timeo=600,noresvport,nolock SFS Turbo挂载地址 /mnt/dst 在本地服务器client1中执行以下命令安装rclone工具。