检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
高性能弹性文件服务数据迁移 方案概述 通过云专线迁移(rclone工具) 跨服务器迁移(rclone工具) 通过云专线迁移(rsync工具) 文件系统之间迁移数据 SFS容量型文件系统迁移至SFS Turbo文件系统
”或“..”。 不支持 桶名 OBS存储桶桶名。 无法绑定不存在的存储桶。 不支持绑定OBS并行文件系统和已配置服务端加密的OBS存储桶进行联动。 不支持 OBS区域域名 OBS区域域名,即OBS的终端节点。 OBS存储桶必须和SFS Turbo文件系统在同一个Region。 不支持 自动导出
不同方式支持的操作系统、迁移数据量、操作简易程度存在差异,推荐您使用obsutil工具进行数据迁移。 为了节省您的开支,建议您配置内网DNS,通过华为云内网完成数据迁移。具体配置方法,请参见通过内网访问OBS。 表1 OBS提供的数据迁移工具 工具 支持的操作系统类型 (支持的具体版本参考对应方式的指导文档)
Turbo,将本地NAS存储中的数据迁移至SFS Turbo。 通过云专线迁移(rclone工具) 通过云专线迁移(rsync工具) 无法打通网络直接挂载,可以通过公网访问华为云ECS绑定的EIP,也可进行传输迁移。 跨服务器迁移(rclone工具) 父主题: 高性能弹性文件服务数据迁移
如果输入错误,则重试挂载命令,输入正确的挂载地址。 原因4:访问文件系统使用的DNS错误。 执行如下命令,确认DNS的正确性: nslookup 文件系统域名 确认解析出来的IP地址是否为100网段。 是 => DNS配置正确,排查其他可能原因。 否 => DNS配置不正确,请参考配置DNS章节重新配置DNS。
如果您觉得数据集规模较小或数据集变化不太频繁,不需要通过数据联动来做数据导入导出,您可借助外部工具将数据从OBS迁移到SFS Turbo中,操作指导请参考OBS和SFS之间的数据迁移,推荐使用obsutil工具。 父主题: 训练
noresvport,nolock,tcp SFS Turbo挂载地址 /mnt/dst 在本地服务器client1中执行以下命令安装rclone工具。 wget https://downloads.rclone.org/v1.53.4/rclone-v1.53.4-linux-amd64
支持文件系统挂载的操作系统 已通过兼容性测试的操作系统如表1所示。 表1 支持文件系统挂载的操作系统列表 类型 版本范围 CentOS CentOS 5,6,7 for x86 Debian Debian GNU/Linux 6,7,8,9 for x86 Oracle Oracle
更新文件系统 功能介绍 更新文件系统冷数据淘汰时间 接口约束 该接口仅支持已绑定后端存储的文件系统。该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统。
无需部署外部迁移工具 训练任务开始前将数据从OBS导入到SFS Turbo,训练过程中写入到SFS Turbo的Checkpoint数据异步导出到OBS,均不占用训练任务时长。 SFS Turbo和OBS存储服务之间数据直接导入导出,无需部署外部数据拷贝机器及工具。 4 冷热数据自动流动,降低存储成本
卸载文件系统 当SFS Turbo文件系统不再使用需要删除时,建议您先卸载已挂载的SFS Turbo文件系统后再删除。 前提条件 卸载文件系统前建议先终止进程和停止读写再卸载。 Linux系统 登录弹性云服务器。 执行以下命令。 umount 本地路径 本地路径:云服务器上用于挂
指定共享批量添加标签。 一个共享上最多有20个标签。 一个共享上的多个标签的key不允许重复。 此接口为幂等接口:如果要添加的key在共享上已存在,则覆盖更新标签。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
指定共享添加一个标签。 一个共享上最多有20个标签。 一个共享上的多个标签的key不允许重复。 此接口为幂等接口:如果要添加的key在共享上已存在,则覆盖更新标签。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
询配额。 目录配额中描述的所有目录为SFS Turbo中的目录,与挂载点无关。 前提条件 已创建文件系统。更多信息,请参见创建文件系统。 已根据业务场景,完成挂载文件系统并创建了目录,或通过创建目录的API创建了目录。 使用限制 当前仅20MB/s/TiB、40MB/s/TiB、
自动挂载文件系统 为避免已挂载SFS Turbo文件系统的云服务器重启后,挂载信息丢失,您可以在云服务器设置重启时进行自动挂载。 限制说明 部分CentOS系统的云服务器由于管理启动项的机制(服务启动顺序)不同,可能不支持以下自动挂载方案。此时,请手动挂载。 Linux系统操作步骤
文件系统删除后,文件系统中存放的数据将无法恢复。为避免数据丢失,执行删除操作前,请确认存放在该文件系统中的文件都已经在本地备份。 前提条件 删除文件系统之前,建议先卸载已挂载的文件系统。卸载操作请参见卸载文件系统。 操作步骤 登录高性能弹性文件服务管理控制台。 在文件系统列表中,单击指定文件系统所在行的“更多
ObsDataRepository 参数 是否必选 参数类型 描述 bucket 是 String OBS桶名称 endpoint 是 String OBS桶所在的区域域名 policy 否 ObsDataRepositoryPolicy object 后端存储自动同步策略 attributes 否 ObsTargetAttributes
配置后端type参数错误 请联系技术支持 400 SFS.TURBO.0108 The OBS endpoint name is incorrect obs 域名错误 请联系技术支持 400 SFS.TURBO.0109 The OBS bucket name is incorrect obs 桶名错误
ObsDataRepository 参数 参数类型 描述 bucket String OBS桶名称 endpoint String OBS桶所在的区域域名 policy ObsDataRepositoryPolicy object 后端存储自动同步策略 attributes ObsTargetAttributes
ObsDataRepository 参数 参数类型 描述 bucket String OBS桶名称 endpoint String OBS桶所在的区域域名 policy ObsDataRepositoryPolicy object 后端存储自动同步策略 attributes ObsTargetAttributes