检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
此方案通过创建一台Linux操作系统的云服务器,来连接SFS容量型文件系统和其他文件系统的通信。 约束与限制 仅支持使用Linux系统的云服务器进行数据迁移。 Linux系统云服务器、SFS容量型文件系统和其他文件系统需在同一VPC下。如果目标端是通用文件系统,需配置VPC终端节点,具体操作,请参见配置VPC终端节点。
} 单击“确定”,完成自定义策略创建。 配置调用VPC接口的自定义策略: 单击右上角的“创建自定义策略”,进入自定义策略配置页面。 输入“策略名称”,用户可根据需要自定义,例如“委托modelarts操作SFS Turbo-2” “策略配置方式”选择选择“可视化视图”或者“JOS
String nas 配置名 type 是 String nas 配置协议类型 url 是 String nas 配置 ip 表7 ConfigObsTarget 参数 是否必选 参数类型 描述 name 是 String obs 配置名 type 是 String obs 配置协议类型 url
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后,建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。
进入页签“绑定后端存储”,单击“绑定OBS桶”。 图1 绑定OBS桶 在右侧弹窗“绑定OBS桶”中,填写如下表所示参数。 表1 绑定OBS桶配置参数 参数 含义 限制 配置后可编辑 联动目录名称 SFS Turbo文件系统根目录下会以该名称创建一个子目录,该目录将绑定对应的OBS桶,且该目录名称不能和已有目录重名。
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
已开通高性能弹性文件服务。 配置参考 登录高性能弹性文件服务管理控制台。 在左侧导航栏,选择“SFS Turbo > 文件系统列表”。在页面右上角单击“创建文件系统”。 在创建文件系统页面,根据界面提示配置参数。 配置完成后,单击“立即创建”,完成文件系统创建。 Linux系统ECS挂载操作请参
Turbo中,进行云上业务拓展。 此方案通过在云上和本地分别创建一台Linux操作系统的服务器,将本地NAS存储中的数据迁移至云上。两台服务器端口号22的出入方向需允许访问。本地服务器用于访问本地NAS存储,云上服务器用于访问云上SFS Turbo。 通过公网将云上NAS存储数据迁移至SFS Turbo中也可以参考本方案完成。
挂载(文件系统与云服务器必须归属在同一VPC下)。 否 => 原因2。 原因2:执行挂载命令的云服务器和被挂载的文件系统不在同一VPC下。 登录管理控制台,查看云服务器归属的VPC和文件系统归属的VPC是否相同。 是 => 原因3。 否 => 重新选择和云服务器相同VPC的文件系统进行挂载。
>文件系统列表”。在页面右上角单击“创建文件系统”。 在创建文件系统页面,根据界面提示配置参数。 配置完成后,单击“立即创建”,完成文件系统创建。 Linux系统ECS挂载操作请参见挂载NFS文件系统到云服务器(Linux)。 登录头节点,将需要上传的基因测序文件上传到挂载的文件系统。
安全组是一个逻辑上的分组,为同一个VPC内具有相同安全保护需求并相互信任的弹性云服务器提供访问策略。安全组创建后,用户可以在安全组中定义各种访问规则,当弹性云服务器加入该安全组后,即受到这些访问规则的保护。安全组的默认规则是在出方向上的数据报文全部放行,安全组内的弹性云服务器无需添加规则即可互相访问。系统会为每个云
操作系统执行命令可参考挂载NFS文件系统到云服务器(Linux)。 登录云服务器,查看nfs-utils是否已安装。执行如下命令,如果没有结果表示未安装。 rpm -qa|grep nfs 图1 查看是否已安装软件包 执行如下命令,安装nfs-utils软件包。 yum -y install
Service Turbo,SFS Turbo)提供按需扩展的高性能文件存储(NAS),可为云上多个弹性云服务器(Elastic Cloud Server,ECS)、容器(CCE&CCI)、裸金属服务器(BMS)提供共享访问。如图1所示。 图1 访问高性能弹性文件服务 与传统的文件共享存储相比,高性能弹性文件服务具有以下优势:
/mnt/dst 在Linux云服务器中执行以下命令安装rsync工具。 yum install rsync 图1 安装rsync工具 源端服务器和目的端服务器均需要安装rsync工具,否则将会报错。 安装完成后,可以输入以下命令查询rsync工具的安装和版本情况。 rsync -version
仅支持使用Linux系统的云服务器进行数据迁移。 文件UID和GID在同步操作后将不再保持一致。 文件访问模式同步操作后不再保持一致。 支持实现增量迁移,即只迁移发生变化的数据。 操作前提 已经完成云专线的购买和配置,详情请参考《云专线服务用户指南》。 已创建一台操作系统为Linux的云服务器。 已创建SFS
表1 资源规划 产品 配置示例 说明 弹性云服务器 ECS 规格:8vCPUs | 16GB | c7.2xlarge.2 操作系统:Linux 区域:华北-北京四 VPC名称:VPC1 已创建/mnt/src和/mnt/dst的目录 操作步骤 登录弹性云服务器管理控制台。 登录已
存储(NAS),可为云上多个弹性云服务器ECS,容器CCE&CCI,裸金属服务器BMS提供共享访问。 如何迁移? SFS Turbo的文件系统需要挂载到弹性云服务器、容器或裸金属服务器上,对于SFS Turbo和OBS之间的数据迁移,可以理解为服务器与OBS或者容器与OBS之间的
前提条件 已创建一台操作系统为Linux的云服务器。 已创建SFS容量型或SFS Turbo文件系统,并获取到文件系统的挂载地址。 资源规划 本章节介绍案例中使用的资源信息。具体如表1所示。 表1 资源规划 产品 配置示例 说明 弹性云服务器 ECS 规格:8vCPUs | 16GB |
如何在高性能弹性文件服务SFS Turbo和云硬盘EVS之间进行数据迁移? 将文件系统和云硬盘同时挂载至同一云服务器上,再手动进行数据复制即可。 父主题: 其他类
高性能弹性文件服务支持服务器端加密功能,文件存储会对存储在文件系统中的数据进行加密,访问数据时,自动将加密数据解密后返回给用户。 具体使用方法请参见文件系统加密。 数据备份 备份是SFS Turbo文件系统在某一时间点的完整备份,记录了这一时刻文件系统的所有配置数据和业务数据。当您