检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户可以将本地NAS存储中的数据,通过公网迁移至云上SFS Turbo中,进行云上业务拓展。 此方案通过在云上和本地分别创建一台Linux操作系统的服务器,将本地NAS存储中的数据迁移至云上。两台服务器端口号22的出入方向需允许访问。本地服务器用于访问本地NAS存储,云上服务器用于访问云上SFS
支持实现增量迁移,即只迁移发生变化的数据。 前提条件 已创建一台操作系统为Linux的云服务器。 已创建SFS容量型文件系统和SFS Turbo文件系统,并获取到文件系统的挂载地址。 资源规划 本章节介绍案例中使用的资源信息。具体如表1所示。 表1 资源规划 产品 配置示例 说明 弹性云服务器 ECS 规格:8vCPUs
配置ModelArts和SFS Turbo间网络直通 创建委托授权ModelArts云服务使用SFS Turbo 使用IAM管理员账号登录IAM控制台。 在IAM控制台的左侧导航窗格中选择“权限管理 > 权限”。 配置调用SFS Turbo接口的自定义策略: 单击右上角的“创建自定义策略”,进入自定义策略配置页面。
OBS区域域名,即OBS的终端节点。 OBS存储桶必须和SFS Turbo文件系统在同一个Region。 不支持 勾选“将OBS桶的读写权限通过桶策略授权给SFS Turbo云服务”。 单击“确定”,完成绑定。 指定导入目录和文件的默认权限,请参考《高性能弹性文件服务API参考》的“绑定后端存
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后,建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
统规格自行配置: --transfers:传输文件的并发数目。 --checkers:扫描本地文件的并发数目。 -P:数据拷贝进度。 --links:复制源端的软链接,目的端保持为软链接的形式。 --copy-links:复制源端软链接指向的文件内容,目的端变成文件的形式,不再是软链接。
统规格自行配置: --transfers:传输文件的并发数目。 --checkers:扫描本地文件的并发数目。 -P:数据拷贝进度。 --links:复制源端的软链接,目的端保持为软链接的形式。 --copy-links:复制源端软链接指向的文件内容,目的端变成文件的形式,不再是软链接。
文件系统与云服务器必须归属在同一VPC下)。 否 => 原因2。 原因2:执行挂载命令的云服务器和被挂载的文件系统不在同一VPC下。 登录管理控制台,查看云服务器归属的VPC和文件系统归属的VPC是否相同。 是 => 原因3。 否 => 重新选择和云服务器相同VPC的文件系统进行挂载。
目可以根据系统规格自行配置: /mnt/src :源路径 /mnt/dst:目标路径 --transfers:传输文件的并发数目。 --checkers:扫描本地文件的并发数目。 -P:数据拷贝进度。 --links:复制源端的软链接,目的端保持为软链接的形式。 --copy-l
VPC的安全组是否影响高性能弹性文件服务的使用? 安全组是一个逻辑上的分组,为同一个VPC内具有相同安全保护需求并相互信任的弹性云服务器提供访问策略。安全组创建后,用户可以在安全组中定义各种访问规则,当弹性云服务器加入该安全组后,即受到这些访问规则的保护。安全组的默认规则是在出方
ConfigNasTarget objects 配置 nas 后端的信息 表6 ConfigNasTarget 参数 是否必选 参数类型 描述 name 是 String nas 配置名 type 是 String nas 配置协议类型 url 是 String nas 配置 ip 响应参数 状态码:
Turbo文件系统用于存放日志文件。 登录作为计算节点的云服务器,挂载文件系统。 配置日志目录为共享文件系统(建议每个主机使用不同的日志文件)。 启动应用程序。 前提条件 已完成VPC创建。 已完成作为头节点和计算节点的云服务器创建并将其归属在已创建的VPC下。如果需要将云下日志文件上传至SFS
使用mount命令将文件系统挂载至Linux云服务器时,提示wrong fs type, bad option。 可能原因 Linux云服务器系统未安装NFS客户端,用户在执行挂载命令前未自行安装nfs-utils软件包。 定位思路 安装所需的nfs-utils软件包即可。 解决方法 以下步骤中的命令是以CentOS、Red
共享访问。 如何迁移? SFS Turbo的文件系统需要挂载到弹性云服务器、容器或裸金属服务器上,对于SFS Turbo和OBS之间的数据迁移,可以理解为服务器与OBS或者容器与OBS之间的数据迁移,其中服务器或容器中的数据存放在所挂载的SFS Turbo文件系统中。 所以,SFS
/mnt/dst 在Linux云服务器中执行以下命令安装rsync工具。 yum install rsync 图1 安装rsync工具 源端服务器和目的端服务器均需要安装rsync工具,否则将会报错。 安装完成后,可以输入以下命令查询rsync工具的安装和版本情况。 rsync -version
Server访问同一个SFS Turbo后台,实现网站业务的高可用。 配置流程 整理好网站文件。 登录高性能弹性文件服务控制台,创建一个SFS Turbo文件系统用于存放网站文件。 登录作为计算节点的云服务器,挂载文件系统。 通过头节点将需要上传的网站文件上传到挂载的文件系统。 启动Web Server。
同一区域跨多个可用区的云服务器可以访问同一文件系统,实现多台云服务器共同访问和分享文件。 弹性扩展 高性能弹性文件服务可以根据您的使用需求,在不中断应用的情况下,增加文件系统的容量。一键式操作,轻松完成您的容量定制。 高性能、高可靠性 性能随容量增加而提升,同时保障数据的高持久度,满足业务增长需求。
如何在高性能弹性文件服务SFS Turbo和云硬盘EVS之间进行数据迁移? 将文件系统和云硬盘同时挂载至同一云服务器上,再手动进行数据复制即可。 父主题: 其他类
fio是一个开源的I/O压力测试工具,可以使用fio工具对SFS进行吞吐量和IOPS的性能测试。 前提条件 已在云服务器上安装fio工具。fio可从官网或GitHub下载。 注意和说明 测试性能依赖client和server之间的网络带宽及文件系统的容量大小。 安装fio 以Linux