检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过云专线迁移(rclone工具) 方案概述 用户可以将本地NAS存储中的数据,通过云专线和rclone工具迁移至云上SFS Turbo文件系统中,进行云上业务拓展。 此方案通过在云上创建一台Linux操作系统的云服务器,来连接本地NAS存储以及云上SFS Turbo文件系统的通
在Linux云服务器中执行以下命令安装rsync工具。 yum install rsync 图1 安装rsync工具 源端服务器和目的端服务器均需要安装rsync工具,否则将会报错。 安装完成后,可以输入以下命令查询rsync工具的安装和版本情况。 rsync -version 图2 查看工具安装情况 执行以下
跨服务器迁移(rclone工具) 方案概述 用户可以将本地NAS存储中的数据,使用rclone工具通过公网或内网迁移至云上SFS Turbo中,进行云上业务拓展。 此方案通过在云上和本地分别创建一台Linux操作系统的服务器,将本地NAS存储中的数据迁移至云上。两台服务器端口号2
SFS Turbo性能测试 fio是一个开源的I/O压力测试工具,可以使用fio工具对SFS进行吞吐量和IOPS的性能测试。 前提条件 已在云服务器上安装fio工具。fio可从官网或GitHub下载。 注意和说明 测试性能依赖client和server之间的网络带宽及文件系统的容量大小。
SFS Turbo性能测试 fio是一个开源的I/O压力测试工具,可以使用fio工具对SFS进行吞吐量和IOPS的性能测试。 前提条件 已在云服务器上安装fio工具。fio可从官网或GitHub下载。 注意和说明 测试性能依赖client和server之间的网络带宽及文件系统的容量大小。
Server, ECS)提供文件共享服务。高性能弹性文件服务提供标准的文件访问协议NFS(仅支持NFSv3)和SMB,用户可以将现有应用和工具与高性能弹性文件服务无缝集成。 高性能弹性文件服务提供简单易用的操作界面,用户可以快捷地创建和管理文件系统,无需操心文件系统的部署、扩展和优化等运维事务。
高性能弹性文件服务数据迁移 方案概述 通过云专线迁移(rclone工具) 跨服务器迁移(rclone工具) 通过云专线迁移(rsync工具) 文件系统之间迁移数据 SFS容量型文件系统迁移至SFS Turbo文件系统
不同方式支持的操作系统、迁移数据量、操作简易程度存在差异,推荐您使用obsutil工具进行数据迁移。 为了节省您的开支,建议您配置内网DNS,通过华为云内网完成数据迁移。具体配置方法,请参见通过内网访问OBS。 表1 OBS提供的数据迁移工具 工具 支持的操作系统类型 (支持的具体版本参考对应方式的指导文档)
Turbo,将本地NAS存储中的数据迁移至SFS Turbo。 通过云专线迁移(rclone工具) 通过云专线迁移(rsync工具) 无法打通网络直接挂载,可以通过公网访问华为云ECS绑定的EIP,也可进行传输迁移。 跨服务器迁移(rclone工具) 父主题: 高性能弹性文件服务数据迁移
如果您觉得数据集规模较小或数据集变化不太频繁,不需要通过数据联动来做数据导入导出,您可借助外部工具将数据从OBS迁移到SFS Turbo中,操作指导请参考OBS和SFS之间的数据迁移,推荐使用obsutil工具。 父主题: 训练
cp ./rclone-*/rclone /usr/bin/ rm -rf ./rclone-* rclone工具不保留源端的文件权限或属组信息,有相关需求请使用rsync工具。 执行以下命令,进行数据同步。 rclone copy /mnt/src /mnt/dst -P --transfers
无需部署外部迁移工具 训练任务开始前将数据从OBS导入到SFS Turbo,训练过程中写入到SFS Turbo的Checkpoint数据异步导出到OBS,均不占用训练任务时长。 SFS Turbo和OBS存储服务之间数据直接导入导出,无需部署外部数据拷贝机器及工具。 4 冷热数据自动流动,降低存储成本
timeo=600,noresvport,nolock,tcp 文件系统挂载地址 /mnt/dst 在Linux云服务器中执行以下命令安装rclone工具。 wget https://downloads.rclone.org/v1.53.4/rclone-v1.53.4-linux-amd64
vers=3,timeo=600,noresvport,nolock,tcp 文件系统2挂载地址 /mnt/dst 下载并安装rclone工具。下载地址请参见https://rclone.org/downloads/。 执行以下命令,进行数据同步。 rclone copy /mnt/src
目业务中,让各责任组织及时了解各自的成本情况。 华为云成本中心支持通过多种不同的方式对成本进行归集和重新分配,您可以根据需要选择合适的分配工具。 通过关联账号进行成本分配 企业主客户可以使用关联账号对子客户的成本进行归集,从而对子账号进行财务管理。详细介绍请参见通过关联账号维度查看成本分配。
noresvport,nolock,tcp SFS Turbo挂载地址 /mnt/dst 在本地服务器client1中执行以下命令安装rclone工具。 wget https://downloads.rclone.org/v1.53.4/rclone-v1.53.4-linux-amd64
备份 SFS Turbo文件系统支持使用CBR备份。 操作场景 备份是SFS Turbo文件系统在某一时间点的完整备份,记录了这一时刻文件系统的所有配置数据和业务数据。 当您的文件系统出现故障或文件系统中的数据发生逻辑错误时(如误删数据、遭遇黑客攻击或病毒危害等),可快速使用备份恢复数据。
责任共担 华为云秉承“将公司对网络和业务安全性保障的责任置于公司的商业利益之上”。针对层出不穷的云安全挑战和无孔不入的云安全威胁与攻击,华为云在遵从法律法规业界标准的基础上,以安全生态圈为护城河,依托华为独有的软硬件优势,构建面向不同区域和行业的完善云服务安全保障体系。 安全性是华为云与您的共同责任,如图1所示。
器来挂载该文件系统,以实现多个云服务器共享使用文件系统的目的。 以root用户登录弹性云服务器 ECS。可以通过管理控制台或跨平台远程访问工具(例如PuTTY)登录已购买的ECS。 安装NFS客户端。 安装NFS客户端。 执行如下命令查看系统(此处以CentOS为例)是否安装NFS软件包。
数据保护技术 数据加密 高性能弹性文件服务支持服务器端加密功能,文件存储会对存储在文件系统中的数据进行加密,访问数据时,自动将加密数据解密后返回给用户。 具体使用方法请参见文件系统加密。 数据备份 备份是SFS Turbo文件系统在某一时间点的完整备份,记录了这一时刻文件系统的所