检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Turbo和对象存储服务OBS之间进行数据迁移？ 背景知识 对象存储服务OBS是华为云提供的稳定、安全、高效、易用的云存储服务，具备标准Restful API接口，可存储任意数量和形式的非结构化数据。 高性能弹性文件服务SFS Turbo是华为云提供的按需扩展的高性能文件存储（NAS），可为云上多个弹性
输入描述（可选），单击“确定”。 通过邮箱、手机或者虚拟MFA进行验证，输入对应的验证码。如果没有开启敏感操作保护，请跳过该步骤。 单击“立即下载”，浏览器自动下载访问密钥。 为防止访问密钥泄露，建议您将其保存到安全的位置。 父主题： 附录
Turbo文件系统挂载到ECS实例（Linux）上，实现上传和下载文件等操作。 操作流程 操作步骤 说明 准备工作 注册华为账号并开通华为云，实名认证，为账户充值，创建VPC和ECS等。 步骤一：创建SFS Turbo文件系统 创建一个SFS Turbo文件系统。 步骤二：挂载SFS Turbo文件系统 将SFS
实施步骤 创建资源 基本配置 训练 例行维护 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践
Turbo：增加挂载配置，选择创建资源中创建的SFS Turbo HPC型文件系统。 单击“提交”，完成训练作业的创建。 训练作业创建完成后，后台将自动完成容器镜像下载、代码目录下载、执行启动命令等动作。训练作业一般需要运行一段时间，根据您的训练业务逻辑和选择的资源不同，训练时长将持续几十分钟到几小时不等。要查
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题
AZ构建高可用性系统的需求。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前，华为云已在全球多个地域开放云服务，您可以根据需求选择适合自己的区域和可用区。更多信息请参见华为云全球站点。 如何选择区域？ 选择区域时，您需要考虑以下几个因素： 地理位置 一般情况下，建议
API 生命周期管理 连接管理 共享标签 名称管理 文件系统管理 存储联动管理 目录管理 权限管理 任务管理
S Turbo-1” “策略配置方式”选择选择“可视化视图”或者“JSON视图”均可。如果选择“可视化视图”请跳转至该步骤，如果选择“JSON视图”请跳转至该步骤。 在“策略内容”下配置策略。 选择“允许”。 选择云服务，勾选“弹性文件服务(SFSTurbo)”。 选择“操作”，
前提条件 已在云服务器上安装fio工具。fio可从官网或GitHub下载。 注意和说明 测试性能依赖client和server之间的网络带宽及文件系统的容量大小。 安装fio 以Linux CentOS系统为例说明： 在官网下载fio。 yum install fio 安装libaio引擎。
针对AI训练场景中面临的问题，华为云提供了基于对象存储服务OBS+高性能文件服务SFS Turbo的AI云存储解决方案，如图所示，华为云高性能文件服务SFS Turbo HPC型支持和OBS数据联动，您可以通过SFS Turbo HPC型文件系统来加速对OBS对象存储中的数据访问，并将生
上传数据至OBS并预热到SFS Turbo中 上传数据至OBS 已经在OBS上创建好普通OBS桶，请参见创建普通OBS桶。 已经安装obsutil，请参考下载和安装obsutil。 登录Imagenet数据集下载官网地址，下载Imagenet21k数据集：http://image-net
前提条件 已在云服务器上安装fio工具。fio可从官网或GitHub下载。 注意和说明 测试性能依赖client和server之间的网络带宽及文件系统的容量大小。 安装fio 以Linux CentOS系统为例说明： 在官网下载fio。 yum install fio 安装libaio引擎。
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题： 实施步骤
Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题： 实施步骤
不支持 桶名 OBS存储桶桶名。 无法绑定不存在的存储桶。 目前仅支持OBS存储桶，不支持OBS并行文件系统。 不支持 OBS区域域名 OBS区域域名，即OBS的终端节点。 OBS存储桶必须和SFS Turbo文件系统在同一个Region。 不支持 勾选“将OBS桶的读写权限通过桶策略授权给SFS
本文以SFS Turbo性能增强型，云服务器规格如下为例说明。 规格：通用计算增强型 | c6.4xlarge.4 | 16vCPUs | 64GB 镜像：EulerOS 2.5 单队列随机读 fio命令： fio -direct=1 -iodepth=1 -rw=randread -ioengine=libaio
本文以SFS Turbo性能增强型，云服务器规格如下为例说明。 规格：通用计算增强型 | c6.4xlarge.4 | 16vCPUs | 64GB 镜像：EulerOS 2.5 单队列随机读 fio命令： fio -direct=1 -iodepth=1 -rw=randread -ioengine=libaio
Turbo数据淘汰策略。 SFS Turbo容量及性能扩容 当SFS Turbo存储空间不足时，您可以对SFS Turbo存储空间进行容量扩容。扩容操作步骤请参考扩容。 SFS Turbo HPC型是按每TB单位容量来提供一定的带宽吞吐，因此当SFS Turbo HPC性能不足时，需要通过容量扩容来提高性能吞吐。
型。专属资源池不与其他用户共享，更加高效。在使用专属资源池之前，您需要先创建一个专属资源池，操作指导请参考创建专属资源池。 父主题： 实施步骤
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
