检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何在弹性文件服务SFS和对象存储服务OBS之间进行数据迁移？ 背景知识 对象存储服务OBS是华为云提供的稳定、安全、高效、易用的云存储服务，具备标准Restful API接口，可存储任意数量和形式的非结构化数据。 弹性文件服务SFS是华为云提供的按需扩展的高性能文件存储（NAS），可为云上
日志文件路径中包含变量 使用Nginx写日志到文件系统时，出现耗时长的现象，可以参考以下方法处理： 删除access_log指令中的变量，使用固定路径存储日志文件。 使用open_log_file_cache命令设置日志文件描述符缓存，可以提高包含变量的日志文件存放路径的性能。 本地网络故障，访问文件系统较慢
配置ModelArts和SFS Turbo间网络直通 创建委托授权ModelArts云服务使用SFS Turbo 使用IAM管理员账号登录IAM控制台。 在IAM控制台的左侧导航窗格中选择“权限管理 > 权限”。 配置调用SFS Turbo接口的自定义策略： 单击右上角的“创建自定义策略”，进入自定义策略配置页面。
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后，训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存，无需手工导出，异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
能，以减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中，数据预热功能的具体操作请参考创建SFS Turbo 和 OBS 之间的联动任务。 您可通过查询联动任务详情接口查看导入任务的完成状态。
的数据迁移操作。 成本低 低频存储相比普通文件存储的费用低。 低频存储的计费相关内容请详见计费项。 转换为低频存储的数据可正常访问 数据转储为低频存储后，文件系统的内容和结构保持不变，应用可正常访问这些数据，不需要修改应用或暂停业务。 配置生命周期规则 您可以为某个文件系统或文件
允许访问。本地服务器用于访问本地NAS存储，云上服务器用于访问云上SFS Turbo。 通过公网或内网将云上NAS存储数据迁移至SFS Turbo中也可以参考本方案完成。 约束与限制 暂不支持使用公网迁移本地NAS存储至SFS容量型文件系统。 仅支持使用Linux系统的云服务器进行数据迁移。
用户可以将本地NAS存储中的数据，通过云专线和rclone工具迁移至云上SFS Turbo文件系统中，进行云上业务拓展。 此方案通过在云上创建一台Linux操作系统的云服务器，来连接本地NAS存储以及云上SFS Turbo文件系统的通信，并通过这台服务器将本地NAS存储中的数据迁移至云上。
Adminstrator权限。 √ √ 查询后端存储列表 GET /v1/{project_id}/sfs-turbo/shares/{share_id}/targets sfsturbo:shares:listBackendTargets - √ √ 获取后端存储详细信息 GET /v1/{pr
用户可以将本地NAS存储中的数据，通过云专线和rsync工具迁移至云上SFS Turbo文件系统中，进行云上业务拓展。 此方案通过在云上创建一台Linux操作系统的云服务器，来连接本地NAS存储以及云上SFS Turbo文件系统的通信，并通过这台服务器将本地NAS存储中的数据迁移至云上。
弹性文件服务-成长地图 | 华为云 弹性文件服务 弹性文件服务（Scalable File Service，SFS）提供按需扩展的高性能文件存储（NAS），可为云上多个弹性云服务器（Elastic Cloud Server，ECS），容器（CCE&CCI），裸金属服务器（BMS）提供共享访问
1分钟 维度 Key Value efs_instance_id 实例 查看监控数据 登录管理控制台。 进入监控图表页面。 入口一：选择“存储 > 弹性文件服务”，在文件系统列表单击查看监控数据的文件系统“操作”列下的“监控”。 入口二：选择“管理与监管 > 云监控服务> 云服务监控
什么是SFS Turbo？ SFS Turbo提供按需扩展的高性能文件存储，支持同时为多个弹性云服务器（Elastic Cloud Server, ECS）提供文件共享服务。SFS Turbo提供标准的文件访问协议NFS（仅支持NFSv3），用户可以将现有应用和工具与SFS Turbo无缝集成。
PU卡同时从存储中加载checkpoint致使存储带宽成为拥塞瓶颈，在具有相同checkpoint的冗余组内，采用部分代表节点先从远端存储加载checkpoint并将checkpoint广播到剩余其他节点的恢复机制，这种策略显著降低大规模训练集群故障恢复过程对远端存储带宽的需求，
/s/TiB等规格的文件系统使用多个ip来均衡集群负载。 选择标准型。 说明： 创建成功后不支持更换存储类型，如需更换只能新创建另一存储类型的文件系统，请根据业务情况事先规划存储类型。 带宽大小（GB/s） 主要指缓存带宽，多用于读多写少的场景。带宽能力越大，则对容量的需求越大。
搜索条件的key-values结构中values数组的值之间是“或”的关系。无tags过滤条件时，默认认为这个标签搜索字段满足要求。最多包含10个key，每个key下面的value最多10个，每个key对应的value可以为空数组但结构体不能缺失。key不能重复，同一个key-v
Turbo提供各种规格的文件存储，您可以根据业务需求选择其中一种或几种文件系统，为业务运转提供必要的可靠性、安全性和持续性。 您可以根据以下文件存储的对比情况，选用适合您业务场景的文件系统或提交工单联系技术支持人员支撑您的选择。 通用文件系统 通用文件系统为用户提供一个完全托管的共享文件存储，能够弹
搜索条件的key-values结构中values数组的值之间是“或”的关系。无tags过滤条件时，默认认为这个标签搜索字段满足要求。最多包含10个key，每个key下面的value最多10个，每个key对应的value可以为空数组但结构体不能缺失。key不能重复，同一个key-v
计费因子 计费说明 计费公式 计费模式 存储费用 容量型 存储空间 根据文件系统所使用的存储容量和使用时长计费 存储费用=每GB费率*使用容量*使用时长 按需计费 包年包月 低频型 存储空间 根据文件系统所使用的存储容量和使用时长计费 存储费用=每GB费率*使用容量*使用时长 说明：
区域和可用区用来描述数据中心的位置，您可以在特定的区域、可用区创建资源。 区域（Region）：从地理位置和网络时延维度划分，同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region，通用Region指面向公共租户提供通用
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
