检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Turbo服务之间网络传输链路上的数据安全。 加密传输涉及加解密流程,性能相比非加密传输会有部分下降。 加密挂载教程-Linux 安装stunnel。 stunnel是一个开源网络中继。stunnel会监听本地端口,并将发到其上的流量加密转发到SFS Turbo文件系统,要使用加密传输功能需要先安装stunnel。请执行以下命令进行安装:
文件系统之间迁移数据 方案概述 用户可以将SFS容量型文件系统中的数据迁移至SFS Turbo文件系统中,也可以将SFS Turbo文件系统中的数据迁移至SFS容量型文件系统中,进行云上业务拓展。 此方案通过创建一台Linux操作系统的云服务器,来连接SFS容量型文件系统和SFS
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
文件系统之间迁移数据 方案概述 用户可以将SFS容量型文件系统中的数据迁移至SFS Turbo文件系统中,也可以将SFS Turbo文件系统中的数据迁移至SFS容量型文件系统中,进行云上业务拓展。 此方案通过创建一台Linux操作系统的云服务器,来连接SFS容量型文件系统和SFS
高性能计算 场景介绍 高性能计算通常指以计算为目的,使用了很多处理器的单个计算机系统或者使用了多台计算机集群的计算机系统和环境。能够执行一般个人电脑无法处理的大资料量与高性能的运算。高性能计算具有超高浮点计算能力,可用于解决计算密集型、海量数据处理等业务的计算需求,如应用于工业设
访问的数据有诸多好处,它可以保证不同服务器上访问数据的一致性,减少不同服务器上分别保留数据带来的数据冗余等。另外以 AI 生态中非常流行的开源深度学习框架PyTorch为例,PyTorch默认会通过文件接口访问数据,AI算法开发人员也习惯使用文件接口,因此文件接口是最友好的共享存储访问方式。
SFS Turbo性能测试 fio是一个开源的I/O压力测试工具,可以使用fio工具对SFS进行吞吐量和IOPS的性能测试。 前提条件 已在云服务器上安装fio工具。fio可从官网或GitHub下载。 注意和说明 测试性能依赖client和server之间的网络带宽及文件系统的容量大小。
媒体处理 场景介绍 媒体处理包括媒体素材的上传、下载、编目、节目转码和数据归档等工作,涉及音视频数据的存储、调用和管理,根据其业务特性对共享的文件系统有如下要求: 媒体素材的视频码率高,文件规模大,要求文件系统容量大且易于扩展。 音视频的采集、编辑、合成等应用要求文件系统无抖动、低时延。
式也可以参考开源社区接口说明,链接地址: https://docs.openstack.org/api-ref/shared-file-system/。 使用企业项目功能时,关于SFS容量型API接口是否支持企业项目,请参考API授权项列表。 当本文描述内容与上述开源社区的描述不一致时,请以本文描述为准。
SFS Turbo性能测试 fio是一个开源的I/O压力测试工具,可以使用fio工具对SFS进行吞吐量和IOPS的性能测试。 前提条件 已在云服务器上安装fio工具。fio可从官网或GitHub下载。 注意和说明 测试性能依赖client和server之间的网络带宽及文件系统的容量大小。
SFS容量型售罄公告 华为云计划于2022/07/01 00:00(北京时间)将弹性文件服务容量型规格正式停售。 正式停售后,用户无法新购,如您需要继续使用同款产品,请在华北-北京四、华东-上海一、华南-广州区域重新购买通用文件系统,可复用SFS容量型资源包;已购买该产品的用户建议您将数据迁移到通用文件系统或者SFS
SFS容量型文件系统迁移至其他文件系统 方案概述 用户可以将SFS容量型文件系统中的数据迁移至通用文件系统或SFS Turbo文件系统中。 此方案通过创建一台Linux操作系统的云服务器,来连接SFS容量型文件系统和其他文件系统的通信。 约束与限制 仅支持使用Linux系统的云服务器进行数据迁移。
文件系统类型 弹性文件服务提供了SFS容量型、通用文件系统和SFS Turbo三种类型的文件系统。 以下表格介绍了各类型文件系统的特点、优势及应用场景。 SFS容量型 表1 SFS容量型文件系统 参数 说明 最大带宽 2GB/s 最高IOPS 2K 时延 3~20ms 最大容量 4PB
备份 目前仅SFS Turbo文件系统支持使用CBR备份,SFS容量型/通用文件系统暂不支持使用CBR备份。 现已上线新版备份功能,原历史备份将会被系统自动清除,请您及时前往云备份界面完成数据备份,以免造成不必要的数据丢失。 操作场景 备份是SFS Turbo文件系统在某一时间点
应用场景 华为云通用文件系统和SFS Turbo提供各种规格的文件存储,您可以根据业务需求选择其中一种或几种文件系统,为业务运转提供必要的可靠性、安全性和持续性。 您可以根据以下文件存储的对比情况,选用适合您业务场景的文件系统或提交工单联系技术支持人员支撑您的选择。 通用文件系统
构造请求 本节介绍REST API请求的组成,并以调用IAM服务的获取用户Token来说明如何调用API,该API获取用户的Token,Token可以用于调用其他API时鉴权。 您还可以通过这个视频教程了解如何构造请求调用API:https://bbs.huaweicloud.com/videos/102987。
通过云专线迁移(rsync工具) 方案概述 用户可以将本地NAS存储中的数据,通过云专线和rsync工具迁移至云上SFS Turbo文件系统中,进行云上业务拓展。 此方案通过在云上创建一台Linux操作系统的云服务器,来连接本地NAS存储以及云上SFS Turbo文件系统的通信,
例行维护 SFS Turbo容量监控及告警 如果SFS Turbo HPC型文件系统存储空间被写满,会影响业务运行,您可以在CES云监控服务上监控SFS Turbo文件系统的容量使用情况,并创建告警规则,当容量使用率超过一定阈值,可以发送邮件、短信等告警到运维人员。当收到容量监控告警时,您需要及时清理SFS
功能总览 功能总览 全部 弹性文件服务 NFS协议 CIFS协议 多VPC访问 多账号访问 备份 加密 监控 审计 OBS 2.0支持弹性文件服务 弹性文件服务(Scalable File Service,SFS)提供按需扩展的高性能文件存储(NAS),可为云上多个弹性云服务器(Elastic
常见问题 可以只使用SFS Turbo HPC型文件系统支撑AI训练吗? 当数据规模较小,不存在冷热数据分级降本诉求,又希望能方便快捷的构建AI训练系统时,可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗? OBS