检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
性能随容量增加而提升,同时保障数据的高持久度,满足业务增长需求。 存储底层包含HDD和SSD两种存储介质;存储系统采用分布式存储架构,全模块架构冗余设计,无单一故障点。 无缝集成 高性能弹性文件服务支持NFS,通过标准协议访问数据,无缝适配主流应用程序进行数据读写。 操作简单、低成本
SFS Turbo数据迁移实践 SFS Turbo数据迁移实践方案概述 通过云专线迁移数据至SFS Turbo(rclone工具) 通过跨服务器迁移数据至SFS Turbo(rclone工具) 通过云专线迁移数据至SFS Turbo(rsync工具) 文件系统之间迁移数据
Turbo和对象存储服务OBS之间进行数据迁移? 背景知识 对象存储服务OBS是华为云提供的稳定、安全、高效、易用的云存储服务,具备标准Restful API接口,可存储任意数量和形式的非结构化数据。 高性能弹性文件服务SFS Turbo是华为云提供的按需扩展的高性能文件存储(NAS)
HPC型文件系统支撑AI训练吗? 当数据规模较小,不存在冷热数据分级降本诉求,又希望能方便快捷的构建AI训练系统时,可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗? OBS为容量型存储,在时延、带宽等存储性能上无法满足高性能AI训练,建议使用SFS
Turbo会根据您选择的数据更新类型,以异步方式导出到OBS。 数据更新类型包含“新增数据”、“修改数据”和“删除数据”。 新增数据:SFS Turbo联动目录下创建的文件,及之后对这些文件进行的元数据和数据修改,会被自动同步到OBS桶里。 修改数据:从OBS桶里导入到SFS Turbo联动目录下的文件,在SFS
通过加密传输保护网络传输链路的数据安全 概述 加密传输功能可以通过TLS协议保护您的客户端与SFS Turbo服务之间网络传输链路上的数据安全。 加密传输涉及加解密流程,性能相比非加密传输会有部分下降。 加密挂载教程-Linux 安装stunnel。 stunnel是一个开源网络
单击“云备份”页签。 图3 绑定存储库 如上图,单击“绑定存储库”。 选择属性(名称、ID、状态或企业项目)筛选,或输入关键字搜索存储库。 图4 筛选存储库 选择存储库,单击“确定”。如果已绑定存储库,请跳过步骤5-步骤7。 如果您想绑定其他存储库,可单击“购买SFS Turbo备份存储库”进行重新
SFS Turbo文件系统中的数据可以跨区域迁移吗? 文件系统中的数据支持跨区域迁移,具体操作请参见数据迁移。 父主题: SFS Turbo迁移类问题
同时挂载至两个服务器的SFS Turbo文件系统数据存在延时怎么办? 现象描述 当服务器A和服务器B同时挂载同一文件系统C时,在服务器A上传文件,服务器B同步此文件时存在延时,而单独上传至服务器B则没有延时。 定位思路 需要在两个服务器的挂载参数中增加参数noac和lookupcache=none。
时间变长时,或训练数据集加载由于存储读写带宽不足导致拖慢AI训练时,您可以对SFS Turbo进行性能扩容,以缩短数据加载时长。详情可参见SFS Turbo监控指标说明和创建告警规则。 调整SFS Turbo数据淘汰策略 操作指导请参考配置SFS Turbo数据淘汰策略。 SFS
数据。当您的文件系统出现故障或文件系统中的数据发生逻辑错误等时,可快速使用备份恢复数据。 支持区域: 全部 备份 加密 当您由于业务需求从而需要对存储在文件系统的数据进行加密时,SFS Turbo为您提供加密功能,可以对新创建的文件系统进行加密。 支持区域: 全部 文件系统加密 扩容
挂载至两种服务器系统的文件系统无法写入数据 现象描述 当将同一个文件系统分别挂载到已创建的Linux云服务器和Windows云服务器后,在Windows云服务器上无法对在Linux云服务器上创建的文件写入数据。 可能原因 由于共享的NFS文件系统归属于root权限,且无法修改该所
2019年1月 序号 功能名称 功能描述 阶段 相关文档 1 SFS Turbo数据备份和恢复 为SFS Turbo文件系统提供简单易用的备份服务,针对病毒入侵、人为误删除、软硬件故障等场景,可将数据恢复到任意备份点。 公测 备份 2018年11月 序号 功能名称 功能描述 阶段
如何在高性能弹性文件服务SFS Turbo和云硬盘EVS之间进行数据迁移? 将文件系统和云硬盘同时挂载至同一云服务器上,再手动进行数据复制即可。 父主题: SFS Turbo迁移类问题
如需关闭,请提交工单反馈) 说明: 最终一致性意味着当通过多客户端访问共享文件系统时,因为一个客户端的访问请求可能路由到不同的分布式后端,当命中到分布式后端的本地cache时,可能无法实时获取到其他客户端的更新操作。 如果一定要多客户端并发写同一个文件,为了增强文件的一致性,建议您将多客户端挂载到同一个虚拟IP上。
区域和可用区 什么是区域、可用区? 区域和可用区用来描述数据中心的位置,您可以在特定的区域、可用区创建资源。 区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Re
Service,CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后,CTS可记录SFS Turbo的管理事件和数据事件用于审计。 CTS的详细介绍和开通配置方法,请参见CTS快速入门。
文件系统仅可以在一段时间内(默认为30s)正常使用。请谨慎操作。 卸载文件系统的具体操作请参见卸载SFS Turbo文件系统。 父主题: 数据加密
更新文件系统 功能介绍 更新文件系统冷数据淘汰时间 接口约束 该接口仅支持已绑定后端存储的文件系统。该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统。