检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用前必读 概述 调用说明 终端节点 约束限制 基本概念
通过公网将云上NAS存储数据迁移至SFS Turbo中也可以参考本方案完成。 约束与限制 仅支持使用Linux系统的云服务器进行数据迁移。 文件UID和GID在同步操作后将不再保持一致。 文件访问模式同步操作后不再保持一致。 端口号22的出入方向需允许访问。 支持实现增量迁移,即只迁移发生变化的数据。
使用CES监控SFS Turbo文件系统 监控指标说明 创建告警规则 父主题: 监控与审计
使用CTS审计SFS Turbo文件系统 支持审计的关键操作 查询SFS Turbo审计事件 父主题: 监控与审计
面向AI场景使用OBS+SFS Turbo的存储加速实践 方案概述 资源和成本规划 操作流程 实施步骤 常见问题
Turbo的AI云存储解决方案,如图所示,华为云高性能文件服务SFS Turbo HPC型支持和OBS数据联动,您可以通过SFS Turbo HPC型文件系统来加速对OBS对象存储中的数据访问,并将生成的结果数据异步持久化到OBS对象存储中长期低成本保存。 图1 基于OBS+SFS Turbo的华为云AI云存储解决方案
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
是否支持跨VPC访问文件系统? 高性能弹性文件服务支持跨区域挂载吗? VPC的安全组是否影响高性能弹性文件服务的使用? 同时挂载至两个服务器的文件系统数据存在延时怎么办?
同时挂载至两个服务器的文件系统数据存在延时怎么办? 现象描述 当服务器A和服务器B同时挂载同一文件系统C时,在服务器A上传文件,服务器B同步此文件时存在延时,而单独上传至服务器B则没有延时。 定位思路 需要在两个服务器的挂载参数中增加参数noac和lookupcache=none。
Turbo文件系统 当创建SFS Turbo文件系统成功后,您需要使用云服务器来挂载该文件系统,以实现多个云服务器共享使用文件系统的目的。 以root用户登录弹性云服务器 ECS。可以通过管理控制台或跨平台远程访问工具(例如PuTTY)登录已购买的ECS。 安装NFS客户端。 安装NFS客户端。
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
不支持 桶名 OBS存储桶桶名。 无法绑定不存在的存储桶。 目前仅支持OBS存储桶,不支持OBS并行文件系统。 不支持 OBS区域域名 OBS区域域名,即OBS的终端节点。 OBS存储桶必须和SFS Turbo文件系统在同一个Region。 不支持 勾选“将OBS桶的读写权限通过桶策略授权给SFS
Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用状态,请提交工单联系技术支持人员进行配置。
现象描述 使用mount命令挂载文件系统到云服务器,云服务器系统提示“timed out”。 可能原因 原因1:网络状态不稳定。 原因2:网络连接异常。 定位思路 排除网络问题后,重试挂载命令。 解决方法 原因1和原因2:网络状态不稳定;网络连接异常。 修复网络,网络修复完成后重新执行挂载。
创建用户并授权使用SFS Turbo 如果您需要对您所拥有的SFS Turbo进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),通过IAM,您可以: 根据企业的业务组织,在您的华为账号中,给企业中不同职能部
力,请提交工单申请,最高可达20 GBps) 125MB/s/TiB、250MB/s/TiB:20GB/s(如需提高吞吐能力,请提交工单申请,最高可达100 GBps) 500MB/s/TiB、1000MB/s/TiB:80GB/s(如需提高吞吐能力,请提交工单申请,最高可达200
HPC性能不足时,需要通过容量扩容来提高性能吞吐。 OBS性能监控 您可以在CES云监控服务上监控SFS Turbo关联的OBS桶的性能使用情况,SFS Turbo和OBS之间的数据导入导出速度会受OBS服务的读写带宽上限QoS影响,默认是16Gbit/s,如果导入导出速度受到OBS读写带宽上限影响,可提交
on的同一个可用区(AZ)。 成本规划 OBS费用:详见OBS计费说明。 SFS Turbo费用:详见SFS计费说明。 ModelArts费用:详见ModelArts计费说明。 须知: 本文提供的成本预估费用仅供参考,资源的实际费用以华为云管理控制台或价格计算器显示为准。 如果您
如何确认Linux云服务器上的SFS Turbo文件系统处于可用状态? 高性能弹性文件服务会占用用户的哪些资源? 如何在高性能弹性文件服务SFS Turbo和对象存储服务OBS之间进行数据迁移? SFS Turbo文件系统支持多可用区吗? 可以将SFS Turbo标准型升级为性能型吗? 如何在高性能弹性文件服务SFS