检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
提升Linux操作系统单客户端访问SFS Turbo的性能 操作场景 nconnect是Linux操作系统下NFS客户端的挂载参数,开启后支持NFS客户端与服务端之间建立多条TCP连接来提升吞吐性能。 前提条件 Linux内核为5.3及以上版本。 当客户端与服务端之间网络延迟较高
提升单客户端访问SFS Turbo的性能(Linux) 操作场景 nconnect是Linux操作系统下NFS客户端的挂载参数,开启后支持NFS客户端与服务端之间建立多条TCP连接来提升吞吐性能。 前提条件 Linux内核为5.3及以上版本。 当客户端与服务端之间网络延迟较高(例
如何在高性能弹性文件服务SFS Turbo和对象存储服务OBS之间进行数据迁移? 背景知识 对象存储服务OBS是华为云提供的稳定、安全、高效、易用的云存储服务,具备标准Restful API接口,可存储任意数量和形式的非结构化数据。 高性能弹性文件服务SFS Turbo是华为云提供的按需扩展的高性能文
nfs文件是NFS协议中的一种临时文件,当NFS客户端删除一个正在被打开的文件时可能会产生这种类型文件。.nfs文件是NFS客户端用于管理文件系统中被打开文件的删除行为。如果一个进程打开的某个文件被另一个进程删除,该进程会将此文件重命名为.nfsXXX类型文件。当这个文件的打开引用计数为0时,客户端会主动删除该文
连接管理 修改文件系统绑定的安全组 父主题: API
API 生命周期管理 连接管理 共享标签 名称管理 文件系统管理 存储联动管理 目录管理 权限管理 任务管理
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
权限管理 创建权限规则 查询文件系统的权限规则列表 查询文件系统的某一个权限规则 修改权限规则 删除权限规则 创建并绑定ldap配置 查询Ldap的配置 修改ldap配置 删除ldap配置 父主题: API
任务管理 查询job的状态详情 父主题: API
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题
Turbo文件系统,实现上传和下载文件等操作。 准备工作 注册账号并实名认证。 在购买SFS Turbo之前,请先注册华为账号并开通华为云、实名认证。 如果您已开通华为云并进行实名认证,请忽略此步骤。 为账户充值。 请保证账户有足够的资金,以免使用SFS Turbo失败。具体操作,请参见账户充值。
当通知方式选择通知组时,需要选择发送告警通知的通知组。创建通知组请参见创建通知对象/通知组。 通知对象 当通知方式选择主题订阅时,需要发送告警通知的对象,可选择云账号联系人或主题名称。 云账号联系人为注册时的手机和邮箱。 主题是消息发布或客户端订阅通知的特定事件类型,若此处没有需要的主题则需先创建主题
IP地址均可以被多个客户端挂载。 在使用NFS/SMB协议访问文件系统时,每个客户端仅能与一个服务端节点建立网络连接。在使用域名挂载时,域名会随机映射到后端的一个IP,可能导致客户端与服务端的网络连接分布不均,从而无法充分利用服务端分布式集群能力。 当客户端数量较少时,如果希望最
针对AI训练场景中面临的问题,华为云提供了基于对象存储服务OBS+高性能文件服务SFS Turbo的AI云存储解决方案,如图所示,华为云高性能文件服务SFS Turbo HPC型支持和OBS数据联动,您可以通过SFS Turbo HPC型文件系统来加速对OBS对象存储中的数据访问,并将生
性能调优 SFS Turbo性能测试 SFS Turbo时延测试 提升单客户端访问SFS Turbo的性能(Linux)
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
ares/{share_id}/targets sfsturbo:shares:createBackendTarget 用户需要额外配置OBS Adminstrator权限。 √ √ 查询后端存储列表 GET /v1/{project_id}/sfs-turbo/shares/{share_id}/targets
SFS Turbo迁移类问题 如何在高性能弹性文件服务SFS Turbo和对象存储服务OBS之间进行数据迁移? 如何将SFS Turbo部署至CCE? SFS Turbo文件系统中的数据可以跨区域迁移吗? 如何在高性能弹性文件服务SFS Turbo和云硬盘EVS之间进行数据迁移?
一致性,如需关闭,请提交工单反馈) 说明: 最终一致性意味着当通过多客户端访问共享文件系统时,因为一个客户端的访问请求可能路由到不同的分布式后端,当命中到分布式后端的本地cache时,可能无法实时获取到其他客户端的更新操作,cache的失效时间通常为3~30s之间。 单文件系统可添加VPC数量
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤