检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速,流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
建隔离的、用户自主配置和管理的虚拟网络环境,提升用户云上资源的安全性,简化用户的网络部署。 您可以在VPC中定义安全组、VPN、IP地址段、带宽等网络特性。用户可以通过VPC方便地管理、配置内部网络,进行安全、快捷的网络变更。同时,用户可以自定义安全组内与组间弹性云服务器的访问规则,加强弹性云服务器的安全保护。
返回结果 状态码 请求发送以后,您会收到响应,其中包含状态码、响应消息头和消息体。 状态码是一组从1xx到5xx的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。 对于获取用户Token接口,如果调用后返回状态码为“201”,则表示请求成功。 响应消息头 对应
在文件系统中存放的单个文件最大支持多少? SFS容量型文件系统支持存放最大为240TB的单个文件。 SFS Turbo文件系统支持存放最大为320TB的单个文件。 通用文件系统支持存放最大为240TB的单个文件。 父主题: 规格类
为文件系统创建普通用户可读写的子目录 方案概述 资源和成本规划 实施步骤
FS文件系统的场景下),且您需要达到较高的带宽或IOPS时,建议开启该功能; 开启nconnect后对于单并发、小IO数据块等场景会有一定的时延增加,当您的业务为小并发的延迟敏感型时,不建议开启该功能; nconnect功能开启后,可以提升NFS客户端与服务端之间的吞吐性能,最终
文件系统中的数据是否可以跨区域迁移? 暂时不支持直接跨区域迁移文件系统数据,您需要在购买文件系统时规划好合适的区域,或者可以将数据复制至本地后再传至另一区域。 SFS Turbo文件系统可以使用云备份进行备份数据,再使用备份复制的功能,将备份副本复制至另一区域再创建一个与原区域数据一致的SFS
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
如何提高SFS Turbo文件系统拷贝和删除操作的效率? Linux常用cp、rm、tar命令,默认属于串行操作,无法发挥网络文件系统的并发优势,需要用户并发执行以上命令,提升执行效率。 父主题: 其他类
建多个子目录并挂载至主目录上,同时使普通用户拥有读写权限。 操作流程 为文件系统创建普通用户可读写的子目录的流程如图1所示。 图1 操作流程 父主题: 为文件系统创建普通用户可读写的子目录
为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 创建VPC 虚拟私有云可以为您构建隔离的、用户自主配置和管理的虚拟网络环境,操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo HPC型文件系统 创建SFS
String 权限规格的id ip_cidr String 授权对象的IP地址或网段 rw_type String 授权对象的读写权限 rw:默认选项,以读写的方式共享 ro:以只读的方式共享 none: 没有权限 user_type String 授权对象的系统用户对文件系统的访问权限。取值如下:
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
常见问题 可以只使用SFS Turbo HPC型文件系统支撑AI训练吗? 当数据规模较小,不存在冷热数据分级降本诉求,又希望能方便快捷的构建AI训练系统时,可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗? OBS
状态码 状态码是一组从2xx(成功)到4xx或5xx(错误)的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。 响应消息头 对应请求消息头,响应同样也有消息头,如“Content-type”。 详细的公共响应消息头字段请参见表1。 表1 公共响应消息头 消息头名称
HPC型是按每TB单位容量来提供一定的带宽吞吐,因此当SFS Turbo HPC性能不足时,需要通过容量扩容来提高性能吞吐。 OBS性能监控 您可以在CES云监控服务上监控SFS Turbo关联的OBS桶的性能使用情况,SFS Turbo和OBS之间的数据导入导出速度会受OBS服务的读写带宽上限Qo
修改文件系统绑定的安全组 功能介绍 修改SFS Turbo文件系统绑定的安全组。修改安全组为异步任务,可以通过“查询单个文件系统”返回的子状态字段“sub_status”来判断是否修改安全组状态,子状态为“232”即为修改安全组成功。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API
实施步骤 创建文件系统本地目录 为每个用户创建有读写权限的子目录 父主题: 为文件系统创建普通用户可读写的子目录
目录权限,默认值是755,取值范围是0到777。第一位表示目录所有者的权限,取值范围是0到7;第二位表示目录所属用户组的权限,取值范围是0到7;第三位表示其他用户的权限,取值范围是0到7。目录所有者由uid指定,目录所属用户组由gid指定,不是目录所有者且不在目录所属用户组的用户为其他用户。例如:755中第一位