检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
最新动态 本文介绍了高性能弹性文件服务 SFS Turbo各特性版本的功能发布和对应的文档动态，欢迎体验。 2019年9月 序号 功能名称 功能描述 阶段 相关文档 1 SFS Turbo增强版商用 SFS Turbo标准型-增强版： 最大带宽可达1GB/s，最高IOPS为15K。
的域名。DNS服务器东北区IP地址为100.125.6.250，其它区域详情请参见华为云内网DNS地址。 操作场景 默认情况下，用于解析文件系统域名的DNS服务器的IP地址会在创建ECS时自动配置到ECS上，不需要人工配置。除非默认的DNS服务器的IP地址被修改，导致域名解析失败，才需要配置DNS的IP地址。
unt -e 文件系统域名或IP”命令，回显如下内容，则代表命令中“文件系统域名或IP”对应的SFS Turbo文件系统处于可用状态。 Export list for 文件系统域名或IP / * 或 Export list for 文件系统域名或IP / 所有可接入该SFS Turbo文件系统的客户端IP
本文介绍了SFS Turbo提供的SDK语言版本，列举了最新版本SDK的获取地址。 在线生成SDK代码 API Explorer能根据需要动态生成SDK代码功能，降低您使用SDK的难度，推荐使用。 SDK列表 表1提供了SFS Turbo服务支持的SDK列表，您可以在GitHub
代表任何IP地址 CIDR格式网段 ： CIDR格式地址使用可变长度子网掩码来表示IP地址中网络地址位和主机地址位之间的比例。 CIDR IP地址在普通IP地址的基础上附加了一个后缀值，这个后缀值就是网络地址前缀位数。 例如，192.1.1.0/24 是一个 IPv4 CIDR地址，其中前
Turbo文件系统提供了多个IP地址（具体数量参考控制台上可选挂载点）供用户进行挂载，且每个IP地址均可以被多个客户端挂载。 在使用NFS/SMB协议访问文件系统时，每个客户端仅能与一个服务端节点建立网络连接。在使用域名挂载时，域名会随机映射到后端的一个IP，可能导致客户端与服务端的
安装AITurbo SDK依赖包。 AITurbo SDK依赖rpyc，setproctitle，PyYAML，pathlib2等三方库，安装方式如下： pip install rpyc setproctitle pathlib2 PyYAML 安装AITurbo SDK，checkpoint的保存和加载优化依赖于AITurbo
Turbo文件系统能够正常使用，SFS Turbo文件系统将会占用用户以下资源。 创建或扩容SFS Turbo文件系统时，会在用户填写的子网下创建多个私有IP和虚拟IP。 创建SFS Turbo文件系统时，会在用户填写的安全组下，开通111、445、2049、2051、2052、20048端口的入规则。默认的源地址为0
加速保存与加载checkpoint 加速原理与安装AITurbo SDK 适配pytorch 父主题： AITurbo AI场景加速
适配pytorch Megatron框架的适配需要提前安装好pytorch及其依赖。 Megatron改动示例 设置环境变量，命令如下所示： AITURBO_BACKUP_ENABLE = True 环境变量“AITURBO_BACKUP_ENABLE”用于配置是否开启内存副本，
org/v1.53.4/rclone-v1.53.4-linux-amd64.zip --no-check-certificate unzip rclone-v1.53.4-linux-amd64.zip chmod 0755 ./rclone-*/rclone cp ./rclone-*/rclone
区创建资源。 区域（Region）：从地理位置和网络时延维度划分，同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region，通用Region指面向公共租户提供通用云服务的Region；专属Re
Turbo支持同区域（region）下跨可用区（AZ）挂载。 SFS Turbo可以通过使用云连接CC“跨区域VPC互通”方案将不同区域的vpc内网打通，从而采取指定IP的方式跨区域（Region）挂载。 当您的业务对时延、IOPS指标要求较高时，使用SFS Turbo文件系统进行同区域下跨可用区挂载或者跨
AITurbo AI场景加速 加速保存与加载checkpoint 父主题： 数据管理
mount -t nfs -o vers=3,timeo=600,noresvport,nolock,tcp 文件系统域名或IP:/子目录 本地路径 文件系统域名或IP：可以从文件系统列表或详情中获取。 SFS Turbo：xx.xx.xx.xx:/子目录 子目录：上一步骤创建的子目录
面向AI场景使用OBS+SFS Turbo的存储加速实践 方案概述 资源和成本规划 操作流程 实施步骤 常见问题
方案概述 应用场景 近年来，AI快速发展并应用到很多领域中，AI新产品掀起一波又一波热潮，AI应用场景越来越多，有自动驾驶、大模型、AIGC、科学AI等不同行业。AI人工智能的实现需要大量的基础设施资源，包括高性能算力，高速存储和网络带宽等基础设施，即“大算力、大存力、大运力”的
实施步骤 创建资源 基本配置 训练 例行维护 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践
常见问题 可以只使用SFS Turbo HPC型文件系统支撑AI训练吗？ 当数据规模较小，不存在冷热数据分级降本诉求，又希望能方便快捷的构建AI训练系统时，可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗？ OBS
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速，流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
