检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
挂载地址 挂载对象,即要挂载的文件系统的挂载地址。设置为步骤5中mount命令中的挂载地址。 /local_path 挂载点,即云服务器上创建的挂载文件系统的目录。设置为步骤5中mount命令中的本地路径。 nfs 挂载类型,指文件系统或分区类型。本节描述的是挂载文件系统,设置为nfs。
Integer 目录的容量大小,单位:MB; 不填写则默认为0;设置为0会导致数据无法写入目录; capacity和quota至少二选一 inode 否 Integer 目录的inode数量限制; 不填写则默认为0;设置为0会导致数据无法写入目录; capacity和quota至少二选一
服务的访问控制 SFS Turbo对接了IAM服务,支持给企业中的员工设置不同的访问权限功能,以达到不同员工之间的权限隔离,用户可以通过IAM服务进行精细化的资源管控。详情请参见SFS Turbo的权限策略。 SFS Turbo支持通过IAM权限进行访问控制。 表1 SFS Turbo访问控制
配置ModelArts网络关联SFS Turbo。 配置SFS Turbo和OBS联动。 配置SFS Turbo数据自动导出到OBS桶。 配置SFS Turbo数据淘汰策略。 4 训练 上传数据至OBS并预热到SFS Turbo中。 创建训练任务。 5 例行运维 使用OBS+SFS Turbo的存储加速方案的过程中
install aiturbo_xxx.whl Megatron改动示例 Megatron框架的适配需要提前安装好pytorch及其依赖。 设置环境变量,命令如下所示: AITURBO_BACKUP_ENABLE = True 环境变量“AITURBO_BACKUP_ENABLE”
Turbo上对这些文件所进行的数据和元数据的修改,会被自动同步到OBS桶里。 DELETED:表示删除数据,在SFS Turbo联动目录下删除文件,OBS桶对应的对象也会被删除,只有被SFS Turbo写入的OBS对象才会被删除。 状态码: 404 表10 响应Body参数 参数 参数类型
Turbo文件系统,文件系统类型选择“HPC型”,操作指导请参考创建SFS Turbo文件系统。 创建OBS桶 创建OBS桶,存储类别为“标准存储”,桶策略为“私有”,操作指导请参考创建OBS桶。 创建ModelArts资源池 以常见的专属资源池为例,专属资源池提供独享的计算资源,可用于
合法的已存在的目录的全路径 capacity 否 Integer 目录的容量大小,单位:MB; 设置为0会导致数据无法写入目录; capacity和quota至少二选一 inode 否 Integer 目录的inode数量限制; 设置为0会导致数据无法写入目录; capacity和quota至少二选一 响应参数
HPC性能不足时,需要通过容量扩容来提高性能吞吐。 OBS性能监控 您可以在CES云监控服务上监控SFS Turbo关联的OBS桶的性能使用情况,SFS Turbo和OBS之间的数据导入导出速度会受OBS服务的读写带宽上限QoS影响,默认是16Gbit/s,如果导入导出速度受到OBS读写带宽上限影响,可提交
受限于文件系统服务端的能力及客户端网卡或CPU等资源能提供的能力。 操作步骤 在挂载NFS文件系统的命令中,增加nconnect参数,建议设置nconnect=4。示例如下: mount -t nfs -o vers=3,timeo=600,noresvport,nolock,tcp
受限于文件系统服务端的能力及客户端网卡或CPU等资源能提供的能力。 操作步骤 在挂载NFS文件系统的命令中,增加nconnect参数,建议设置nconnect=4。示例如下: mount -t nfs -o vers=3,timeo=600,noresvport,nolock,tcp
根据企业的业务组织,在您的华为账号中,给企业中不同职能部门的员工创建IAM用户,让员工拥有唯一安全凭证,并使用SFS Turbo资源。 根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。 如果华为账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用SFS
String MIME类型 表3 请求Body参数 参数 是否必选 参数类型 描述 attributes 是 ObsTargetAttributes object 后端存储属性 表4 ObsTargetAttributes 参数 是否必选 参数类型 描述 file_mode 否 Integer
IDC专线通过域名挂载SFS Turbo文件系统 操作场景 虚拟专用网络、云专线线下节点通过终端节点高速访问20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB等类型的SFS Turbo文件系统。
单击“确定”,完成自定义策略创建。 在IAM控制台页面的左侧导航窗格中选择“委托”,单击右上方的“创建委托”。 在创建委托页面,设置“委托名称”,例如设置为“modelarts_agency”。 “委托类型”选择“云服务”,在“云服务”中选择“ModelArts”,持续时间根据用户
与其他云服务的关系 高性能弹性文件服务与其他云服务的关系如图1所示。 图1 高性能弹性文件服务与其他服务的关系示意图 高性能弹性文件服务与其他服务的关系 表1 与其他云服务的关系 功能 相关服务 位置 云服务器和文件系统归属于同一项目下,用于挂载共享路径实现数据共享。 弹性云服务器(Elastic
请求服务器返回指定资源。 PUT 请求服务器更新指定资源。 POST 请求服务器新增资源或执行特殊操作。 DELETE 请求服务器删除指定资源,如删除对象等。 HEAD 请求服务器资源头部。 PATCH 请求服务器更新资源的部分内容。 当资源不存在的时候,PATCH可能会去创建一个新的资源。
文件系统与服务器的连接断开,需要重新挂载。 可能原因 没有配置自动挂载,重启服务器后会自动断开。 解决方法 参考自动挂载文件系统,在云服务器设置重启时进行自动挂载。 提交工单 如果上述方法均不能解决您的疑问,请提交工单寻求更多帮助。
VPC的安全组是否影响高性能弹性文件服务的使用? 安全组是一个逻辑上的分组,为同一个VPC内具有相同安全保护需求并相互信任的弹性云服务器提供访问策略。安全组创建后,用户可以在安全组中定义各种访问规则,当弹性云服务器加入该安全组后,即受到这些访问规则的保护。安全组的默认规则是在出方
查询后端存储列表 功能介绍 查询后端存储列表 接口约束 该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API