检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”,进入“训练作业”列表。 单击右上角的“创建训练作业”,进入“创建训练作业”页面,在该页面填写训练作业相关参数信息。
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象,您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台,在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中,单击
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后,建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。
已创建一台操作系统为Linux的云服务器。 已创建SFS Turbo文件系统,并获取到文件系统的挂载地址。 已经获取到本地NAS存储的挂载地址。 操作步骤 登录弹性云服务器管理控制台。 登录已创建好的Linux系统云服务器,用于同时访问本地NAS存储和云上SFS Turbo文件系统。 输入以下挂载命令,用于访问本地NAS存储。
S Turbo-1” “策略配置方式”选择选择“可视化视图”或者“JSON视图”均可。如果选择“可视化视图”请跳转至该步骤,如果选择“JSON视图”请跳转至该步骤。 在“策略内容”下配置策略。 选择“允许”。 选择云服务,勾选“弹性文件服务(SFSTurbo)”。 选择“操作”,
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
上传数据至OBS并预热到SFS Turbo中 上传数据至OBS 已经在OBS上创建好普通OBS桶,请参见创建普通OBS桶。 已经安装obsutil,请参考下载和安装obsutil。 登录Imagenet数据集下载官网地址,下载Imagenet21k数据集:http://image-net
Turbo还具备高可靠和高可用的特点,支持根据业务需要弹性扩容,且性能随容量增加而提升,可广泛应用于多种业务场景,例如企业OA、高性能网站和软件开发等场景。几种不同类型的文件系统请参考文件系统类型。 父主题: 概念类
如果需要在专属项目下创建文件系统,需要设置DSS FullAccess 和 ECS FullAccess权限。 创建通用文件系统,依赖的服务有:虚拟私有云 VPC。需要配置的角色/策略如下: IAM用户设置了SFS3 FullAccess权限后,权限集中包含了VPC ReadOnlyAccess,这是创建文件系统所需要的权限,用户不需额外添加VPC
为每个用户创建有读写权限的子目录 前提条件 已创建文件系统,并能通过root账号成功挂载到云服务器上。操作步骤请参考创建文件系统本地目录。 已获取到文件系统的挂载地址。 操作步骤 以root账号登录弹性云服务器。 使用以下命令在root账号下使用以下命令添加普通用户账号,下面以添加普通用户Tom为例。
创建文件系统 功能介绍 创建文件系统 URI PUT / 请求参数 表1 请求Header参数 参数 是否必选 参数类型 描述 Authorization 是 String 签名信息 Date 是 String 请求时间 x-obs-bucket-type 是 String 通过此消息头明确创建文件系统。
文件系统挂载失败 现象描述 使用mount命令挂载文件系统到云服务器,云服务器提示“access denied”,挂载失败。 可能原因 原因1:文件系统已被删除。 原因2:执行挂载命令的云服务器和被挂载的文件系统不在同一VPC下。 原因3:挂载命令中的挂载地址输入错误。 原因4:使用虚拟IP访问弹性文件服务。
"""认证用的SecretAccessKeyID硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全;本示例以SecretAccessKeyID保存在环境变量中为例,运行本示例前请先在本地环境中设置环境变量SECRET_ACCESS_KEY_ID。"""
curl/7.29.0 Host: examplefilesystem.sfs3.cn-north-4.myhuaweicloud.com Accept: */* Date: WED, 01 Jul 2015 02:31:25 GMT Authorization: OBS H4IPJX
用户欠费或余额不足而没有权限进行某种操作。 充值。 403 Forbidden InvalidAccessKeyId 系统记录中不存在客户提供的Access Key Id。 携带正确的Access Key Id。 403 Forbidden RequestTimeTooSkewed
载成功。本例选择“北京四”。 该公司已在“北京四”购买了ECS。 所有ECS归属在“vpc-test”的虚拟私有云(VPC)下。 了解详细步骤请参考创建文件系统。 Step2 创建文件系统 单击“创建文件系统”。 图2 开始创建文件系统 在“创建文件系统”页面,设置文件系统的各项参数后,单击“立即创建”。
如果需要在专属项目下创建文件系统,需要设置DSS FullAccess 和 ECS FullAccess权限。 查询文件系统详情 虚拟私有云 VPC IAM 用户设置了 SFS Turbo ReadOnlyAccess权限后,权限集中包含了 VPC ReadOnlyAccess权限,这是查询文件系统详情依赖的权限,用户不需要额外添加。
型等信息生成的签名信息。 AK(Access Key ID):访问密钥ID。与私有访问密钥关联的唯一标识符;访问密钥ID和私有访问密钥一起使用,对请求进行加密签名。格式例如:HCY8BGCN1YM5ZWYOK1MH SK(Secret Access Key):与访问密钥ID结合使
VPC。需要配置的角色/策略如下: IAM用户设置了SFS3 ReadOnlyAccess权限后,权限集中包含了 VPC ReadOnlyAccess权限,这是查询通用文件系统详情依赖的权限,用户不需要额外添加。 操作步骤 登录弹性文件服务管理控制台。 在文件系统列表中查看所有文件系统的基本信息,参数说明如表1所示。
什么是弹性文件服务? 弹性文件服务(Scalable File Service,SFS)提供按需扩展的高性能文件存储,支持同时为多个弹性云服务器(Elastic Cloud Server, ECS)提供文件共享服务。弹性文件服务提供标准的文件访问协议,用户可以将现有应用和工具与弹性文件服务无缝集成。