检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”,进入“训练作业”列表。 单击右上角的“创建训练作业”,进入“创建训练作业”页面,在该页面填写训练作业相关参数信息。
服务的访问控制 SFS对接了IAM服务,支持给企业中的员工设置不同的访问权限功能,以达到不同员工之间的权限隔离,用户可以通过IAM服务进行精细化的资源管控。详情请参见SFS的权限策略。 SFS支持通过IAM权限进行访问控制。 表1 SFS访问控制 访问控制方式 简要说明 详细介绍
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象,您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台,在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中,单击
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
上传数据至OBS并预热到SFS Turbo中 上传数据至OBS 已经在OBS上创建好普通OBS桶,请参见创建普通OBS桶。 已经安装obsutil,请参考下载和安装obsutil。 登录Imagenet数据集下载官网地址,下载Imagenet21k数据集:http://image-net
创建文件系统 操作场景 文件系统是SFS中存储文件的容器。您需要先创建一个文件系统,然后才能在SFS中存储数据。 下面介绍如何调用创建文件系统API在指定的区域创建一个文件系统,API的调用方法请参见如何调用通用文件系统API。 前提条件 已获取AK和SK,获取方法参见获取访问密钥(AK/SK)。
项相对应,只有发起请求的用户被授予授权项所对应的策略,该用户才能成功调用该接口。例如,用户要调用接口来查询云服务器列表,那么这个IAM用户被授予的策略中必须包含允许“ecs:servers:list”的授权项,该接口才能调用成功。 支持的授权项 策略包含系统策略和自定义策略,如果
esNotMatch)如何处理。 403 Forbidden VirtualHostDomainRequired 未使用虚拟主机访问域名。 Host使用虚拟主机访问域名。 403 Forbidden Unauthorized 用户未实名认证。 请实名认证后重试。 403 Forbidden
过滤条件查看指定的文件系统。 查看SFS Turbo文件系统详情,依赖的服务是虚拟私有云 VPC。需要配置的角色/策略如下: IAM 用户设置了 SFS Turbo ReadOnlyAccess权限后,权限集中包含了 VPC ReadOnlyAccess权限,这是查询文件系统详情依赖的权限,用户不需要额外添加。
管理,包括设置配额、删除配额。 通用文件系统设置配额包括设置容量配额和文件数限制。 约束限制 由于配额的校验依赖于文件系统存量,而文件系统存量计算有10~20分钟时延,因此文件系统配额生效可能存在滞后性,出现文件系统存量超出配额或删除数据后存量未能及时回落的情况。 设置配额后,如
时间范围:可选择查询最近1小时、最近1天、最近1周的操作事件,也可以自定义最近7天内任意时间段的操作事件。 在事件列表页面,您还可以导出操作记录文件、刷新列表、设置列表展示信息等。 在搜索框中输入任意关键字,按下Enter键,可以在事件列表搜索符合条件的数据。 单击“导出”按钮,云审计服务会将查询结果以
云连接 迁移数据分为两种网络条件,通过可访问公网的ECS直接挂载迁移。 通过mount方式挂载访问SFS Turbo,将本地NAS存储中的数据迁移至SFS Turbo。 通过云专线迁移 无法打通网络直接挂载,可以通过公网访问华为云ECS绑定的EIP,也可进行传输迁移。 使用公网迁移 父主题:
text/plain。 当请求中不带该头域时,该参数按照空字符串处理。 Date 生成请求的时间,该时间格式遵循RFC 1123;该时间与当前服务器的时间超过15分钟时服务端返回403。 当有自定义字段x-obs-date时,该参数按照空字符串处理。 如果进行临时授权方式操作(如临时授
管理控制台访问”,设置控制台登录密码为“自定义”并输入密码,完成后单击“下一步”。 SFS管理员用于登录管理控制台管理用户。如果您为自己创建SFS管理员,建议使用自定义方式设置密码。如果您为他人创建SFS管理员,建议使用“首次登录时设置”的方式,由用户自己设置密码。 (可选)将用
格文件系统支持目录级配额。 只能对空目录设置配额,删除配额。 支持设置配额的最大目录深度为16层,不允许对根目录使用此功能。(注:根目录为第一层目录) 修改目录配额时,配额只能高于或等于已使用配额,不允许子目录配额高于父目录配额。 建议设置配额目录深度不超过3层,否则会出现修改类
进入“续费管理”页面。 自定义查询条件。 可在“到期转按需项”页签查询已经设置到期转按需的资源。 可对“手动续费项”、“自动续费项”、“到期不续费项”页签的资源设置到期转按需的操作。 图1 续费管理 设置包年/包月资源到期后转按需。 单个资源到期转按需:选择需要更改计费模式的文件系统,单击操作列“更多
如果您持有多个到期日不同的文件系统,可以将到期日统一设置到一个日期,便于日常管理和续费。 图6展示了用户将两个不同时间到期的资源,同时续费一个月,并设置“统一到期日”后的效果对比。 图6 统一到期日 更多关于统一到期日的规则请参见如何设置统一到期日。 父主题: 续费
通用文件系统支持通过配置生命周期规则,将设定时间内通用文件系统文件转换为低频存储,从而节约成本。 低频存储具有以下优势: 配置简单,无须编写脚本或手动迁移数据 您只需设置生命周期规则,通用文件系统会自动将符合生命周期规则的数据转储至低频存储,无须复杂、高风险的数据迁移操作。 成本低 低频存储相比普通文件存储的费用低。
淘汰。 按时间淘汰功能支持设置(冷)数据淘汰时间,设置步骤请参考以下操作。 登录高性能弹性文件服务管理控制台。 在文件系统列表中,单击创建的SFS Turbo文件系统名称,进入文件系统详情页面。 在“基本信息”页签,设置(冷)数据淘汰时间。 图7 设置冷数据淘汰时间 按容量淘汰 SFS
明细账单”,在筛选条件中选择“资源ID”,并输入步骤2复制的资源ID,单击图标即可搜索该资源的账单。 图2 查询资源账单 这里设置的统计维度为“按使用量”,统计周期为“按账期”,您也可以设置其他统计维度和周期,详细介绍请参见流水与明细账单。