检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
Turbo:文件系统类型为“HPC型”,存储类型请根据存储容量和性能需求选择,AI场景建议选择250MB/s/TiB及以上的存储类型。 ModelArts:AI开发平台,采用多机多卡分布式训练。 VPC:虚拟私有云和子网。 算法及数据:准备AI训练需要的算法及数据集,如Swin-Transformer算法,及ImageNet21K数据集。
Turbo目录配额功能可以帮助您轻松管理目录级配额,包括添加配额、修改配额、删除配额和查询配额。 全部 权限管理 SFS Turbo通过IAM权限方式进行权限管理。您可以通过IAM自定义策略授予IAM用户细粒度的SFS Turbo权限,用来控制文件系统的读写权限。 全部 备份文件系统 备
Turbo权限,不满足您的授权要求,可以创建自定义策略。自定义策略中可以添加的授权项(Action)请参考权限及授权项说明。 目前华为云支持以下两种方式创建自定义策略: 可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服务、操作、资源、条件等策略内容,可自动生成策略。
基于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。例如:针对ECS服务,管理员能够控制IAM用户仅能对某一类云服务器资源进行指定的管理操作。多数细粒度策略以API接口为粒度进行权限拆分,SFS Turbo支持的API授权项请参见策略及授权项说明。 如表1所示,包括了SFS
Turbo支持同区域(region)下跨可用区(AZ)挂载。 SFS Turbo可以通过使用云连接CC“跨区域VPC互通”方案将不同区域的vpc内网打通,从而采取指定IP的方式跨区域(Region)挂载。 当您的业务对时延、IOPS指标要求较高时,使用SFS Turbo文件系统进行同区域下跨可用区挂载或者跨区域挂
告警功能提供对监控指标的告警功能,用户可以对高性能弹性文件服务的核心监控指标设置告警规则,当监控指标触发用户设置的告警条件时,支持以邮箱、短信、HTTP、HTTPS等方式通知用户,让用户在第一时间得知云服务发生异常,迅速处理故障,避免因资源问题造成业务损失。 云监控使用消息通知服务向用户通知告警信息。首先,
Turbo文件系统提供快速导入和附加元数据导入两种元数据导入方式。元数据导入之后,您可以在联动子目录下看到导入的目录和文件列表。 快速导入:当您绑定的OBS桶中存储的数据不是来源于SFS Turbo导出时,可以选择快速导入方式,快速导入方式仅会导入OBS的元数据(名称、大小、最后修改时间)
B、1000MB/s/TiB 存储空间 HPC缓存型 存储空间 吞吐带宽 计费模式 高性能弹性文件服务计费模式包括按需计费和包年包月。购买方式具体操作请参见如何购买高性能弹性文件服务。 详细的服务资费费率标准请参见产品价格详情中“SFS Turbo”的内容。 同时,推荐您使用高性
SDK概述 本文介绍了SFS Turbo提供的SDK语言版本,列举了最新版本SDK的获取地址。 在线生成SDK代码 API Explorer能根据需要动态生成SDK代码功能,降低您使用SDK的难度,推荐使用。 SDK列表 表1提供了SFS Turbo服务支持的SDK列表,您可以在
红线与绿线:mv或者link操作,绿色表示允许操作,红色表示不允许操作。 虚线矩形:配额目录区域。 管理目录配额 配额具体操作请参考《高性能弹性文件服务API参考》 > API > 目录管理。 添加与修改配额 只能对空目录设置配额。 只能对配额目录修改配额,配额需高于原配额。 必须要提供的3个参数: 配额路径:目录绝对路径。
务器上进行挂载,并通过标准的POSIX接口对文件系统进行访问。 POSIX 可移植操作系统接口(Portable Operating System Interface,POSIX),是IEEE为要在各种UNIX操作系统上运行软件而定义API的一系列互相关联的标准的总称。POSIX
监控指标说明 功能说明 本节定义了高性能弹性文件服务上报云监控的监控指标的命名空间,监控指标列表和维度定义,用户可以通过管理控制台或云监控提供的API接口来查询监控指标。 命名空间 SYS.EFS 监控指标 表1 高性能弹性文件服务支持的监控指标 指标ID 指标名称 指标含义 取值范围 测量对象
是否将资源放在同一可用区内,主要取决于您对网络时延的要求。 如果您的应用要求实例之间的网络延时较低,则建议您将资源创建在同一可用区内。 区域和终端节点 当您通过API使用资源时,您必须指定其区域终端节点。有关华为云的区域和终端节点的更多信息,请参阅地区和终端节点。 父主题: 基本概念
享的网络资源,以提高网络安全。 说明: 请选择与您的云服务器相同的VPC,此时能达到最好的网络性能。您也可以通过虚拟私有云的VPC对等连接方式将两个或多个VPC互连,实现多VPC、跨VPC下的文件共享。 当跨VPC访问文件系统时,时延、带宽、IOPS会有较大的损耗,建议您优先采用同VPC访问。
nd为例介绍: 方式1:在/etc/named.conf文件中增加DNS转发器的配置,“forwarders”为连接DNS服务的终端节点的IP地址。 options { forward only; forwarders{ xx.xx.xx.xx;}; }; 方式2:在/etc/named
Turbo文件系统,除了在创建文件系统时购买资源包,还可以将按需计费的文件系统转为包周期计费。 方式一:购买包年包月的文件系统。参考创建文件系统,在创建时计费模式选择“包年/包月”。 方式二:选择按需计费的文件系统的“操作”列下的“转包周期”,将按需计费的文件系统转为包周期计费。 父主题:
Turbo文件系统除了在创建文件系统时购买包年/包月,还可以将按需计费的文件系统转为包周期计费。 购买方式一:购买包年/包月的文件系统。参考创建文件系统,在创建时计费模式选择“包年/包月”。 购买方式二:选择按需计费的文件系统的“操作”列下的“转包周期”,将按需计费的文件系统转为包周期计费。
详情请参见SFS Turbo的权限策略。 SFS Turbo支持通过IAM权限进行访问控制。 表1 SFS Turbo访问控制 访问控制方式 简要说明 详细介绍 权限控制 IAM权限 IAM权限是作用于云资源的,IAM权限定义了允许和拒绝的访问操作,以此实现云资源权限访问控制。