检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练数据的读取要尽量读得快,减少计算对 I/O 的等待,而 Checkpoint主要要求高吞吐、减少训练中断的时间。 文件接口方式的数据共享访问:由于 AI 架构需要使用到大规模的计算集群(GPU/NPU服务器),集群中的服务器访问的数据来自一个统一的数据源,即一个共享的存储空间
Service,CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后,CTS可记录SFS Turbo的管理事件和数据事件用于审计。 CTS的详细介绍和开通配置方法,请参见CTS快速入门。
训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中,数据预热功能的具体操作请参考创建SFS Turbo 和 OBS 之间的联动任务。 您可通过查询联动任务详情接口查看导入任务的完成状态。 如果您觉得数据集规模较小或数据集变化不太频繁,不需要通过数据联动来做数据
服务的访问控制 SFS Turbo对接了IAM服务,支持给企业中的员工设置不同的访问权限功能,以达到不同员工之间的权限隔离,用户可以通过IAM服务进行精细化的资源管控。详情请参见SFS Turbo的权限策略。 SFS Turbo支持通过IAM权限进行访问控制。 表1 SFS Turbo访问控制
终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同,您可以从地区和终端节点中查询高性能弹性文件服务的终端节点。 父主题: 使用前必读
Turbo默认只能被云上同一个VPC内的ECS/CCE访问,用户可通过云专线/VPN/对等连接等方式打通网络,实现多种访问方式。 云下或其他云访问: 云专线/VPN 云上同区域同一账号不同VPC: VPC对等连接 云上同区域跨账号访问: VPC对等连接 不同区域访问: 云连接 迁移数据分
Turbo支持同区域(region)下跨可用区(AZ)挂载。 SFS Turbo可以通过使用云连接CC“跨区域VPC互通”方案将不同区域的vpc内网打通,从而采取指定IP的方式跨区域(Region)挂载。 当您的业务对时延、IOPS指标要求较高时,使用SFS Turbo文件系统进行同区域下跨可用区挂载或者跨区
射到后端的一个IP,可能导致客户端与服务端的网络连接分布不均,从而无法充分利用服务端分布式集群能力。 当客户端数量较少时,如果希望最大限度地利用文件系统性能,一种有效的方法是为每个客户端指定一个不同的服务端IP地址进行挂载。通过这种方式,可以更均匀地分布客户端与服务端的网络连接,
挂载信息的字段说明如表 1 字段说明所示。 表1 字段说明 字段 说明 挂载地址 挂载对象,即要挂载的文件系统的挂载地址。设置为挂载NFS协议类型文件系统到云服务器(Linux)中mount命令中的挂载地址。 /local_path 挂载点,即云服务器上创建的挂载文件系统的目录。设
务。角色并不能满足用户对精细化授权的要求,无法完全达到企业对权限最小化的安全管控要求。 策略:IAM最新提供的一种细粒度授权的能力,可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。例如:针对ECS服务,
和群组的归属关系,通过绑定LDAP服务器,当一个用户访问您的文件系统的文件时,SFS Turbo将会访问您的LDAP服务器以进行用户身份验证,并且获取用户和群组的归属关系,从而进行Linux标准的文件UGO权限的检查。要使用此功能,首先您需要搭建好LDAP服务器(当前SFS Turbo仅支持LDAP
Turbo默认只能被云上同一个VPC内的ECS/CCE访问,用户可通过云专线/VPN/对等连接等方式打通网络,实现多种访问方式。 云下或其他云访问: 云专线/VPN 云上同区域同一账号不同VPC: VPC对等连接 云上同区域跨账号访问: VPC对等连接 不同区域访问: 云连接 迁移数据分
文件系统权限管理 概述 您可以给文件系统配置IP鉴权规则,根据不同的IP或网段授予不同的权限。 IP鉴权默认有一个(*,rw,no_root_squash)表示所有用户都有读写权限且不进行权限降级的权限,该权限可以被删除。 使用限制 一个文件系统最多可以配置64条权限规则。 权限
属计算、专属存储资源池构建的共享文件存储。租户独享专属计算和专属资源池,与公共租户资源物理隔离,满足特定性能、应用及安全合规等要求,为客户提供可靠、便捷的云上“头等舱”。 图1 专属弹性文件服务架构图 功能描述 规格丰富 支持标准型、性能型等,满足不同应用场景性能诉求。 弹性扩展
项目用于将OpenStack的资源(计算资源、存储资源和网络资源)进行分组和隔离。项目可以是一个部门或者一个项目组。一个账户中可以创建多个项目。 企业项目 企业项目是对多个资源实例进行归类管理的单位,不同云服务区域的资源和项目可以归到一个企业项目中。企业可以根据不同的部门或项目组,将相关的资源放置在
Turbo:增加挂载配置,选择创建资源中创建的SFS Turbo HPC型文件系统。 单击“提交”,完成训练作业的创建。 训练作业创建完成后,后台将自动完成容器镜像下载、代码目录下载、执行启动命令等动作。训练作业一般需要运行一段时间,根据您的训练业务逻辑和选择的资源不同,训练时长将持续几十分钟到几
计费项 高性能弹性文件服务不同类型的SFS Turbo文件系统,如20MB/s/TiB、40MB/s/TiB、125MB/s/TiB都可按需计费,计费因子都是存储空间费用;其中SFS Turbo文件系统的HPC缓存型除存储空间计费外,还可以按“带宽大小”来计费。 表1 SFS Turbo文件系统的计费模型
文件系统所在的可用区。 类型 文件系统的类型。 协议类型 文件系统的协议类型为NFS或SMB。 已用容量(GB) 文件系统存放数据已使用的空间。 说明: 该数据不是实时数据,平均15分钟刷新一次。 最大容量(GB) 文件系统的最大使用容量。 加密 已经创建的文件系统的加密状态,包括“是”和“否”。
FS Turbo资源。 根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。 如果华为账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用SFS Turbo服务的其它功能。 本章节为您介绍对用户授权的方法,操作流程如图1所示。 前提条件
查看连接DNS服务的终端节点创建完成后返回的节点IP。 在用户本地数据中心的DNS服务器配置相应的DNS转发规则,将解析SFS Turbo域名的请求转发到连接DNS服务的终端节点。 不同操作系统中配置DNS转发规则的方法不同,具体操作请参考对应DNS软件的操作指导。 本步骤以Unix操作系统,常见的DNS软件Bind为例介绍: