检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据迁移概述 SFS Turbo默认只能被云上同一个VPC内的ECS/CCE访问,用户可通过云专线/VPN/对等连接等方式打通网络,实现多种访问方式。 云下或其他云访问: 云专线/VPN 云上同区域同一账号不同VPC: VPC对等连接 云上同区域跨账号访问: VPC对等连接 不同区域访问:
Turbo数据迁移实践方案概述 SFS Turbo默认只能被云上同一个VPC内的ECS/CCE访问,用户可通过云专线/VPN/对等连接等方式打通网络,实现多种访问方式。 云下或其他云访问: 云专线/VPN 云上同区域同一账号不同VPC: VPC对等连接 云上同区域跨账号访问: VPC对等连接
MB/s/TiB等类型的SFS Turbo文件系统的挂载点使用的是域名,IDC环境如果不适用云上DNS则无法解析SFS Turbo的域名,导致此场景无法使用。 前提条件 本地数据中心已通过虚拟专用网络或者云专线与VPC连通。 虚拟专用网络VPN网关允许访问的VPC子网网段,需要包含SFS
Turbo文件系统默认为按需计费模式,按您购买时选择的存储容量和时长收费,而不是以实际的使用量收费(其中,HPC缓存型文件系统还可按带宽大小收费)。以小时为单位,按每小时整点结算。结算时,时长不足1小时的,按1小时计费。 表1 SFS Turbo 计费模型 计费项 计费因子 20MB/s/T
计费说明 计费项 默认为按需计费模式。即按您购买时选择的存储容量和时长收费,而不是以实际的使用量收费。以小时为单位,按每小时整点结算。结算时,时长不足1小时的,按1小时计费。计费模型如表1所示。 表1 计费模型 计费项 计费因子 标准型、标准型-增强版(停售)、性能型、性能型-增
如何购买高性能弹性文件服务SFS Turbo? 高性能弹性文件服务默认为按需计费,即按购买的存储容量和时长收费。您也可以购买包年包月套餐,提前规划资源的使用额度和时长。在欠费时,您需要及时(15天之内)续费以避免您的文件系统资源被清空。 按需计费购买 注册云服务账号。 打开华为云网站www.huaweicloud
如何购买高性能弹性文件服务? 高性能弹性文件服务默认为按需计费,即按购买的存储容量和时长收费。您也可以购买包年包月套餐,提前规划资源的使用额度和时长。在欠费时,您需要及时(15天之内)续费以避免您的文件系统资源被清空。 资源包的大小与文件系统的计算吞吐能力无关。 按需计费购买 注册云服务账号。 打开华为云网站www
Turbo文件系统的HPC缓存型还可以按“带宽大小”来计费。了解每种计费项的计费因子、计费公式等信息,请参考计费项。 如需了解实际场景下的计费样例以及各计费项在不同计费模式下的费用计算过程,请参见计费样例。 续费 包年/包月高性能弹性文件服务在到期后会影响文件系统的正常运行。如果您
说明: 最终一致性意味着当通过多客户端访问共享文件系统时,因为一个客户端的访问请求可能路由到不同的分布式后端,当命中到分布式后端的本地cache时,可能无法实时获取到其他客户端的更新操作,cache的失效时间通常为3~30s之间。 单文件系统可添加VPC数量 20个 挂载SFS Turbo文件系统
查询job的状态详情 功能介绍 查询job的执行状态。 可用于查询SFS Turbo异步API的执行状态。例如:可使用调用创建并绑定ldap配置接口时返回的jobId,通过该接口查询job的执行状态。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API
SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。 登录SFS管理控制台。 在文件系统列表中,单击创建的HPC型文件系统名称,进入文件系统详情页面。
VPC的安全组是否影响高性能弹性文件服务的使用? 安全组是一个逻辑上的分组,为同一个VPC内具有相同安全保护需求并相互信任的弹性云服务器提供访问策略。安全组创建后,用户可以在安全组中定义各种访问规则,当弹性云服务器加入该安全组后,即受到这些访问规则的保护。安全组的默认规则是在出方
文件接口方式的数据共享访问:由于 AI 架构需要使用到大规模的计算集群(GPU/NPU服务器),集群中的服务器访问的数据来自一个统一的数据源,即一个共享的存储空间。这种共享访问的数据有诸多好处,它可以保证不同服务器上访问数据的一致性,减少不同服务器上分别保留数据带来的数据冗余等。另外以 AI
和群组的归属关系,通过绑定LDAP服务器,当一个用户访问您的文件系统的文件时,SFS Turbo将会访问您的LDAP服务器以进行用户身份验证,并且获取用户和群组的归属关系,从而进行Linux标准的文件UGO权限的检查。要使用此功能,首先您需要搭建好LDAP服务器(当前SFS Turbo仅支持LDAP
系统只会保留最近创建的1000条任务记录,之前的任务记录系统将会自动删除。 在绑定后端存储列表页,单击界面左上角的“任务状态”。 执行导出数据操作,可查看对应操作的任务记录。单击状态右边的可查看成功或失败的次数。 在右上角的搜索框,支持对状态、类型、创建时间进行过滤,找到您需要的任务。 FAQ
Turbo:增加挂载配置,选择创建资源中创建的SFS Turbo HPC型文件系统。 单击“提交”,完成训练作业的创建。 训练作业创建完成后,后台将自动完成容器镜像下载、代码目录下载、执行启动命令等动作。训练作业一般需要运行一段时间,根据您的训练业务逻辑和选择的资源不同,训练时长将持续几十分钟
Turbo HPC型是按每TB单位容量来提供一定的带宽吞吐,因此当SFS Turbo HPC性能不足时,需要通过容量扩容来提高性能吞吐。 OBS性能监控 您可以在CES云监控服务上监控SFS Turbo关联的OBS桶的性能使用情况,SFS Turbo和OBS之间的数据导入导出速度会受
Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用状态,请提交工单联系技术支持人员进行配置。 文件导出速度受OBS服务的写入带宽上限影
NFS客户端缓存文件属性(默认ac),然后每隔一段时间去检查文件属性后更新。在缓存有效期内,客户端不检测服务器上文件属性是否改变。默认为ac,需要设置为noac。 lookupcache是和目录项缓存相关的一个参数,这个参数的取值可以是all,none,pos或者positiv
获取文件系统异步任务列表。仅支持查询目录资源使用情况的任务,API请求路径的feature取值为dir-usage,以下简称为DU任务。 接口约束 在2023年8月1号之后创建的文件系统支持该API操作。后端有5min的缓存时间,查询的数据可能有延迟。API请求路径的feature仅支持以下取值: dir-usage