检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建IP地址授权的场景的共享访问规则时,API的microversions需要是2.28以及之后的版本,且需要在请求URL中添加vpc_ip_base_acl参数,详细请参考下述的请求样例(按照IP地址授权的场景)。 属于VPC A中的弹性云服务器IP地址可以被成功添加至VPC B的授权I
Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。 登录SFS管理控制台。 在文件系统列表中,单击创建的HPC型文件系统名称,进入文件系统详情页面。
Turbo后,可直接在ModelArts的Notebook开发及训练环境中挂载SFS Turbo共享文件系统,并访问其中的数据。 登录ModelArts管理控制台,创建网络并打通创建资源中创建的创建虚拟私有云和子网,详细步骤参见ModelArts网络。 单击1中创建生成的资源池“网络”所在行的“更多”,选择“关联sfsturbo”。
ion)挂载。如果需要跨区域挂载,可以通过指定IP的方式挂载。 通过域名(DNS)随机将该文件系统挂载到云服务器时,在未达到云服务器满载性能前,可能出现挂载不均匀的现象。可通过增加挂载点的数量的方式,最大限度利用所有可用云服务器的资源。 不支持 不支持 缓存加速 不支持 支持(仅
Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用状态,请提交工单联系技术支持人员进行配置。 文件导出速度受OBS服务的写入带宽上限影
训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中,数据预热功能的具体操作请参考创建SFS Turbo 和 OBS 之间的联动任务。 您可通过查询联动任务详情接口查看导入任务的完成状态。 如果您觉得数据集规模较小或数据集变化不太频繁,不需要通过数据联
Turbo提供各种规格的文件存储,您可以根据业务需求选择其中一种或几种文件系统,为业务运转提供必要的可靠性、安全性和持续性。 您可以根据以下文件存储的对比情况,选用适合您业务场景的文件系统或提交工单联系技术支持人员支撑您的选择。 通用文件系统 通用文件系统为用户提供一个完全托管的共享文件存储
8端口的入规则。默认的源地址为0.0.0.0/0,用户后续可根据自己的实际情况,修改该地址。 如果创建加密的SFS Turbo文件系统,将会使用用户填写的kms密钥进行加密。注意,该密钥如果删除,该文件系统的数据将无法使用。 在往文件系统的文件夹写数据的过程中会占用服务器的运行内
弹性文件服务支持服务器端加密功能,文件存储会对存储在文件系统中的数据进行加密,访问数据时,自动将加密数据解密后返回给用户。 具体使用方法请参见文件系统加密。 数据备份 备份是SFS Turbo文件系统在某一时间点的完整备份,记录了这一时刻文件系统的所有配置数据和业务数据。当您的文件系统出
规格类 在文件系统中存放的单个文件最大支持多少? 弹性文件服务支持哪些访问协议? 每个账号最多可以创建多少个文件系统? 一个文件系统最多支持同时挂载到多少台云服务器上?
对目录服务器(Directory Server)进行访问、控制的一种标准协议。LDAP服务器可以集中式地管理用户和群组的归属关系,通过绑定LDAP服务器,当一个用户访问您的文件系统的文件时,SFS Turbo将会访问您的LDAP服务器以进行用户身份验证,并且获取用户和群组的归属关
对目录服务器(Directory Server)进行访问、控制的一种标准协议。LDAP服务器可以集中式地管理用户和群组的归属关系,通过绑定LDAP服务器,当一个用户访问您的文件系统的文件时,SFS Turbo将会访问您的LDAP服务器以进行用户身份验证,并且获取用户和群组的归属关
和群组的归属关系,通过绑定LDAP服务器,当一个用户访问您的文件系统的文件时,SFS Turbo将会访问您的LDAP服务器以进行用户身份验证,并且获取用户和群组的归属关系,从而进行Linux标准的文件UGO权限的检查。要使用此功能,首先您需要搭建好LDAP服务器(当前SFS Turbo仅支持LDAP
对目录服务器(Directory Server)进行访问、控制的一种标准协议。LDAP服务器可以集中式地管理用户和群组的归属关系,通过绑定LDAP服务器,当一个用户访问您的文件系统的文件时,SFS Turbo将会访问您的LDAP服务器以进行用户身份验证,并且获取用户和群组的归属关
创建通用文件系统文件系统前,确认已有可用的ECS,且ECS归属到已创建的VPC下。 如果无ECS,可参考《弹性云服务器快速入门》中的“购买弹性云服务器”章节购买ECS。 操作步骤 登录华为云控制台。 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。 选择“网络 > VPC终端节点
弹性文件服务数据迁移 方案概述 通过云专线迁移(rclone工具) 跨服务器迁移(rclone工具) 通过云专线迁移(rsync工具) 文件系统之间迁移数据 SFS容量型文件系统迁移至其他文件系统
大容量、低成本 低时延、高IOPS 大带宽、高IOPS 典型应用场景 代码存储、日志存储、文件共享、企业办公 高性能网站、文件共享、内容管理、图片渲染、AI训练、企业办公 超大规模渲染 最高IOPS、最大带宽两个参数的值均为读写总和。比如最高IOPS=IOPS读+IOPS写。 扩容时,SFS
确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。例如:针对ECS服务,管理员能够控制IAM用户仅能对某一类云服务器资源进行指定的管理操作。多数细粒度策略以API接口为粒度进行权限拆分,SFS支持的API授权项请参见策略及授权项说明。
来将训练状态持久化到存储,当发生故障时,训练程序能恢复到故障之前的模型和优化器的状态继续训练。原生Pytorch系框架在保存checkpoint时均直接持久化到存储系统,耗时与模型大小、存储的IO性能等密切相关,往往需要几分钟到几十分钟不等,为了保证训练状态的一致性,保存chec
如上图,单击“绑定存储库”。 选择属性(名称、ID或状态)筛选,或输入关键字搜索存储库。 图4 筛选存储库 选择存储库,单击“确定”。如果已绑定存储库,请跳过步骤5-步骤7。 如果您想绑定其他存储库,可单击“购买SFS Turbo备份存储库”进行重新购买并选择绑定,购买备份存储库操作请详见快速创建SFS