检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SFS、OBS和EVS有什么区别? 块存储、文件存储和对象存储三种类型存储的区别请参考块存储、文件存储和对象存储的区别。此处仅介绍三个服务的区别。 弹性文件服务SFS、对象存储服务OBS与云硬盘EVS之间的对比如表1所示。 表1 SFS、OBS、EVS服务对比 对比维度 弹性文件服务
获取文件系统列表 操作场景 如果用户想要查看自己创建的所有文件系统信息,可以使用获取文件系统列表接口查看。 下面介绍如何调用获取文件系统列表API,API的调用方法请参见通用文件系统快速入门。 前提条件 已获取AK和SK,获取方法参见获取访问密钥(AK/SK)。 您需要明确需要列
概念类 什么是弹性文件服务? 什么是SFS Turbo? SFS、OBS和EVS有什么区别?
s是通过UID=-2的用户进行写入,故没有写入权限。 定位思路 需要通过修改注册表将Windows访问NFS时的UID和GID均修改为0。 解决方法 在计算机“运行”中输入regedit,打开注册表编辑器。 进入HKEY_LOCAL_MACHINE\SOFTWARE\Micros
如何在弹性文件服务SFS和对象存储服务OBS之间进行数据迁移? 背景知识 对象存储服务OBS是华为云提供的稳定、安全、高效、易用的云存储服务,具备标准Restful API接口,可存储任意数量和形式的非结构化数据。 弹性文件服务SFS是华为云提供的按需扩展的高性能文件存储(NAS
'121'表示扩容中;'132'表示修改安全组中;'137'表示添加VPC中;'138'表示删除VPC中;'150'表示配置联动后端中;'151'表示删除联动后端配置中。 '221'表示扩容成功;'232'表示修改安全组成功;'237'表示添加VPC成功;'238'表示删除VPC
绑定OBS桶 在右侧弹窗“绑定OBS桶”中,填写如下表所示参数。 表1 绑定OBS桶配置参数 参数 含义 限制 配置后可编辑 联动目录名称 SFS Turbo文件系统根目录下会以该名称创建一个子目录,该目录将绑定对应的OBS桶,且该目录名称不能和已有目录重名。 子目录名称不能重复,子目录名称长度不能超过63个字符。
一位7代表该文件所有者对该文件具有读、写、执行权限;第二位5代表该文件所属用户组对该文件具有读、执行权限;第三位0代表其他用户对该文件无权限。 dir_mode Integer 导入的目录权限。取值范围是0到777。 第一位表示目录所有者的权限,取值范围是0到7;第二位表示目录所
默认为按需计费模式。即创建文件系统免费,按实际使用的存储容量和时长收费,以小时为单位,按每小时整点结算,不设最低消费标准。结算时,时长不足1小时的,按1小时计费。计费模型如表1所示。 表1 计费模型 资费项 计费项 计费公式 存储空间计费 文件系统所占用的存储空间容量和使用时长 存储空间费用=每GB费率*存储容量*使用时长
Server)进行访问、控制的一种标准协议。LDAP服务器可以集中式地管理用户和群组的归属关系,通过绑定LDAP服务器,当一个用户访问您的文件系统的文件时,SFS Turbo将会访问您的LDAP服务器以进行用户身份验证,并且获取用户和群组的归属关系,从而进行Linux标准的文件UGO权限的检查。
资源和成本规划 本节介绍最佳实践中资源规划情况,包含以下内容: 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容
Server)进行访问、控制的一种标准协议。LDAP服务器可以集中式地管理用户和群组的归属关系,通过绑定LDAP服务器,当一个用户访问您的文件系统的文件时,SFS Turbo将会访问您的LDAP服务器以进行用户身份验证,并且获取用户和群组的归属关系,从而进行Linux标准的文件UGO权限的检查。
同时支持IAM项目和企业项目,表示此授权项对应的自定义策略,可以在IAM和企业管理两个服务中给用户组授权并生效。如果仅支持IAM项目,不支持企业项目,表示仅能在IAM中给用户组授权并生效,如果在企业管理中授权,则该自定义策略不生效。关于IAM项目与企业项目的区别,详情请参见:IAM与企业管理的区别。
资源和成本规划 本节介绍最佳实践中资源规划情况,包含以下内容: 表1 资源和成本规划 资源 资源说明 弹性云服务器ECS 云服务器和文件系统归属于同一项目下,用于挂载共享路径实现数据共享。 虚拟私有云VPC VPC为弹性云服务器构建隔离的、用户自主配置和管理的虚拟网络环境,提升用
id value:企业项目id列表 目前key下面只包含一个value。0表示默认企业项目。 详细说明参见表3。 matches 否 List<match> 搜索字段。match中key为固定字典值,当前key固定为resource_name,表示根据key对应的value值实现前缀搜索,后续再扩展。
实际使用时长计费。按需计费模式允许您根据实际业务需求灵活地调整资源使用,无需提前预置资源,从而降低预置过多或不足的风险。 表1列出了两种计费模式的区别。 表1 计费模式 计费模式 包年/包月 按需计费 付费方式 预付费 按照订单的购买周期结算。 后付费 按照文件系统实际使用时长计费。
前提条件 已在云上和本地分别创建一台Linux操作系统的服务器。 服务器已完成弹性IP的配置,保证两台服务器间可以相互访问。 已创建SFS Turbo文件系统,并获取到文件系统的挂载地址。 已经获取到本地NAS存储的挂载地址。 资源规划 本章节介绍案例中使用的资源信息。具体如表1所示。 表1
int 背景 当前,大模型训练往往使用成百上千加速卡训练几周到几个月不等。在训练过程中,故障导致训练中断经常发生。训练程序一般采用周期checkpoint方案来将训练状态持久化到存储,当发生故障时,训练程序能恢复到故障之前的模型和优化器的状态继续训练。原生Pytorch系框架在保
请求发送以后,您会收到响应,其中包含状态码、响应消息头和消息体。 状态码是一组从1xx到5xx的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。 对于获取用户Token接口,如果调用后返回状态码为“201”,则表示请求成功。 响应消息头 对应请求消息头,响应同样也
消息头和消息体。 状态码 状态码是一组从2xx(成功)到4xx或5xx(错误)的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。 响应消息头 对应请求消息头,响应同样也有消息头,如“Content-type”。 详细的公共响应消息头字段请参见表1。 表1 公共响应消息头