正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速,流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中,数据预热功能的具体操作请参考创建SFS Turbo 和 OBS 之间的联动任务。 您可通过查询联动任务详情接口查看导入任务的完成状态。 如果您觉得数据集规模较小或数据集变化不太频繁,不需要通过数据联动来做数据
费项”页签的资源设置到期转按需的操作。 图1 续费管理 设置包年/包月资源到期后转按需。 单个资源到期转按需:选择需要更改计费模式的文件系统,单击操作列“更多 > 到期转按需”。 图2 单个资源转按需 批量资源到期转按需:选择需要更改计费模式的文件系统,单击列表左上角的“到期转按需”。
56或以上。 选取未被占用的端口作为本地监听端口。 如下示例,执行如下命令查看本地已被占用的端口: netstat -anp | grep 127.0.0.1 图1 本地已被占用端口 由于20049已被占用,所以需要在20050到21049之间选择一个未被占用的端口作为本地监听端口。
要创加密文件系统,该字段传KMS服务专业版密钥的ID。 dedicated_flavor 否 String 创专属文件系统,要创建的虚拟机的规格。 dedicated_storage_id 否 String 创专属文件系统,要指定一个专属分布式存储的ID。 expand_type 否 String
文件系统删除后,文件系统中存放的数据将无法恢复。为避免数据丢失,执行删除操作前,请确认存放在该文件系统中的文件都已经在本地备份。 前提条件 删除文件系统之前,请先卸载已挂载的文件系统。卸载操作请参见卸载文件系统。 操作步骤 登录弹性文件服务管理控制台。 在文件系统列表中,单击指定文件系统所在行的“更多 >
ConfigNasTarget objects 配置 nas 后端的信息, 和 obs 字段为二选一的关系 obs 否 Array of ConfigObsTarget objects 配置 obs 后端的信息, 和 nas 字段为二选一的关系 表6 ConfigNasTarget 参数 是否必选
欠费说明 用户在使用云服务时,账户的可用额度小于待结算的账单,即被判定为账户欠费。欠费后,可能会影响云服务资源的正常运行,请及时充值。 欠费原因 购买了按需计费弹性文件服务,并使用了一段时间后,账户的余额不足。 欠费影响 包年/包月 对于包年/包月SFS资源,用户已经预先支付了资
云连接 迁移数据分为两种网络条件,通过可访问公网的ECS直接挂载迁移。 通过mount方式挂载访问SFS Turbo,将本地NAS存储中的数据迁移至SFS Turbo。 通过云专线迁移 无法打通网络直接挂载,可以通过公网访问华为云ECS绑定的EIP,也可进行传输迁移。 使用公网迁移 父主题:
您可以在“费用中心 > 账单管理”查看与弹性文件服务相关的流水和明细账单,以便了解您的消费情况。如需了解具体操作步骤,请参见费用账单。 欠费 在使用云服务时,账户的可用额度小于待结算的账单,即被判定为账户欠费。欠费后,可能会影响云服务资源的正常运行,需要及时充值。详细介绍请参见欠费说明。
Turbo:增加挂载配置,选择创建资源中创建的SFS Turbo HPC型文件系统。 单击“提交”,完成训练作业的创建。 训练作业创建完成后,后台将自动完成容器镜像下载、代码目录下载、执行启动命令等动作。训练作业一般需要运行一段时间,根据您的训练业务逻辑和选择的资源不同,训练时长将持续几十分钟
查询API版本 通过这些接口,可以查询所有API的版本和API版本的详细信息。 文件共享 通过这些接口,您可以创建共享,可获取共享的详细信息,如共享挂载路径等。 共享访问规则 通过这些接口,您可以添加和修改、删除共享的访问规则,如配置VPC等。 配额管理 如果创建共享的个数已经到达上限,您可以通过这些接口,对相关配额进行修改。
文件系统权限管理 概述 您可以给文件系统配置ip鉴权规则,根据不同的IP或网段授予不同的权限。 ip鉴权默认有一个(*,rw,no_root_squash)表示所有用户都有读写权限且不进行权限降级的权限,该权限可以被删除。 使用限制 一个文件系统最多可以配置64条权限规则。 权限
ShareName 参数 是否必选 参数类型 描述 name 是 String 需要修改的SFS Turbo文件系统的名字 响应参数 无 请求示例 修改文件系统的名称,需要修改的SFS Turbo文件系统名称为“sfs-turbo-test1”。 { "change_name" :
TTPS请求调用,调用方法请参见如何调用SFS容量型/SFS Turbo API。 通用文件系统提供了REST(Representational State Transfer)风格API,支持您通过HTTP/HTTPS请求调用,调用方法请参见如何调用通用文件系统API。 父主题:
X-Auth-Token 是 String 账号的token Content-Type 是 String MIME类型 响应参数 无 请求示例 删除ID为"77ba6f4b-6365-4895-8dda-bc7142af4dde"的文件系统。 DELETE HTTPS://{en
增加容量规则 扩容后的文件系统的总容量<=(云账号的配额容量-该云账号下其他文件系统的总容量之和) 例如,云账号A默认的配额容量为500TB。该账号下已创建了3个文件系统,分别为SFS1、SFS2和SFS3,其中SFS1的总容量为350TB,SFS2的总容量为50TB,SFS3的总容量为7
GiB。容量必须为1.2TiB的倍数,扩容步长需要大于等于1.2TiB,需要将目标容量换算为GiB后需要向下取整。如4.8TiB->4915GiB,8.4TiB->8601GiB。 40MB/s/TiB,容量范围是1228~1048576 GiB。容量必须为1.2TiB的倍数,扩容步长需要大于等于1
目录权限,默认值是755,取值范围是0到777。第一位表示目录所有者的权限,第二位表示目录所属用户组的权限,第三位表示其他用户的权限。目录所有者由uid指定,目录所属用户组由gid指定,不是目录所有者且不在目录所属用户组的用户为其他用户。例如:755中第一位7代表该目录所有者对该目录具有读、写、执行权
Boolean 删除后端存储时是否同时删除文件系统内的联动目录及其数据文件,默认为 false。数据删除后无法恢复,请谨慎操作。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 账号的token Content-Type 是 String