检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后,建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
创建权限规则 查询文件系统的权限规则列表 查询文件系统的某一个权限规则 修改权限规则 删除权限规则 创建并绑定ldap配置 查询Ldap的配置 修改ldap配置 删除ldap配置 父主题: SFS Turbo API说明
公共响应消息头 消息头名称 描述 Content-Length 响应消息体的字节长度。 类型:字符串。 默认值:无。 Connection 指明与服务器的连接是长连接还是短连接。 类型:字符串。 有效值:keep-alive | close。 默认值:无。 Date 系统响应的时间。 类型:字符串。
在“创建告警规则”界面,根据界面提示配置参数。 根据界面提示,配置规则信息参数。 图1 配置规则信息 表1 配置规则信息 参数 参数说明 取值样例 名称 系统会随机产生一个名称,用户也可以进行修改。 alarm-b6al 描述 告警规则描述(此参数非必填项)。 - 配置告警内容参数。 图2 根据模板配置告警内容
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
云连接 迁移数据分为两种网络条件,通过可访问公网的ECS直接挂载迁移。 通过mount方式挂载访问SFS Turbo,将本地NAS存储中的数据迁移至SFS Turbo。 通过云专线迁移 无法打通网络直接挂载,可以通过公网访问华为云ECS绑定的EIP,也可进行传输迁移。 使用公网迁移 父主题:
文件系统管理 创建文件系统异步任务 获取文件系统异步任务列表 获取文件系统异步任务详情 取消/删除文件系统异步任务 配置hpc缓存型后端信息 父主题: SFS Turbo API说明
如何将SFS Turbo部署至CCE? 请根据实际的业务情况,阅读存储管理-CSI-存储概述或存储管理-Flexvolume-极速文件存储卷,并在CCE界面完成部署操作。 父主题: 其他类
(Enterprise Project) 设置文件系统生命周期配置 PUT /{file-system-name}?lifecycle sfs3:fileSystem:putLifecycleConfiguration × √ 获取文件系统生命周期配置 GET /{file-system-name}
ConfigNasTarget objects 配置 nas 后端的信息 表6 ConfigNasTarget 参数 是否必选 参数类型 描述 name 是 String nas 配置名 type 是 String nas 配置协议类型 url 是 String nas 配置 ip 响应参数 状态码:
Turbo实例时,需要vpc相关权限,包括校验vpc、子网、安全组,创建vip以及port,创建安全组规则等,需要增加授权项: "vpc:*:*" 加密实例需要在项目上配置KMS Administrator权限 专属场景,需要增加授权项: "dss:*:get", "dss:*:list", "dss:*:count"
esNotMatch)如何处理。 403 Forbidden VirtualHostDomainRequired 未使用虚拟主机访问域名。 Host使用虚拟主机访问域名。 403 Forbidden Unauthorized 用户未实名认证。 请实名认证后重试。 403 Forbidden
3 基本配置 配置ModelArts和SFS Turbo间网络直通。 创建委托授权ModelArts云服务使用SFS Turbo。 配置ModelArts网络关联SFS Turbo。 配置SFS Turbo和OBS联动。 配置SFS Turbo数据自动导出到OBS桶。 配置SFS Turbo数据淘汰策略。
"Effect": "Allow", "Action": [ "ecs:servers:delete" ] } ] } SFS自定义策略样例(以通用文件系统为例)
文件系统权限管理 概述 您可以给文件系统配置ip鉴权规则,根据不同的IP或网段授予不同的权限。 ip鉴权默认有一个(*,rw,no_root_squash)表示所有用户都有读写权限且不进行权限降级的权限,该权限可以被删除。 使用限制 一个文件系统最多可以配置64条权限规则。 权限可以增删,
has not enough ips 子网可用IP不足 请使用合法的参数重试。 400 SFS.TURBO.0030 Ecs resource not enough ECS资源不足,该规格在选择的AZ售罄 请更换可用区重试。 400 SFS.TURBO.0031 cache type not
额度和时长。 在SFS管理控制台左侧导航栏选择“资源包管理”。 单击页面右上角“购买资源包”。 图1 购买通用文件系统资源包 配置资源包参数。 表1 配置资源包参数 参数 说明 区域 选择资源包所属区域。 区域专属资源包,不支持共享给其他区域使用,请根据您资源所在地谨慎选择。 资源包规格
进入“续费”页面,选择文件系统的续费时长,判断是否勾选“统一到期日”,将文件系统到期时间统一到各个月的某一天(详细介绍请参见统一包年/包月资源的到期日)。确认配置费用后单击“去支付”。 图1 续费确认 进入支付页面,选择支付方式,确认付款,支付订单后即可完成续费。 在费用中心续费 登录管理控制台。
欠费说明 用户在使用云服务时,账户的可用额度小于待结算的账单,即被判定为账户欠费。欠费后,可能会影响云服务资源的正常运行,请及时充值。 欠费原因 购买了按需计费弹性文件服务,并使用了一段时间后,账户的余额不足。 欠费影响 包年/包月 对于包年/包月SFS资源,用户已经预先支付了资