检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
存储联动管理 绑定后端存储 查询后端存储列表 获取后端存储详细信息 删除后端存储 更新后端存储属性 更新后端存储自动同步策略 创建数据导入导出任务 查询数据导入导出任务详情 查询数据导入导出任务列表 删除数据导入导出任务 更新文件系统 父主题: SFS Turbo API说明
当监控范围为指定资源时可选择从模板导入。 从模板导入 模板 选择需要导入的模板。 - 告警策略 触发告警规则的告警策略。 当资源类型选择站点监控、日志监控、自定义监控、具体的云服务时,告警策略为一个周期性的动作。当资源类型选择事件监控时,具体的事件为一个瞬间的操作动作,而不是周期性动作。
Turbo进行性能扩容,以缩短数据加载时长。详情可参见SFS Turbo监控指标说明和创建告警规则。 调整SFS Turbo数据淘汰策略 操作指导请参考配置SFS Turbo数据淘汰策略。 SFS Turbo容量及性能扩容 当SFS Turbo存储空间不足时,您可以对SFS Turbo存储空间进行容量扩容。扩容操作步骤请参考容量调整。
endpoint String OBS桶所在的区域域名 policy ObsDataRepositoryPolicy object 后端存储自动同步策略 attributes ObsTargetAttributes object 后端存储属性。2024年6月30日及之前创建,且未升级的文件系统版本不支持该参数,请提工单处理。
endpoint String OBS桶所在的区域域名 policy ObsDataRepositoryPolicy object 后端存储自动同步策略 attributes ObsTargetAttributes object 后端存储属性。2024年6月30日及之前创建,且未升级的文件系统版本不支持该参数,请提工单处理。
Turbo文件系统,文件系统类型选择“HPC型”,操作指导请参考创建SFS Turbo文件系统。 创建OBS桶 创建OBS桶,存储类别为“标准存储”,桶策略为“私有”,操作指导请参考创建OBS桶。 创建ModelArts资源池 以常见的专属资源池为例,专属资源池提供独享的计算资源,可用于Not
内容: 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容量和性能需求选择,AI场景建议选择250MB/s/TiB及以上的存储类型。
OBS区域域名,即OBS的终端节点。 OBS存储桶必须和SFS Turbo文件系统在同一个Region。 不支持 勾选“将OBS桶的读写权限通过桶策略授权给SFS Turbo云服务”。 单击“确定”,完成绑定。 指定导入目录和文件的默认权限,请参考《高性能弹性文件服务API参考》的“绑定
是 String OBS桶所在的区域域名 policy 否 ObsDataRepositoryPolicy object 后端存储自动同步策略 attributes 否 ObsTargetAttributes object 后端存储属性。2024年6月30日及之前创建,且未升级的
AM创建用户,并授予用户对应权限。这些用户可以使用特别的登录链接和自己单独的用户账号访问公有云,帮助您高效的管理资源,您还可以设置账号安全策略确保这些账号的安全,从而降低您的企业信息安全风险。 如果您已注册公有云但尚未为自己创建一个IAM用户,则可以使用IAM控制台自行创建。以创建SFS管理员为例,具体步骤如下:
Docker容器。借助云容器引擎,您可以在云上轻松部署、管理和扩展容器化应用程序。 您可以使用弹性文件服务作为容器的持久化存储,在创建任务负载的时候挂载到容器上。 云容器引擎(Cloud Container Engine,简称CCE) 挂载NFS文件系统到云服务器(Linux)
eckpoint的冗余组内,采用部分代表节点先从远端存储加载checkpoint并将checkpoint广播到剩余其他节点的恢复机制,这种策略显著降低大规模训练集群故障恢复过程对远端存储带宽的需求,加速大规模训练集群checkpoint快速恢复。 图2 加载checkpoint流程
大容量扩展以及成本敏感型业务,如媒体处理、文件共享、高性能计算、数据备份等。 大容量扩展以及成本敏感型业务,如媒体处理、文件共享、高性能计算、数据备份等。 时延是指低负载情况下的最低延迟,非稳定时延。 10MB以上为大文件,1MB以上为大IO。 SFS容量型和通用文件系统不适合海量小文件业务,推荐使用SFS
存在。 指定正确的Location创文件系统。 400 Bad Request InvalidPolicyDocument 表单中的内容与策略文档中指定的条件不一致。 根据返回的错误消息体提示修改构造表单的policy重试。 400 Bad Request InvalidRedirectLocation
已删除。 使用通用文件系统作为后端存储时,删除pvc/pv过程存在时延,删除过程会进行计费,请以通用文件系统侧删除时间为准。 生命周期管理策略限制 单个文件系统下最多可配置20条生命周期管理规则。 文件语义锁Flock 不支持 标签限制 单个文件系统最多允许添加20个标签。 当一