检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
bo”的桶策略,请不要修改或删除该桶策略,否则可能导致联动功能异常。 如果您已将一个或多个SFS Turbo文件系统绑定了OBS存储桶,在删除文件系统或删除绑定之前,请不要删除该OBS存储桶,否则可能导致联动功能异常。 以桶名为“obs-test”的OBS桶为例,桶策略“Poli
配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
或训练数据集加载由于存储读写带宽不足导致拖慢AI训练时,您可以对SFS Turbo进行性能扩容,以缩短数据加载时长。详情可参见SFS Turbo监控指标说明和创建告警规则。 调整SFS Turbo数据淘汰策略 操作指导请参考配置SFS Turbo数据淘汰策略。 SFS Turbo容量及性能扩容
Turbo文件系统,文件系统类型选择“HPC型”,操作指导请参考创建SFS Turbo文件系统。 创建OBS桶 创建OBS桶,存储类别为“标准存储”,桶策略为“私有”,操作指导请参考创建OBS桶。 创建ModelArts资源池 以常见的专属资源池为例,专属资源池提供独享的计算资源,
使用通用文件系统作为后端存储时,对于pvc/pv关联的非空文件系统,不支持直接删除pvc/pv。需要清空文件系统内容才能删除pvc/pv。在未清理文件系统的情况下直接删除pvc/pv,请到通用文件系统侧查看文件系统是否已删除。 使用通用文件系统作为后端存储时,删除pvc/pv过程
文件系统加密 当您由于业务需求从而需要对存储在文件系统的数据进行加密时,弹性文件服务为您提供加密功能,可以对新创建的文件系统进行加密。 加密文件系统使用的是密钥管理服务(KMS)提供的密钥,无需您自行构建和维护密钥管理基础设施,安全便捷。当用户希望使用自己的密钥材料时,可通过KM
使用弹性文件服务。 选择“存储 > 弹性文件服务”,进入弹性文件服务管理控制台。 单击“创建文件系统”,SFS Turbo文件系统需选择“按需计费”模式,SFS容量型文件系统无需选择,完成创建后开始使用资源。 使用阶段SFS容量型文件系统按实际使用的存储容量和时长收费。 使用阶段SFS
选择云备份存储库的:在下拉列表中选择已有的云备份存储库。 设置备份策略:在下拉列表中选择备份策略,或进入云备份控制台查看或编辑备份策略。 暂不购买:跳过云备份的配置步骤。如文件系统购买成功后仍需设置备份保护,请进入云备份控制台找到目标存储库,绑定文件系统。 - 企业项目 该参数针
该数据不是实时数据,平均15分钟刷新一次。 标准存储量 通用文件系统标准存储的存储总量。 说明: 通用文件系统展示该字段。 标准存储文件数 通用文件系统标准存储的文件数量。 说明: 通用文件系统展示该字段。 低频存储量 通用文件系统低频存储的存储总量。 说明: 通用文件系统展示该字段。 低频存储文件数 通用文件系统低频存储的文件数量。
OBS存储桶桶名。 无法绑定不存在的存储桶。 目前仅支持OBS存储桶,不支持OBS并行文件系统。 不支持 OBS区域域名 OBS区域域名,即OBS的终端节点。 OBS存储桶必须和SFS Turbo文件系统在同一个Region。 不支持 勾选“将OBS桶的读写权限通过桶策略授权给SFS
PU卡同时从存储中加载checkpoint致使存储带宽成为拥塞瓶颈,在具有相同checkpoint的冗余组内,采用部分代表节点先从远端存储加载checkpoint并将checkpoint广播到剩余其他节点的恢复机制,这种策略显著降低大规模训练集群故障恢复过程对远端存储带宽的需求,
弹性文件服务支持多可用区吗? 单个文件系统只能创建在一个可用区,比如可用区1,但是任何可用区都可以挂载访问。 文件系统不支持多可用区数据冗余,文件系统所在可用区不可用时,文件系统不可用。 父主题: 其他类
务器进行挂载。 Windows系统建议使用CIFS协议类型的文件系统。 文件系统 文件系统通过标准的NFS协议和CIFS协议为客户提供文件存储服务,用于网络文件远程访问,用户通过管理控制台创建挂载地址后,即可在多个云服务器上进行挂载,并通过标准的POSIX接口对文件系统进行访问。
SFS对接了IAM服务,支持给企业中的员工设置不同的访问权限功能,以达到不同员工之间的权限隔离,用户可以通过IAM服务进行精细化的资源管控。详情请参见SFS的权限策略。 SFS支持通过IAM权限进行访问控制。 表1 SFS访问控制 访问控制方式 简要说明 详细介绍 权限控制 IAM权限 IAM权限是作用
Turbo文件系统更适合海量小文件业务。 典型应用场景: SFS Turbo标准型:代码存储、日志存储、Web服务、虚拟桌面 SFS Turbo标准型-增强版:代码存储、文件共享、企业办公OA、日志存储 SFS Turbo性能型:高性能网站、文件共享、内容管理 SFS Turbo性能型
件服务时,文件系统和云服务器归属于同一VPC下才能文件共享。 VPC可以通过网络ACL进行访问控制。网络ACL是对一个或多个子网的访问控制策略系统,根据与子网关联的入站/出站规则,判断数据包是否被允许流入/流出关联子网。在文件系统的VPC列表中每添加一个授权地址并设置相应权限即创建了一个网络ACL。
更新文件系统 功能介绍 更新文件系统冷数据淘汰时间 接口约束 该接口仅支持已绑定后端存储的文件系统。该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统。
不会导入其它附加元数据(如uid、gid、mode)。 数据导出功能会将您在联动目录里创建的文件,以及对从OBS导入后又做过修改的文件导出存储到OBS桶里。 src_target 是 String 联动目录名称 src_prefix 否 String 导入导出任务的源端路径前缀,
不一致,SFS Turbo可通过VPC对等连接建立与ECS的通信。 本指南以某公司存储文件为例,介绍如何实现文件的共享存储。 Step1 登录管理控制台 登录华为云控制台。在控制台页面中选择“存储 > 弹性文件服务”。 图1 登录SFS控制台 选择与ECS相同的区域,文件系统只有
面向AI场景使用OBS+SFS Turbo的存储加速实践 方案概述 资源和成本规划 操作流程 实施步骤 常见问题