检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的数据冗余等。另外以 AI 生态中非常流行的开源深度学习框架PyTorch为例,PyTorch默认会通过文件接口访问数据,AI算法开发人员也习惯使用文件接口,因此文件接口是最友好的共享存储访问方式。 如果您想了解更多本方案相关信息,或在方案使用过程中存在疑问,可通过方案咨询渠道,寻求专业人员支持。
如何提高SFS Turbo文件系统拷贝和删除操作的效率? Linux常用cp、rm、tar命令,默认属于串行操作,无法发挥网络文件系统的并发优势,需要用户并发执行以上命令,提升执行效率。 父主题: 其他类
文件系统通过标准的NFS协议和CIFS协议为客户提供文件存储服务,用于网络文件远程访问,用户通过管理控制台创建挂载地址后,即可在多个云服务器上进行挂载,并通过标准的POSIX接口对文件系统进行访问。 父主题: 为文件系统创建普通用户可读写的子目录
Turbo 使用IAM管理员账号登录IAM控制台。 在IAM控制台的左侧导航窗格中选择“权限管理 > 权限”。 配置调用SFS Turbo接口的自定义策略: 单击右上角的“创建自定义策略”,进入自定义策略配置页面。 输入“策略名称”,用户可根据需要自定义,例如“委托modelarts操作SFS
S Turbo高性能文件存储中,数据预热功能的具体操作请参考创建SFS Turbo 和 OBS 之间的联动任务。 您可通过查询联动任务详情接口查看导入任务的完成状态。 如果您觉得数据集规模较小或数据集变化不太频繁,不需要通过数据联动来做数据导入导出,您可借助外部工具将数据从OBS迁移到SFS
服务的访问控制 SFS对接了IAM服务,支持给企业中的员工设置不同的访问权限功能,以达到不同员工之间的权限隔离,用户可以通过IAM服务进行精细化的资源管控。详情请参见SFS的权限策略。 SFS支持通过IAM权限进行访问控制。 表1 SFS访问控制 访问控制方式 简要说明 详细介绍
文件系统加密 当您由于业务需求从而需要对存储在文件系统的数据进行加密时,弹性文件服务为您提供加密功能,可以对新创建的文件系统进行加密。 加密文件系统使用的是密钥管理服务(KMS)提供的密钥,无需您自行构建和维护密钥管理基础设施,安全便捷。当用户希望使用自己的密钥材料时,可通过KM
费用账单 您可以在“费用中心 > 账单管理”查看资源的费用账单,以了解该资源在某个时间段的使用量和计费信息。 账单上报周期 包年/包月计费模式的资源完成支付后,会实时上报一条账单到计费系统进行结算。 按需计费模式的资源按照固定周期上报使用量到计费系统进行结算。按需计费模式产品根据
文件系统挂载时提示wrong fs type, bad option 现象描述 使用mount命令将文件系统挂载至Linux云服务器时,提示wrong fs type, bad option。 可能原因 Linux云服务器系统未安装NFS客户端,用户在执行挂载命令前未自行安装nfs-utils软件包。
如何查看是否欠费? 欠费后,您可以在“费用中心”查看欠费详情。在欠费时,将按照保留期处理规则处理弹性文件服务内的资源和费用,详见“保留期”。为了防止相关资源不会被停止服务或者逾期释放,您需要及时进行还款或充值。 查询步骤 登录管理控制台。 单击页面右上角的“费用”进入“费用中心”页面。
如何确认Linux云服务器上的文件系统处于可用状态? SFS容量型文件系统:以root用户登录云服务器,执行“showmount -e 文件系统域名或IP”命令,将会回显指定域名或IP下所有可用的SFS容量型文件系统。 通用文件系统:当前不支持使用。 SFS Turbo文件系统:
如何查看是否欠费? 欠费后,您可以在“费用中心”查看欠费详情。在欠费时,将按照保留期处理规则处理弹性文件服务内的资源和费用,详见“保留期”。为了防止相关资源不会被停止服务或者逾期释放,您需要及时进行还款或充值。 查询步骤 登录管理控制台。 单击页面右上角的“费用”进入“费用中心”页面。
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
卸载文件系统 当文件系统不再使用需要删除时,建议您先卸载已挂载的文件系统后再删除。 前提条件 卸载文件系统前建议先终止进程和停止读写再卸载。 Linux系统 登录弹性云服务器。 执行以下命令。 umount 本地路径 本地路径:云服务器上用于挂载文件系统的本地路径,例如“/local_path”。
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”,进入“训练作业”列表。 单击右上角的“创建训练作业”,进入“创建训练作业”页面,在该页面填写训练作业相关参数信息。
文件系统之间迁移数据 方案概述 用户可以将SFS容量型文件系统中的数据迁移至SFS Turbo文件系统中,也可以将SFS Turbo文件系统中的数据迁移至SFS容量型文件系统中,进行云上业务拓展。 此方案通过创建一台Linux操作系统的云服务器,来连接SFS容量型文件系统和SFS
包年/包月转按需 创建一个包年/包月文件系统后,您可以将该文件系统的计费模式转为按需计费,回收部分成本,同时更加灵活地按需使用文件系统。 包年/包月转按需,需包年/包月资费模式到期后,按需的资费模式才会生效。 约束与限制 目前暂不支持在弹性文件服务控制台进行包年/包月转按需操作,需要在“费用中心
文件系统之间迁移数据 方案概述 用户可以将SFS容量型文件系统中的数据迁移至SFS Turbo文件系统中,也可以将SFS Turbo文件系统中的数据迁移至SFS容量型文件系统中,进行云上业务拓展。 此方案通过创建一台Linux操作系统的云服务器,来连接SFS容量型文件系统和SFS
文件系统中的数据是否可以跨区域迁移? 暂时不支持直接跨区域迁移文件系统数据,您需要在购买文件系统时规划好合适的区域,或者可以将数据复制至本地后再传至另一区域。 SFS Turbo文件系统可以使用云备份进行备份数据,再使用备份复制的功能,将备份副本复制至另一区域再创建一个与原区域数据一致的SFS
文件系统配额管理 默认情况下,SFS对文件系统的使用容量是没有限制的。为了让用户对容量和资源进行合理的分配和管理,通用文件系统支持对文件系统进行配额管理,包括设置配额、删除配额。 通用文件系统设置配额包括设置容量配额和文件数限制。 约束限制 由于配额的校验依赖于文件系统存量,而文