检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何调整SFS容量型资源包的大小? 如果资源包较小,希望可以扩容:可以叠加购买资源包,且会优先使用原购买资源包的容量。 如果资源包较大,希望可以缩容:暂不支持直接缩容,可以先将原资源包退订后重新购买。 也可以等待本资源包周期结束后重新购买来调整资源包的大小。 父主题: 计费FAQ
应用场景 文件系统创建成功后,文件系统默认情况下只有root用户具有读写权限。 root用户可以根据需要,可以授权多个普通用户访问权限,并在文件主目录下为每个普通用户创建多个子目录并挂载至主目录上,同时使普通用户拥有读写权限。 操作流程 为文件系统创建普通用户可读写的子目录的流程如图1所示。
如何提高SFS Turbo文件系统拷贝和删除操作的效率? Linux常用cp、rm、tar命令,默认属于串行操作,无法发挥网络文件系统的并发优势,需要用户并发执行以上命令,提升执行效率。 父主题: 其他类
Turbo和OBS联动。 配置SFS Turbo数据自动导出到OBS桶。 配置SFS Turbo数据淘汰策略。 4 训练 上传数据至OBS并预热到SFS Turbo中。 创建训练任务。 5 例行运维 使用OBS+SFS Turbo的存储加速方案的过程中,您可以进行采取以下运维措施,保证系统正常高效运行:
实施步骤 创建文件系统本地目录 为每个用户创建有读写权限的子目录 父主题: 为文件系统创建普通用户可读写的子目录
如何调整SFS容量型资源包的大小? 如果资源包较小,希望可以扩容:可以叠加购买资源包,且会优先使用原购买资源包的容量。 如果资源包较大,希望可以缩容:暂不支持直接缩容,可以先将原资源包退订后重新购买。 也可以等待本资源包周期结束后重新购买来调整资源包的大小。 父主题: 计费类
Integer 租户允许的容量大小。 snapshots Integer 租户允许的快照数量。 shares Integer 租户允许的共享数量。 snapshot_gigabytes Integer 租户允许的快照容量大小。 id String 阈值对应租户的ID。 share_networks
其余参数配置请参考创建训练作业根据您的自身情况选择。 资源池:专属资源池,选择创建资源中创建的ModelArts资源池。 SFS Turbo:增加挂载配置,选择创建资源中创建的SFS Turbo HPC型文件系统。 单击“提交”,完成训练作业的创建。 训练作业创建完成后,后台将自
HPC型是按每TB单位容量来提供一定的带宽吞吐,因此当SFS Turbo HPC性能不足时,需要通过容量扩容来提高性能吞吐。 OBS性能监控 您可以在CES云监控服务上监控SFS Turbo关联的OBS桶的性能使用情况,SFS Turbo和OBS之间的数据导入导出速度会受OBS服务的读写带宽上限Qo
络存储快很多,如果每一次访问文件数据都要从磁盘读取数据,就会导致非常严重的时延及等待问题,因此Linux为了提高读取性能,通过预读机制,将文件数据提前预读缓存到内存中,从而大大加快读取性能。参数“read_ahead_kb”为操作系统读业务可提前读取的最大KB数。 在Linux内核5
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
面向AI场景使用OBS+SFS Turbo的存储加速实践 方案概述 资源和成本规划 操作流程 实施步骤 常见问题
VPC:虚拟私有云和子网。 算法及数据:准备AI训练需要的算法及数据集,如Swin-Transformer算法,及ImageNet21K数据集。 说明: 为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。
一般情况下,建议就近选择靠近您或者您的目标用户的区域,这样可以减少网络时延,提高访问速度。 在除中国大陆以外的亚太地区有业务的用户,可以选择“中国-香港”、“亚太-曼谷”或“亚太-新加坡”区域。 在非洲地区有业务的用户,可以选择“非洲-约翰内斯堡”区域。 在拉丁美洲地区有业务的用户,可以选择“拉美-圣地亚哥”区域。
如果您需要多用户协同操作管理您账号下的资源,为了避免共享您的密码/访问密钥,您可以通过IAM创建用户,并授予用户对应权限。这些用户可以使用特别的登录链接和自己单独的用户账号访问公有云,帮助您高效的管理资源,您还可以设置账号安全策略确保这些账号的安全,从而降低您的企业信息安全风险。 如果您已
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
等,需要增加授权项: "vpc:*:*" 加密实例需要在项目上配置KMS Administrator权限 专属场景,需要增加授权项: "dss:*:get", "dss:*:list", "dss:*:count" √ √ 查询所有文件系统详细信息 GET /v1/{projec
约束限制 您能创建的文件系统的数量和容量与配额有关系,如果您想查看服务配额、扩大配额,具体请参见“配额”。 更详细的限制请参见具体API的说明。 通用文件系统API只支持内网调用,不支持公网调用。 父主题: 使用前必读
迁移数据分为两种网络条件,通过可访问公网的ECS直接挂载迁移。 通过mount方式挂载访问SFS Turbo,将本地NAS存储中的数据迁移至SFS Turbo。 通过云专线迁移(rclone工具) 通过云专线迁移(rsync工具) 无法打通网络直接挂载,可以通过公网访问华为云ECS绑定的EIP,也可进行传输迁移。
BucketAlreadyExists 请求的文件系统名已经存在。文件系统的命名空间是系统中所有用户共用的,选择一个不同的文件系统名再重试一次。 更换文件系统名。 409 Conflict BucketAlreadyOwnedByYou 发起该请求的用户已经创建过了这个名字的文件系统,并拥有这个文件系统。 不需要再创文件系统了。