检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何在高性能弹性文件服务SFS Turbo和云硬盘EVS之间进行数据迁移? 将文件系统和云硬盘同时挂载至同一云服务器上,再手动进行数据复制即可。 父主题: SFS Turbo迁移类问题
warning:表示操作失败。 incident:表示比操作失败更严重的情况,例如引起其他故障等。 企业项目ID:输入企业项目ID。 访问密钥ID:输入访问密钥ID(包含临时访问凭证和永久访问密钥)。 时间范围:可选择查询最近1小时、最近1天、最近1周的操作事件,也可以自定义最近7天内任意时间段的操作事件。
VPC名称:VPC1 已创建/mnt/src和/mnt/dst的目录 操作步骤 登录弹性云服务器管理控制台。 登录已创建好的Linux系统云服务器,用于同时访问SFS容量型文件系统和SFS Turbo文件系统。 输入以下挂载命令,用于访问文件系统1。文件系统1可以是SFS容量型文件系统或SFS
计费模式概述 高性能弹性文件服务提供包年/包月、按需计费两种计费模式,以满足不同场景下的用户需求。 包年/包月:一种预付费模式,即先付费再使用,按照订单的购买周期进行结算。购买周期越长,享受的折扣越大。一般适用于可预估资源使用周期的场景。 按需计费:一种后付费模式,即先使用再付费
ReqUpdateHpcCacheData 参数 是否必选 参数类型 描述 gc_time 是 Long 冷数据淘汰时间。单位:小时。指定时间内线上缓存的数据如果没有被访问则会自动从缓存中删除。0表示数据不会因为时间原因自动从缓存中删除。 ck_time 是 Long 后端校验时间。单位:秒。指定时间间隔进行
障导致训练中断经常发生。训练程序一般采用周期checkpoint方案来将训练状态持久化到存储,当发生故障时,训练程序能恢复到故障之前的模型和优化器的状态继续训练。原生Pytorch系框架在保存checkpoint时均直接持久化到存储系统,耗时与模型大小、存储的IO性能等密切相关,
训练中断的时间。 文件接口方式的数据共享访问:由于 AI 架构需要使用到大规模的计算集群(GPU/NPU服务器),集群中的服务器访问的数据来自一个统一的数据源,即一个共享的存储空间。这种共享访问的数据有诸多好处,它可以保证不同服务器上访问数据的一致性,减少不同服务器上分别保留数据带来的数据冗余等。另外以
区域:华北-北京四 VPC名称:VPC1 已创建/mnt/src和/mnt/dst的目录 操作步骤 登录已创建好的Linux系统云服务器,用于同时访问本地NAS存储和SFS Turbo文件系统。 输入以下挂载命令,用于访问本地NAS存储。 mount -t nfs -o vers=3
图1 给用户授权SFS Turbo权限流程 创建用户组并授权 在IAM控制台创建用户组,并授予只读权限“SFS Turbo ReadOnlyAccess”。 创建用户并加入用户组 在IAM控制台创建用户,并将其加入1中创建的用户组。 用户登录并验证权限 新创建的用户登录控制台,切换至授权区域,验证权限:
从而通过身份认证。 AK(Access Key ID):访问密钥ID。与私有访问密钥关联的唯一标识符;访问密钥ID和私有访问密钥一起使用,对请求进行加密签名。 SK(Secret Access Key):私有访问密钥。与访问密钥ID结合使用,对请求进行加密签名,可标识发送方,并防止请求被修改。
性能调优 SFS Turbo性能测试 SFS Turbo时延测试 提升单客户端访问SFS Turbo的性能(Linux)
以下操作以Euler OS系统的弹性云服务器为例介绍如何赋予其他普通用户root权限,通过普通用户账号将文件系统挂载到Linux云服务器。 使用非root的普通用户挂载文件系统 以root账号登录弹性云服务器。 给非root的普通用户添加root权限。 执行chmod 777 /etc/su
IAM是支撑企业级自助的云端资源管理系统,具有用户身份管理和访问控制的功能。当企业存在多用户访问高性能弹性文件服务时,可以使用IAM新建用户,以及控制这些用户账号对企业名下资源具有的操作权限。 统一身份认证服务(Identity and Access Management, IAM) 权限管理 文件
使用CTS审计SFS Turbo文件系统 高性能弹性文件服务支持通过云审计服务对资源的操作进行记录,以便用户可以查询、审计和回溯。 全部 企业项目 企业项目是对多个资源实例进行归类管理的单位,不同云服务区域的资源和项目可以归到一个企业项目中。企业可以根据不同的部门或项目组,将相关的资源放置在相同的企
附录 状态码 错误码 获取访问密钥(AK/SK) 获取项目ID
量计算资源和存储资源,充分结合云平台和高性能计算特点,大大降低初始投资成本和后期运维成本,极大缩短业务上线时间,提高使用效率,节约运营成本。 配置流程 整理好需要上传的基因测序文件。 登录高性能弹性文件服务控制台,创建一个文件系统用于存放基因测序文件。 登录作为头节点和计算节点的云服务器,挂载文件系统。
安全 责任共担 身份认证与访问控制 数据保护技术 审计 监控安全风险
SFS Turbo概念类问题 什么是高性能弹性文件服务SFS Turbo? 高性能弹性文件服务支持哪些访问协议?
已经安装obsutil,请参考下载和安装obsutil。 登录Imagenet数据集下载官网地址,下载Imagenet21k数据集:http://image-net.org/。 下载格式转换后的annotation文件:ILSVRC2021winner21k_whole_map_train.txt和ILSV
0个 访问SFS Turbo文件系统 支持访问方式 VPN/专线/云连接 扩容与缩容SFS Turbo文件系统 是否支持扩容 支持 是否支持缩容 不支持 目标容量取值范围 标准型、标准型-增强版(停售)、性能型、性能型-增强版(停售):扩容步长至少为100GB起步。标准型和性能型