检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中,数据预热功能的具体操作请参考创建SFS Turbo 和 OBS 之间的联动任务。 您可通过查询联动任务详情接口查看导入任务的完成状态。 如果
生态中非常流行的开源深度学习框架PyTorch为例,PyTorch默认会通过文件接口访问数据,AI算法开发人员也习惯使用文件接口,因此文件接口是最友好的共享存储访问方式。 如果您想了解更多本方案相关信息,或在方案使用过程中存在疑问,可通过方案咨询渠道,寻求专业人员支持。 方案架构 针对AI训练场
"500M"表示500MB/s/TiB "1000M"表示1000MB/s/TiB "2G"、"4G"、"8G"、"16G"、"24G"、"32G"或"48G"表示HPC缓存型的带宽规格。 instanceId String 文件系统规格的节点id,为预留字段,不具备实际含义。 instanceType String
数据加密 创建与卸载SFS Turbo加密文件系统 通过加密传输保护网络传输链路的数据安全
"500M"表示500MB/s/TiB "1000M"表示1000MB/s/TiB "2G"、"4G"、"8G"、"16G"、"24G"、"32G"或"48G"表示HPC缓存型的带宽规格。 instanceId String 文件系统规格的节点id,为预留字段,不具备实际含义。 instanceType String
共享标签 创建共享标签 查询共享标签 删除共享标签 批量添加共享标签 查询租户所有共享的标签 通过标签查询文件系统列表 父主题: API
登录作为计算节点的云服务器,挂载文件系统。 通过头节点将需要上传的网站文件上传到挂载的文件系统。 启动Web Server。 前提条件 已完成VPC创建。 已完成作为头节点和计算节点的云服务器创建并将其归属在已创建的VPC下。如果需要将云下网站文件上传至SFS Turbo文件系统中,请参考通过云专线迁移数据至高性能弹性文件服务。
不同方式支持的操作系统、迁移数据量、操作简易程度存在差异,推荐您使用obsutil工具进行数据迁移。 为了节省您的开支,建议您配置内网DNS,通过华为云内网完成数据迁移。具体配置方法,请参见通过内网访问OBS。 表1 OBS提供的数据迁移工具 工具 支持的操作系统类型 (支持的具体版本参考对应方式的指导文档)
务、按需计费的弹性云服务器等,如果不再使用这些资源且需停止计费,请删除相应资源。 通过账单查找云服务资源并停止计费 为了确保所有计费资源都能够被找到并删除,您可以在费用账单中获取计费资源的ID,通过这些ID信息找到具体的资源,然后将其一一删除。具体操作如下: 使用资源ID查找资源,并删除资源
Zone):一个AZ是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前,华为云已在全球多个地
单击“管理访问密钥”。 在左侧导航栏单击“访问密钥”。 单击“新增访问密钥”,进入“新增访问密钥”页面。 输入描述(可选),单击“确定”。 通过邮箱、手机或者虚拟MFA进行验证,输入对应的验证码。如果没有开启敏感操作保护,请跳过该步骤。 单击“立即下载”,浏览器自动下载访问密钥。
高的性能,详细介绍请参见文件系统类型。 已购买SFS Turbo停售规格的用户可以继续正常使用、续费、扩容和删除。 如您有任何问题,可随时通过提交工单解决。
整理好需要上传的基因测序文件。 登录高性能弹性文件服务控制台,创建一个文件系统用于存放基因测序文件。 登录作为头节点和计算节点的云服务器,挂载文件系统。 通过头节点将需要上传的基因测序文件上传到挂载的文件系统。 登录计算节点,直接对挂载的文件系统中的基因测序文件进行编辑。 前提条件 已完成VPC创建。
则选取更精准的(1.1.1.1,ro,root_squash)这条规则。 添加授权地址操作步骤 本章节介绍如何通过控制台完成添加授权地址进行权限管理。 如果您想通过API调用完成文件系统权限管理,请参考《高性能弹性文件服务API参考》权限管理章节。 登录高性能弹性文件服务管理控制台。
Turbo存储空间进行容量扩容。扩容操作步骤请参考扩容。 SFS Turbo HPC型是按每TB单位容量来提供一定的带宽吞吐,因此当SFS Turbo HPC性能不足时,需要通过容量扩容来提高性能吞吐。 OBS性能监控 您可以在CES云监控服务上监控SFS Turbo关联的OBS桶的性能使用情况,SFS Turbo
Turbo文件系统创建完成后,大约1到2分钟后,才能执行续订、退订等操作。 单击文件系统名称,可查看更多的文件系统信息。 图1 SFS Turbo文件系统的扩展信息 (可选)通过文件系统名称关键字、ID、可用区、类型、协议类型、已用容量或文件系统状态来过滤查看指定的文件系统。 父主题: SFS Turbo文件系统管理
专属文件存储服务支持CBR备份,基于备份可以恢复文件存储系统。 监控文件系统 对接云监控,支持带宽、IOPS、容量等多种监控指标。 审计文件系统 支持通过云审计服务对资源的操作进行记录,以便用户可以查询、审计和回溯。 性能规格 表1 性能规格 实例名称 依赖底层资源 性能规格 SFS Turbo标准型专属
Service) 监控 为用户提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。通过云审计服务,您可以记录与高性能弹性文件服务相关的操作事件,便于日后的查询、审计和回溯。 云审计服务(Cloud Trace Service,CTS)
st”的授权项,该接口才能调用成功。 支持的授权项 策略包含系统策略和自定义策略,如果系统策略不满足授权要求,管理员可以创建自定义策略,并通过给用户组授予自定义策略来进行精细的访问控制。策略支持的操作与API相对应,授权项列表说明如下: 权限:允许或拒绝某项操作。 对应API接口:自定义策略实际调用的API接口。
包年/包月SFS Turbo资源生命周期 到期预警 包年/包月SFS Turbo资源在到期前第7天内,系统将向用户推送到期预警消息。预警消息将通过邮件、短信和站内信的方式通知到华为账号的创建者。 到期后影响 当您的包年/包月SFS Turbo资源到期未续费,将进入宽限期,资源状态变为