检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户可以将本地NAS存储中的数据,通过公网迁移至云上SFS Turbo中,进行云上业务拓展。 此方案通过在云上和本地分别创建一台Linux操作系统的服务器,将本地NAS存储中的数据迁移至云上。两台服务器端口号22的出入方向需允许访问。本地服务器用于访问本地NAS存储,云上服务器用于访问云上SFS
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象,您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台,在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中,单击
创建文件系统 操作场景 文件系统是SFS中存储文件的容器。您需要先创建一个文件系统,然后才能在SFS中存储数据。 下面介绍如何调用创建文件系统API在指定的区域创建一个文件系统,API的调用方法请参见如何调用通用文件系统API。 前提条件 已获取AK和SK,获取方法参见获取访问密钥(AK/SK)。
功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。 登录SFS管理控制台。 在文件系统列表中,单击创建的HPC型文件系统名称,进入文件系统详情页面。
的数据迁移操作。 成本低 低频存储相比普通文件存储的费用低。 低频存储的计费相关内容请详见计费项。 转换为低频存储的数据可正常访问 数据转储为低频存储后,文件系统的内容和结构保持不变,应用可正常访问这些数据,不需要修改应用或暂停业务。 配置生命周期规则 您可以为某个文件系统或文件
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
能,以减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中,数据预热功能的具体操作请参考创建SFS Turbo 和 OBS 之间的联动任务。 您可通过查询联动任务详情接口查看导入任务的完成状态。
议。 裸金属服务器、容器(CCE&CCI)操作与云服务器一致。 将SFS Turbo挂载至CCE:请参考存储管理-CSI-存储概述或存储管理-Flexvolume-极速文件存储卷,并在CCE界面完成SFS Turbo部署至CCE的操作。 通用文件系统暂不支持挂载至32位的Linux系统云服务器。
通过头节点将需要上传的网站文件上传到挂载的文件系统。 启动Web Server。 前提条件 已完成VPC创建。 已完成作为头节点和计算节点的云服务器创建并将其归属在已创建的VPC下。如果需要将云下网站文件上传至SFS Turbo文件系统中,请参考通过云专线迁移数据至弹性文件服务。
计费因子 计费说明 计费公式 计费模式 存储费用 容量型 存储空间 根据文件系统所使用的存储容量和使用时长计费 存储费用=每GB费率*使用容量*使用时长 按需计费 包年包月 低频型 存储空间 根据文件系统所使用的存储容量和使用时长计费 存储费用=每GB费率*使用容量*使用时长 说明:
单击“云备份”页签。 图3 绑定存储库 如上图,单击“绑定存储库”。 选择属性(名称、ID或状态)筛选,或输入关键字搜索存储库。 图4 筛选存储库 选择存储库,单击“确定”。如果已绑定存储库,请跳过步骤5-步骤7。 如果您想绑定其他存储库,可单击“购买SFS Turbo备份存储库”进行重新购买并
Turbo提供各种规格的文件存储,您可以根据业务需求选择其中一种或几种文件系统,为业务运转提供必要的可靠性、安全性和持续性。 您可以根据以下文件存储的对比情况,选用适合您业务场景的文件系统或提交工单联系技术支持人员支撑您的选择。 通用文件系统 通用文件系统为用户提供一个完全托管的共享文件存储,能够弹
sfsturbo:shares:createShare 创建SFS Turbo实例时,需要vpc相关权限,包括校验vpc、子网、安全组,创建vip以及port,创建安全组规则等,需要增加授权项: "vpc:*:*" 加密实例需要在项目上配置KMS Administrator权限 专属场景,需要增加授权项:
28以及之后的版本,且需要在请求URL中添加vpc_ip_base_acl参数,详细请参考下述的请求样例(按照IP地址授权的场景)。 属于VPC A中的弹性云服务器IP地址可以被成功添加至VPC B的授权IP地址内,但该云服务器无法挂载属于VPC B下的文件系统。弹性云服务器和文件系统所使用的VPC需为同一个。
PU卡同时从存储中加载checkpoint致使存储带宽成为拥塞瓶颈,在具有相同checkpoint的冗余组内,采用部分代表节点先从远端存储加载checkpoint并将checkpoint广播到剩余其他节点的恢复机制,这种策略显著降低大规模训练集群故障恢复过程对远端存储带宽的需求,
视频渲染、特效加工需要频繁处理小文件,要求文件系统具有较高的数据读写性能。 弹性文件服务是基于文件系统的共享存储服务,具有高速数据共享,动态分级存储,按需平滑扩展,支持在线扩容等特点,能充分满足媒体处理中用户对存储容量,吞吐量,IOPS(每秒读写次数)和各种工作负荷下低时延的需求。 某卫视频道栏目组外
单元为组成的系统计算方式要求文件系统高带宽、低时延。 弹性文件服务是基于文件系统的共享存储服务,具有高速数据共享,动态分级存储,按需平滑扩展,支持在线扩容等特点,能充分满足高性能计算中用户对存储容量,吞吐量,IOPS(每秒读写次数)和各种工作负荷下低时延的需求。 某生物平台需要软
连接管理 修改文件系统绑定的安全组 父主题: SFS Turbo API说明
通用文件系统暂不支持跨账号挂载使用。 SFS容量型文件系统北京四已上线跨账号挂载使用功能。 SFS Turbo文件系统基于VPC的对等连接功能,实现跨账号访问。更多关于VPC对等连接功能信息和实现方法请参见VPC对等连接。 父主题: 限制类
单击“Esc”,并输入:wq,保存退出。 由于用户申请的云服务器的默认DNS是从其所在的VPC继承过来的,所以每当云服务器重启的时候,会从VPC同步DNS。所以只修改云服务器的配置,只能解决当前问题。根本的解决问题,还需要在VPC中修改。在云服务器所在的VPC的子网中设置正确的租户DNS。 (可选)重新启动云服务器。