检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过云专线迁移(rclone工具) 方案概述 用户可以将本地NAS存储中的数据,通过云专线和rclone工具迁移至云上SFS Turbo文件系统中,进行云上业务拓展。 此方案通过在云上创建一台Linux操作系统的云服务器,来连接本地NAS存储以及云上SFS Turbo文件系统的通
接挂载迁移。 通过mount方式挂载访问SFS Turbo,将本地NAS存储中的数据迁移至SFS Turbo。 通过云专线迁移(rclone工具) 通过云专线迁移(rsync工具) 无法打通网络直接挂载,可以通过公网访问华为云ECS绑定的EIP,也可进行传输迁移。 跨服务器迁移(rclone工具)
CCE访问,用户可通过云专线/VPN/对等连接等方式打通网络,实现多种访问方式。 云下或其他云访问: 云专线/VPN 云上同区域同一账号不同VPC: VPC对等连接 云上同区域跨账号访问: VPC对等连接 不同区域访问: 云连接 迁移数据分为两种网络条件,通过可访问公网的ECS直接挂载迁移。
Header中携带签名 通用文件系统的所有API接口都可以通过在header中携带签名方式来进行身份认证。 在Header中携带签名是指将通过HTTP消息中Authorization header头域携带签名信息,消息头域的格式为: Authorization: OBS AccessKeyID:signature
弹性文件服务监控指标说明 功能说明 本节定义了弹性文件服务上报用户请求次数的监控指标的命名空间,监控指标列表和维度定义,用户可以通过管理控制台或云监控提供的API接口来查询监控指标。 命名空间 SYS.SFS 监控指标 表1 SFS容量型(已售罄)支持的监控指标 指标ID 指标名称
”。 单击“管理访问密钥”。 在左侧导航栏单击“访问密钥”。 单击“新增访问密钥”,进入“新增访问密钥”页面。 输入当前用户的登录密码。 通过邮箱或者手机进行验证,输入对应的验证码。 在统一身份认证服务IAM中创建的用户,如果创建时未填写邮箱或者手机号,则只需校验登录密码。 单击“确定”,浏览器自动下载访问密钥。
IDC专线通过域名挂载SFS Turbo HPC型 操作场景 虚拟专用网络、云专线线下节点通过终端节点高速访问SFS Turbo HPC型文件系统。 SFS Turbo HPC型文件系统的挂载点使用的是域名,IDC环境如果不适用云上DNS则无法解析SFS Turbo的域名,导致此场景无法使用。
认证鉴权 调用接口有如下两种认证方式,您可以选择其中一种进行认证鉴权。 Token认证:通过Token认证调用请求。 AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。推荐使用AK/SK认证,其安全性比Token认证要高。
通过云专线迁移(rsync工具) 方案概述 用户可以将本地NAS存储中的数据,通过云专线和rsync工具迁移至云上SFS Turbo文件系统中,进行云上业务拓展。 此方案通过在云上创建一台Linux操作系统的云服务器,来连接本地NAS存储以及云上SFS Turbo文件系统的通信,
可以直接从云下访问弹性文件服务吗? SFS Turbo支持通过IDC专线或其他方式建立通信后,可以从云下访问SFS Turbo文件系统。 SFS容量型文件系统暂不支持直接从云下访问弹性文件服务,但您可以将数据从云下迁移至弹性文件服务后再使用。 父主题: 其他类
二阶段,拥有相同checkpoint的节点会选择代表节点异步写一份完整的checkpoint到SFS Turbo服务端进行持久化存储,通过异步方式最大程度隐藏了checkpoint持久化到远端存储的耗时,实现checkpoint秒级同步保存,避免训练任务长时间阻塞,异步保存阶段,
通过云专线迁移 背景说明 用户可以将本地NAS存储中的数据,通过云专线迁移至云上SFS Turbo文件系统中,进行云上业务拓展。 此方案通过在云上创建一台Linux操作系统的云服务器,来连接本地NAS存储以及云上SFS Turbo文件系统的通信,并通过这台服务器将本地NAS存储中的数据迁移至云上。
Turbo快速入门 本节通过调用SFS Turbo的API接口创建SFS Turbo文件系统,展示如何使用API接口。 通过IAM服务获取到的Token有效期为24小时,需要使用同一个Token鉴权时,可以先将Token缓存,避免频繁调用。 涉及API 当您使用Token认证方式完成认证鉴权
Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用状态,请提交工单联系技术支持人员进行配置。
操作场景 在调用接口的时候,部分URL中需要填入项目ID,所以需要获取到项目ID。有如下两种获取方式: 调用API获取项目ID 从控制台获取项目ID 调用API获取项目ID 项目ID可以通过调用查询指定条件下的项目列表API获取。 获取项目ID的接口为“GET https://{En
系统,使用cp或dd等方式触发顺序读业务场景,读带宽与每秒请求数明显不符合预期。 问题原因 预读机制:访问内存的速度比访问硬盘或者网络存储快很多,如果每一次访问文件数据都要从磁盘读取数据,就会导致非常严重的时延及等待问题,因此Linux为了提高读取性能,通过预读机制,将文件数据提
Turbo支持同区域(region)下跨可用区(AZ)挂载。 SFS Turbo不支持跨区域(Region)挂载;但可以通过使用云连接CC“跨区域VPC互通”方案将不同区域的vpc内网打通,从而采取指定IP的方式跨区域(Region)挂载。 当使用SFS Turbo文件系统进行同区域下跨可用区挂载或者跨区
当您需要了解已购买的通用文件系统资源包使用详情时,可以在SFS控制台的“资源包管理”页面查看。通过资源包管理,您可以快速掌握各类资源包的状态、余量、起止时间、订单号、使用明细等信息。 背景知识 SFS的计费模式分为按需计费和包年包月,包年包月的方式即提前购买资源包以获得资源的使用额度和时长,包年包月相比按需计费更加优惠。
通过标签查询文件系统列表 功能介绍 通过标签查询文件系统列表 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/sfs-tu
则选取更精准的(1.1.1.1,ro,root_squash)这条规则。 添加授权地址操作步骤 本章节介绍如何通过控制台完成添加授权地址进行权限管理。 如果您想通过API调用完成文件系统权限管理,请参考《弹性文件服务API参考》权限管理章节。 登录弹性文件服务管理控制台。 在SFS