检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看fio版本。 fio --version 通用测试配置样例 以下提供的预估值为单台弹性云服务器ECS测试的结果。建议使用多台ECS测试,以达到弹性文件服务的性能指标。 本文以SFS Turbo性能型,云服务器规格如下为例说明。 规格:通用计算增强型 | c3.xlarge.4 |
当文件系统不再使用需要删除时,建议您先卸载已挂载的文件系统后再删除。 前提条件 卸载文件系统前建议先终止进程和停止读写再卸载。 Linux系统 登录弹性云服务器。 执行以下命令。 umount 本地路径 本地路径:云服务器上用于挂载文件系统的本地路径,例如“/local_path”。
IOPS=min(4000000,50000×容量) 其中,容量单位为TB 通用测试配置样例 以下提供的预估值为单台弹性云服务器ECS测试的结果。建议使用多台ECS测试,以达到弹性文件服务的性能指标。 本文以SFS Turbo性能型,云服务器规格如下为例说明。 规格:通用计算增强型 | c3.xlarge.4 |
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速,流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
训练数据的读取要尽量读得快,减少计算对 I/O 的等待,而 Checkpoint主要要求高吞吐、减少训练中断的时间。 文件接口方式的数据共享访问:由于 AI 架构需要使用到大规模的计算集群(GPU/NPU服务器),集群中的服务器访问的数据来自一个统一的数据源,即一个共享的存储空间
弹性文件服务数据迁移 方案概述 通过云专线迁移(rclone工具) 跨服务器迁移(rclone工具) 通过云专线迁移(rsync工具) 文件系统之间迁移数据 SFS容量型文件系统迁移至其他文件系统
终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同,您可以从地区和终端节点中查询弹性文件服务的终端节点。 父主题: 使用前必读
在保存checkpoint的时候,利用两阶段写、内存副本、异步持久化等技术保证checkpoint的快速、高可靠存储。具体地,第一阶段,各个节点将自己的checkpoint高速同步写入HOST侧的内存缓存中,同时写入配置好的backup节点内存缓存中,backup的内存副本可以在主节点
支持审计的关键操作 操作场景 弹性文件服务支持通过云审计服务对资源的操作进行记录,以便用户可以查询、审计和回溯。 目前仅SFS Turbo文件系统、SFS容量型文件系统支持通过云审计服务对资源的操作进行记录,通用文件系统暂不支持。 前提条件 已开通云审计服务且追踪器状态正常。开通
对于包年/包月计费模式的资源,例如包年/包月的弹性文件服务、包年/包月的弹性云服务器等,用户在购买时会一次性付费,服务将在到期后自动停止使用。 如果在计费周期内不再使用包年/包月资源,您可以执行退订操作,系统将根据资源是否属于五天无理由退订、是否使用代金券和折扣券等条件返还一定金额到您的账户。详细的退订规则请参见云服务退订规则概览。
查询共享的标签 功能介绍 查询指定共享的所有标签信息。 URI GET /v2/{project_id}/sfs/{share_id}/tags 参数说明 参数 是否必选 参数类型 描述 project_id 是 String 操作用户的项目ID,获取方法请参见获取项目ID。 share_id
弹性文件服务支持服务器端加密功能,文件存储会对存储在文件系统中的数据进行加密,访问数据时,自动将加密数据解密后返回给用户。 具体使用方法请参见文件系统加密。 数据备份 备份是SFS Turbo文件系统在某一时间点的完整备份,记录了这一时刻文件系统的所有配置数据和业务数据。当您的文件系统出
FS文件系统的场景下),且您需要达到较高的带宽或IOPS时,建议开启该功能; 开启nconnect后对于单并发、小IO数据块等场景会有一定的时延增加,当您的业务为小并发的延迟敏感型时,不建议开启该功能; nconnect功能开启后,可以提升NFS客户端与服务端之间的吞吐性能,最终
迁移数据分为两种网络条件,通过可访问公网的ECS直接挂载迁移。 通过mount方式挂载访问SFS Turbo,将本地NAS存储中的数据迁移至SFS Turbo。 通过云专线迁移(rclone工具) 通过云专线迁移(rsync工具) 无法打通网络直接挂载,可以通过公网访问华为云ECS绑定的EIP,也可进行传输迁移。
Object 一到多个字典形式组织的键值对。其中share_used作为key,对应的value表示共享已经使用的容量,单位是Bytes;enterprise_project_id作为key,对应的value是共享所属的企业项目ID。 status String 共享的状态。 task_state
gion)挂载。如果需要跨区域挂载,可以通过指定IP的方式挂载。 通过域名(DNS)随机将该文件系统挂载到云服务器时,在未达到云服务器满载性能前,可能出现挂载不均匀的现象。可通过增加挂载点的数量的方式,最大限度利用所有可用云服务器的资源。 不支持 不支持 缓存加速 不支持 支持(
支持文件系统挂载的操作系统 已通过兼容性测试的操作系统如表1所示。 表1 支持文件系统挂载的操作系统列表 类型 版本范围 SFS容量型文件系统 通用文件系统 SFS Turbo文件系统 CentOS CentOS 5,6,7 for x86 √ √ √ Debian Debian
查询job的状态详情 功能介绍 查询job的执行状态。 可用于查询SFS Turbo异步API的执行状态。例如:可使用调用创建并绑定ldap配置接口时返回的jobId,通过该接口查询job的执行状态。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API
一到多个字典形式组织的键值对。其中share_used作为key,对应的value表示共享已经使用的容量,单位是Bytes。SFS容量型文件系统已用容量小于1MB时,将不会显示已用容量。enterprise_project_id作为key,对应的value是共享所属的企业项目ID。 status
配置流程 整理好需要上传的基因测序文件。 登录弹性文件服务控制台,创建一个文件系统用于存放基因测序文件。 登录作为头节点和计算节点的云服务器,挂载文件系统。 通过头节点将需要上传的基因测序文件上传到挂载的文件系统。 登录计算节点,直接对挂载的文件系统中的基因测序文件进行编辑。 前提条件