检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HPC型文件系统的挂载点使用的是域名,IDC环境如果不适用云上DNS则无法解析SFS Turbo的域名,导致此场景无法使用。 前提条件 本地数据中心已通过虚拟专用网络或者云专线与VPC连通。 虚拟专用网络VPN网关允许访问的VPC子网网段,需要包含SFS Turbo的网段。 操作步骤 在管理控制台左上角单击图标,选择区域和项目。
Service,CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后,CTS可记录SFS Turbo的管理事件和数据事件用于审计。 CTS的详细介绍和开通配置方法,请参见CTS快速入门。
据异步持久化到OBS对象存储中长期低成本保存。 图1 基于OBS+SFS Turbo的华为云AI云存储解决方案 方案优势 华为云AI云存储解决方案的主要优势如下表所示。 表1 华为云AI云存储解决方案的主要优势 序号 主要优势 详细描述 1 存算分离,资源利用率高 GPU/NPU算力和SFS
其他操作 SFS Turbo性能测试 使用非root的普通用户挂载文件系统到Linux云服务器 挂载NFS文件系统子目录到云服务器(Linux) 数据迁移
Value efs_instance_id 实例 查看监控数据 登录管理控制台。 进入监控图表页面。 入口一:选择“存储 > 弹性文件服务”,在文件系统列表单击查看监控数据的文件系统“操作”列下的“监控”。 入口二:选择“管理与监管 > 云监控服务> 云服务监控 > 弹性文件服务Turbo
加速原理与安装AITurbo SDK 背景 当前,大模型训练往往使用成百上千加速卡训练几周到几个月不等。在训练过程中,故障导致训练中断经常发生。训练程序一般采用周期 checkpoint方案来将训练状态持久化到存储,当发生故障时,训练程序能恢复到故障之前的模型和优化器的状态继续训
高性能弹性文件服务数据迁移 方案概述 通过云专线迁移(rclone工具) 跨服务器迁移(rclone工具) 通过云专线迁移(rsync工具) 文件系统之间迁移数据 SFS容量型文件系统迁移至SFS Turbo文件系统
HTTP方法 方法 说明 GET 请求服务器返回指定资源。 PUT 请求服务器更新指定资源。 POST 请求服务器新增资源或执行特殊操作。 DELETE 请求服务器删除指定资源,如删除对象等。 HEAD 请求服务器资源头部。 PATCH 请求服务器更新资源的部分内容。 当资源不存在的
图1 排查思路 表1 排查思路 可能原因 处理措施 文件系统和挂载的服务器不在同一个可用区 在与服务器相同的可用区新建一个文件系统,将另一可用区的文件系统数据迁移至新文件系统后,再将新文件系统挂载至服务器。 使用场景与文件系统类型不匹配 结合业务场景,参考文件系统类型,选择正确的文件系统类型。
完全的访问权限,可以重置用户密码、分配用户权限等。由于账号是付费主体,为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建用户并使用用户进行日常管理工作。 用户 由账号在IAM中创建的用户,是云服务的使用人员,具有身份凭证(密码和访问密钥)。 在我的凭证下,您可以查
Turbo文件系统,将会使用用户填写的kms密钥进行加密。注意,该密钥如果删除,该文件系统的数据将无法使用。 在往文件系统的文件夹写数据的过程中会占用服务器的运行内存,但不会占用服务器磁盘的存储空间,文件系统使用的是独立空间。 父主题: 其他类
一个账户中可以创建多个项目。 企业项目 企业项目是对多个资源实例进行归类管理的单位,不同云服务区域的资源和项目可以归到一个企业项目中。企业可以根据不同的部门或项目组,将相关的资源放置在相同的企业项目内进行管理,支持资源在企业项目之间迁移。 父主题: 基本概念
挂载文件系统 挂载NFS协议类型文件系统到云服务器(Linux) 自动挂载文件系统 父主题: 挂载访问
网络类 是否支持跨VPC访问文件系统? 高性能弹性文件服务支持跨区域挂载吗? VPC的安全组是否影响高性能弹性文件服务的使用? 同时挂载至两个服务器的文件系统数据存在延时怎么办?
在文件系统中存放的单个文件最大支持多少? 高性能弹性文件服务支持哪些访问协议? 每个账号最多可以创建多少个文件系统? 一个文件系统最多支持同时挂载到多少台云服务器上?
注册云服务账号。 打开华为云网站www.huaweicloud.com。 单击页面右上角“注册”。 进入注册页面,根据提示信息完成注册。 充值。 登录管理控制台。 单击“充值”,系统自动跳转到充值界面。 根据界面提示信息,对账户进行充值。 充值成功后,退出充值界面,返回管理控制台首页。 使用高性能弹性文件服务。
Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 创建VPC 虚拟私有云可以为您构建隔离的、用户自主配置和管理的虚拟网络环境,操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo HPC型文件系统 创建SFS Turbo文
IAM权限 IAM权限是作用于云资源的,IAM权限定义了允许和拒绝的访问操作,以此实现云资源权限访问控制。管理员创建IAM用户后,需要将用户加入到一个用户组中,IAM可以对这个组授予SFS Turbo所需的权限,组内用户自动继承用户组的所有权限。 权限管理 父主题: 身份认证与访问控制
操作步骤 登录管理控制台。 单击页面右上角的“费用 > 续费管理”进入续费管理页面。 在“续费管理”页面,找到待续费的资源,单击操作列的“续费”。 根据页面提示完成支付。 支付成功后,系统自动扣除欠费。 更多关于续费的信息(自动续费、导出续费清单、变更资费等)请参考续费管理。 有关订
操作步骤 登录管理控制台。 单击页面右上角的“费用 > 续费管理”进入续费管理页面。 在“续费管理”页面,找到待续费的资源,单击操作列的“续费”。 根据页面提示完成支付。 支付成功后,系统自动扣除欠费。 更多关于续费的信息(自动续费、导出续费清单、变更资费等)请参考续费管理。 有关订