检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
仅支持使用Linux系统的云服务器进行数据迁移。 Linux系统云服务器、SFS容量型文件系统和SFS Turbo文件系统需在同一VPC下。 支持实现增量迁移,即只迁移发生变化的数据。 前提条件 已创建一台操作系统为Linux的云服务器。 已创建SFS容量型或SFS Turbo文件系统,并获取到文件系统的挂载地址。
仅支持使用Linux系统的云服务器进行数据迁移。 Linux系统云服务器、SFS容量型文件系统和SFS Turbo文件系统需在同一VPC下。 支持实现增量迁移,即只迁移发生变化的数据。 前提条件 已创建一台操作系统为Linux的云服务器。 已创建SFS容量型或SFS Turbo文件系统,并获取到文件系统的挂载地址。
配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用状态,请提交工单联系技术支持人员进行配置。
在统一身份认证服务IAM中创建的用户,如果创建时未填写邮箱或者手机号,则只需校验登录密码。 单击“确定”,浏览器自动下载访问密钥。 为防止访问密钥泄露,建议您将其保存到安全的位置。 父主题: 附录
建议选择和云服务器同一个区域。 可用区 同一区域内,电力和网络互相独立的地理区域。 建议选择和云服务器同一个可用区。 协议类型 文件系统支持的共享访问协议为NFS(暂只支持NFSv3)或CIFS。 NFS协议适合于Linux ECS,CIFS协议适合于Windows ECS。 根据需要选择NFS或CIFS。
文件系统类型 OBS 2.0支持虚拟私有云 虚拟私有云(Virtual Private Cloud,以下简称VPC),为云服务器、云容器、云数据库等资源构建隔离的、用户自主配置和管理的虚拟网络环境,提升用户云上资源的安全性,简化用户的网络部署。 您可以在VPC中定义安全组、VPN、
状态码: 200 表3 响应Body参数 参数 参数类型 描述 url String ldap服务器的url base_dn String 数据库中的域 user_dn String 用户区别名 filter_condition String 过滤条件。保留字段,暂不支持 backup_url
ldaps://{ip_address}:{port_number},例如ldap://192.168.xx.xx:60000 base_dn 否 String 数据库中的域 user_dn 否 String 用户区别名 password 否 String ldap认证密码 vpc_id 否 String
ldaps://{ip_address}:{port_number},例如ldap://192.168.xx.xx:60000 base_dn 是 String 数据库中的域 user_dn 否 String 用户区别名 password 否 String ldap认证密码 vpc_id 否 String
查询SFS审计事件 操作场景 用户进入云审计服务创建管理类追踪器后,系统开始记录云服务资源的操作。云审计服务管理控制台会保存最近7天的操作记录。 本节介绍如何在云审计服务管理控制台查看或导出最近7天的操作记录: 在新版事件列表查看审计事件 在旧版事件列表查看审计事件 使用限制 单
checkpoint秒级同步保存,避免训练任务长时间阻塞,异步保存阶段,主节点持久化过程中,内存中写入了相同检查点的备节点会持续监听主节点的保存结果。保存失败之后,备节点会接管主节点的持久化操作,代替主节点将检查点持久化下去,保证可靠性。 图1 保存checkpoint流程 加速加载checkpoint
rs文件。 在root账号下添加普通用户账号,下图以添加普通用户Mike为例。 图2 添加用户 编辑完成后,单击“Esc”,并输入:wq,保存文件并退出。 执行chmod 440 /etc/sudoers命令恢复sudoers文件权限为只读权限。 切换到普通用户Mike登录弹性云服务器。
权限管理 如果您需要对华为云上购买的SFS资源,给企业中的员工设置不同的访问权限,以达到不同员工之间的权限隔离,您可以使用统一身份认证服务(Identity and Access Management,简称IAM)进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功
conf命令,解锁文件。=>重新编辑=>3。 单击“Esc”,并输入:wq,保存退出。 由于用户申请的云服务器的默认DNS是从其所在的VPC继承过来的,所以每当云服务器重启的时候,会从VPC同步DNS。所以只修改云服务器的配置,只能解决当前问题。根本的解决问题,还需要在VPC中修改
件不会被再次导出,即使OBS桶里已经将导出的对象删掉了,也不会再导出该文件。 从SFS Turbo导出的对象,在OBS对象的自定义元数据里保存了一些SFS Turbo的元数据信息,名称以x-obs-meta-sfsturbo-st-开头。 不支持超长路径,可导出文件路径的最大长度为1023个字符。
登录弹性云服务器。 在Windows系统挂载前,需要先创建名为auto_mount.bat的脚本,并保存至本地,记录保存路径。脚本中包含以下内容: mount -o nolock 挂载地址 对应盘符 图2 保存脚本 例如,某文件系统的auto_mount.bat脚本内容为: SFS容量型文件系统执行命令:mount
SFS Turbo文件系统 管理SFS Turbo文件系统与OBS桶的存储联动 目录配额 加密传输 文件系统权限管理 通过AITurbo加速保存与加载checkpoint
常见问题 可以只使用SFS Turbo HPC型文件系统支撑AI训练吗? 当数据规模较小,不存在冷热数据分级降本诉求,又希望能方便快捷的构建AI训练系统时,可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗? OBS
仅支持使用Linux系统的云服务器进行数据迁移。 文件UID和GID在同步操作后将不再保持一致。 文件访问模式同步操作后不再保持一致。 支持实现增量迁移,即只迁移发生变化的数据。 操作前提 已经完成云专线的购买和配置,详情请参考《云专线服务用户指南》。 已创建一台操作系统为Linux的云服务器。 已创建SFS
已经跟不上计算能力,企业希望存储系统能提供高吞吐的数据访问能力,充分发挥 GPU/NPU 的计算性能,包括训练数据的读取,以及为了容错做的检查点(以下简称Checkpoint)保存和加载。训练数据的读取要尽量读得快,减少计算对 I/O 的等待,而 Checkpoint主要要求高吞吐、减少训练中断的时间。 文件接口方式的数据共享访问:由于