检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何在高性能弹性文件服务SFS Turbo和对象存储服务OBS之间进行数据迁移? 背景知识 对象存储服务OBS是华为云提供的稳定、安全、高效、易用的云存储服务,具备标准Restful API接口,可存储任意数量和形式的非结构化数据。 高性能弹性文件服务SFS Turbo是华为云提供的按需扩展的高性能文
SFS Turbo迁移类问题 如何在高性能弹性文件服务SFS Turbo和对象存储服务OBS之间进行数据迁移? 如何将SFS Turbo部署至CCE? SFS Turbo文件系统中的数据可以跨区域迁移吗? 如何在高性能弹性文件服务SFS Turbo和云硬盘EVS之间进行数据迁移?
SFS Turbo删除类问题 如何删除.nfs类型的文件? 如何提高SFS Turbo文件系统复制和删除操作的效率?
任务管理 查询job的状态详情 父主题: API
支持审计的关键操作 操作场景 高性能弹性文件服务支持通过云审计服务对资源的操作进行记录,以便用户可以查询、审计和回溯。 前提条件 已开通云审计服务且追踪器状态正常。开通云审计服务请参考《云审计服务快速入门》的“开启云审计服务”章节。 支持审计的详细操作列表 表1 云审计服务支持的SFS
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
可以帮助您安全的控制华为云资源的访问。 通过IAM,您可以在华为账号中给员工创建IAM用户,并使用策略来控制他们对华为云资源的访问范围。例如您的员工中有负责软件开发的人员,您希望他们拥有SFS Turbo的使用权限,但是不希望他们拥有删除文件系统等高危操作的权限,那么您可以使用
文件系统管理 创建文件系统异步任务 获取文件系统异步任务列表 获取文件系统异步任务详情 取消/删除文件系统异步任务 配置hpc缓存型后端信息 父主题: API
入导出任务”章节,该操作仅针对本次导入任务生效。 在绑定OBS桶之后,单击“数据导入”选项。 图5 数据导入 “对象路径”请填写绑定OBS桶内对象的路径(不包含桶名)。 OBS桶中的对象路径(不包含桶名),目录需以“/”结尾。 如果要导入OBS桶内所有对象,则不用填写对象路径。SFS
针对AI训练场景中面临的问题,华为云提供了基于对象存储服务OBS+高性能文件服务SFS Turbo的AI云存储解决方案,如图所示,华为云高性能文件服务SFS Turbo HPC型支持和OBS数据联动,您可以通过SFS Turbo HPC型文件系统来加速对OBS对象存储中的数据访问,并将生
Turbo文件系统挂载到ECS实例(Linux)上,实现上传和下载文件等操作。 操作流程 操作步骤 说明 准备工作 注册华为账号并开通华为云,实名认证,为账户充值,创建VPC和ECS等。 步骤一:创建SFS Turbo文件系统 创建一个SFS Turbo文件系统。 步骤二:挂载SFS Turbo文件系统 将SFS
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题
API 生命周期管理 连接管理 共享标签 名称管理 文件系统管理 存储联动管理 目录管理 权限管理 任务管理
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
yte 最大软链接长度 1024Byte 最大硬链接长度 255Byte 文件系统数量配额 默认32个,可提交工单申请扩大配额 操作类限制 表3 操作类限制 限制类型 限制项 说明 创建SFS Turbo文件系统 支持协议 仅支持NFSv3 单文件系统最大容量 标准型、性能型:32TB
使用CTS审计SFS Turbo文件系统 支持审计的关键操作 查询SFS Turbo审计事件 父主题: 监控与审计
查询后端存储列表 获取后端存储详细信息 删除后端存储 更新后端存储属性 更新后端存储自动同步策略 创建数据导入导出任务 查询数据导入导出任务详情 查询数据导入导出任务列表 删除数据导入导出任务 更新文件系统 父主题: API
√ 创建文件系统异步任务 POST /v1/{project_id}/sfs-turbo/shares/{share_id}/fs/{feature}/tasks sfsturbo:shares:createFsAsyncTask - √ √ 获取文件系统异步任务列表 GET /v
配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
配置解析域名的DNS服务器 操作场景 DNS服务器用于解析高性能弹性文件服务中文件系统的域名。DNS服务器东北区IP地址为100.125.6.250,其它区域详情请参见华为云内网DNS地址。 默认情况下,用于解析文件系统域名的DNS服务器的IP地址会在创建ECS时自动配置到ECS