检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
obs导入导出操作失败 请重新导入导出obs,若问题未解决,请联系技术支持 500 SFS.TURBO.0105 Failed to obtain OBS import and export task data 获取obs导入导出任务数据失败 请重新获取obs导入导出的数据,如果问题未得到解决,请联系技术支持
- √ √ 创建数据导入导出任务 POST /v1/{project_id}/sfs-turbo/{share_id}/hpc-cache/task sfsturbo:shares:createDataRepositoryTask - √ √ 查询数据导入导出任务详情 GET /v
数据导入导出异步化,不占用训练任务时长,无需部署外部迁移工具 训练任务开始前将数据从OBS导入到SFS Turbo,训练过程中写入到SFS Turbo的Checkpoint数据异步导出到OBS,均不占用训练任务时长。 SFS Turbo和OBS存储服务之间数据直接导入导出,无需部署外部数据拷贝机器及工具。
AutoExportPolicy object 后端存储自动导出策略。当文件系统发生数据更新时,将自动导出到OBS桶。 表6 AutoExportPolicy 参数 是否必选 参数类型 描述 events 否 Array of strings 后端存储自动导出到OBS桶的数据更新类型。 NEW:表示新增数据,SFS
AutoExportPolicy object 后端存储自动导出策略。当文件系统发生数据更新时,将自动导出到OBS桶。 表8 AutoExportPolicy 参数 参数类型 描述 events Array of strings 后端存储自动导出到OBS桶的数据更新类型。 NEW:表示新增数据,SFS
× 创建数据导入导出任务 √ × 修改AD域配置 √ × 创建并绑定ldap配置 √ × 删除ldap配置 √ × 退出AD域 √ × 删除网卡 √ × 查询文件系统的权限规则列表 √ √ 查询后端存储列表 √ √ 获取文件系统异步任务列表 √ √ 查询数据导入导出任务列表 √ √
AutoExportPolicy object 后端存储自动导出策略。当文件系统发生数据更新时,将自动导出到OBS桶。 表10 AutoExportPolicy 参数 参数类型 描述 events Array of strings 后端存储自动导出到OBS桶的数据更新类型。 NEW:表示新增数据,SFS
S Turbo。 配置ModelArts网络关联SFS Turbo。 配置SFS Turbo和OBS联动。 配置SFS Turbo数据自动导出到OBS桶。 配置SFS Turbo数据淘汰策略。 4 训练 上传数据至OBS并预热到SFS Turbo中。 创建训练任务。 5 例行运维
之间的联动任务。 您可通过查询联动任务详情接口查看导入任务的完成状态。 如果您觉得数据集规模较小或数据集变化不太频繁,不需要通过数据联动来做数据导入导出,您可借助外部工具将数据从OBS迁移到SFS Turbo中,操作指导请参考OBS和SFS之间的数据迁移,推荐使用obsutil工具。 父主题:
本文以SFS Turbo性能型,云服务器规格如下为例说明。 规格:通用计算增强型 | c3.xlarge.4 | 4vCPUs | 16GB 镜像:CentOS 7.564bit fio命令: fio --randrepeat=1 --ioengine=libaio --name=test
本文以SFS Turbo性能型,云服务器规格如下为例说明。 规格:通用计算增强型 | c3.xlarge.4 | 4vCPUs | 16GB 镜像:CentOS 7.564bit fio命令: fio --randrepeat=1 --ioengine=libaio --name=test
高性能弹性文件服务的部分区域支持按需转包周期。具体操作请参见包年包月购买。暂不支持包周期转按需。 续费 更多关于续费的信息(自动续费、导出续费清单、变更资费等)请参考续费管理。 到期 包年包月的SFS Turbo文件系统到期后不会自动转为按需计费。系统会根据保留期对资源进行处
与其他云服务的关系 高性能弹性文件服务与其他云服务的关系如图1所示。 图1 高性能弹性文件服务与其他服务的关系示意图 高性能弹性文件服务与其他服务的关系 表1 与其他云服务的关系 功能 相关服务 位置 云服务器和文件系统归属于同一项目下,用于挂载共享路径实现数据共享。 弹性云服务器(Elastic
操作来增加SFS Turbo文件系统的容量。 存储联动:您可以指定SFS Turbo内的目录与OBS对象存储桶进行关联,然后通过创建导入/导出任务实现数据同步。同时,您还可以配置缓存数据淘汰功能,及时将长期未访问的数据从SFS Turbo缓存中淘汰,释放SFS Turbo高性能缓存空间。