检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
de)。 数据导出功能会将您在联动目录里创建的文件,以及对从OBS导入后又做过修改的文件导出存储到OBS桶里。 src_target 是 String 联动目录名称 src_prefix 否 String 导入导出任务的源端路径前缀,导入时不需要包含OBS桶名,导出时不需要包含联动目录名称。
查询数据导入导出任务详情 功能介绍 查询数据导入导出任务详情 接口约束 该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统 调试 您可以在API E
查询数据导入导出任务列表 功能介绍 查询数据导入导出任务列表 接口约束 该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统 调试 您可以在API E
删除数据导入导出任务 功能介绍 删除数据导入导出任务 接口约束 该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统 调试 您可以在API Explo
Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用
在“续费管理”页面,找到待续费的资源,单击操作列的“续费”。 根据页面提示完成支付。 支付成功后,系统自动扣除欠费。 更多关于续费的信息(自动续费、导出续费清单、变更资费等)请参考续费管理。 有关订单、退订、优惠券、消费明细等更多信息请参考费用中心帮助文档。 父主题: SFS Turbo计费类问题
已在云上和本地分别创建一台Linux操作系统的服务器。 服务器已完成弹性IP的配置,保证两台服务器间可以相互访问。 已创建SFS Turbo文件系统,并获取到文件系统的挂载地址。 已经获取到本地NAS存储的挂载地址。 操作步骤 登录弹性云服务器管理控制台。 登录已创建的本地服务器c
创建VPC和ECS 创建SFS Turbo文件系统前,确认是否已创建VPC和ECS,并将ECS归属到已创建的VPC下。如果VPC不一致,SFS Turbo可通过VPC对等连接建立与ECS的通信。 创建VPC。 参考“创建虚拟私有云基本信息及默认子网”章节创建VPC。 创建ECS。 参考“快速购买和使用Linux
在“续费管理”页面,找到待续费的资源,单击操作列的“续费”。 根据页面提示完成支付。 支付成功后,系统自动扣除欠费。 更多关于续费的信息(自动续费、导出续费清单、变更资费等)请参考续费管理。 有关订单、退订、优惠券、消费明细等更多信息请参考费用中心帮助文档。 父主题: 计费FAQ
、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。例如:针对ECS服务,管理员能够控制IAM用户仅能对某一类云服务器资源进行指定的管理操作。多数细粒度策略以API接口为粒度进行权限拆分,SFS Turbo支持的API授权项请参见策略及授权项说明。
在绑定OBS桶之后,单击“更多 > 导出”选项。 图6 数据导出 “导出文件前缀”请填写需要导出的目录和文件前缀(路径不包含联动目录),可以具体到某个文件。如果要导出整个联动目录到OBS桶,则不用填写。 单击“确定”,提交导出任务。 数据导出功能会启动异步任务对导出目录内的文件进行扫描并导出,如果扫描时
该接口可以更新后端存储自动同步策略。 创建数据导入导出任务 该接口可以创建数据导入导出任务。 查询数据导入导出任务详情 该接口可以查询数据导入导出任务详情。 查询数据导入导出任务列表 该接口可以查询数据导入导出任务列表。 删除数据导入导出任务 该接口可以删除数据导入导出任务。 更新文件系统 该接口可以更新文件系统冷数据淘汰时间。
obs导入导出操作失败 请重新导入导出obs,若问题未解决,请联系技术支持 500 SFS.TURBO.0105 Failed to obtain OBS import and export task data 获取obs导入导出任务数据失败 请重新获取obs导入导出的数据,如果问题未得到解决,请联系技术支持
- √ √ 创建数据导入导出任务 POST /v1/{project_id}/sfs-turbo/{share_id}/hpc-cache/task sfsturbo:shares:createDataRepositoryTask - √ √ 查询数据导入导出任务详情 GET /v
您可通过查询联动任务详情接口查看导入任务的完成状态。 如果您觉得数据集规模较小或数据集变化不太频繁,不需要通过数据联动来做数据导入导出,您可借助外部工具将数据从OBS迁移到SFS Turbo中,操作指导请参考OBS和SFS之间的数据迁移,推荐使用obsutil工具。 父主题: 训练
间段的操作事件。 单击“导出”按钮,云审计服务会将查询结果以CSV格式的表格文件导出,该CSV文件包含了本次查询结果的所有事件,且最多导出5000条信息。 选择完查询条件后,单击“查询”。 在事件列表页面,您还可以导出操作记录文件和刷新列表。 单击“导出”按钮,云审计服务会将查询
AutoExportPolicy object 后端存储自动导出策略。当文件系统发生数据更新时,将自动导出到OBS桶。 表5 AutoExportPolicy 参数 是否必选 参数类型 描述 events 否 Array of strings 后端存储自动导出到OBS桶的数据更新类型。 NEW:表示新增数据,SFS
查询后端存储列表 获取后端存储详细信息 删除后端存储 更新后端存储属性 更新后端存储自动同步策略 创建数据导入导出任务 查询数据导入导出任务详情 查询数据导入导出任务列表 删除数据导入导出任务 更新文件系统 父主题: API
文件接口方式的数据共享访问:由于 AI 架构需要使用到大规模的计算集群(GPU/NPU服务器),集群中的服务器访问的数据来自一个统一的数据源,即一个共享的存储空间。这种共享访问的数据有诸多好处,它可以保证不同服务器上访问数据的一致性,减少不同服务器上分别保留数据带来的数据冗余等。另外以 AI 生态中非常流行
在文件系统列表中,单击创建的HPC型文件系统名称,进入文件系统详情页面。 在“基本信息”页签,设置冷数据淘汰时间。 图1 设置冷数据淘汰时间 只有已经导出到OBS且满足淘汰时间的数据才会被淘汰。 父主题: 基本配置