检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
de)。 数据导出功能会将您在联动目录里创建的文件,以及对从OBS导入后又做过修改的文件导出存储到OBS桶里。 src_target 是 String 联动目录名称 src_prefix 否 String 导入导出任务的源端路径前缀,导入时不需要包含OBS桶名,导出时不需要包含联动目录名称。
Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用
删除数据导入导出任务 功能介绍 删除数据导入导出任务 接口约束 该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统 调试 您可以在API Explo
查询数据导入导出任务详情 功能介绍 查询数据导入导出任务详情 接口约束 该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统 调试 您可以在API E
查询数据导入导出任务列表 功能介绍 查询数据导入导出任务列表 接口约束 该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统 调试 您可以在API E
查询后端存储列表 获取后端存储详细信息 删除后端存储 更新后端存储属性 更新后端存储自动同步策略 创建数据导入导出任务 查询数据导入导出任务详情 查询数据导入导出任务列表 删除数据导入导出任务 更新文件系统 父主题: API
如何进行续费? 账户欠费后如未及时还款,可能会导致账户被冻结或订单取消。 操作步骤 登录管理控制台。 单击页面右上角的“费用 > 续费管理”进入续费管理页面。 在“续费管理”页面,找到待续费的资源,单击操作列的“续费”。 根据页面提示完成支付。 支付成功后,系统自动扣除欠费。 更
如何进行续费? 账户欠费后如未及时还款,可能会导致账户被冻结或订单取消。 操作步骤 登录管理控制台。 单击页面右上角的“费用 > 续费管理”进入续费管理页面。 在“续费管理”页面,找到待续费的资源,单击操作列的“续费”。 根据页面提示完成支付。 支付成功后,系统自动扣除欠费。 更
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
器,利用OBS提供的各种工具、API或SDK进行数据迁移。例如,如果希望将SFS Turbo中的数据迁移到OBS中,则需要在服务器或容器中使用OBS的上传功能将数据上传至OBS;反之,使用OBS的下载功能即可将数据从OBS迁移到SFS Turbo(需要读写权限)。 OBS提供如表
Turbo HPC型文件系统绑定OBS后端之后,建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。 登录SFS管理控制台。
- √ √ 创建数据导入导出任务 POST /v1/{project_id}/sfs-turbo/{share_id}/hpc-cache/task sfsturbo:shares:createDataRepositoryTask - √ √ 查询数据导入导出任务详情 GET /v
数据导入导出异步化,不占用训练任务时长,无需部署外部迁移工具 训练任务开始前将数据从OBS导入到SFS Turbo,训练过程中写入到SFS Turbo的Checkpoint数据异步导出到OBS,均不占用训练任务时长。 SFS Turbo和OBS存储服务之间数据直接导入导出,无需部署外部数据拷贝机器及工具。
如何调用API 构造请求 认证鉴权 返回结果
访问控制等功能,可以帮助您安全的控制华为云资源的访问。 通过IAM,您可以在华为账号中给员工创建IAM用户,并使用策略来控制他们对华为云资源的访问范围。例如您的员工中有负责软件开发的人员,您希望他们拥有SFS Turbo的使用权限,但是不希望他们拥有删除文件系统等高危操作的权限,
AutoExportPolicy object 后端存储自动导出策略。当文件系统发生数据更新时,将自动导出到OBS桶。 表5 AutoExportPolicy 参数 是否必选 参数类型 描述 events 否 Array of strings 后端存储自动导出到OBS桶的数据更新类型。 NEW:表示新增数据,SFS
间段的操作事件。 单击“导出”按钮,云审计服务会将查询结果以CSV格式的表格文件导出,该CSV文件包含了本次查询结果的所有事件,且最多导出5000条信息。 选择完查询条件后,单击“查询”。 在事件列表页面,您还可以导出操作记录文件和刷新列表。 单击“导出”按钮,云审计服务会将查询
如何从云服务器访问SFS Turbo文件系统? 要访问您的文件系统,如果是Linux云服务器,您需要在Linux云服务器上安装NFS客户端后使用挂载命令挂载文件系统或使用正确的用户和权限,直接输入SMB文件系统的挂载地址,挂载SMB类型的文件系统。挂载完成后,可共享您的文件系统中的文件和目录。
在绑定OBS桶之后,单击“更多 > 导出”选项。 图6 数据导出 “导出文件前缀”请填写需要导出的目录和文件前缀(路径不包含联动目录),可以具体到某个文件。如果要导出整个联动目录到OBS桶,则不用填写。 单击“确定”,提交导出任务。 数据导出功能会启动异步任务对导出目录内的文件进行扫描并导出,如果扫描时
高可用性系统的需求。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前,华为云已在全球多个地域开放云服务,您可以根据需求选择适合自己的区域和可用区。更多信息请参见华为云全球站点。 如何选择区域? 选择区域时,您需要考虑以下几个因素: 地理位置 一般情况下,建议就近选择