检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建资源 本最佳实践方案需要使用到VPC、SFS Turbo HPC型文件系统、OBS桶、ModelArts资源池资源。 为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 创建VPC 虚拟私有云可以为您构建隔离的
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
例行维护 SFS Turbo容量监控及告警 如果SFS Turbo HPC型文件系统存储空间被写满,会影响业务运行,您可以在CES云监控服务上监控SFS Turbo文件系统的容量使用情况,并创建告警规则,当容量使用率超过一定阈值,可以发送邮件、短信等告警到运维人员。当收到容量监控告警时
功能概述 目前,OBS Browser提供的功能如表1所示: 表1 功能概述 功能 说明 桶基本操作 指定region(不同服务区域)创建不同存储类别的桶、删除桶、修改桶的存储类别等。 对象基本操作 管理对象,包括上传(含多段上传功能)、下载、重命名、移动、复制、删除、通过对象URL
设置CDN加速后,处理过的图片存储在哪里? 用户通过CDN访问图片处理服务,CDN会对处理后的图片做缓存,此时处理后的图片存储在CDN。 当用户再次对该图片进行相同的处理时,由CDN直接返回处理后的效果,不会再次访问图片处理服务,也不会对此次图片处理请求进行计费。 父主题: 图片处理
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”,进入“训练作业”列表。 单击右上角的“创建训练作业”,进入“创建训练作业”页面,在该页面填写训练作业相关参数信息。 填写训练作业相关参数信息
系统配置 本节介绍如何修改OBS Browser的各项配置。 操作步骤 登录OBS Browser。 在OBS Browser右上角,单击,并选择“系统配置”,系统弹出“系统配置”对话框,如图1所示。 图1 系统配置 单击“基本配置”,根据需要修改基本配置参数。 各参数含义如表1所示
OBS支持使用HTTPS协议访问吗? OBS对HTTPS的支持情况如下: OBS桶域名:支持,在浏览器中将桶或对象的URL的http替换成https即可。 OBS自定义域名:暂不支持,如需使用请提交工单。 开启CDN加速后的OBS加速域名:支持,开启CDN加速后可通过CDN管理控制台进行
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象,您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台,在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中,单击创建资源中创建的
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后,建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从
配置ModelArts和SFS Turbo间网络直通 创建委托授权ModelArts云服务使用SFS Turbo 使用IAM管理员账号登录IAM控制台。 在IAM控制台的左侧导航窗格中选择“权限管理 > 权限”,单击右上角的“创建自定义策略”,进入自定义策略配置页面。 输入“策略名称
桶的域名管理概述 与OBS桶相关的域名有桶的自定义域名、桶的加速域名、桶默认域名。 当您使用桶默认域名访问桶中的文件时,会变为强制下载,无法在线预览。如果您不希望暴露桶的默认域名或希望在浏览器中可以在线预览文件,那么可以为桶绑定自定义域名,通过自定义域名访问桶中的文件;除此之外,如果您还希望通过自定义域名加速访问桶中的文件
上传数据至OBS并预热到SFS Turbo中 上传数据至OBS 下载ImageNet21K数据集,并上传ImageNet21K数据集至OBS,详细操作指导请参考上传数据至OBS。 OBS针对不同场景提供了多种数据上云方案,您可根据数据量、耗时、费用等需求选择适合的方案上传数据至OBS
Web端通过PostObject接口直传OBS 背景信息 常见的Web端上传方法是用户通过浏览器上传文件至应用服务器,再由应用服务器上传至OBS,数据需要在应用服务器中转,传输效率较低,且多任务同时上传时应用服务器压力大。 本文介绍一种在Web端利用PostObject接口直传文件至
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用状态
配置桶触发器 功能介绍 本接口用于在桶上绑定工作流触发器。 请求消息样式 PUT /?obsworkflowtriggerpolicy HTTP/1.1 Host: bucket.obs.cn-north-4.myhuaweicloud.com Authorization: authorization
查询桶触发器(Python SDK) 功能说明 查询桶上绑定工作流触发器。 接口约束 OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。 方法定义 WorkflowClient.getTriggerPolicy() 返回结果 表1 返回结果 类型
分享文件 操作场景 您可以使用文件分享功能,通过文件的临时URL将存放在OBS中的文件分享给所有用户。 约束与限制 通过OBS Browser分享的文件,有效期的范围为1分钟到30天。如果想要设置永久的权限,请通过桶策略或对象策略实现。 仅桶版本号为3.0的桶支持文件分享功能。桶版本号可以在控制台桶概览页的
通过URL访问对象失败 本案例主要介绍对象URL无法访问的场景。如果您的问题是对象URL只能下载,而不能在线预览,请参考如何在浏览器中在线预览OBS中的对象?解决。 如果您是对象的拥有者,不能通过URL访问对象,请检查如下内容: 如果您是自定义对象的URL,请检查对象URL中是否有禁用字符
删除桶触发器(Python SDK) 功能说明 删除在桶上绑定工作流触发器。 接口约束 OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。 方法定义 WorkflowClient.deleteTriggerPolicy() 返回结果 表1 返回结果