检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
重定向所有的请求到另外一个站点。 设定特定的重定向规则来重定向特定的请求。 调用获取桶的网站配置接口,您可以获取指定桶的网站配置信息。 接口约束 您必须是桶拥有者或拥有获取桶的网站配置的权限,才能获取桶的网站配置。建议使用IAM或桶策略进行授权,如果使用IAM则需授予obs:bucket
调用设置桶的网站配置接口,您可以为指定桶设置网站配置信息。 接口约束 尽量避免目标桶名中带有“.”,否则通过HTTPS访问时可能出现客户端校验证书出错。 设置桶的网站配置请求消息体的上限是10KB。 您必须是桶拥有者或拥有设置桶的网站配置的权限,才能设置桶的网站配置。建议使用I
重定向所有的请求到另外一个站点。 设定特定的重定向规则来重定向特定的请求。 调用删除桶的网站配置接口,您可以删除指定桶的网站配置。 接口约束 您必须是桶拥有者或拥有删除桶的网站配置的权限,才能删除桶的网站配置。建议使用IAM或桶策略进行授权,如果使用IAM则需授予obs:bucket:
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”,进入“训练作业”列表。 单击右上角的“创建训练作业”,进入“创建训练作业”页面,在该页面填写训练作业相关参数信息。
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后,建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象,您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台,在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中,单击
配置ModelArts和SFS Turbo间网络直通 创建委托授权ModelArts云服务使用SFS Turbo 使用IAM管理员账号登录IAM控制台。 在IAM控制台的左侧导航窗格中选择“权限管理 > 权限”,单击右上角的“创建自定义策略”,进入自定义策略配置页面。 输入“策略
上传数据至OBS并预热到SFS Turbo中 上传数据至OBS 下载ImageNet21K数据集,并上传ImageNet21K数据集至OBS,详细操作指导请参考上传数据至OBS。 OBS针对不同场景提供了多种数据上云方案,您可根据数据量、耗时、费用等需求选择适合的方案上传数据至OBS,更多内容请参考数据上云方案。
在ECS上可以通过内网访问OBS,即可在内网进行数据读取、备份归档等业务,而不影响外网带宽。 通过CDN加速访问OBS OBS提供低成本的存储,华为云CDN可以提供网站加速、文件下载加速和点播加速。将数据存放在OBS中然后通过配置CDN加速,这样构造的业务系统可以在降低成本的同时,提高终端用户使用感受。当终端用
名或静态网站访问域名)在线预览桶内对象,即使用上述域名从浏览器访问桶内对象(如视频、图片、网页等)时,不会显示对象内容,而是以附件形式下载。 为了解决以上问题,OBS默认域名强制下载后,推荐用户使用自有域名实现在线预览。 方案一:使用OBS自定义域名访问(不开启CDN加速) 方案
义域名。在使用自定义域名访问桶内对象时,CDN可以提供网站加速、文件下载加速和点播加速,提升终端用户使用感受。更多加速域名相关信息请参见通过CDN加速域名访问桶。 桶默认域名 桶创建成功后,系统会根据桶名和桶的区域信息生成一个访问域名,即桶默认域名。 例如:examplebucket
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
重定向简介 在使用静态网站托管功能时,OBS还支持配置重定向请求,即您可以将特定的请求或所有请求实施重定向。 当网站结构调整、网站地址变化或者网站的扩展名发生变化时,用户使用旧的网站地址(比如收藏夹中的地址)访问网站会访问失败,用户只能得到404页面错误信息。此时网站配置了重定向后,让
ition”响应头,取值为“inline”。 使能CDN加速后,根据托管的静态网站类型选择网站加速、文件下载加速或点播加速。CDN加速需收费,具体请参见CDN价格说明。 创建和配置域名托管 为了方便对您的自定义域名和静态网站统一管理,实现业务全面云化,您可以直接在华为云提供的云解析服务(Domain
通过CDN加速访问OBS OBS支持通过CDN加速实现快速获取存储在OBS上的数据,提升终端用户体验,降低OBS流量开销。本章节以OBS文件下载加速为例,介绍了如何通过CDN加速访问OBS。 使用自定义域名托管静态网站 本章节详细描述了在OBS上使用自定义域名托管静态网站的操作流程
方案一:使用OBS自定义域名访问(不开启CDN加速) 方案二:使用OBS自定义域名+CDN方式访问 方案三:CDN私有桶回源方式访问 如果您已经为桶配置了自定义域名并使用CDN加速,但仍然强制下载,请参考CDN加速场景下访问OBS桶内对象变成强制下载处理。 方案一:使用OBS自定义域名访问(不开启CDN加速) 方案优劣势及约束限制说明
问的配置,防止盗链。 使用场景 一些不良网站为了不增加成本而扩充自己站点内容,经常盗用其他网站的链接。一方面损害了原网站的合法利益,另一方面又加重了服务器的负担。因此,产生了防盗链技术。 在HTTP协议中,通过表头字段referer,网站可以检测目标网页访问的来源网页。有了ref
配置。 使用CDN加速功能提高访问速度 如果您希望提高访问静态资源文件的速度和稳定性,可以使用CDN加速。如果您已为桶配置自定义域名,那么可以直接为自定义域名开启CDN加速;如果您还未为桶配置自定义域名,那么可以配置CDN加速域名。具体操作请参见通过CDN加速域名访问桶。 防止OBS桶中的数据被盗用
CDN下载简介 在OBS控制台上配置用户域名绑定和CDN加速,配置成功后,OBS Browser可查询到该配置记录。然后在OBS Browser上启用CDN下载,以实现在OBS Browser上下载对象时,从CDN加速节点获取,提高下载速度。 启用CDN下载时,需先将桶访问权限设