检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HPC型文件系统存储空间被写满,会影响业务运行,您可以在CES云监控服务上监控SFS Turbo文件系统的容量使用情况,并创建告警规则,当容量使用率超过一定阈值,可以发送邮件、短信等告警到运维人员。当收到容量监控告警时,您需要及时清理SFS Turbo存储空间、或缩短冷数据淘汰时间加速冷数据淘汰、或对SFS
OBS域名管理 通过CDN加速访问OBS 使用自定义域名托管静态网站
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
算法及数据:准备AI训练需要的算法及数据集,如Swin-Transformer算法,及ImageNet21K数据集。 说明: 为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 成本规划 OBS费用:详见OBS计费说明。
在线预览。 方案一:使用OBS自定义域名访问(不开启CDN加速) 方案二:使用OBS自定义域名+CDN方式访问 方案三:CDN私有桶回源方式访问 如果您已经为桶配置了自定义域名并使用CDN加速,但仍然强制下载,请参考CDN加速场景下访问OBS桶内对象变成强制下载处理。 各区域将自以下两个时间点起生效:
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
开始图片处理(API接口) 使用流程 OBS提供了REST接口。REST从资源的角度来观察整个网络,分布在各处的资源由URI(Uniform Resource Identifier)确定,而客户端的应用通过URL(Unified Resource Locator)来获取资源。UR
等动作。训练作业一般需要运行一段时间,根据您的训练业务逻辑和选择的资源不同,训练时长将持续几十分钟到几小时不等。要查看训练作业实时情况,您可以前往训练作业列表,查看训练作业的基本情况。 父主题: 训练
需要频繁访问图片数据的购物网站等,可以使用图片处理对图片在线进行简单操作后,使用CDN加速,后续请求可以直接从CDN下载,提高访问效率。 架构 用户通过管理控制台、OBS客户端、RESTful API接口或者第三方客户端的方式将图片上传至OBS中进行存储。用户下载使用图片前,可以创建图片样式模板或
(可选)配置CDN加速。 CDN加速需收费,具体请参见CDN价格说明。 在已绑定的自定义域名操作列,单击“开启加速”。 根据您的业务情况选取对应的“服务范围”和“业务类型”。 在“其他信息”栏目,勾选开启静态网站托管。 单击“确定加速”。 (可选)如果开启了CDN加速,需要按照以下步骤配置CDN加速。
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象,您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台,在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中,单击
(可选)配置CDN加速。 CDN加速需收费,具体请参见CDN价格说明。 在已绑定的自定义域名操作列,单击“开启加速”。 根据您的业务情况选取对应的“服务范围”和“业务类型”。 在“其他信息”栏目,勾选开启静态网站托管。 单击“确定加速”。 (可选)如果开启了CDN加速,需要按照以下步骤配置CDN加速。
提交工单。 您还可以使用CDN,通过CDN管理控制台进行HTTPS证书管理,即可使用HTTPS访问。CDN管理控制台HTTPS证书管理方式,详情请参见HTTPS配置。 使用CDN加速功能提高访问速度 如果您希望提高访问静态资源文件的速度和稳定性,可以使用CDN加速。如果您已为桶配
支持设置桶的生命周期管理策略,实现自动删除超期的对象。 挂载外部桶 方便用户管理其他OBS用户共享的数据。 CDN下载 可以为本桶绑定的自定义域名配置启用CDN下载,以实现在OBS Browser上下载对象时,从CDN加速节点获取,提高下载速度。 任务管理 方便用户管理上传、下载、重命名、移动、复制、删除、恢复任务。
数据至OBS,更多内容请参考数据上云方案。 将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后,可以使用数据预热功能,以减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Tur
加速、文件下载加速和点播加速。将数据存放在OBS中然后通过配置CDN加速,这样构造的业务系统可以在降低成本的同时,提高终端用户使用感受。当终端用户发起访问请求时,会首先通过CDN查找对此域名响应速度最快的CDN节点,并查询此节点是否有缓存终端用户请求的内容。 通过Nginx反向代理访问OBS
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后,建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。
配置ModelArts和SFS Turbo间网络直通 创建委托授权ModelArts云服务使用SFS Turbo 使用IAM管理员账号登录IAM控制台。 在IAM控制台的左侧导航窗格中选择“权限管理 > 权限”,单击右上角的“创建自定义策略”,进入自定义策略配置页面。 输入“策略
Code一键式部署类最佳实践汇总 一键式部署方案 说明 相关服务 CDN下载加速 该方案可以自动将存储在OBS中的数据按需缓存至各地CDN节点,有效加速实现静态资源访问和下载加速 CDN、OBS、DNS 全球数据传输加速 该解决方案基于华为云全站加速 WSA服务的动态加速技术构建,有效提升动态页面的加载速度和访问成功率