检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在左侧导航栏选择“域名管理”,单击“配置加速域名”。 在“配置加速域名”弹框中配置CDN加速信息,如图5所示。 服务范围:根据需要选择。 业务类型:选择“点播加速”。 加速域名:输入视频网站域名,此处以“click.my-video.com”为例。 图5 配置加速域名 单击“确定加速”。 配置CNAME
面向AI场景使用OBS+SFS Turbo的存储加速方案概述 应用场景 近年来,AI快速发展并应用到很多领域中,AI新产品掀起一波又一波热潮,AI应用场景越来越多,有自动驾驶、大模型、AIGC、科学AI等不同行业。AI人工智能的实现需要大量的基础设施资源,包括高性能算力,高速存储和网络带宽等基础设施,即“大
单击页面上方的“配置加速域名”,如果没有绑定自定义域名也可以在页面下方的配置加速域名卡片中单击“配置加速域名”,弹出“配置加速域名”页面。 如果还没有开通CDN服务,单击“配置加速域名”后会出现弹窗,根据弹窗提示,单击开通CDN服务。 图5 配置加速域名 添加加速域名,按照以下说明
CDN加速场景下访问OBS桶内对象变成强制下载 问题现象 在OBS控制台配置自定义域名开启CDN加速后,或在CDN控制台配置“源站类型”为“OBS桶域名”的加速域名后,访问OBS桶中对象无法在线预览,变成强制下载。 解决方案 该问题有以下两种解决方案。 方案一: 登录CDN控制台
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速,流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
配置ModelArts网络关联SFS Turbo ModelArts网络关联SFS Turbo后,可直接在ModelArts的Notebook开发及训练环境中挂载SFS Turbo共享文件系统,并访问其中的数据。 登录ModelArts管理控制台,创建网络并打通创建资源中创建的创
HPC型文件系统、OBS桶、ModelArts资源池资源。 为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 创建VPC 虚拟私有云可以为您构建隔离的、用户自主配置和管理的虚拟网络环境,操作指导请参考创建虚拟私有云和子网。
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
CDN自动刷新功能支持的区域请参见功能总览中的“CDN加速”支持的区域。 如果配置的CDN域名变成非加速域名(停止加速),5分钟内同一个非加速域名触发消息超过10 次,则取消自动刷新订阅。 CDN加速域名异常的情况下,会取消自动刷新订阅;加速域名恢复正常后,再次配置正常的自动刷新策略,可重新订阅自动刷新。
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
HPC型高性能文件系统加速AI训练任务,训练速度加快可以节省AI算力费用。 文件系统使用空间不足,可以扩容吗? SFS Turbo文件系统支持在线扩容,扩容过程中挂载文件系统可能失败,建议业务低峰期扩容。 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
ne”。 配置加速域名 单击桶名称进入“对象”页面,在左侧导航栏选择“域名管理”。 单击页面上方的“配置加速域名”,弹出“配置加速域名”页面,如图7所示。 图7 配置加速域名 选择“服务范围”,选择“业务类型”,设置“加速域名”,单击“确定加速”。 根据页面提示,支持单击“一键解
算法及数据:准备AI训练需要的算法及数据集,如Swin-Transformer算法,及ImageNet21K数据集。 说明: 为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 成本规划 OBS费用:详见OBS计费说明。
用率超过一定阈值,可以发送邮件、短信等告警到运维人员。当收到容量监控告警时,您需要及时清理SFS Turbo存储空间、或缩短冷数据淘汰时间加速冷数据淘汰、或对SFS Turbo进行空间扩容。详情可参见SFS Turbo监控指标说明和创建告警规则。 SFS Turbo性能监控 您可以在CES云监控服务上监控和SFS
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
设置CDN加速后,处理过的图片存储在哪里? 用户通过CDN访问图片处理服务,CDN会对处理后的图片做缓存,此时处理后的图片存储在CDN。 当用户再次对该图片进行相同的处理时,由CDN直接返回处理后的效果,不会再次访问图片处理服务,也不会对此次图片处理请求进行计费。 父主题: 图片处理
在左侧导航栏选择“域名管理”,单击“配置加速域名”。 在“配置加速域名”弹框中配置CDN加速信息,如图5所示。 服务范围:根据需要选择。 业务类型:选择“点播加速”。 加速域名:输入视频网站域名,此处以“click.my-video.com”为例。 图5 配置加速域名 单击“确定加速”。 配置CNAME
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”,进入“训练作业”列表。 单击右上角的“创建训练作业”,进入“创建训练作业”页面,在该页面填写训练作业相关参数信息。
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象,您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台,在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中,单击