检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在左侧导航栏选择“域名管理”,单击“配置加速域名”。 在“配置加速域名”弹框中配置CDN加速信息,如图5所示。 服务范围:根据需要选择。 业务类型:选择“点播加速”。 加速域名:输入视频网站域名,此处以“click.my-video.com”为例。 图5 配置加速域名 单击“确定加速”。 配置CNAME
单击页面上方的“配置加速域名”,如果没有绑定自定义域名也可以在页面下方的配置加速域名卡片中单击“配置加速域名”,弹出“配置加速域名”页面。 如果还没有开通CDN服务,单击“配置加速域名”后会出现弹窗,根据弹窗提示,单击开通CDN服务。 图5 配置加速域名 添加加速域名,按照以下说明
文件接口方式的数据共享访问:由于 AI 架构需要使用到大规模的计算集群(GPU/NPU服务器),集群中的服务器访问的数据来自一个统一的数据源,即一个共享的存储空间。这种共享访问的数据有诸多好处,它可以保证不同服务器上访问数据的一致性,减少不同服务器上分别保留数据带来的数据冗余等。另外以 AI 生态中非常流行
CDN加速场景下访问OBS桶内对象变成强制下载 问题现象 在OBS控制台配置自定义域名开启CDN加速后,或在CDN控制台配置“源站类型”为“OBS桶域名”的加速域名后,访问OBS桶中对象无法在线预览,变成强制下载。 解决方案 该问题有以下两种解决方案。 方案一: 登录CDN控制台
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速,流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
CDN自动刷新功能支持的区域请参见功能总览中的“CDN加速”支持的区域。 如果配置的CDN域名变成非加速域名(停止加速),5分钟内同一个非加速域名触发消息超过10 次,则取消自动刷新订阅。 CDN加速域名异常的情况下,会取消自动刷新订阅;加速域名恢复正常后,再次配置正常的自动刷新策略,可重新订阅自动刷新。
ne”。 配置加速域名 单击桶名称进入“对象”页面,在左侧导航栏选择“域名管理”。 单击页面上方的“配置加速域名”,弹出“配置加速域名”页面,如图7所示。 图7 配置加速域名 选择“服务范围”,选择“业务类型”,设置“加速域名”,单击“确定加速”。 根据页面提示,支持单击“一键解
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
HPC型高性能文件系统加速AI训练任务,训练速度加快可以节省AI算力费用。 文件系统使用空间不足,可以扩容吗? SFS Turbo文件系统支持在线扩容,扩容过程中挂载文件系统可能失败,建议业务低峰期扩容。 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
创建资源 本最佳实践方案需要使用到VPC、SFS Turbo HPC型文件系统、OBS桶、ModelArts资源池资源。 为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 创建VPC 虚拟私
面向AI场景使用OBS+SFS Turbo的存储加速实践 方案概述 资源和成本规划 操作流程 实施步骤 常见问题
用率超过一定阈值,可以发送邮件、短信等告警到运维人员。当收到容量监控告警时,您需要及时清理SFS Turbo存储空间、或缩短冷数据淘汰时间加速冷数据淘汰、或对SFS Turbo进行空间扩容。详情可参见SFS Turbo监控指标说明和创建告警规则。 SFS Turbo性能监控 您可以在CES云监控服务上监控和SFS
算法及数据:准备AI训练需要的算法及数据集,如Swin-Transformer算法,及ImageNet21K数据集。 说明: 为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 成本规划 OBS费用:详见OBS计费说明。
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
在左侧导航栏选择“域名管理”,单击“配置加速域名”。 在“配置加速域名”弹框中配置CDN加速信息,如图5所示。 服务范围:根据需要选择。 业务类型:选择“点播加速”。 加速域名:输入视频网站域名,此处以“click.my-video.com”为例。 图5 配置加速域名 单击“确定加速”。 配置CNAME
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
通过不同策略控制OBS权限 数据上云 搬迁本地数据至OBS 迁移第三方云厂商数据至OBS 备份本地数据至OBS 内网访问 在ECS上通过内网访问OBS CDN加速 通过CDN加速访问OBS 静态网站托管 使用自定义域名托管静态网站 性能和安全 使用预签名URL方式访问OBS 性能优化最佳实践
设置CDN加速后,处理过的图片存储在哪里? 用户通过CDN访问图片处理服务,CDN会对处理后的图片做缓存,此时处理后的图片存储在CDN。 当用户再次对该图片进行相同的处理时,由CDN直接返回处理后的效果,不会再次访问图片处理服务,也不会对此次图片处理请求进行计费。 父主题: 图片处理
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”,进入“训练作业”列表。 单击右上角的“创建训练作业”,进入“创建训练作业”页面,在该页面填写训练作业相关参数信息。
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象,您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台,在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中,单击