检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
下,CDN加速访问OBS的示意图如图3所示。 图3 CDN加速访问OBS示意图(CDN有缓存) 方案优势 低成本:OBS提供CDN回源流量包折扣方式,使CDN从OBS获取数据时流量费用更低。当数据缓存至CDN节点时,后续请求都将通过CDN回源流量计费,从而减少OBS费用。 高效率
CDN加速场景下访问OBS桶内对象变成强制下载 问题现象 在OBS控制台配置自定义域名开启CDN加速后,或在CDN控制台配置“源站类型”为“OBS桶域名”的加速域名后,访问OBS桶中对象无法在线预览,变成强制下载。 解决方案 该问题有以下两种解决方案。 方案一: 登录CDN控制台
知CDN去更新数据。具体操作请参见为桶的CDN加速域名配置自动刷新策略。 相关操作 您还可以在CDN控制台配置加速域名,详情请参见CDN加速OBS桶文件(CDN控制台)。 在CDN控制台配置加速域名后,还需要在OBS控制台的“域名管理”页面,为OBS桶一键绑定自定义域名,才能通过CDN加速域名访问桶。
CDN自动刷新功能支持的区域请参见功能总览中的“CDN加速”支持的区域。 如果配置的CDN域名变成非加速域名(停止加速),5分钟内同一个非加速域名触发消息超过10 次,则取消自动刷新订阅。 CDN加速域名异常的情况下,会取消自动刷新订阅;加速域名恢复正常后,再次配置正常的自动刷新策略,可重新订阅自动刷新。
设置CDN加速后,处理过的图片存储在哪里? 用户通过CDN访问图片处理服务,CDN会对处理后的图片做缓存,此时处理后的图片存储在CDN。 当用户再次对该图片进行相同的处理时,由CDN直接返回处理后的效果,不会再次访问图片处理服务,也不会对此次图片处理请求进行计费。 父主题: 图片处理
配置CDN回源,并购买回源流量包,计费未走回源流量包 请检查购买的回源流量包和CDN回源源站桶是否在同一区域。 登录控制台。 在顶部导航栏单击“资源 > 我的资源”,查看购买的资源包所在区域。 登录CDN控制台,在“域名管理”中查看CDN加速域名所配置的源站OBS桶域名,根据桶域名可以判断出回源源站桶所在的区域。
面向AI场景使用OBS+SFS Turbo的存储加速方案概述 应用场景 近年来,AI快速发展并应用到很多领域中,AI新产品掀起一波又一波热潮,AI应用场景越来越多,有自动驾驶、大模型、AIGC、科学AI等不同行业。AI人工智能的实现需要大量的基础设施资源,包括高性能算力,高速存储
换成https即可。 OBS自定义域名:暂不支持,如需使用请提交工单。 开启CDN加速后的OBS加速域名:支持,开启CDN加速后可通过CDN管理控制台进行HTTPS证书管理,即可使用HTTPS访问。CDN管理控制台HTTPS证书管理方式,详见HTTPS配置。 父主题: 产品咨询
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题
使用工具、SDK不经过CDN直接下载对象都会产生公网流出流量。 直接访问OBS桶的访问域名,会产生公网流出流量。 访问CDN加速域名,CDN上源站类型配置“源站域名”,如果未命中CDN缓存,会产生OBS公网流出流量和CDN流量。 访问CDN加速域名,CDN上源站类型配置“OBS桶
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
创建资源 本最佳实践方案需要使用到VPC、SFS Turbo HPC型文件系统、OBS桶、ModelArts资源池资源。 为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 创建VPC 虚拟私
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速,流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
Network,内容分发网络)加速的自定义域名。在使用自定义域名访问桶内对象时,CDN可以提供网站加速、文件下载加速和点播加速,提升终端用户使用感受。更多加速域名相关信息请参见通过CDN加速域名访问桶。 桶默认域名 桶创建成功后,系统会根据桶名和桶的区域信息生成一个访问域名,即桶默认域名。 例如:examplebucket
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
算法及数据:准备AI训练需要的算法及数据集,如Swin-Transformer算法,及ImageNet21K数据集。 说明: 为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 成本规划 OBS费用:详见OBS计费说明。
当在自定义域名上配置了CDN加速服务,即自定义域名为CDN服务的加速域名时,需要额外对CDN服务进行配置,以保证可以正常使用自定义域名访问OBS服务。 以华为云CDN服务为例,相关配置如下所示: 登录华为云CDN服务,从CDN服务左侧列表中选择域名管理项,在该项中可以查看到所有配置的CDN服务域名信息。
HPC型高性能文件系统加速AI训练任务,训练速度加快可以节省AI算力费用。 文件系统使用空间不足,可以扩容吗? SFS Turbo文件系统支持在线扩容,扩容过程中挂载文件系统可能失败,建议业务低峰期扩容。 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
用率超过一定阈值,可以发送邮件、短信等告警到运维人员。当收到容量监控告警时,您需要及时清理SFS Turbo存储空间、或缩短冷数据淘汰时间加速冷数据淘汰、或对SFS Turbo进行空间扩容。详情可参见SFS Turbo监控指标说明和创建告警规则。 SFS Turbo性能监控 您可以在CES云监控服务上监控和SFS