检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
购买了回源流量包是否还需要购买公网流出流量包? 回源流量包用于抵扣使用OBS作为华为云CDN加速域名源站时,CDN向源站OBS获取文件产生的回源流量费用。 公网流出流量包用于抵扣通过互联网从OBS下载数据到本地所产生的公网流出流量费用。 不同场景产生的流量类型如下: 用户在控制台执行对象下载和其他查询类操作
通过CDN加速域名访问桶 使用场景 现在越来越多的行业使用OBS存储图片、视频、软件包等静态资源文件,并将OBS作为网站、论坛、APP、游戏等业务的存储源。在需要获取这些静态资源时,用户会通过URL直接从OBS请求数据,但一般情况下文件只存储在一个区域,距离文件存储区域较远的用户访问
追加上传(Java SDK) 功能说明 您可以根据需要上传文件或者文件夹至已有的OBS桶。待上传的文件可以是任何类型:文本文件、图片、视频等。 追加对象可以实现在桶中指定的对象尾直接追加上传数据,不存在相同名称的对象则创建新对象。每次追加上传都会更新该对象的最后修改时间。 每次追加上传成功后
对于加密类型的对象如何使用URL进行下载?(Java SDK) 如果是SSE-KMS方式进行加密的对象,使用URL下载时服务端会自动解密。 如果对象是SSE-C方式进行加密的对象,由于解密需要设置请求头域,所以不能通过浏览器直接访问该对象。如果您是在编写代码来访问加密类型的对象,只需要为请求设置相应的头域信息即可
为桶的CDN加速域名配置自动刷新策略 使用场景 CDN加速功能将存储在OBS中的数据缓存到终端用户附近的CDN节点上,让身处各地的终端用户都可以快速访问存储在OBS中的数据。当用户需要更新OBS中存储的数据时,CDN中缓存的过时数据也需要进行更新,可以使用CDN自动刷新功能来自动通知
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速,流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置
如何获取OBS的终端节点? OBS可以通过域名进行访问,在使用API、第三方工具等方式使用OBS时,可通过域名方便定位OBS中的资源。 在使用OBS之前,请确保客户端环境已经正确配置DNS服务器地址,用于OBS域名解析。 不同的数据中心分配对应的域名,域名详情请参见地区和终端节点。
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
因此华北-北京四的服务器访问华北-北京四的OBS桶,属于内网访问,华东-上海一的服务器访问华北-北京四的OBS桶,属于外网访问。表1是该用户7月份的费用构成。
常见问题 可以只使用SFS Turbo HPC型文件系统支撑AI训练吗? 当数据规模较小,不存在冷热数据分级降本诉求,又希望能方便快捷的构建AI训练系统时,可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗? OBS为容量型存储
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题
OBS Browser+和obsutil等工具相关 使用obsutil下载文件夹前期速度正常,下载到90%后速度变慢 使用obsutil下载文件到99%后失败 obsutil上传下载速度慢 obsutil cp命令如何开启增量上传、下载和复制? 并行文件系统是否支持挂载到Windows
创建资源 本最佳实践方案需要使用到VPC、SFS Turbo HPC型文件系统、OBS桶、ModelArts资源池资源。 为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 创建VPC 虚拟私有云可以为您构建隔离的
资源和成本规划 本节介绍最佳实践中资源规划情况,包含以下内容: 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容量和性能需求选择
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
例行维护 SFS Turbo容量监控及告警 如果SFS Turbo HPC型文件系统存储空间被写满,会影响业务运行,您可以在CES云监控服务上监控SFS Turbo文件系统的容量使用情况,并创建告警规则,当容量使用率超过一定阈值,可以发送邮件、短信等告警到运维人员。当收到容量监控告警时
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”,进入“训练作业”列表。 单击右上角的“创建训练作业”,进入“创建训练作业”页面,在该页面填写训练作业相关参数信息。 填写训练作业相关参数信息
OBS支持使用HTTPS协议访问吗? OBS对HTTPS的支持情况如下: OBS桶域名:支持,在浏览器中将桶或对象的URL的http替换成https即可。 OBS自定义域名:暂不支持,如需使用请提交工单。 开启CDN加速后的OBS加速域名:支持,开启CDN加速后可通过CDN管理控制台进行
设置CDN加速后,处理过的图片存储在哪里? 用户通过CDN访问图片处理服务,CDN会对处理后的图片做缓存,此时处理后的图片存储在CDN。 当用户再次对该图片进行相同的处理时,由CDN直接返回处理后的效果,不会再次访问图片处理服务,也不会对此次图片处理请求进行计费。 父主题: 图片处理