检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
contentType 上传对象时指定的MIME类型,定义对象的类型及网页编码,决定浏览器将以什么形式、什么编码读取对象。 二进制流 customContentType 上传对象时指定的MIME类型,定义对象的类型及网页编码。区别于contentType参数,customContent
方案概述 应用场景 近年来,AI快速发展并应用到很多领域中,AI新产品掀起一波又一波热潮,AI应用场景越来越多,有自动驾驶、大模型、AIGC、科学AI等不同行业。AI人工智能的实现需要大量的基础设施资源,包括高性能算力,高速存储和网络带宽等基础设施,即“大算力、大存力、大运力”的
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速,流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
为桶的CDN加速域名配置自动刷新策略 使用场景 CDN加速功能将存储在OBS中的数据缓存到终端用户附近的CDN节点上,让身处各地的终端用户都可以快速访问存储在OBS中的数据。当用户需要更新OBS中存储的数据时,CDN中缓存的过时数据也需要进行更新,可以使用CDN自动刷新功能来自动
如何获取OBS的终端节点? OBS可以通过域名进行访问,在使用API、第三方工具等方式使用OBS时,可通过域名方便定位OBS中的资源。 在使用OBS之前,请确保客户端环境已经正确配置DNS服务器地址,用于OBS域名解析。 不同的数据中心分配对应的域名,域名详情请参见地区和终端节点。
通过控制台快速使用OBS 控制台是网页形式的操作平台,提供更直观的界面操作,简单易上手。 本章节以上传对象至“test-example-bucket”桶为例,帮助您通过控制台快速使用OBS的基础功能,包括创建桶、上传对象、下载对象、分享对象。 准备工作 使用OBS之前,您需要拥有
显示。 默认取值: 无 cacheControl String 可选 参数解释: 响应中的Cache-Control头。指定对象被下载时的网页的缓存行为。 默认取值: 无 contentLanguage String 可选 参数解释: 说明访问者希望采用的语言或语言组合,以根据自
OBS Browser+和obsutil等工具相关 使用obsutil下载文件夹前期速度正常,下载到90%后速度变慢 使用obsutil下载文件到99%后失败 obsutil上传下载速度慢 obsutil cp命令如何开启增量上传、下载和复制? 并行文件系统是否支持挂载到Windows服务器?
通过控制台快速使用OBS 控制台是网页形式的操作平台,提供更直观的界面操作,简单易上手。 本章节以上传对象至“test-example-bucket”桶为例,帮助您通过控制台快速使用OBS的基础功能,包括创建桶、上传对象、下载对象、分享对象。 准备工作 使用OBS之前,您需要拥有
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
常见问题 可以只使用SFS Turbo HPC型文件系统支撑AI训练吗? 当数据规模较小,不存在冷热数据分级降本诉求,又希望能方便快捷的构建AI训练系统时,可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗? OBS
数中返回错误码提醒用户通过传入断点续传记录对象再次调用接口进行重新上传。 断点续传上传接口传入的文件总大小至少要100K以上。 浏览器刷新网页后,断点续传会失效,需重新上传文件。 您可以通过ObsClient.uploadFile进行断点续传上传。该接口可设置的主要参数如下: 参数
设置重定向。 默认取值: 无 cacheControl str 可选 参数解释: 响应中的Cache-Control头。指定对象被下载时的网页的缓存行为。 默认取值: 无 contentDisposition str 可选 参数解释: 响应中的Content-Disposition头。指定对象被下载时的名称。
通过控制台快速使用OBS 控制台是网页形式的操作平台,提供更直观的界面操作,简单易上手。 本章节以上传对象至“test-example-bucket”桶为例,帮助您通过控制台快速使用OBS的基础功能,包括创建桶、上传对象、下载对象、分享对象。 准备工作 使用OBS之前,您需要拥有
通过控制台快速使用OBS 控制台是网页形式的操作平台,提供更直观的界面操作,简单易上手。 本章节以上传对象至“test-example-bucket”桶为例,帮助您通过控制台快速使用OBS的基础功能,包括创建桶、上传对象、下载对象、分享对象。 准备工作 使用OBS之前,您需要拥有
通过控制台快速使用OBS 控制台是网页形式的操作平台,提供更直观的界面操作,简单易上手。 本章节以上传对象至“test-example-bucket”桶为例,帮助您通过控制台快速使用OBS的基础功能,包括创建桶、上传对象、下载对象、分享对象。 准备工作 使用OBS之前,您需要拥有
通过控制台快速使用OBS 控制台是网页形式的操作平台,提供更直观的界面操作,简单易上手。 本章节以上传对象至“test-example-bucket”桶为例,帮助您通过控制台快速使用OBS的基础功能,包括创建桶、上传对象、下载对象、分享对象。 准备工作 使用OBS之前,您需要拥有
面向AI场景使用OBS+SFS Turbo的存储加速实践 方案概述 资源和成本规划 操作流程 实施步骤 常见问题
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
创建资源 本最佳实践方案需要使用到VPC、SFS Turbo HPC型文件系统、OBS桶、ModelArts资源池资源。 为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 创建VPC 虚拟私