检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS桶域名。 验证对象是否可以在线预览。 配置成功后,将“http://自定义域名/对象访问路径”拼接成的链接分享给用户,用户可以在浏览器中通过此链接直接预览文件。 如仍不能在线预览,请检查对象元数据ContentType值是否是浏览器支持的在线展示类型。 例如对象是一个mp4
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”,进入“训练作业”列表。 单击右上角的“创建训练作业”,进入“创建训练作业”页面,在该页面填写训练作业相关参数信息。
进入“对象”页面。 在左侧导航栏单击“数据处理>在线解压”,进入“在线解压”页面。 单击“复制”。 选择复制源,即在线解压策略所在的源桶。 从源桶复在线解压策略的操作为增量复制,不会删除当前桶已存在的在线解压策略,与已存在的在线解压策略冲突的策略不会复制。 源桶和目标桶的桶版本号都必须是3
我可以在线编辑OBS中的对象吗? OBS是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。 一般情况下,OBS不支持在线编辑对象内容。可以把对象下载到本地,修改后再重新上传至OBS。 针对以下特殊场景,OBS支持在线对对象进行处理: 修改对象元数据
OBS桶域名。 验证对象是否可以在线预览。 配置成功后,将“http://自定义域名/对象访问路径”拼接成的链接分享给用户,用户可以在浏览器中通过此链接直接预览文件。 如仍不能在线预览,请检查对象元数据ContentType值是否是浏览器支持的在线展示类型。 例如对象是一个mp4
删除在线解压策略 功能介绍 本接口用于删除指定桶中配置的ZIP文件解压策略。删除成功,status code返回值为204。 请求消息样式 DELETE /?obscompresspolicy HTTP/1.1 Host: bucketname.obs.cn-north-4.myhuaweicloud
获取在线解压策略 功能介绍 本接口用于查询指定桶的ZIP文件解压策略。如果策略存在,则返回成功,status code返回值为200。 请求消息样式 GET /?obscompresspolicy HTTP/1.1 Host: bucketname.obs.cn-north-4.myhuaweicloud
设置在线解压策略 功能介绍 本接口用于为指定桶配置ZIP文件解压策略。接口是幂等的,如果桶上已存在相同策略内容,则返回成功,status code返回值为200;否则status code返回值为201。 请求消息样式 PUT /?obscompresspolicy HTTP/1
可以只使用SFS Turbo HPC型文件系统支撑AI训练吗? 当数据规模较小,不存在冷热数据分级降本诉求,又希望能方便快捷的构建AI训练系统时,可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗? OBS为容量型存储,在时延、带宽
将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后,可以使用数据预热功能,以减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中,数据预热功能的具体操作请参考创建SFS
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限
桶和对象相关 创建桶失败 上传对象失败 下载对象失败 删除桶失败 删除对象失败 通过URL访问对象失败 如何在浏览器中在线预览OBS中的对象? 我可以修改对象名称吗? 我可以在线编辑OBS中的对象吗? 如何获取对象访问路径? 我可以修改桶所在的区域吗? 如何修改桶所属的企业项目? 我可以在桶间进行文件复制吗?
基于安全合规要求,华为云对象存储服务OBS禁止通过OBS的默认域名在线预览桶内对象,即使用分享链接从浏览器访问桶内对象(如视频、图片、网页等)时,不会显示对象内容,而是以附件形式下载。解决方案请参考:如何在浏览器中在线预览OBS中的对象? 父主题: 对象操作
API、多版本SDK和数据迁移工具,让业务快速上云。无需事先规划存储容量,存储资源和性能可线性无限扩展,不用担心存储资源扩容、缩容问题。OBS支持在线升级、在线扩容,升级扩容由华为云实施,客户无感知。同时提供全新的POSIX语言系统,应用接入更简便。 数据分层,按需使用:提供按量计费和包年包月
Turbo高性能,加速训练过程 训练数据集高速读取,避免GPU/NPU因存储I/O等待产生空闲,提升GPU/NPU利用率。 大模型TB级Checkpoint文件秒级保存和加载,减少训练任务中断时间。 3 数据导入导出异步化,不占用训练任务时长,无需部署外部迁移工具 训练任务开始前将数据从OBS导入到SFS
与其他服务的关系 对象存储服务OBS与周边服务的依赖关系如图1所示。 图1 对象存储服务OBS与其他服务的关系示意图 表1 与其他服务的关系 交互功能 相关服务 位置 通过相关服务将数据迁移到OBS 对象存储迁移服务(Object Storage Migration Service,OMS)
通过URL访问对象失败 本案例主要介绍对象URL无法访问的场景。如果您的问题是对象URL只能下载,而不能在线预览,请参考如何在浏览器中在线预览OBS中的对象?解决。 如果您是对象的拥有者,不能通过URL访问对象,请检查如下内容: 如果您是自定义对象的URL,请检查对象URL中是否
与OBS桶相关的域名有桶的自定义域名、桶的加速域名、桶默认域名。 当您使用桶默认域名访问桶中的文件时,会变为强制下载,无法在线预览。如果您不希望暴露桶的默认域名或希望在浏览器中可以在线预览文件,那么可以为桶绑定自定义域名,通过自定义域名访问桶中的文件;除此之外,如果您还希望通过自定义域名加速访
下载文件。如果您不希望暴露桶的默认域名或希望在浏览器中可以在线预览文件,那么您可以为桶绑定自定义域名,通过自定义域名访问桶中的文件。 使用场景 文件预览:如果您不想强制下载文件,可以通过将自定义域名绑定至OBS桶实现在线预览文件。 防止域名被拦截:一些应用平台可能会拦截桶默认域名