检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过URL访问对象失败 本案例主要介绍对象URL无法访问的场景。如果您的问题是对象URL只能下载,而不能在线预览,请参考如何在浏览器中在线预览OBS中的对象?解决。 如果您是对象的拥有者,不能通过URL访问对象,请检查如下内容: 如果您是自定义对象的URL,请检查对象URL中是否
与OBS桶相关的域名有桶的自定义域名、桶的加速域名、桶默认域名。 当您使用桶默认域名访问桶中的文件时,会变为强制下载,无法在线预览。如果您不希望暴露桶的默认域名或希望在浏览器中可以在线预览文件,那么可以为桶绑定自定义域名,通过自定义域名访问桶中的文件;除此之外,如果您还希望通过自定义域名加速访
权限不足(账号对请求的资源无权限); 账号欠费; 桶的空间不足(出现在对桶设置了配额的场景); 无效的AK; 客户端时间和服务端时间相差过大(客户端所在机器的时间与NTP服务不同步); 404 Not Found 请求的资源不存在 桶不存在; 对象不存在; 桶的策略配置不存在(桶CORS配置不存在、桶Policy配置不存在等);
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
Turbo和OBS联动。 配置SFS Turbo数据自动导出到OBS桶。 配置SFS Turbo数据淘汰策略。 4 训练 上传数据至OBS并预热到SFS Turbo中。 创建训练任务。 5 例行运维 使用OBS+SFS Turbo的存储加速方案的过程中,您可以进行采取以下运维措施,保证系统正常高效运行:
适用数据量 要求 耗时 费用 OBS工具方式(在线) 不高于1TB的数据量 要求用户公网带宽空闲,需要人工操作客户端或脚本启动数据上传 家用100Mbps带宽,1TB耗时1天左右 数据传输不收取费用,仅OBS收取基本的存储费用 CDM方式(在线) 单次小于8TB的数据量 需要用户单独购买CDM服务
单击“复制链接”,并将该链接分享给其他用户,用户可以在浏览器中通过此链接直接访问该对象。 通过浏览器访问对象,会强制下载对象,如果您希望被分享人可以在线预览对象,请参见如何在浏览器中在线预览OBS中的对象? 单击“复制路径”,并将该路径分享给拥有对象所在桶权限的用户,用户可以在对应桶的对象列表页中部的对象搜
Turbo文件系统的性能使用情况。当AI算力集群规模变大,大模型参数量变大,导致Checkpoint读加载时间变长时,或训练数据集加载由于存储读写带宽不足导致拖慢AI训练时,您可以对SFS Turbo进行性能扩容,以缩短数据加载时长。详情可参见SFS Turbo监控指标说明和创建告警规则。
操作指导请参考创建OBS桶。 创建ModelArts资源池 以常见的专属资源池为例,专属资源池提供独享的计算资源,可用于Notebook、训练作业、部署模型。专属资源池不与其他用户共享,更加高效。在使用专属资源池之前,您需要先创建一个专属资源池,操作指导请参考创建专属资源池。 父主题:
问题现象 在OBS控制台配置自定义域名开启CDN加速后,或在CDN控制台配置“源站类型”为“OBS桶域名”的加速域名后,访问OBS桶中对象无法在线预览,变成强制下载。 解决方案 该问题有以下两种解决方案。 方案一: 登录CDN控制台的“域名管理”界面,在相应域名的“高级配置”中添加“
桶之后,快速将已有桶的配置信息复制到新桶中。 支持复制的桶配置信息包括: 桶策略 CORS规则 生命周期规则 数据回源规则 图片处理样式 在线解压规则 Data+事件触发器 约束与限制 从源桶复制配置信息的操作为增量复制,不会删除当前桶已存在的配置信息,与已存在的配置信息冲突的规则不会复制。
CDN,弹性云服务器 ECS 图2 静态网站托管 在线视频点播 场景描述 OBS提供高并发、高可靠、低时延、低成本的海量存储系统,结合媒体处理MPC、内容审核Moderation和内容分发网络CDN可快速搭建极速、安全、高可用的视频在线点播平台。 OBS作为视频点播的源站,一般的互联
权限不足(账号对请求的资源无权限); 账号欠费; 桶的空间不足(出现在对桶设置了配额的场景); 无效的AK; 客户端时间和服务端时间相差过大(客户端所在机器的时间与NTP服务不同步); 404 Not Found 请求的资源不存在 桶不存在; 对象不存在; 桶的策略配置不存在(桶CORS配置不存在、桶Policy配置不存在等);
权限不足(账号对请求的资源无权限)。 账号欠费。 桶的空间不足(出现在对桶设置了配额的场景)。 无效的AK。 客户端时间和服务端时间相差过大(客户端所在机器的时间与NTP服务不同步)。 404 Not Found 请求的资源不存在 桶不存在。 对象不存在。 桶的策略配置不存在(桶CORS配置不存在、桶Policy配置不存在等)。
创建桶失败原因 如何找回已删除数据? 通过URL访问对象失败? 上传下载速度慢 上传对象失败原因 通过生命周期批量删除大规模对象 如何设置视频对象在线播放? 如何进行对象加密上传? 更多 API&SDK等开发者相关 OBS是否有删除碎片的API? 使用OBS SDK上传超过5GB的大文件失败
权限不足(账号对请求的资源无权限); 账号欠费; 桶的空间不足(出现在对桶设置了配额的场景); 无效的AK; 客户端时间和服务端时间相差过大(客户端所在机器的时间与NTP服务不同步)。 404 Not Found 请求的资源不存在 桶不存在; 对象不存在; 桶的策略配置不存在(桶CORS配置不存在、桶Policy配置不存在等);
配置ModelArts网络关联SFS Turbo ModelArts网络关联SFS Turbo后,可直接在ModelArts的Notebook开发及训练环境中挂载SFS Turbo共享文件系统,并访问其中的数据。 登录ModelArts管理控制台,创建网络并打通创建资源中创建的创建虚拟私有
删除桶归档对象直读策略 设置镜像回源规则 获取镜像回源规则 删除镜像回源规则 设置DIS通知策略 获取DIS通知策略 删除DIS通知策略 设置在线解压策略 获取在线解压策略 删除在线解压策略 配置桶级默认WORM策略 获取桶级默认WORM策略 父主题: API
验,建议使用1280*1024或更高分辨率的显示设备。 您可以通过单击页面右上角的图标,单击“关于”查看客户端的当前版本信息,也可以单击“在线帮助”查看帮助文档。 父主题: OBS Browser介绍
单击“复制链接”,并将该链接分享给其他用户,用户可以在浏览器中通过此链接直接访问该对象。 通过浏览器访问对象,会强制下载对象,如果您希望被分享人可以在线预览对象,请参见如何在浏览器中在线预览OBS中的对象? 单击“复制路径”,并将该路径分享给拥有对象所在桶权限的用户,用户可以在对应桶的对象列表页中部的对象搜