检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对象存储服务-成长地图 | 华为云 对象存储服务 对象存储服务(Object Storage Service,OBS)提供海量、安全、高可靠、低成本的数据存储能力,可供用户存储任意类型和大小的数据。适合企业备份/归档、视频点播、视频监控等多种数据存储场景。 图说OBS 权限控制图解
使用IE11浏览器下载对象时提示对象无法下载 问题 用IE11浏览器登录OBS管理控制台上传一个对象,在未关闭浏览器的情况下,下载该对象到本地原路径下,选择替换原文件保存,浏览器会弹出无法下载的提示。 例如,从本地C盘的根目录下上传一个名为“abc”的对象到OBS管理控制台的某桶
资源无法释放 如果发现使用OBS Go SDK后存在OBS服务端连接未断开的情况,请检查是否正确调用了ObsClient.Close释放资源。 父主题: 异常处理(Go SDK)
资源无法释放 如果发现使用OBS Android SDK后存在内存泄露或OBS服务端连接未断开等情况,请检查是否正确调用了ObsClient.close以及ObsObject.getObjectContent.close释放资源。 父主题: 异常处理
报错NetworkOnMainThreadException NetworkOnMainThreadException 一般是因为网络请求在MainThread类中产生的异常。建议和网络请求有关比较耗时的操作,放到一个子线程里,然后用Handler消息机制与主线程通信。 父主题:
使用资源拥有者账号登录华为云,在右上角单击“控制台”。 在服务列表中选择“存储 > 对象存储服务 OBS”。 在“对象存储”的桶列表中搜索访问失败的桶,单击桶名称,进入“对象”页面。 在对象列表搜索访问失败的对象,单击对象名称,进入对象详情页面,在“对象ACL”页签下查看已配置的对象ACL。
HPC型文件系统支撑AI训练吗? 当数据规模较小,不存在冷热数据分级降本诉求,又希望能方便快捷的构建AI训练系统时,可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗? OBS为容量型存储,在时延、带宽等存储性能上无法满足高性能AI训练,建议使用SFS
应用场景 近年来,AI快速发展并应用到很多领域中,AI新产品掀起一波又一波热潮,AI应用场景越来越多,有自动驾驶、大模型、AIGC、科学AI等不同行业。AI人工智能的实现需要大量的基础设施资源,包括高性能算力,高速存储和网络带宽等基础设施,即“大算力、大存力、大运力”的AI基础大设施底座,让算力发展不要偏斜。
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速,流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
面向AI场景使用OBS+SFS Turbo的存储加速实践 方案概述 资源和成本规划 操作流程 实施步骤 常见问题
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
OBS客户端通用示例 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 调用ObsClient的相关接口均需要传入请求数组(associative array类型)作为输入。对于桶
被委托账号或用户为什么无法上传下载KMS加密对象? OBS服务端加密功能使用的前提是已经在IAM中为账号或用户授予OBS OperateAccess和KMS相关权限,如表所示。如果当前账号或用户是被委托方,也需要在委托中被授予OBS OperateAccess权限。请联系你的委托
OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容量和性能需求选择,AI场景建议选择250MB/s/TiB及以上的存储类型。 ModelArts:AI开发平台,采用多机多卡分布式训练。
无法搜索到桶中对象或对象不存在返回403 OBS管理控制台和OBS Browser+支持通过前缀搜索对象,例如,您搜索“test”,搜索结果为以前缀为“test”的对象。如果您输入的不是待搜索对象名称的前缀,则搜索不到对象。例如,您待搜索对象名称为“testabc”,您输入“ab
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
您可以在CES云监控服务上监控和SFS Turbo文件系统的性能使用情况。当AI算力集群规模变大,大模型参数量变大,导致Checkpoint读加载时间变长时,或训练数据集加载由于存储读写带宽不足导致拖慢AI训练时,您可以对SFS Turbo进行性能扩容,以缩短数据加载时长。详情可参见SFS
创建SFS Turbo文件系统,文件系统类型选择“HPC型”,操作指导请参考创建SFS Turbo文件系统。 创建OBS桶 创建OBS桶,存储类别为“标准存储”,桶策略为“私有”,操作指导请参考创建OBS桶。 创建ModelArts资源池 以常见的专属资源池为例,专属资源池提供独享的计算
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
使用IE9浏览器无法打开OBS管理控制台界面 问题 在OBS管理控制台地址能够Ping通的情况下,为什么使用IE9浏览器无法打开OBS管理控制台界面? 回答 检查浏览器的“Internet选项”中是否勾选SSL和TLS选项,如果没有,则根据以下步骤处理后再重试。 打开IE9浏览器。