检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
桶存储类型 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 OBS允许您对桶配置不同的存储类型,桶中对象的存储类型默认将与桶的存储类型保持一致。不同的存储类型可以满足客户业务对存储性能
设置桶存储类型(Python SDK) 功能说明 OBS提供了这些存储类型:标准存储、低频访问存储、归档存储、深度归档存储(受限公测中),从而满足客户业务对存储性能、成本的不同诉求,详情可参见OBS存储类型。 调用设置桶存储类型接口,可设置指定桶的存储类型。设置了桶的默认存储类型之后
面向AI场景使用OBS+SFS Turbo的存储加速方案概述 应用场景 近年来,AI快速发展并应用到很多领域中,AI新产品掀起一波又一波热潮,AI应用场景越来越多,有自动驾驶、大模型、AIGC、科学AI等不同行业。AI人工智能的实现需要大量的基础设施资源,包括高性能算力,高速存储和网络带宽等基础设施
云服务之间的关系 如果多个云服务一起搭配使用,需要注意: 不同区域的弹性云服务器、关系型数据库、对象存储服务内网不互通。 不同区域的弹性云服务器不支持跨区域部署在同一负载均衡器下。 资源的价格 不同区域的资源价格可能有差异,请参见华为云服务价格详情。 父主题: 产品咨询
全部 × √ 监控 您可以通过OBS控制台或者云监控服务(Cloud Eye)控制台监控桶的流量统计和请求次数等指标,方便您及时了解目前资源的使用状况、并合理规划使用计划。
Transition> </Rule> </LifecycleConfiguration> 响应示例:基于最后一次修改时间执行转换文件存储类型以及删除操作 x-obs-id-2: 32AAAQAAEAABSAAgAAEAABAAAQAAEAABCSMYkLcGTyUsgSJe2Rdsg2P8JwMsJV6n
例行维护 SFS Turbo容量监控及告警 如果SFS Turbo HPC型文件系统存储空间被写满,会影响业务运行,您可以在CES云监控服务上监控SFS Turbo文件系统的容量使用情况,并创建告警规则,当容量使用率超过一定阈值,可以发送邮件、短信等告警到运维人员。当收到容量监控告警时
数据盘可用空间 ≥3GB 存放OBS Browser数据库的数据文件所需的硬盘空间(当前版本是存放在系统盘)。 该OBS Browser提供扁平化风格的GUI界面,符合Windows系统用户的操作习惯。要想拥有更好的体验,建议使用1280*1024或更高分辨率的显示设备。
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速,流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置
并行文件系统相关接口(Harmony SDK) 并行文件系统(Parallel File System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件系统,提供毫秒级别访问时延,TB/s级别带宽和百万级别的IOPS,能够快速处理高性能计算
如果返回结果中包含“Error: cloud_url [url] is not in well format”,表明访问域名有误,请检查配置文件域名。 如果返回结果中包含“Http status [403]”,也可能是没有获取桶列表的权限,需要视具体场景进一步确认根因。
最佳实践 拖拽上传 目录分享 后台运行 定时上传 上传/下载性能优化
资源和成本规划 本节介绍最佳实践中资源规划情况,包含以下内容: 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容量和性能需求选择
最佳实践 利用obsutil帮助命令查找工具功能 利用crontab配置定时任务 将obsutil设为系统内置命令 为obsutil配置自动获取访问密钥 obsutil性能调优最佳实践 利用obsutil进行断点续传 利用obsutil上传软链接 为obsutil配置HTTP代理
如何解决DNS解析失败 该问题属于网络问题,需要借助日志详情文件帮助定位。打开日志文件obssdk.log文件,查看最近日志,可看到关键报错信息如下所示: 可按照以下步骤排查解决问题: 检查本地DNS服务器是否填写有误,查看windows平台的DNS服务配置步骤如下。 在 "控制面板
腾讯云COS迁移至华为云OBS 本方案介绍了如何将腾讯云对象存储(Cloud Object Storage,简称COS)上的数据迁移到华为云对象存储OBS。 具体方案请参见操作教程。
我可以在OBS中存储多少数据? OBS系统和单个桶都没有总数据容量和对象/文件数量的限制,但对于单次上传对象的大小有如下限制: OBS管理控制台支持批量上传文件,单次最多支持100个文件同时上传,总大小不超过5GB。如果只上传1个文件,则这个文件最大为5GB。 OBS Browser
obsfs简介 obsfs工具于2024年7月1日下线,下线后OBS不再对此工具提供维护和客户支持服务,请使用s3fs将OBS对象桶挂载至Linux系统,给您带来不便敬请谅解。如有问题请提交工单寻求技术支持。 obsfs是对象存储服务 (Object Storage Service
创建桶 桶是对象存储中存储对象的容器。您需要先创建一个桶,然后才能在对象存储中存储数据。 操作步骤 登录OBS Browser+。 在页面上区域单击“创建桶”。 在弹出的对象框中根据需要填写桶信息,如图1所示。 图1 创建桶 表1 创建桶 参数 说明 区域 选择新建桶所在的Region
产品咨询 如何获取OBS的终端节点? 我可以在OBS中存储多少数据? 我如何选择将数据存储在哪个区域? OBS支持使用HTTPS协议访问吗? OBS中的数据可以让其他用户访问吗? 访问OBS链接提示告警信息的原因和解决办法 已删除的数据是否可以恢复? 访问OBS域名失败,连接不上CA