检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Service,IMS),云审计服务(Cloud Trace Service,CTS)等。 OBS可以作为其他云服务的数据分析学习的数据源,例如MapReduce服务 (MapReduce Service,MRS),机器学习服务 (Machine Learning Service,MLS)等。
上传数据至OBS并预热到SFS Turbo中 上传数据至OBS 下载ImageNet21K数据集,并上传ImageNet21K数据集至OBS,详细操作指导请参考上传数据至OBS。 OBS针对不同场景提供了多种数据上云方案,您可根据数据量、耗时、费用等需求选择适合的方案上传数据至OBS,更多内容请参考数据上云方案。
数据恢复费用 访问低频访问存储类别、归档存储类别和深度归档存储类别的对象时,会根据对象大小等产生额外的数据恢复费用。此项费用不管通过内、外网访问均会产生;如果使用外网访问,则会同时计入到公网流出流量费用。 计费说明 资费项 计费项 含义 适用的计费模式 数据恢复费用 数据读取流量
表1 存储类别对比 对比项目 标准存储 低频访问存储 归档存储 深度归档存储(受限公测) 特点 高性能、高可靠、高可用的对象存储服务 高可靠、较低成本的实时访问存储服务 归档数据的长期存储,存储单价更优惠 深度归档数据的长期存储,存储单价相比归档存储更优惠 应用场景 云应用、数据分享、内容分享、热点对象
恢复归档或深度归档存储对象(Go SDK) 功能说明 如果要获取归档或深度归档存储对象的内容,需要先将对象恢复,然后再执行下载数据的操作。对象恢复后,会产生一个标准存储类型的对象副本,也就是说会同时存在标准存储类型的对象副本和归档或深度归档存储对象,在恢复对象的保存时间到期后标准存储类型的对象副本会自动删除。
数据有诸多好处,它可以保证不同服务器上访问数据的一致性,减少不同服务器上分别保留数据带来的数据冗余等。另外以 AI 生态中非常流行的开源深度学习框架PyTorch为例,PyTorch默认会通过文件接口访问数据,AI算法开发人员也习惯使用文件接口,因此文件接口是最友好的共享存储访问方式。
华为云提供的大数据服务,可以在华为云上部署和管理Hadoop系统,一键即可部署Hadoop集群。 MRS提供用户完全可控的一站式企业级大数据集群云服务,完全兼容开源接口,结合华为云计算、存储优势及大数据行业经验,为客户提供高性能、低成本、灵活易用的全栈大数据平台,轻松运行Hado
恢复归档或深度归档存储对象(Python SDK) 功能说明 归档要先将对象恢复,然后再执行下载数据的操作。对象恢复后,会产生一个标准存储类型的对象副本,也就是说会同时存在标准存储类型的对象副本和归档或深度归档存储对象,在恢复对象的保存时间到期后标准存储类型的对象副本会自动删除。
恢复归档或深度归档存储对象 功能介绍 如果要获取归档存储或深度归档对象的内容,需要先将对象恢复,然后再执行下载数据的操作。对象恢复后,会产生一个标准存储类型的对象副本,也就是说会同时存在标准存储类型的对象副本和归档或深度归档存储类型的对象,在恢复对象的保存时间到期后标准存储类型的对象副本会自动删除。
同时存在标准存储类型的对象副本和归档或深度归档存储对象,在恢复对象的保存时间到期后标准存储类型的对象副本会自动删除。 该接口可以恢复指定桶中的归档存储对象。 接口约束 您必须是桶拥有者或拥有恢复归档或深度归档存储对象的权限,才能恢复归档或深度归档存储对象。建议使用IAM或桶策略进
同时提供全新的POSIX语言系统,应用接入更简便。 数据分层,按需使用:提供按量计费和包年包月两种支付方式,支持标准、低频访问、归档数据、深度归档数据(受限公测)独立计量计费,降低存储成本。
用户授权。 注意事项 归档存储或深度归档存储的对象正在恢复的过程中,不支持修改恢复方式,不允许暂停或删除恢复任务。 数据恢复后,会产生一个标准存储类别的对象副本,即对象同时存在标准存储类别的对象副本和归档存储或深度归档存储类别的对象。归档存储或深度归档存储对象恢复完成时,对象的恢
OBS的持久性和可用性如何? OBS通过存储介质的慢盘/坏道检测、AZ内设备和数据冗余、AZ之间数据容灾、跨区域复制等技术方案,提供针对介质、服务器、机柜、数据中心和区域的多级可靠性保障。其数据持久性高达99.9999999999%(12个9),可用性高达99.995%,远高于传统架构。
ModelArts:AI开发平台,采用多机多卡分布式训练。 VPC:虚拟私有云和子网。 算法及数据:准备AI训练需要的算法及数据集,如Swin-Transformer算法,及ImageNet21K数据集。 说明: 为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近
企业数据往往分别存储在IDC多个集群,存在如下问题: 无全局视图,数据只能在集群内部使用。 拷贝是跨集群数据共享的唯一途径,数据拷贝耗时长。 公共数据集多份存储,数据冗余。 2 计算存储资源绑定,导致资源浪费 计算和存储资源无法均衡,当计算和存储需求不一致时,只能等比扩容,势必造成一种资源的浪费。
恢复归档或深度归档存储对象(Java SDK) 功能说明 如果要下载归档或深度归档存储对象,需要先将归档或深度归档存储对象恢复。恢复归档存储对象的恢复选项可支持两类,见下表: 选项 说明 OBS Java SDK对应值 快速恢复 恢复耗时1~5分钟。 RestoreTierEnum
标准存储->深度归档存储 存储费用 转换为深度归档存储后,按深度归档存储计算存储费用。 低频访问存储->深度归档存储 存储费用 转换为深度归档存储后,按深度归档存储计算存储费用。 当低频访问存储早于30天转换为深度归档存储,需要补足剩余天数的低频存储费用。 归档存储->深度归档存储 存储费用
时需进行Base64编码。 当桶开启多版本控制时,最新版本的对象支持设置元数据,历史版本的对象不支持设置元数据。 对于存储类别为归档存储或深度归档存储的对象,不能对其设置对象的元数据。 当文件夹或目录是实际的对象时,对象桶支持对其元数据的修改;如果是创建对象test/test1.txt时带的模拟目录test/
如图所示,OBS支持通过生命周期实现以下场景的存储类别自动转换: 标准存储->低频访问存储、归档存储、深度归档存储 低频访问存储->归档存储、深度归档存储 归档存储->深度归档存储 执行生命周期规则时,OBS依据桶的多版本状态执行的转换操作如下: 未开启多版本的桶 开启多版本的桶 暂停多版本的桶
0支持 存储类别 OBS提供了标准存储、低频访问存储、归档存储、深度归档存储(受限公测中)四种存储类别,满足不同场景下客户对存储性能和成本的不同诉求。 全部 (深度归档存储受限公测,仅支持华北-北京四) √ (深度归档存储OBS 2.0暂不支持) √ 桶管理 桶是OBS中存储对象