检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用obsftp上传/下载数据失败 现象描述 obsftp能够成功启动,但上传/下载数据失败。 可能原因 由于obsftp启动时,如果不指定使用端口,会从0~65535端口中随机选一个。
进入保留期后您在OBS中存储的数据会予以保留,账号会处于受限状态。保留期满仍未缴清欠款,存储在OBS中的数据将被删除且无法恢复。详情请参见欠费和续费。 如何防止误删除或误覆盖: 权限控制 正确使用OBS提供的访问控制能力防止数据被删除或覆盖。详情请参见安全最佳实践。
单位:字节 ≥ 0 bytes 用户 桶 30分钟 capacity_standard_multi_az 标准存储多AZ用量 该指标用于统计标准存储多AZ存储数据所占用的存储空间容量。
恢复归档或深度归档存储对象(Go SDK) 功能说明 如果要获取归档或深度归档存储对象的内容,需要先将对象恢复,然后再执行下载数据的操作。
进入保留期后您在OBS中存储的数据会予以保留,账号会处于受限状态。保留期满仍未缴清欠款,存储在OBS中的数据将被删除且无法恢复。详情请参见欠费和续费。
算法及数据:准备AI训练需要的算法及数据集,如Swin-Transformer算法,及ImageNet21K数据集。 说明: 为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。
WARM 低频访问存储 参数解释: 低频访问存储适用于不频繁访问(平均一年少于12次)但在需要时也要求能够快速访问数据的业务场景。 COLD 归档存储 参数解释: 归档存储适用于很少访问(平均一年访问一次)数据的业务场景。
低频访问存储适用于不频繁访问(平均一年少于12次)但在需要时也要求能够快速访问数据的业务场景。 StorageClassCold COLD 归档存储。 归档存储适用于很少访问(平均一年访问一次)数据的业务场景。
binary/octet-stream 对象MD5值(Content-MD5) 对象数据的MD5值(经过Base64编码),提供给OBS服务端,校验数据完整性。 无 对象存储类型 对象的存储类型,不同的存储类型可以满足客户业务对存储性能、成本的不同诉求。
当桶开启多版本控制时,最新版本的对象支持设置元数据,历史版本的对象不支持设置元数据。 对于存储类别为归档存储或深度归档存储的对象,不能对其设置对象的元数据。
桶存储类别和对象存储类别有什么关系? 上传对象时,对象的存储类别默认继承桶的存储类别。您也可以重新指定对象的存储类别,同时也支持在对象上传完成后修改对象的存储类别。 修改桶的存储类别,桶内已有对象的存储类别不会修改,新上传对象时的默认对象存储类别随之修改。 父主题: 桶和对象相关
训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中,数据预热功能的具体操作请参考创建SFS Turbo 和 OBS 之间的联动任务。 您可通过查询联动任务详情接口查看导入任务的完成状态。
示例:9892d768-2d13-450f-aac7-ed0e44c2585f 默认取值: 无 AzRedundancy string 可选 参数解释: 创桶时可指定的数据冗余类型,即AZ类型。 约束限制: 归档和深度归档存储不支持多AZ。
WARM WARM 低频访问存储。 低频访问存储适用于不频繁访问(平均一年少于12次)但在需要时也要求能够快速访问数据的业务场景。 COLD COLD 归档存储。 归档存储适用于很少访问(平均一年访问一次)数据的业务场景。
当桶开启多版本控制时,最新版本的对象支持设置元数据,历史版本的对象不支持设置元数据。 对于存储类别为归档存储或深度归档存储的对象,不能对其设置对象的元数据。
可用区 一个可用区(AZ)是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。
开启后,可以检索和还原各个版本的对象,在意外操作或应用程序故障时快速恢复数据。 获取桶的多版本状态 获取指定桶的多版本功能状态。 设置桶默认存储类型 创建或更新桶的默认存储类型配置信息。 获取桶默认存储类型 获取桶的默认存储类型配置信息。
数据冗余存储策略 多AZ存储 多AZ存储:数据存储至同区域内的多个可用区(AZ),可靠性更高,同时存储成本相对更高。 单AZ存储:数据仅存储在单个可用区(AZ),成本更低。 桶创建成功后,不支持更改数据冗余存储策略。 多AZ存储桶不支持为桶设置归档存储类别和深度归档存储类别。
步骤一:创建桶 本示例用于创建名为examplebucket的桶,并设置所在区域在华北-北京四(cn-north-4)中国-香港(ap-southeast-1),桶的权限访问控制策略是私有桶,将存储类别设置为标准存储,数据冗余策略选择多AZ存储。
大数据场景下使用OBS实现存算分离 大数据场景下使用OBS实现存算分离方案概述 操作流程 对接大数据平台 对接大数据组件 迁移HDFS数据至OBS