检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象,您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台,在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中,单击
下载归档存储对象 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 如果要下载归档存储对象,需要先将归档存储对象恢复。恢复归档存储对象的恢复选项可支持两类,见下表: 选项 说明 OBS
相关操作 libfuse安装指导
STANDARD 标准存储。 标准存储拥有低访问时延和较高的吞吐量,适用于有大量热点对象(平均一个月多次)或小对象(<1MB),且需要频繁访问数据的业务场景。 ObsClient.enums.StorageClassWarm WARM 低频访问存储。 低频访问存储适用于不频繁访问(平
您可以根据需要,将任何类型的文件上传到OBS桶中进行存储。 下面介绍如何调用PUT上传API在指定的桶中上传对象,API的调用方法请参见如何调用API。 前提条件 已获取AK和SK,获取方法参见获取访问密钥(AK/SK)。 已创建了至少一个可用的桶。 已准备好了待上传的文件,并清楚文件所在的本地完整路径。
图解对象存储服务
选择“关联sfsturbo”。 在“关联sfsturbo”弹窗中,选择创建资源中创建的SFS Turbo HPC型文件系统。 图2 关联SFS Turbo 选择完成后,单击“确定”创建关联。 使用过程中请不要解除关联,解除关联会导致ModelArts资源池无法访问SFS Turbo文件系统中的数据。
连接超时异常 如果获取到的异常堆栈出现“System.Net.WebException: 无法连接到远程服务器 --->System.Net.Sockets.SocketException: 由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败“,说明连接超时。
数据上云方案。 将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后,可以使用数据预热功能,以减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中,数据预热功能的具体操作请参考创建SFS
的情况。 桶级的桶策略和IAM策略对obsfs挂载方式生效,目录级的桶策略和IAM策略对obsfs挂载方式访问不生效。 前提条件 已成功获取obsfs,具体操作请参见下载并安装obsfs。 已初始化obsfs,具体操作请参见初始化obsfs。 本地挂载目录已存在。 您也可以使用m
在左侧导航选择“资金管理 > 充值”。 根据界面提示信息,为账号充值。 包年包月 对象存储服务同时提供包年包月计费模式,您可以购买包年包月套餐,提前规划资源的使用额度和时长。 资源包包括标准存储包(单AZ)、标准存储包(多AZ)、归档存储包、公网流出流量包、跨区域复制流量包和回源流量包。 OBS各类资源包的详细介绍,请参见OBS计费说明。
支持的大数据组件简介 在华为云大数据存算分离方案中,OBS除了可以与大数据平台对接外,还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下: Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题: 对接大数据组件
设置了桶的默认存储类型之后,如果上传对象、复制对象和初始化多段上传任务时未指定对象的存储类型,则该对象的存储类型取桶的默认存储类型。 未配置桶的默认存储类型时,桶的默认存储类型为STANDARD(标准存储)。 请求消息样式 1 2 3 4 5 6 7 8 9 PUT /?storageClass HTTP/1
面向AI场景使用OBS+SFS Turbo的存储加速实践 针对AI训练场景中面临的问题,华为云提供了基于对象存储服务OBS+高性能文件服务SFS Turbo的AI云存储解决方案。华为云高性能文件服务SFS Turbo HPC型支持和OBS数据联动,您可以通过SFS Turbo HPC
libfuse安装指导 本章节以安装libfuse 2.9.7为例,详细介绍在CentOS 7、SUSE 12以及Ubuntu 16的操作。 前提条件 下载libfuse源码,并编译生成libfuse.so.2.9.7。 libfuse下载地址:https://github.co
对象数据的MD5值(经过Base64编码),提供给OBS服务端,校验数据完整性。 无 对象存储类型 对象的存储类型,不同的存储类型可以满足客户业务对存储性能、成本的不同诉求。默认与桶的存储类型保持一致,可以设置为与桶的存储类型不同。 无 对象自定义元数据 用户对上传到桶中对象的自定义属性描述,以便对对象进行自定义管理。
storageClass StorageClassEnum 可选 参数解释: 对象的存储类别。创建对象时,可以加上此头域设置对象的存储类别。如果未设置此头域,则以桶的默认存储类别作为对象的存储类别。 取值范围: 可选择的存储类别参见StorageClassEnum。 默认取值: 无 webSiteRedirectLocation
OBS如何实现备份和容灾? 如何在弹性文件服务SFS和对象存储服务OBS之间进行数据迁移? OBS会不会扫描我的数据用于其他用途? 后台工程师能否导出我存储在OBS中的数据? OBS如何保证我的数据不会被盗用? OBS的持久性和可用性如何? OBS单AZ和多AZ有什么区别? OBS的数据冗余存储方式是什么?
配置OBS客户端 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 当使用配置类(ObsConfig)创建OBS客户端(ObsClient)时,您可通过ObsConfig配置类对O
恢复归档或深度归档存储对象(Java SDK) 功能说明 如果要下载归档或深度归档存储对象,需要先将归档或深度归档存储对象恢复。恢复归档存储对象的恢复选项可支持两类,见下表: 选项 说明 OBS Java SDK对应值 快速恢复 恢复耗时1~5分钟。 RestoreTierEnum