检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图解对象存储服务
异常处理 挂载并行文件系统失败 取消挂载并行文件系统失败
问题一: Q:创建桶时,数据冗余存储策略选择单AZ存储和多AZ存储有什么区别? A:选择多AZ存储,数据将冗余存储至多个AZ中,可靠性更高。选择单AZ存储,数据仅存储在单个AZ中,但相比多AZ更加便宜。收费详情请参见产品价格详情。 问题二: Q:选择多AZ存储后,数据是以副本的形式分别
后,或在CDN控制台配置“源站类型”为“OBS桶域名”的加速域名后,访问OBS桶中对象无法在线预览,变成强制下载。 解决方案 该问题有以下两种解决方案。 方案一: 登录CDN控制台的“域名管理”界面,在相应域名的“高级配置”中添加“Content-Disposition”响应头,取值为“inline”。
设置了桶的默认存储类型之后,如果上传对象、复制对象和初始化多段上传任务时未指定对象的存储类型,则该对象的存储类型取桶的默认存储类型。 未配置桶的默认存储类型时,桶的默认存储类型为STANDARD(标准存储)。 请求消息样式 1 2 3 4 5 6 7 8 9 PUT /?storageClass HTTP/1
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后,建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象,您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台,在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中,单击
环境准备 资源准备 下载并安装obsfs 初始化obsfs
下载并安装obsfs obsfs工具于2024年7月1日下线,下线后OBS不再对此工具提供维护和客户支持服务,请使用s3fs将OBS对象桶挂载至Linux系统,给您带来不便敬请谅解。如有问题请提交工单寻求技术支持。 配置运行环境 obsfs的运行环境依赖openssl-devel
操作指南 挂载并行文件系统 取消挂载并行文件系统
挂载的并行文件系统如何让其他用户访问? 一般情况下,只有执行挂载命令的用户有访问挂载目录的权限。 如果要允许其他用户访问挂载目录,可以在obsfs挂载命令中指定allow_other参数,命令示例: ./obsfs filesystem001 /mnt/mount_path/ -o url=obs.cn-north-1
桶存储类别和对象存储类别有什么关系? 上传对象时,对象的存储类别默认继承桶的存储类别。您也可以重新指定对象的存储类别,同时也支持在对象上传完成后修改对象的存储类别。 修改桶的存储类别,桶内已有对象的存储类别不会修改,新上传对象时的默认对象存储类别随之修改。 父主题: 桶和对象相关
云存储定位于简单、安全、高效且低成本,使其成为磁带等传统存储设备的非常有吸引力的替代品。OBS即一种云存储服务,它提供海量、可弹性扩展的存储服务。OBS所有的业务、存储节点采用分布集群方式工作使得OBS的可扩展性更高。提供数据多份冗余、一致性检查等功能使得存储在OBS中的数据更加安全、可靠。OBS按照使用量付费,使得成本易于预测。
Hadoop系统提供了分布式存储、计算和资源调度引擎,用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议,在大数据场景中可以替代Hadoop系统中的HDFS服务,实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接,为大数据计算提供“数据湖”存储。 HDFS
该接口可以恢复指定桶中的归档或深度归档存储对象。 重复恢复归档存储数据时在延长恢复有效期的同时,也将会对恢复时产生的恢复费用进行重复收取。产生的标准存储类别的对象副本有效期将会延长,并且收取延长时间段产生的标准存储副本费用。 接口约束 您必须是桶拥有者或拥有恢复归档存储对象的权限,才能恢复归档存储对象。建议
将WordPress远程附件存储到OBS 背景信息 WordPress是一个基于PHP语言和MySQL数据库开发的博客平台,并逐步演化成一款内容管理系统软件,具有广泛的应用场景。 本文介绍如何通过插件,将WordPress远程附件存储到华为云OBS。OBS提供海量、稳定、安全的云存储能力,无需事
相关操作 libfuse安装指导
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
服务韧性 OBS提供五级可靠性架构,通过跨区域复制、AZ之间数据容灾、AZ内设备和数据冗余、存储介质的慢盘/坏道检测等技术方案,保障数据的持久性和可用性。 OBS的数据持久性高达99.9999999999%(12个9),可用性高达99.995%,远高于传统架构。 图1 五级可靠性架构保证数据稳定,业务可靠
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践