检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户、网站、企业和开发者使用。OBS是一项面向Internet访问的服务,提供了基于HTTP/HTTPS协议的Web服务接口,用户可以随时随地连接到Internet,通过OBS管理控制台或各种OBS工具访问和管理存储在OBS中的数据。此外,OBS支持SDK和OBS API接口,可
Hadoop对接OBS 概述 Hadoop系统提供了分布式存储、计算和资源调度引擎,用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议,在大数据场景中可以替代Hadoop系统中的HDFS服务,实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接,为大数据计算提供“数据湖”存储。
OBS的数据冗余存储方式是什么? OBS采用Erasure Code(EC,纠删码)算法做数据冗余,不是以副本的形式存储。 在满足同等可靠性要求的前提下,EC的空间利用率优于多副本。 数据冗余存储策略为“单AZ”的桶,在AZ内的节点间使用EC算法做数据冗余;“多AZ”的桶在AZ内
通过控制台、API、SDK、OBS Browser+、obsutil、obsfs方式上传同名文件到OBS,会导致OBS内已有文件被覆盖。 如果您在生命周期规则中配置了定期删除文件的规则,OBS会根据生命周期的配置定期删除符合条件的文件。详情请参见生命周期管理。 如果您配置了跨区域复制规则,且选择
Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计,在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS,使用OBS提供的OBSA-HDFS工具,无需重新编译druid,将OBS配置为deep storage。
专属对象存储 专属对象存储是专属云资源下的对象存储服务。对象存储服务可以申请独享的专属物理主机资源,从而满足您对隔离性、安全性、性能的更高要求。 图1 专属对象存储 购买专属对象存储 专属云的申请和开通是线下进行的,开通专属云后才能购买专属对象存储,购买方法请参见如何购买专属对象存储。 对象
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎,用于处理有界和无界流式数据。Flink定义了文件系统抽象,OBS服务实现了Flink的文件系统抽象,使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
备份和镜像的区别是什么? 云备份和镜像服务有很多功能交融的地方,有时需要搭配一起使用。镜像有时也可用来备份云服务器运行环境,作为备份来使用。 备份和镜像的区别 云备份和镜像服务区别主要有以下几点,如表1所示。 表1 备份和镜像的区别 对比维度 云备份 镜像服务 概念 备份是将云服
使用obsutil实现客户端跨区域复制 obsutil支持使用客户端跨区域复制模式进行复制,即通过数据流的方式从源桶直接复制数据到目标桶,且两个桶可以是任意两个OBS服务的桶;借助客户端跨区域复制模式即可实现相同账户下不同区域桶或不同账户间桶内对象的复制;跨账号复制对象具体步骤如下:
如何从OBS桶下载某一天备份文件 本章节主要介绍如何通过obsutil从OBS桶中下载某一天的备份文件到本地。 下载对象或批量下载时,请确保OBS桶中的源对象不发生变化,否则可能产生下载失败或者数据不一致的问题。 如果待下载对象为归档存储类型,必须首先恢复待下载对象,否则无法下载成功。
配置完成后,系统会每天零点定时将前一日的数据备份,并上传至远程OBS桶。 后续管理 若需立即备份某一天日志,可立即启动远程备份。 在“远程备份至OBS服务器”区域,选择需备份日志的日期,单击“备份”即可。 若需关闭OBS桶备份,单击“编辑”,将状态置为关闭即可。 若需查看或下载备份到OBS桶的日志,请登录OBS管理控制台,在相应桶文件夹下操作。
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出,在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置:
使用obsutil实现目录分享 目录分享允许桶的拥有者将桶的目录或者整个桶以授权码+提取码的形式分享给其他用户。获取到授权码和提取码的用户,可以在授权码的有效期内通过OBS提供的工具(OBS Browser、obsutil),或者直接在浏览器上输入授权码进行对象的列举和下载。 o
在弹出的对话框中,检查备份信息无误后,选择OBS路径。 注意:OBS导出路径只能选择空目录,且导出后该目录下面的图数据文件不能进行删除、新增或者修改操作,否则您再从OBS导入备份到图中时会备份失败。 图1 导出到OBS 选择完成后,单击“是”进行备份。 备份文件存储到OBS会收取费用,具体可以参考OBS服务收费标准。
备份上传OBS 手动执行脚本 其他脚本调用 设置定时任务 父主题: SAP备份上传OBS最佳实践
OBS会不会扫描我的数据用于其他用途? 不会。 系统对数据做的扫描仅限于判断数据块是否存在和被损坏(如有损坏,会启动修复),不会读取具体的内容。 父主题: 数据安全、迁移和备份
如何在浏览器中在线预览OBS中的对象? 背景信息 基于安全合规要求,华为云对象存储服务OBS禁止通过OBS的默认域名(桶访问域名或静态网站访问域名)在线预览桶内对象,即使用上述域名从浏览器访问桶内对象(如视频、图片、网页等)时,不会显示对象内容,而是以附件形式下载。 OBS不支持
如何购买对象存储服务? 对象存储服务提供按需计费和包年包月两种计费模式。用户可以根据实际需求购买OBS服务。 OBS开通时,默认按照按需计费(使用量按小时计费),同时也支持包年包月(资源包)的方式提前购买使用额度和时长,获取更多的优惠。您可以单击“产品价格详情”查看计费标准。 前提条件