检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
客户端。 要使用该接口,使用者要求必须是桶的所有者,或者是桶所有者的子用户且具有获取桶策略的权限。 以下两种场景无法使用此接口获取桶策略,系统将返回“404 NoSuchBucketPolicy”的错误: 指定桶的策略不存在 指定桶的标准桶策略为私有且未设置高级桶策略 请求消息样式
我可以在OBS中存储多少数据? OBS系统和单个桶都没有总数据容量和对象/文件数量的限制,但对于单次上传对象的大小有如下限制: OBS管理控制台支持批量上传文件,单次最多支持100个文件同时上传,总大小不超过5GB。如果只上传1个文件,则这个文件最大为5GB。 OBS Brows
同步下载示例 本章节案例中的所有命令均以Linux操作系统为例,提供同步下载操作指导。 假设bucket-test桶内包含如下对象: obs://bucket-test/src1/ obs://bucket-test/src1/test3.txt obs://bucket-test/src1/src2/
初始化obsfs 在使用obsfs之前,需要将访问密钥(AK和SK)信息写入密钥文件,方便在使用并行文件系统时对使用者的身份进行验证。 本章节以将访问密钥信息写入“/etc/passwd-obsfs”文件为例,介绍具体的操作步骤。 前提条件 已获取访问密钥(AK和SK),具体操作请参见资源准备。
-v命令查看npm版本并确保npm已安装。 运行npm install esdk-obs-nodejs命令执行安装。 如果您使用的是Windows操作系统,当运行npm命令时提示“不是内部或外部命令”,请在Path环境变量中增加npm的安装目录(一般为Node.js的安装目录)。 您可能需要重启电脑使环境变量生效。
直读归档存储对象 使用场景 实际业务场景下,您可能有不通过恢复而直接获取归档数据的诉求。如有时间要求,需要急速读取归档数据;或者在OBS与其他系统对接的情况下,因接口兼容问题,需要直接读取归档数据。 桶开启归档数据直读后,存储类别为归档存储的对象可以直接访问,无需提前恢复。开启直读后
您可以通过回调,获取对象上传后的相关信息,例如获取对象是否上传成功,获取对象Etag、上传后大小、上传后对象所在桶等信息。OBS支持通过回调获取对象的系统参数和自定义参数,参数详情可参考API参考的回调章节。 图1 上传回调流程图 上传回调的详细流程如图1所示,主要分为以下几个阶段: 客户端发出上传对象请求,请求中携带回调参数。
Flume是一个分布式的、可靠的和高可用的服务,用于收集、聚合以及移动大量日志数据,具体请参见Apache Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。 注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差别的:HDFS租约机制可以保证并发写同一个文件时不
上的策略。 要使用该接口,使用者要求必须是桶的所有者,或者是桶所有者的子用户且具有删除桶策略的权限。 无论桶的策略本身是否存在,删除成功后系统都直接返回“204 No Content”的结果。 请求消息样式 1 2 3 4 DELETE /?policy HTTP/1.1 Host:
FS文件系统的相关接口实现,让大数据计算引擎(Hive、Spark等)可以将OBS作为HDFS协议的底层存储。 图2 存算分离方案中的OBSFileSystem OBS服务支持对象存储桶(对象语义)和并行文件系统(POSIX文件语义),在大数据场景下建议选择并行文件系统。并行文件
给用户组授权之前,请您了解用户组可以添加的OBS权限,并结合实际需求进行选择,OBS支持的系统权限,请参见:OBS系统权限。如果您需要对除OBS之外的其它服务授权,IAM支持服务的所有权限请参见系统权限。 示例流程 图1 为IAM用户授权OBS资源权限 下面内容以配置IAM用户的对象存储服务“Tenant
对象策略。 用户有待复制的源对象的读权限。 OBS支持的region以及region与endPoint的对应关系,详细信息请参见地区与终端节点。 复制对象操作的请求需要通过头域携带拷贝的源桶和对象信息,不能携带消息实体。 支持同区域跨桶复制,不支持跨区域复制。 目标对象大小范围是[0
给用户组授权之前,请您了解用户组可以添加的OBS权限,并结合实际需求进行选择,OBS支持的系统权限,请参见:OBS系统权限。如果您需要对除OBS之外的其它服务授权,IAM支持服务的所有权限请参见系统权限。 示例流程 图1 为IAM用户授权OBS资源权限 下面内容以配置IAM用户的对象存储服务“Tenant
控制概述,配置方式详见使用IAM自定义策略、配置对象策略。 OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。 您必须得到可以对桶执行ListBucketMultipartUploads操作的权限,才能列出正在上传到该桶的多段上传。 默认情况下,
置信息,与已存在的配置信息冲突的规则不会复制。 源桶和目标桶的桶版本号都必须是3.0。 对象存储桶和并行文件系统之间可以相互复制,前提是该功能同时在对象存储桶和并行文件系统都支持。 使用方式 OBS支持通过控制台复制桶配置信息,不支持通过API、SDK、OBS Browser+、obsutil方式复制桶配置信息。
一个账号及账号下的所有IAM子用户可创建的桶+并行文件系统的上限为100个。建议结合OBS细粒度权限控制能力,合理进行桶规划和使用。例如,建议在桶内根据对象前缀划分不同的目录,通过细粒度权限控制实现不同目录在不同业务部门之间的权限隔离。 默认情况下,OBS系统和单个桶都没有总数据容量和对象数量的限制。
针对同一个对象或桶的操作,比如多个客户端对同一个对象并行上传、查询和删除时,具体操作结果依赖于操作到达系统的时间和系统内部处理的时延,可能返回不一致的结果。比如,当多个客户端并行上传同一个对象时,系统最后收到的上传请求会覆盖前一个上传的对象。如果需要避免同一个对象被并行访问,需要在上层应用中增加对象的锁机制。
在消息确认框中单击“是”。 使用建议 对于并行文件系统目录,大数据场景下(目录层级深、目录下文件多)的删除,可能会因超时而删除失败。 建议使用: hadoop 客户端(嵌套OBS客户端插件OBSA)删除目录:hadoop fs - rmr obs://{并行文件系统名}/{目录名}。 给目录配置生命周期规则,通过生命周期后台删除。
log”和“log/test2.log”,会在最近一次系统自动扫描后被删除,可能在1月10日当天,也可能在1月11日,这取决于系统的下一次扫描在何时进行。 1月10日上传的两个对象“log/clientlog.log”和“log/serverlog.log”,每下一次系统扫描均会判断距上一次对象更新是否
计费概述 本章节主要介绍对象存储的计费说明,包括计费项、计费模式等。关于并行文件系统和专属对象存储的计费说明,请参考产品价格详情。 计费项 OBS计费项由存储费用、请求费用、流量费用、数据恢复费用和数据处理费用组成,如图1所示。 图1 OBS计费项一览 计费模式 OBS提供按需计