检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
log”会在最近一次系统自动扫描后被删除,可能在11月10日当天,也可能在11月11日,这取决于系统的下一次扫描在何时进行。“doc/保留期内-1”不会被删除。 11月10日更新的对象“log/未配置-2.log”和“log/已过期-2.log”,每下一次系统扫描均会判断距上一次
FS文件系统的相关接口实现,让大数据计算引擎(Hive、Spark等)可以将OBS作为HDFS协议的底层存储。 图2 存算分离方案中的OBSFileSystem OBS服务支持对象存储桶(对象语义)和并行文件系统(POSIX文件语义),在大数据场景下建议选择并行文件系统。并行文件
lue3。 fs 附加参数,可选 是否使用并行文件系统的列举方式,如果桶是并行文件系统,推荐加上该参数。 注意: 该列举方式会因为目录结构,耗时会差别很大。 该参数开启后,会忽略marker和limit值,统计桶或者并行文件系统或者指定目录的大小。 Util 5.5.12版本及以上支持该参数。
给用户组授权之前,请您了解用户组可以添加的OBS权限,并结合实际需求进行选择,OBS支持的系统权限,请参见:OBS系统权限。如果您需要对除OBS之外的其它服务授权,IAM支持服务的所有权限请参见系统权限。 示例流程 图1 为IAM用户授权OBS资源权限 下面内容以配置IAM用户的对象存储服务“Tenant
如果需要配置其他指定的权限,选择对应动作即可。OBS支持的动作 核对权限配置信息,确认无误后单击“创建”,完成桶策略创建。 权限配置信息可以在桶策略列表查看。 图2 查看桶策略列表权限配置信息 父主题: 对其他账号授权
如果待上传的文件名匹配该参数,则跳过该文件的上传。 须知: 建议使用引号传递该匹配模式(Linux/Mac操作系统使用单引号,Windows操作系统使用双引号)防止特殊符号被操作系统转义,导致不可预期的结果。 该匹配模式作用于文件全路径(含文件名和文件目录)。 该匹配模式仅对文件夹中的文件生效。
我可以在OBS中存储多少数据? OBS系统和单个桶都没有总数据容量和对象/文件数量的限制,但对于单次上传对象的大小有如下限制: OBS管理控制台支持批量上传文件,单次最多支持100个文件同时上传,总大小不超过5GB。如果只上传1个文件,则这个文件最大为5GB。 OBS Brows
直读归档存储对象 使用场景 实际业务场景下,您可能有不通过恢复而直接获取归档数据的诉求。如有时间要求,需要急速读取归档数据;或者在OBS与其他系统对接的情况下,因接口兼容问题,需要直接读取归档数据。 桶开启归档数据直读后,存储类别为归档存储的对象可以直接访问,无需提前恢复。开启直读后
您可以通过回调,获取对象上传后的相关信息,例如获取对象是否上传成功,获取对象Etag、上传后大小、上传后对象所在桶等信息。OBS支持通过回调获取对象的系统参数和自定义参数,参数详情可参考API参考的回调章节。 图1 上传回调流程图 上传回调的详细流程如图1所示,主要分为以下几个阶段: 客户端发出上传对象请求,请求中携带回调参数。
上的策略。 要使用该接口,使用者要求必须是桶的所有者,或者是桶所有者的子用户且具有删除桶策略的权限。 无论桶的策略本身是否存在,删除成功后系统都直接返回“204 No Content”的结果。 请求消息样式 1 2 3 4 DELETE /?policy HTTP/1.1 Host:
Flume是一个分布式的、可靠的和高可用的服务,用于收集、聚合以及移动大量日志数据,具体请参见Apache Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。 注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差别的:HDFS租约机制可以保证并发写同一个文件时不
同步下载示例 本章节案例中的所有命令均以Linux操作系统为例,提供同步下载操作指导。 假设bucket-test桶内包含如下对象: obs://bucket-test/src1/ obs://bucket-test/src1/test3.txt obs://bucket-test/src1/src2/
新建文件夹 用户可通过OBS Browser+新建文件夹。 背景信息 由于OBS没有文件系统中的文件和文件夹概念。为了使用户更方便进行管理数据,OBS提供了一种方式模拟文件夹。通过在对象的名称中增加“/”,将该对象在管理控制台上模拟成一个文件夹的形式展现。 操作步骤 登录OBS Browser+。
高级设置-排除策略(可选) 排除以上授权操作(默认勾选) 核对权限配置信息,确认无误后单击“创建”,完成桶策略创建。 权限配置信息可以在桶策略列表查看。 图2 查看桶策略列表权限配置信息 父主题: 对其他账号授权
给用户组授权之前,请您了解用户组可以添加的OBS权限,并结合实际需求进行选择,OBS支持的系统权限,请参见:OBS系统权限。如果您需要对除OBS之外的其它服务授权,IAM支持服务的所有权限请参见系统权限。 示例流程 图1 为IAM用户授权OBS资源权限 下面内容以配置IAM用户的对象存储服务“Tenant
用。 接口约束 单个桶的生命周期规则条数没有限制,但一个桶中所有生命周期规则的XML描述总大小不能超过20KB。 您最多可以在一个并行文件系统下配置20条生命周期管理规则,超过20条将提示不支持。 您必须是桶拥有者或拥有设置桶的生命周期配置的权限,才能设置桶的生命周配置。建议使用
置信息,与已存在的配置信息冲突的规则不会复制。 源桶和目标桶的桶版本号都必须是3.0。 对象存储桶和并行文件系统之间可以相互复制,前提是该功能同时在对象存储桶和并行文件系统都支持。 使用方式 OBS支持通过控制台复制桶配置信息,不支持通过API、SDK、OBS Browser+、obsutil方式复制桶配置信息。
console.log('Key: %s, Value: %s', tag.key, tag.value); } return; } console.log("An ObsError was found, which means your request
Bucket) fmt.Printf("RequestId:%s\n", output.RequestId) return } fmt.Printf("Set bucket(%s)'s tag configuration fail!\n", input
console.log("RequestId: %s", result.CommonMsg.RequestId); return; }; console.log("An ObsError was found, which means your request