检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
具备访问OBS权限的sk。 bucket OBS的桶名称。 size_file 指定文件滚动大小(字节)。当文件大小达到设定的值时,会生成一个新的文件。 time_file 设置文件滚动周期(分钟)。当数据写入达到设定周期时,会生成一个新的文件。 prefix 指定文件存储的目录,例如“
发生错误时相关的桶或对象,当status参数小于300时为空。 默认取值: 无 header list 参数解释: 响应消息头列表,由多个元组构成。每个元组均包含两个元素,代表响应头的键值对。 默认取值: 无 body object 参数解释: 操作成功后的结果数据,当statu
OBS数据一致性校验 应用场景 对象数据在上传下载过程中,有可能会因为网络劫持、数据缓存等原因,存在数据不一致的问题。 方案架构 OBS提供通过计算MD5值的方式对上传下载的数据进行一致性校验。默认情况下,OBS不会进行一致性校验,您可以通过以下方式在上传下载时主动启用校验。 各
配置和查看对象元数据 使用场景 元数据(Metadata)为描述对象属性的信息,是一组名称和值的配对,用作对象管理的一部分。OBS 中有两种元数据:系统定义的对象元数据和对象自定义元数据介绍。 您可以在上传对象时在OBS中设置对象元数据,也可以在上传对象后修改元数据。 元数据介绍 系统定义的对象元数据
操作流程 大数据场景下使用OBS实现存算分离的操作流程如图1所示。 图1 操作流程 配置的核心是完成大数据平台与OBS对接,实现OBS作为大数据的统一数据湖存储。本文档提供三种主流大数据平台的对接指导,详情请参见支持的大数据平台简介。 (可选)OBS除了可以与主流大数据平台对接外,
高性能、高可靠、高可用的对象存储服务 高可靠、较低成本的实时访问存储服务 归档数据的长期存储,存储单价更优惠 深度归档数据的长期存储,存储单价相比归档存储更优惠 应用场景 云应用、数据分享、内容分享、热点对象 网盘应用、企业备份、活跃归档、监控数据 档案数据、医疗影像、视频素材、带库替代
Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计,在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS,使用OBS提供的OBSA-HDFS工具,无需重新编译druid,将OBS配置为deep storage。
[options...] command为执行的命令,例如ls,cp等。 parameters为该命令的基本参数(必选),例如创建桶时的桶名称。 options为该命令的附加参数(通常为可选),且附加参数在运行命令时必须以“-”开头。 方括号[]不是命令的一部分,在输入命令时,参数不能使用方括号[]括起来。
生命周期配置示例 如果您的使用方式为API或SDK,请参考以下xml示例。 单一规则单个筛选条件 示例1:生命周期将应用于存储桶内的所有对象 如果需要适用于桶中的全部对象,需要指定一个空前缀。以下规则适用于桶中的全部对象,在对象创建100天后其转换为归档存储类型。 xml: 1
设置桶的网站配置 功能介绍 OBS允许在桶内保存静态的网页资源,如.html网页文件、flash文件、音视频文件等,当客户端通过桶的Website接入点访问这些对象资源时,浏览器可以直接解析出这些支持的网页资源,呈现给最终用户。典型的应用场景有: 重定向所有的请求到另外一个站点。
GetObject(获取对象内容、获取对象元数据) GetObjectVersion(获取指定版本对象内容、获取指定版本对象元数据) ModifyObjectMetaData(修改对象元数据) ListBucketMultipartUploads(列举多段上传任务) ListMulti
Flume对接OBS 概述 Flume是一个分布式的、可靠的和高可用的服务,用于收集、聚合以及移动大量日志数据,具体请参见Apache Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。 注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差
对象数据上传且还没有写入对象元数据的过程中,客户端1删除同名的对象成功后,客户端2的上传对象操作仍然返回成功,并且不论客户端1还是客户端2都能读取到对象数据v1,如图2所示。 图2 并发上传和删除同一个对象(1) 3. 当客户端2上传一个对象v1的时候,如果在对象数据上传完成,系
节点。 使用obsutil obsutil配置成功后,便可以在Linux ECS上直接通过内网访问OBS,进行基本的数据存取操作以及其他的高级设置操作。 常见的数据存储操作请参见: 上传对象 下载对象 详细使用指南请参见对象存储服务工具指南(obsutil)。 父主题: 在ECS上通过内网访问OBS
为写入该存储桶的日志创建额外的日志,这将增加您的存储账单费用,且由于额外日志的存在,将使您在寻找需要的日志时更加困难。 桶日志上传会产生相应的PUT请求费用,PUT请求费用的具体说明请参考OBS计费说明。 当日志记录开启后,目标存储桶的日志投递用户组会同步开启桶的写入权限和ACL
Tag只反映变化的内容,而不是其元数据。上传的对象或拷贝操作创建的对象,都有唯一的ETag。 约束限制: 当对象是服务端加密的对象时,ETag值不是对象的MD5值。 取值范围: 长度为32的字符串。 默认取值: 无 versionId str 参数解释: 对象的版本号。 取值范围:
Tag只反映变化的内容,而不是其元数据。上传的对象或拷贝操作创建的对象,都有唯一的ETag。 约束限制: 当对象是服务端加密的对象时,ETag值不是对象的MD5值。 取值范围: 长度为32的字符串。 默认取值: 无 versionId str 参数解释: 对象的版本号。 取值范围:
口参考文档详细介绍了每个接口的参数和使用方法。 OBS客户端支持通过访问密钥、请求方法类型、请求参数等信息生成一个在Query参数中携带鉴权信息的URL,可将该URL提供给其他用户进行临时访问。在生成URL时,您需要指定URL的有效期来限制访客用户的访问时长。 如果您想授予其他用
BS在不同区域的区域域名,用于处理各自区域的访问请求。各区域的终端节点详情请参见地区和终端节点。 访问域名:OBS会为每一个桶分配默认的访问域名。访问域名是桶在互联网中的域名地址,可应用于直接通过域名访问桶的场景,比如:云应用开发、数据分享等。 OBS桶访问域名的结构为:BucketName
获取桶元数据 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient->getBucketMetadata接口获取桶元数据。 本示例用于获取桶名为“bucketname”的元数据信息。