检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
主要特性相关限制 表4 OBS使用限制 限制项 说明 深度归档存储(受限公测中) 转为深度归档对象之后的追加写对象不支持追加写。 不支持批量恢复。 恢复归档存储或深度归档存储对象 归档存储或深度归档存储的对象正在恢复的过程中,不允许暂停或删除恢复任务。 对象的恢复状态为恢复中时,对象不能再次恢复。
为什么OBS存储的数据丢失了? 如果您的OBS中存储的数据丢失了,请按照以下原因排查: 请检查桶中是否设置了生命周期过期删除规则,符合规则的对象会被删除。 请检查桶是否授权了其他用户桶的写权限,被授权的用户都可以删除对象。如果您开启了日志记录功能,可以通过日志记录查询到删除对象的用户。 父主题:
995%,远高于传统架构。 一般的企业自建存储服务器不会投入巨额的成本来同时保证介质、服务器、机柜、数据中心、区域级别的可靠性,一旦出现故障或灾难,很容易导致数据出现不可逆的丢失,给企业造成严重损失。 成本 即开即用,免去了自建存储服务器前期的资金、时间以及人力成本的投入,后期设备的维护交由OBS处理。
选择不同存储类别、不同数据冗余存储策略时,数据的持久性和可用性会有所不同,具体请参见存储类别对比。 99.9999999999%(12个9)的持久性意味着平均每年对象损失率预计为0.0000000001%。例如,您在OBS中存储了一亿个对象,则预计平均每一万年才会出现丢失一个对象的可能。 可用性也可以理解为业务连续性,99
获取桶列表 操作场景 如果用户想要查看自己创建的所有桶信息,可以使用获取桶列表接口查看。 下面介绍如何调用获取桶列表API,API的调用方法请参见如何调用API。 前提条件 已获取AK和SK,获取方法参见获取访问密钥(AK/SK)。 您需要明确需要列举的桶所在的区域信息,并根据区
响应消息头 该请求的响应消息使用公共消息头,具体请参考表1。 响应消息元素 该请求的响应消息中,会以XML形式将用户拥有的桶列出来,元素的具体含义如表2所示。 表2 响应消息元素 元素名称 描述 ListAllMyBucketsResult 用户的桶列表。 类型:XML Owner
REPLACE_NEW:表示对于已经存在值的元数据进行替换,不存在值的元数据进行赋值,未指定的元数据保持不变(自定义头域作替换处理)。 REPLACE:表示使用当前请求中携带的头域完整替换,未指定的元数据(本表中除x-obs-storage-class的其它元数据)会被删除。 默认取值:
可选配置,当添加了上述配置后在创建Hive表时将不用再显示指定location,创建的Hive表将自动落在OBS上。 执行以下命令,初始化元数据。 /opt/hive-2.3.3/bin/schematool -dbType derby -initSchema 验证是否对接成功。 示例如下,示例中的locati
使用场景 伴随着互联网的高速发展,数据存储场景越来越多样化,单一的存储类别已无法满足多样化的存储场景和成本管理诉求。OBS设计了多种存储类别,支持的存储类别有标准存储、低频访问存储、归档存储、深度归档存储(受限公测),您可以结合自身业务合理选择。不同规格的存储类别计费参见存储费用。
时,Allow的权限才能生效。例如,某个桶已经存在多条Allow权限的桶策略,再新增Allow权限的桶策略,会在原权限的基础上进行叠加,增大用户的权限;如果新增Deny权限的桶策略,则会根据Deny优先原则调整用户的权限,即使Deny策略中定义的动作在其他桶策略中Allow。 图3
Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计,在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS,使用OBS提供的OBSA-HDFS工具,无需重新编译druid,将OBS配置为deep storage。
S会收取相应的费用。 计费说明 资费项 计费项 含义 适用的计费模式 数据处理费用 图片处理 被处理的原图片的实际大小。 具体请参见图片处理如何收费? 按需计费 产品定价 详细的服务资费费率标准请参见产品价格详情中“对象存储服务”的内容。 计费示例 以下示例中出现的费用价格仅供参
Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出,在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置: log4j.logger.com
支持的大数据平台简介 华为云大数据存算分离方案中,OBS支持与多种大数据平台对接,包括华为云MapReduce服务(MRS)、Cloudera CDH和Hortonworks HDP,满足用户业务的灵活诉求。 华为云MapReduce服务(MRS) 华为云MapReduce服务(
支持的大数据组件简介 在华为云大数据存算分离方案中,OBS除了可以与大数据平台对接外,还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下: Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题: 对接大数据组件
开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 下载对象成功后会返回对象的自定义元数据。 本示例用于下载桶名为“bucketname”里,名称为“objectname”的对象,同时返回该对象的自定义元数据。
之间进行大规模数据复制的工具,它使用Map/Reduce实现文件分发,错误处理和恢复,以及报告生成。它把文件和目录的列表作为map任务的输入,每个任务会完成源列表中部分文件的拷贝。 配置指南 参考Hadoop对接OBS中hadoop-huaweicloud的安装和配置方法,完成OBS相关配置。
Trace Service,CTS) 审计 标签用于标识OBS中的桶,以实现对OBS中的桶进行分类。 标签管理服务(Tag Management Service,TMS) 标签 通过密钥管理KMS功能对上传到OBS中的文件进行加密。 数据加密服务(Data Encryption Workshop,DEW)
象副本的存储费用。 按需计费 产品定价 详细的服务资费费率标准请参见产品价格详情中“对象存储服务”的内容。 计费示例 以下示例中出现的费用价格仅供参考,实际价格请参见产品价格详情中“对象存储服务”的内容。 假设某用户于2023年7月1日上传了一个10GB低频存储单AZ类型的数据至华北-北京四的
Array of Action 定义action的json数组。 当前只能支持1个Action。 next_state 是 String 表示下一个state的名字,String类型,必须是图定义中存在的名字。 必须是工作流中的state名字。 表5 DelayState结构体参数说明 名称