检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
签名计算工具 OBS提供可视化签名计算工具，帮助您轻松完成签名计算。 表1 签名计算工具 签名计算方式 签名计算工具获取地址 Header中携带签名 可视化签名计算工具 URL中携带签名 可视化签名计算工具 工具使用步骤 本节介绍如何使用工具计算签名 使用工具计算Header中携带的签名
拷贝是跨集群数据共享的唯一途径，数据拷贝耗时长。 公共数据集多份存储，数据冗余。 2 计算存储资源绑定，导致资源浪费 计算和存储资源无法均衡，当计算和存储需求不一致时，只能等比扩容，势必造成一种资源的浪费。 3 数据三副本存储，利用率低，成本高 Hadoop分布式文件系统（HDFS）使用三副本保存数据，磁盘空间利用率仅33%，单盘利用率低于70%。
Hadoop系统提供了分布式存储、计算和资源调度引擎，用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议，在大数据场景中可以替代Hadoop系统中的HDFS服务，实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接，为大数据计算提供“数据湖”存储。
以上传对象为例，对一个对象或者段的每一次操作都会计算一次请求次数。假设上传一个拥有100个对象的文件夹： 在都使用PutObject方式上传的情况下，会发送100次PUT请求，计算100次请求次数。 如果其中有一些大对象需要分段上传，则会根据分成的段数额外计算分段上传的请求次数，此外还会有初始
支持的大数据平台简介 华为云大数据存算分离方案中，OBS支持与多种大数据平台对接，包括华为云MapReduce服务（MRS）、Cloudera CDH和Hortonworks HDP，满足用户业务的灵活诉求。 华为云MapReduce服务（MRS） 华为云MapReduce服务（M
比。 表1 OBS与自建存储服务器对比 对比项 OBS 自建存储服务器 数据存储量 提供海量的存储服务，在全球部署着N个数据中心，所有业务、存储节点采用分布式集群方式部署，各节点、集群都可以独立扩容，用户永远不必担心存储容量不够。 数据存储量受限于搭建存储服务器时使用的硬件设备，
示例：x-obs-meta-test: test metadata 约束限制： 所有自定义元数据大小的总和不超过8K。单个自定义元数据大小的计算方式为：每个键和值的UTF-8 编码中的字节总数。 自定义元数据的key值不区分大小写，OBS统一转为小写进行存储。value值区分大小写。
迁移HDFS数据至OBS 操作场景 在华为云大数据存算分离方案中，对象存储服务OBS作为统一数据湖存储数据。如果用户数据仍存储在本地HDFS中，则需要先将HDFS的数据迁移至OBS。 用户可以使用以下迁移方案中的任意一种完成数据迁移，包括：Distcp方式迁移、CDM方式迁移和OMS方式迁移。
传统的备份与恢复方案需要将备份数据写入磁带等存储设备，然后再运输至数据中心。在此过程中数据的安全及完整性依赖很多因素，比如硬件、人员等等。无论是从前期搭建数据中心还是后期的维护，都使得传统的备份与恢复方案面临着管理复杂、投入成本高的难题。 云存储定位于简单、安全、高效且低成本，使其成为磁带等传
支持的大数据组件简介 在华为云大数据存算分离方案中，OBS除了可以与大数据平台对接外，还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下： Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题： 对接大数据组件
Hive对接OBS 概述 Hive是一个数据仓库工具，可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载，它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎，用于处理有界和无界流式数据。Flink定义了文件系统抽象，OBS服务实现了Flink的文件系统抽象，使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
Flume对接OBS 概述 Flume是一个分布式的、可靠的和高可用的服务，用于收集、聚合以及移动大量日志数据，具体请参见Apache Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。 注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差
对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题： 大数据场景下使用OBS实现存算分离
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出，在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置：
存储时间按照数据在OBS中存储的实际天数计算。 存储单个对象小于64KB按64KB计算，大于64KB按实际大小计算。 低频访问存储数据容量 OBS中存储的低频访问存储数据所占用的存储空间容量，区分单AZ存储和多AZ存储。了解单AZ和多AZ的区别 存储时间小于30天按30天计算，大于30天按实际天数计算。早于30
能视频监控等。 如高性能计算、企业核心集群应用、企业应用系统和开发测试等。 说明： 高性能计算：主要是高速率、高IOPS的需求，用于作为高性能存储，比如工业设计、能源勘探这些。 如高性能计算、媒体处理、文件共享和内容管理和Web服务等。 说明： 高性能计算：主要是高带宽的需求，用
传统的备份与恢复方案需要将备份数据写入磁带等存储设备，然后再运输至数据中心。在此过程中数据的安全及完整性依赖很多因素，比如硬件、人员等等。无论是从前期搭建数据中心还是后期的维护，都使得传统的备份与恢复方案面临着管理复杂、投入成本高的难题。 云存储定位于简单、安全、高效且低成本，使其成为磁带等传
OBS的持久性和可用性如何？ OBS通过存储介质的慢盘/坏道检测、AZ内设备和数据冗余、AZ之间数据容灾、跨区域复制等技术方案，提供针对介质、服务器、机柜、数据中心和区域的多级可靠性保障。其数据持久性高达99.9999999999%（12个9），可用性高达99.995%，远高于传统架构。 选择不同存
Zone）：一个AZ是一个或多个物理数据中心的集合，有独立的风火水电，AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连，以满足用户跨AZ构建高可用性系统的需求。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前，华为云已在全球多个地域开
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
