检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
华为云MapReduce服务（MRS）是华为云提供的大数据服务，可以在华为云上部署和管理Hadoop系统，一键即可部署Hadoop集群。 MRS提供用户完全可控的一站式企业级大数据集群云服务，完全兼容开源接口，结合华为云计算、存储优势及大数据行业经验，为客户提供高性能、低成本、灵活易用的全栈大数据平台，轻松运行
签名计算工具 OBS提供可视化签名计算工具，帮助您轻松完成签名计算。 表1 签名计算工具 签名计算方式 签名计算工具获取地址 Header中携带签名 可视化签名计算工具 URL中携带签名 可视化签名计算工具 工具使用步骤 本节介绍如何使用工具计算签名 使用工具计算Header中携带的签名
无全局视图，数据只能在集群内部使用。 拷贝是跨集群数据共享的唯一途径，数据拷贝耗时长。 公共数据集多份存储，数据冗余。 2 计算存储资源绑定，导致资源浪费 计算和存储资源无法均衡，当计算和存储需求不一致时，只能等比扩容，势必造成一种资源的浪费。 3 数据三副本存储，利用率低，成本高 Hadoop分布式文件系统（H
对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题： 大数据场景下使用OBS实现存算分离
支持的大数据组件简介 在华为云大数据存算分离方案中，OBS除了可以与大数据平台对接外，还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下： Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题： 对接大数据组件
数据安全、迁移和备份 我的数据存在OBS中，如何保证安全性？ OBS数据删除或覆盖后是否可以恢复? 在使用访问密钥AK和SK访问OBS过程中，AK和SK是否可以更换或多个用户共享？ 如何迁移数据至OBS？ OBS如何实现备份和容灾？ 如何在弹性文件服务SFS和对象存储服务OBS之间进行数据迁移？
Hadoop系统提供了分布式存储、计算和资源调度引擎，用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议，在大数据场景中可以替代Hadoop系统中的HDFS服务，实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接，为大数据计算提供“数据湖”存储。 HDF
华为云MRS对接OBS 对接步骤 配置存算分离集群。 详细操作，请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作，请参见使用存算分离集群。 父主题： 对接大数据平台
中“对象存储服务”的内容。 假设某用户于2023年7月1日对15TB数据做图片处理。由于数据处理费用无适用的资源包，则按照按需计费方式分析如下。 0~10TB范围内的数据免费，因此该用户的数据处理费用为： 数据处理费用= (15TB - 10TB) * 1024 * 0.025元/GB
以上传对象为例，对一个对象或者段的每一次操作都会计算一次请求次数。假设上传一个拥有100个对象的文件夹： 在都使用PutObject方式上传的情况下，会发送100次PUT请求，计算100次请求次数。 如果其中有一些大对象需要分段上传，则会根据分成的段数额外计算分段上传的请求次数，此外还会有初始
扣除方式可以按需，也可以从资源包中抵扣。 低频访问存储数据恢复和归档存储直读功能不产生对象副本，不会产生标准存储的存储费用。 开启归档数据直读后，下载和拷贝归档存储对象均会产生数据读取流量。 说明： 重复恢复归档存储数据时，分为以下两种情况： 延长有效期：在延长恢复有效期的同时
迁移HDFS数据至OBS 操作场景 在华为云大数据存算分离方案中，对象存储服务OBS作为统一数据湖存储数据。如果用户数据仍存储在本地HDFS中，则需要先将HDFS的数据迁移至OBS。 用户可以使用以下迁移方案中的任意一种完成数据迁移，包括：Distcp方式迁移、CDM方式迁移和OMS方式迁移。
metadata 约束限制： 所有自定义元数据大小的总和不超过8K。单个自定义元数据大小的计算方式为：每个键和值的UTF-8 编码中的字节总数。 自定义元数据的key值不区分大小写，OBS统一转为小写进行存储。value值区分大小写。 自定义元数据key-value对都必须符合US-A
数据保护技术 OBS通过多种数据保护手段和特性，保障存储在OBS中的数据安全可靠。 表1 OBS的数据保护手段和特性 数据保护手段 简要说明 详细介绍 传输加密（HTTPS） OBS支持HTTP和HTTPS两种传输协议，为保证数据传输的安全性，推荐您使用更加安全的HTTPS协议。
如何迁移数据至OBS？ 数据迁移场景 数据迁移至OBS主要有以下几种场景： 搬迁本地数据至OBS 迁移第三方云厂商数据至OBS OBS之间数据迁移（跨账号、跨区域以及同区域内数据迁移） 场景一：搬迁本地数据至OBS 搬迁本地数据至OBS的方案如下，了解更多详见搬迁本地数据至OBS最佳实践：
获取桶元数据 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient.GetBucketMetadata接口获取桶元数据。 本示例用于获取桶名为“bucketname”的元数据信息。
获取自定义元数据 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 下载对象成功后会返回对象的自定义元数据。 本示例用于下载桶名为“bucketname”里，名称为“objectn
获取自定义元数据 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 下载对象成功后会返回对象的自定义元数据。以下代码展示了如何获取自定义元数据： // 创建ObsClient实例 var
设置对象元数据(Java SDK) 功能说明 您可以在上传对象时设置对象元数据。对象元数据包含对象长度、对象MIME类型、对象MD5值（用于校验）、对象存储类别、对象自定义元数据。对象元数据可以在多种上传方式下（流式上传、文件上传、分段上传），或复制对象时进行设置。 开发过程中，
以前设置的元数据是否被移除。 取值范围： true：设置为true后，此次设置元数据请求调用成功后，会把其他以前设置的元数据删除（标准元数据不受影响，自定义元数据只会保留新设置的）。 false：设置为false后，此次设置元数据请求调用成功后，保留以前设置元数据（标准元数据不受影响，自定义元数据只会保留新设置的）。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
