检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
华为云MapReduce服务（MRS）是华为云提供的大数据服务，可以在华为云上部署和管理Hadoop系统，一键即可部署Hadoop集群。 MRS提供用户完全可控的一站式企业级大数据集群云服务，完全兼容开源接口，结合华为云计算、存储优势及大数据行业经验，为客户提供高性能、低成本、灵活易用的全栈大数据平台，轻松运行Had
对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题： 大数据场景下使用OBS实现存算分离
参数解释： 元数据操作指示符。 约束限制： 无 取值范围： REPLACE_NEW：表示对于已经存在值的元数据进行替换，不存在值的元数据进行赋值，未指定的元数据保持不变（自定义头域作替换处理）。 REPLACE：表示使用当前请求中携带的头域完整替换，未指定的元数据（本表中除x-o
获取桶元数据 功能介绍 对桶拥有读权限的用户可以执行查询桶元数据是否存在的操作。 请求消息样式 1 2 3 4 HEAD / HTTP/1.1 Host: bucketname.obs.cn-north-4.myhuaweicloud.com Date: date Authorization:
支持的大数据组件简介 在华为云大数据存算分离方案中，OBS除了可以与大数据平台对接外，还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下： Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题： 对接大数据组件
数据恢复费用 访问低频访问存储类别、归档存储类别和深度归档存储类别的对象时，会根据对象大小等产生额外的数据恢复费用。此项费用不管通过内、外网访问均会产生；如果使用外网访问，则会同时计入到公网流出流量费用。 计费说明 资费项 计费项 含义 适用的计费模式 数据恢复费用 数据读取流量
获取自定义元数据 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 下载对象成功后会返回对象的自定义元数据。以下代码展示了如何获取自定义元数据： // 引入依赖库 require 'vendor/autoload
在备份业务节点，负责直接将备份数据存储至OBS。 OBS 在备份场景下OBS负责存储备份数据，桶是OBS中存储数据的容器，最终数据都存储在OBS桶中。 一个CommCell是一个备份管理域 ，是软件的逻辑组合 ，包含获取数据 、传输数据 、管理数据和信息的所有软件组件。 备份流程
中“对象存储服务”的内容。 假设某用户于2023年7月1日对15TB数据做图片处理。由于数据处理费用无适用的资源包，则按照按需计费方式分析如下。 0~10TB范围内的数据免费，因此该用户的数据处理费用为： 数据处理费用= (15TB - 10TB) * 1024 * 0.025元/GB
如何迁移数据至OBS？ 数据迁移场景 数据迁移至OBS主要有以下几种场景： 搬迁本地数据至OBS 迁移第三方云厂商数据至OBS OBS之间数据迁移（跨账号、跨区域以及同区域内数据迁移） 场景一：搬迁本地数据至OBS 搬迁本地数据至OBS的方案如下，了解更多详见搬迁本地数据至OBS最佳实践：
的企业业务，安全保障的费用还需额外考虑。 OBS的优势 数据稳定，业务可靠：OBS支撑手机云相册，数亿用户访问，稳定可靠。通过跨区域复制、AZ之间数据容灾、AZ内设备和数据冗余、存储介质的慢盘/坏道检测等技术方案，保障数据持久性高达99.9999999999%，业务连续性高达99
从其他AZ正常访问数据，适用于对可靠性要求较高的数据存储场景。 创建多AZ桶 数据完整性校验（MD5） 对象数据在上传下载过程中，有可能会因为网络劫持、数据缓存等原因，存在数据不一致的问题。OBS提供通过计算MD5值的方式对上传下载的数据进行一致性校验。 数据一致性校验 服务端加密
获取对象元数据 功能介绍 拥有对象读权限的用户可以执行HEAD操作命令获取对象元数据，返回信息包含对象的元数据信息。 获取采用SSE-C加密的对象的元数据时，需要携带SSE-C相关头域，详见表2。 多版本 默认情况下，获取的是最新版本的对象元数据。如果最新版本的对象是删除标记，则
以前设置的元数据是否被移除。 取值范围： true：设置为true后，此次设置元数据请求调用成功后，会把其他以前设置的元数据删除（标准元数据不受影响，自定义元数据只会保留新设置的）。 false：设置为false后，此次设置元数据请求调用成功后，保留以前设置元数据（标准元数据不受影响，自定义元数据只会保留新设置的）。
表1 传统企业在大数据场景面临的关键问题 序号 关键问题 详细描述 1 多集群数据共享难 企业数据往往分别存储在IDC多个集群，存在如下问题： 无全局视图，数据只能在集群内部使用。 拷贝是跨集群数据共享的唯一途径，数据拷贝耗时长。 公共数据集多份存储，数据冗余。 2 计算存储资源绑定，导致资源浪费
间进行数据迁移？ OBS会不会扫描我的数据用于其他用途？ 后台工程师能否导出我存储在OBS中的数据？ OBS如何保证我的数据不会被盗用？ OBS的持久性和可用性如何？ OBS单AZ和多AZ有什么区别？ OBS的数据冗余存储方式是什么？
获取桶元数据 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient.GetBucketMetadata接口获取桶元数据。以下代码展示如何获取桶元数据： //
为什么OBS存储的数据丢失了？ 请检查桶中是否设置了生命周期过期删除规则，符合规则的对象会被删除。 请检查桶是否授权了其他用户桶的写权限，被授权的用户都可以删除对象。如果您开启了日志记录功能，可以通过日志记录查询到删除对象的用户。 父主题： 产品咨询
迁移HDFS数据至OBS 操作场景 在华为云大数据存算分离方案中，对象存储服务OBS作为统一数据湖存储数据。如果用户数据仍存储在本地HDFS中，则需要先将HDFS的数据迁移至OBS。 用户可以使用以下迁移方案中的任意一种完成数据迁移，包括：Distcp方式迁移、CDM方式迁移和OMS方式迁移。
设置对象元数据(Java SDK) 功能说明 您可以在上传对象时设置对象元数据。对象元数据包含对象长度、对象MIME类型、对象MD5值（用于校验）、对象存储类别、对象自定义元数据。对象元数据可以在多种上传方式下（流式上传、文件上传、分段上传），或复制对象时进行设置。 开发过程中，
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
