检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持的大数据平台简介 华为云大数据存算分离方案中，OBS支持与多种大数据平台对接，包括华为云MapReduce服务（MRS）、Cloudera CDH和Hortonworks HDP，满足用户业务的灵活诉求。 华为云MapReduce服务（MRS） 华为云MapReduce服务（M
对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题： 大数据场景下使用OBS实现存算分离
应用场景 随着大数据技术的飞速发展，对数据价值的认识逐渐加深，大数据已经融入到了各行各业。根据相关调查报告数据显示，超过39.6%的企业正在应用大数据并从中获益；超过89.6%的企业已经成立或计划成立相关的大数据分析部门；超过六成的企业在扩大大数据的投入力度。对各行业来讲，大数据的使用能力成为未来取得竞争优势的关键能力之一。
fs.obs.OBSFileSystem。 重启HDFS集群。 在MapReduce2集群中增加配置项 在MapReduce2集群CONFIGS的ADVANCED配置项中修改mapred-site.xml文件中的mapreduce.application.classpath配置项，添加路径为/usr/hdp/3
支持的大数据组件简介 在华为云大数据存算分离方案中，OBS除了可以与大数据平台对接外，还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下： Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题： 对接大数据组件
参数解释： 元数据操作指示符。 约束限制： 无 取值范围： REPLACE_NEW：表示对于已经存在值的元数据进行替换，不存在值的元数据进行赋值，未指定的元数据保持不变（自定义头域作替换处理）。 REPLACE：表示使用当前请求中携带的头域完整替换，未指定的元数据（本表中除x-o
从其他AZ正常访问数据，适用于对可靠性要求较高的数据存储场景。 创建多AZ桶 数据完整性校验（MD5） 对象数据在上传下载过程中，有可能会因为网络劫持、数据缓存等原因，存在数据不一致的问题。OBS提供通过计算MD5值的方式对上传下载的数据进行一致性校验。 数据一致性校验 服务端加密
配置存算分离集群。 详细操作，请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作，请参见使用存算分离集群。 父主题： 对接大数据平台
nt、impl等。 core-site.xml配置完成后“重启”Hive集群，再重启Hive集群的“部署客户端配置”。 父主题： 对接大数据平台
a/sample CDM方式迁移 云数据迁移（Cloud Data Migration，CDM）提供同构/异构数据源之间批量数据迁移服务，帮助您实现数据自由流动。支持关系数据库，数据仓库，NoSQL，大数据云服务等数据源。 详细内容请参见云数据迁移。 OMS方式迁移 对象存储迁移服务（Object
对接大数据组件 支持的大数据组件简介 Hadoop对接OBS Hive对接OBS Spark对接OBS Presto对接OBS Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS Logstash对接OBS 父主题： 大数据场景下使用OBS实现存算分离
操作流程 大数据场景下使用OBS实现存算分离的操作流程如图1所示。 图1 操作流程 配置的核心是完成大数据平台与OBS对接，实现OBS作为大数据的统一数据湖存储。本文档提供三种主流大数据平台的对接指导，详情请参见支持的大数据平台简介。 （可选）OBS除了可以与主流大数据平台对接外，
数据恢复费用 访问低频访问存储类别、归档存储类别和深度归档存储类别的对象时，会根据对象大小等产生额外的数据恢复费用。此项费用不管通过内、外网访问均会产生；如果使用外网访问，则会同时计入到公网流出流量费用。 计费说明 资费项 计费项 含义 适用的计费模式 数据恢复费用 数据读取流量
中“对象存储服务”的内容。 假设某用户于2023年7月1日对15TB数据做图片处理。由于数据处理费用无适用的资源包，则按照按需计费方式分析如下。 0~10TB范围内的数据免费，因此该用户的数据处理费用为： 数据处理费用= (15TB - 10TB) * 1024 * 0.025元/GB
获取自定义元数据 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 下载对象成功后会返回对象的自定义元数据。以下代码展示了如何获取自定义元数据： // 引入依赖库 require 'vendor/autoload
如何迁移数据至OBS？ 数据迁移场景 数据迁移至OBS主要有以下几种场景： 搬迁本地数据至OBS 迁移第三方云厂商数据至OBS OBS之间数据迁移（跨账号、跨区域以及同区域内数据迁移） 场景一：搬迁本地数据至OBS 搬迁本地数据至OBS的方案如下，了解更多详见搬迁本地数据至OBS最佳实践：
大数据场景下使用OBS实现存算分离 方案概述 操作流程 对接大数据平台 对接大数据组件 迁移HDFS数据至OBS
获取对象元数据 功能介绍 拥有对象读权限的用户可以执行HEAD操作命令获取对象元数据，返回信息包含对象的元数据信息。 获取采用SSE-C加密的对象的元数据时，需要携带SSE-C相关头域，详见表2。 多版本 默认情况下，获取的是最新版本的对象元数据。如果最新版本的对象是删除标记，则
获取桶元数据 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient.GetBucketMetadata接口获取桶元数据。以下代码展示如何获取桶元数据： //
Hadoop系统提供了分布式存储、计算和资源调度引擎，用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议，在大数据场景中可以替代Hadoop系统中的HDFS服务，实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接，为大数据计算提供“数据湖”存储。 HDFS协议：Hado
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
