检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持的大数据平台简介 华为云大数据存算分离方案中，OBS支持与多种大数据平台对接，包括华为云MapReduce服务（MRS）、Cloudera CDH和Hortonworks HDP，满足用户业务的灵活诉求。 华为云MapReduce服务（MRS） 华为云MapReduce服务（M
对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题： 大数据场景下使用OBS实现存算分离
表1 传统企业在大数据场景面临的关键问题 序号 关键问题 详细描述 1 多集群数据共享难 企业数据往往分别存储在IDC多个集群，存在如下问题： 无全局视图，数据只能在集群内部使用。 拷贝是跨集群数据共享的唯一途径，数据拷贝耗时长。 公共数据集多份存储，数据冗余。 2 计算存储资源绑定，导致资源浪费
文件接口方式的数据共享访问：由于 AI 架构需要使用到大规模的计算集群（GPU/NPU服务器），集群中的服务器访问的数据来自一个统一的数据源，即一个共享的存储空间。这种共享访问的数据有诸多好处，它可以保证不同服务器上访问数据的一致性，减少不同服务器上分别保留数据带来的数据冗余等。另外以
支持的大数据组件简介 在华为云大数据存算分离方案中，OBS除了可以与大数据平台对接外，还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下： Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题： 对接大数据组件
方案概述 应用场景 某企业基于弹性云服务器（Elastic Cloud Server，ECS）构建好基础的业务后，随着数据增长，硬盘已无法满足大量的图片、视频等数据存取需求。了解到华为云提供有海量、弹性的云存储服务OBS后，决定将OBS作为数据存储资源池，以减轻服务器负担。 在E
数据被窃取，甚至被篡改。 为了更好地保护应用数据，避免被攻击后数据泄露以及越权访问的风险，为您推荐以下两种方法。 方法一：使用临时安全凭证直传OBS 方法二：使用预签名URL访问OBS 方法一使用临时的AK/SK，可以避免AK/SK泄露的风险。推荐您优先使用临时安全凭证直传OBS。
华为云MRS对接OBS 对接步骤 配置存算分离集群。 详细操作，请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作，请参见使用存算分离集群。 父主题： 对接大数据平台
a/sample CDM方式迁移 云数据迁移（Cloud Data Migration，CDM）提供同构/异构数据源之间批量数据迁移服务，帮助您实现数据自由流动。支持关系数据库，数据仓库，NoSQL，大数据云服务等数据源。 详细内容请参见云数据迁移。 OMS方式迁移 对象存储迁移服务（Object
fs.obs.OBSFileSystem。 重启HDFS集群。 在MapReduce2集群中增加配置项 在MapReduce2集群CONFIGS的ADVANCED配置项中修改mapred-site.xml文件中的mapreduce.application.classpath配置项，添加路径为/usr/hdp/3
参数解释： 元数据操作指示符。 约束限制： 无 取值范围： REPLACE_NEW：表示对于已经存在值的元数据进行替换，不存在值的元数据进行赋值，未指定的元数据保持不变（自定义头域作替换处理）。 REPLACE：表示使用当前请求中携带的头域完整替换，未指定的元数据（本表中除x-o
如何迁移数据至OBS？ 数据迁移场景 数据迁移至OBS主要有以下几种场景： 搬迁本地数据至OBS 迁移第三方云厂商数据至OBS OBS之间数据迁移（跨账号、跨区域以及同区域内数据迁移） 场景一：搬迁本地数据至OBS 搬迁本地数据至OBS的方案如下，了解更多详见搬迁本地数据至OBS最佳实践：
Spark集群对接OBS配置项 Spark应用对接OBS，需要在YARN集群中进行core-site.xml配置，包括：ak、sk、endpoint、impl等。 core-site.xml配置完成后“重启”YARN集群，再重启Spark集群的“部署客户端配置”。 Hive集群对接OBS配置项
使用备份软件实现本地数据备份至OBS 使用场景 传统的备份与恢复方案需要将备份数据写入磁带等存储设备，然后再运输至数据中心。在此过程中数据的安全及完整性依赖很多因素，比如硬件、人员等等。无论是从前期搭建数据中心还是后期的维护，都使得传统的备份与恢复方案面临着管理复杂、投入成本高的难题。
对接大数据组件 支持的大数据组件简介 Hadoop对接OBS Hive对接OBS Spark对接OBS Presto对接OBS Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS Logstash对接OBS 父主题： 大数据场景下使用OBS实现存算分离
数据恢复费用 访问低频访问存储类别、归档存储类别和深度归档存储类别的对象时，会根据对象大小等产生额外的数据恢复费用。此项费用不管通过内、外网访问均会产生；如果使用外网访问，则会同时计入到公网流出流量费用。 计费说明 资费项 计费项 含义 适用的计费模式 数据恢复费用 数据读取流量
应用场景 大数据分析 场景描述 OBS提供的大数据解决方案主要面向海量数据存储分析、历史数据明细查询、海量行为日志分析和公共事务分析统计等场景，向用户提供低成本、高性能、不断业务、无须扩容的解决方案。 海量数据存储分析的典型场景：PB级的数据存储，批量数据分析，毫秒级的数据详单查询等
中“对象存储服务”的内容。 假设某用户于2023年7月1日对15TB数据做图片处理。由于数据处理费用无适用的资源包，则按照按需计费方式分析如下。 0~10TB范围内的数据免费，因此该用户的数据处理费用为： 数据处理费用= (15TB - 10TB) * 1024 * 0.025元/GB
上传数据至OBS并预热到SFS Turbo中 上传数据至OBS 下载ImageNet21K数据集，并上传ImageNet21K数据集至OBS，详细操作指导请参考上传数据至OBS。 OBS针对不同场景提供了多种数据上云方案，您可根据数据量、耗时、费用等需求选择适合的方案上传数据至OBS，更多内容请参考数据上云方案。
前期安装难、设备成本高、初始投资大、自建周期长、后期运维成本高，无法匹配快速变更的企业业务，安全保障的费用还需额外考虑。 OBS的优势 数据稳定，业务可靠：OBS支撑手机云相册，数亿用户访问，稳定可靠。通过跨区域复制、AZ之间数据容灾、AZ内设备和数据冗余、存储介质的慢盘/坏道检测等技术方案，保障数据持久性高达99
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
