检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持的大数据平台简介 华为云大数据存算分离方案中，OBS支持与多种大数据平台对接，包括华为云MapReduce服务（MRS）、Cloudera CDH和Hortonworks HDP，满足用户业务的灵活诉求。 华为云MapReduce服务（MRS） 华为云MapReduce服务（
对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题： 大数据场景下使用OBS实现存算分离
华为云MRS对接OBS 对接步骤 配置存算分离集群。 详细操作，请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作，请参见使用存算分离集群。 父主题： 对接大数据平台
涉政等违法违规内容，OBS和第三方平台（微信/支付宝/百度等）检测到后会封禁此资源。第三方平台在封禁此资源的同时，会将OBS域名列为不信任域名，导致其他合法使用OBS域名的用户也受到影响。 解决方案 需要通过第三方平台，如微信/支付宝/百度等平台或小程序使用OBS的用户，建议使用自定义域名访问OBS资源，避免封禁。
t、impl等。 core-site.xml配置完成后“重启”Hive集群，再重启Hive集群的“部署客户端配置”。 父主题： 对接大数据平台
图1 基于OBS+SFS Turbo的华为云AI云存储解决方案 方案优势 华为云AI云存储解决方案的主要优势如下表所示。 表1 华为云AI云存储解决方案的主要优势 序号 主要优势 详细描述 1 存算分离，资源利用率高 GPU/NPU算力和SFS Turbo存储解耦，各自按需扩容，资源利用率提升。
流程如图1所示。 图1 操作流程 配置的核心是完成大数据平台与OBS对接，实现OBS作为大数据的统一数据湖存储。本文档提供三种主流大数据平台的对接指导，详情请参见支持的大数据平台简介。 （可选）OBS除了可以与主流大数据平台对接外，还可以直接与开源的大数据组件对接。当您使用开源的
console.log('Uploaded failed', res) wx.showToast({ title: 'Uploaded failed', icon: 'Fail' });
务可快速搭建高扩展性、低成本、高可用的基因测序平台。 客户数据中心测序仪上的数据通过云专线自动快速上传到华为云，通过由ECS、CCE、MRS等服务搭建的计算集群进行分析计算，分析计算产生的数据和计算结果存储到OBS中，其中上传到华为云的基因数据自动转为低成本的归档对象保存在OBS
支持的大数据组件简介 在华为云大数据存算分离方案中，OBS除了可以与大数据平台对接外，还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下： Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题： 对接大数据组件
1.1-hw-53.8.jar /usr/hdp/3.0.1.0-187/hive/auxlib 重启Hive集群。 父主题： 对接大数据平台
8TB），PutObject接口上传对象时对象最大为5GB，超过5GB对象需要使用多段方式上传。 区域 指云资源所在的物理位置，同一区域（region）内可用区间内网互通，不同区域间内网不互通。通过在不同地区创建云资源，可以将应用程序设计的更接近特定客户的要求，或满足不同地区的法律或其他要求。 OBS中的桶归属
OBS桶绑定的自定义域名做域名解析。 云解析服务（Domain Name Service，DNS） 使用自定义域名托管静态网站 自定义域名绑定 通过CDN加速访问OBS OBS可以作为其他云服务的存储资源池，例如关系型数据库（Relational Database Service，RDS），镜像服务（Image
WordPress是一个基于PHP语言和MySQL数据库开发的博客平台，并逐步演化成一款内容管理系统软件，具有广泛的应用场景。 本文介绍如何通过插件，将WordPress远程附件存储到华为云OBS。OBS提供海量、稳定、安全的云存储能力，无需事先规划存储容量，存储资源可线性无限扩展。
归档数据的长期存储，存储单价更优惠 深度归档数据的长期存储，存储单价相比归档存储更优惠 应用场景 云应用、数据分享、内容分享、热点对象 网盘应用、企业备份、活跃归档、监控数据 档案数据、医疗影像、视频素材、带库替代 长期不访问的数据存档场景 设计持久性（单AZ） 99.999999999%（11个9） 99.999999999%（11个9）
归档数据的长期存储，存储单价更优惠 深度归档数据的长期存储，存储单价相比归档存储更优惠 应用场景 云应用、数据分享、内容分享、热点对象 网盘应用、企业备份、活跃归档、监控数据 档案数据、医疗影像、视频素材、带库替代 长期不访问的数据存档场景 设计持久性 99.999999999% 99.999999999% 99
归档数据的长期存储，存储单价更优惠 深度归档数据的长期存储，存储单价相比归档存储更优惠 应用场景 云应用、数据分享、内容分享、热点对象 网盘应用、企业备份、活跃归档、监控数据 档案数据、医疗影像、视频素材、带库替代 长期不访问的数据存档场景 设计持久性 99.999999999% 99.999999999% 99
%，单盘利用率低于70%。 方案架构 针对传统企业在大数据场景面临的问题，华为云提供了基于对象存储服务OBS作为统一数据湖存储的大数据存算分离方案。 图1 基于OBS的华为云大数据存算分离方案 华为云大数据存算分离方案基于对象存储服务OBS的大容量高带宽能力，以及多协议共享访问技术（HDFS/POSIX/OBS
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出，在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置：
Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计，在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS，使用OBS提供的OBSA-HDFS工具，无需重新编译druid，将OBS配置为deep storage。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
