检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对接大数据组件 支持的大数据组件简介 Hadoop对接OBS Hive对接OBS Spark对接OBS Presto对接OBS Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS Logstash对接OBS 父主题： 大数据场景下使用OBS实现存算分离
父主题： 对接大数据组件
父主题： 对接大数据平台
OBS在大数据场景中可以替代Hadoop系统中的HDFS服务，本文介绍DataX如何对接OBS。 对接步骤 下载datax源码，以发布版本datax_v202308为例：下载地址。 修改编译datax。
对接步骤 以flink-1.12.1为例。 下载flink-1.12.1-bin-scala_2.11.tgz，并解压到/opt/flink-1.12.1目录。
父主题： 对接大数据平台
对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题： 大数据场景下使用OBS实现存算分离
Hive对接OBS 概述 Hive是一个数据仓库工具，可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载，它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。
前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 已安装Hive，具体请参见Hive对接OBS。 安装presto server 版本：prestoSQL-333 下载Presto客户端和服务端。
OBS基于DNS解析性能和可靠性的考虑，要求凡是携带桶名的请求，在构造URL的时候都必须将桶名放在domain前面，形成三级域名形式，又称为虚拟主机访问域名。
华为云MRS对接OBS 对接步骤 配置存算分离集群。 详细操作，请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作，请参见使用存算分离集群。 父主题： 对接大数据平台
Logstash对接OBS 概述 Logstash能够从多个来源采集数据、转换数据并将数据发送到存储系统中，具体请参见Logstash。本文用于描述Logstash如何对接使用OBS。
403 Forbidden VirtualHostDomainRequired 未使用虚拟主机访问域名。 Host使用虚拟主机访问域名。 403 Forbidden Unauthorized 用户未实名认证。 请实名认证后重试。
创建VPC 虚拟私有云可以为您构建隔离的、用户自主配置和管理的虚拟网络环境，操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo HPC型文件系统 创建SFS Turbo文件系统，文件系统类型选择“HPC型”，操作指导请参考创建SFS Turbo文件系统。
已部署Hadoop的环境：无需额外操作，部署Hadoop请参见Hadoop对接OBS。
父主题： 对接大数据组件
Hortonworks HDP与OBS对接的具体操作，请参见Hortonworks HDP对接OBS 父主题： 对接大数据平台
如果用户购买的虚拟机网卡带宽低于16Gbit/s，那么节点带宽会先受虚机带宽限制，需要购买多台虚拟机并发运行才能达到16Gbit/s的带宽。 上传下载速率还受磁盘io及是否有其它进程抢占资源的影响。
大数据场景下使用OBS实现存算分离 大数据场景下使用OBS实现存算分离方案概述 操作流程 对接大数据平台 对接大数据组件 迁移HDFS数据至OBS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
