检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
内网DNS解析OBS域名，即可实现在ECS上经由内网访问OBS。访问过程示意图如图1所示。 图1 内网访问OBS示意图 对于Windows ECS，推荐使用OBS Browser+工具，实现内网访问OBS的目的，详细操作请参见： 在Windows ECS上使用OBS Browser+通过内网访问OBS
永久AK方式登录：AK方式登录是指使用访问密钥（AK/SK）进行登录鉴权，需要在登录时填写AK/SK。具体登录步骤请参见永久AK方式登录。 其他服务提供商IAM用户登录：指使用其他服务提供商账号创建的IAM用户的账号密码进行登录鉴权。具体登录步骤请参考华为云IAM用户登录，更多参数说明请参见表6。
大数据场景下使用OBS实现存算分离 大数据场景下使用OBS实现存算分离方案概述 操作流程 对接大数据平台 对接大数据组件 迁移HDFS数据至OBS
才能获取桶的CORS配置。建议使用IAM或桶策略进行授权，如果使用IAM则需授予obs:bucket:GetBucketCORS权限，如果使用桶策略则需授予GetBucketCORS权限。相关授权方式介绍可参见OBS权限控制概述，配置方式详见使用IAM自定义策略、自定义创建桶策略。
基本概念 使用OBS API涉及的常用概念 账号 用户注册时的账号，账号对其所拥有的资源及云服务具有完全的访问权限，可以重置用户密码、分配用户权限等。由于账号是付费主体，为了确保账号安全，建议您不要直接使用账号进行日常管理工作，而是创建用户并使用他们进行日常管理工作。 用户 由账
如何获取对象URL？ 按https://桶名.域名/文件夹目录层级/对象名的方式进行拼接。 如果该对象存在于桶的根目录下，则链接地址将不需要有文件夹目录层级。 各区域对应的域名可以从这里的终端节点查看。 例如需访问区域为“华北-北京四”的桶名为“testbucket”中“test”文件夹下对象名为“test
支持的大数据平台简介 华为云大数据存算分离方案中，OBS支持与多种大数据平台对接，包括华为云MapReduce服务（MRS）、Cloudera CDH和Hortonworks HDP，满足用户业务的灵活诉求。 华为云MapReduce服务（MRS） 华为云MapReduce服务（
增加hadoop-huaweicloud的jar包。 在CDH集群各节点执行以下命令，命令请根据hadoop-huaweicloud的jar包名字及实际CDH版本进行适配使用。 执行如下命令，将OBSA-HDFS工具的jar包放到/opt/cloudera/parcels/CDH-6.0.1-1.cdh6.0.1
d: method 请求消息参数 该请求消息中不使用消息参数。 请求消息头 该请求使用的消息头如下表1所示。 表1 OPTIONS请求消息头 消息头名称 描述 是否必选 Origin 预请求指定的跨域请求Origin（通常为域名）。 类型：String 是 Access-Control-Request-Method
域名访问桶和对象；配置CDN加速域名实现加速访问桶和对象。 静态网站托管：您可以将静态网站文件上传至OBS的桶中，并对这些文件赋予匿名用户可读权限，然后将该桶配置成静态网站托管模式，实现使用桶域名访问该网站。 多版本控制：为桶开启多版本控制后，可以在桶中保留多个版本的对象，方便检
Druid专为需要快速数据查询与摄入的工作流程而设计，在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS，使用OBS提供的OBSA-HDFS工具，无需重新编译druid，将OBS配置为deep storage。 对接步骤 配置Druid。 修改配置：
HTTPS两种传输协议。 必选 bucket 请求使用的桶资源路径，在整个系统中唯一标识一个桶。 可选 domain 存放资源的服务器的域名或IP地址。 必选 port 请求使用的端口号。根据软件服务器的部署不同而不同。缺省时使用默认端口，各种传输协议都有默认的端口号，如HTTP
象、列举对象、删除对象。 代码示例一：创建桶 本示例用于使用临时URL授权创建桶。 // 引入obs库 // 使用npm安装 var ObsClient = require('esdk-obs-nodejs'); // 使用源码安装 // var ObsClient = require('
同时OBS还提供多种编程语言的SDK供您使用，SDK的使用方法请参见SDK参考。 终端节点 终端节点即调用API的请求地址，不同服务不同区域的终端节点不同，您可以从地区和终端节点中查询服务的终端节点。 OBS在每个区域都提供独立的二级域名，访问OBS服务既可以使用OBS提供的域名，也可以使用自定义域名。 本文档
支持的大数据组件简介 在华为云大数据存算分离方案中，OBS除了可以与大数据平台对接外，还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下： Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题： 对接大数据组件
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出，在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置：
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎，用于处理有界和无界流式数据。Flink定义了文件系统抽象，OBS服务实现了Flink的文件系统抽象，使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
略创建。 权限配置信息可以在桶策略列表查看。 图2 查看桶策略列表权限配置信息 验证 权限设置成功后，在桶“概览”页的“域名信息”找到“访问域名”。将“访问域名”的URL公布到互联网上，互联网所有用户便可以访问该桶。 在桶“对象”页的“对象”页签下单击目标对象名称，找到对象链接。
Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS Logstash对接OBS 父主题： 大数据场景下使用OBS实现存算分离
5 新功能 问题修复 新增OBS请求支持自定义头域功能。 获取桶存量信息接口，支持按照存储类别统计存量信息。 修复ECS通过代理获取凭据访问OBS时，正则匹配失败的问题。 是 v3.22.2 新功能 新增虚拟桶相关接口。 对Python3 HTTPS参数的使用进行了兼容性更改。 是
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
