检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Logstash对接OBS 概述 Logstash能够从多个来源采集数据、转换数据并将数据发送到存储系统中，具体请参见Logstash。本文用于描述Logstash如何对接使用OBS。 注意事项 请使用较新版本的logstash，例如≥7.10.2的版本，避免使用较老版本的logstash。
SDK功能矩阵 Java、Python、C、.NET、Node.js、Android SDK对OBS各接口的支持情况请参见表1。 iOS、PHP、Go、BrowserJS、Harmony SDK对OBS各接口的支持情况请参见表2。 表1 OBS SDK功能矩阵1 接口类型 接口名
业务需求使用以下Java SDK的高阶功能。 生命周期：通过为桶配置生命周期规则，可以实现定时转换对象存储类别或定时删除对象。 桶ACL权限：Java SDK提供桶ACL访问权限方式，桶的所有者可以通过编写桶ACL，实现对桶更精细化的权限控制。 桶策略：Java SDK提供桶策略
与华为云OBS进行连接，从而实现定时、自动地将本地数据搬迁至OBS。 图1 CDM方式搬迁数据示意图 创建OBS桶 通过OBS控制台或OBS Browser+创建桶，用于存放原始数据。 购买CDM 购买CDM服务，即创建CDM集群，用于管理连接与作业。 配置连接与作业 在创建CD
支持的大数据组件简介 在华为云大数据存算分离方案中，OBS除了可以与大数据平台对接外，还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下： Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题： 对接大数据组件
Hortonworks HDP对接OBS 部署视图 安装版本 硬件：1master+3core（配置：8U32G，操作系统：CentOS 7.5） 软件：Ambari：2.7.1.0，HDP：3.0.1.0 部署视图 更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具：下载地址。
支持的大数据平台简介 华为云大数据存算分离方案中，OBS支持与多种大数据平台对接，包括华为云MapReduce服务（MRS）、Cloudera CDH和Hortonworks HDP，满足用户业务的灵活诉求。 华为云MapReduce服务（MRS） 华为云MapReduce服务（
Allowed 请求的方法不支持 请求的方法/特性未在该桶所在的区域上线 408 Request Timeout 请求超时 服务端与客户端Socket连接超时 409 Conflict 请求冲突 在不同区域重复创建桶名桶； 尝试删除非空桶； 500 Internal Server Error
Allowed 请求的方法不支持 请求的方法/特性未在该桶所在的区域上线。 408 Request Timeout 请求超时 服务端与客户端Socket连接超时。 409 Conflict 请求冲突 在不同区域重复创建桶名桶。 尝试删除非空桶。 500 Internal Server Error
Allowed 请求的方法不支持 请求的方法/特性未在该桶所在的区域上线 408 Request Timeout 请求超时 服务端与客户端Socket连接超时 409 Conflict 请求冲突 在不同区域重复创建桶名桶； 尝试删除非空桶； 500 Internal Server Error
如果多个云服务一起搭配使用，需要注意： 不同区域的弹性云服务器、关系型数据库、对象存储服务内网不互通。 不同区域的弹性云服务器不支持跨区域部署在同一负载均衡器下。 资源的价格 不同区域的资源价格可能有差异，请参见华为云服务价格详情。 父主题： 产品咨询
配置OBS客户端 您可通过OBSServiceConfiguration配置类对OBSClient进行配置，可配置代理、连接超时、最大连接数等参数。通过OBSServiceConfiguration可以设置的参数见下表： 表1 OBS网络请求配置表 参数 描述 建议值 OBSServiceConfiguration
使用 OBS Android SDK 进行二次开发时如果报缺少类错误，请检查libs目录下除esdk-obs-java-x.x.x.jar外是否包含以下依赖库： java-xmlbuilder-1.3.jar okhttp-4.8.0.jar okio-2.7.0.jar 父主题：
资源无法释放 如果发现使用OBS Android SDK后存在内存泄露或OBS服务端连接未断开等情况，请检查是否正确调用了ObsClient.close以及ObsObject.getObjectContent.close释放资源。 父主题： 异常处理
查看上传进度 使用场景 您可以利用OBS SDK提供的进度监听功能实现一个进度条，来获取指定对象的上传进度，从而预估剩余时间。 使用方式 OBS支持通过SDK获取上传进度。 Java Python C不支持 Go不支持 BrowserJS .NET Android iOS不支持 PHP不支持
描述 Content-Length 响应消息体的字节长度。 类型：String 默认值：无。 Connection 指明与服务器的连接是长连接还是短连接。 类型：String 有效值：keep-alive | close。 默认值：无。 Date OBS系统响应的时间。 类型：String
程序上传文件至OBS。 通过Nginx反向代理访问OBS 本章节介绍如何通过在ECS上配置Nginx反向代理，实现通过固定IP地址访问OBS。 大数据场景下使用OBS实现存算分离 华为云存算分离大数据方案相比传统大数据方案，在同样的业务规模下所使用的计算资源、存储资源以及服务器数
桶中不完整的数据称之为碎片。OBS采用分段上传的模式上传数据，在下列情况下（但不仅限于此）通常会导致数据上传失败而产生碎片。 网络条件较差，与OBS的服务器之间的连接经常断开。 上传过程中，人为中断上传任务。 设备故障。 突然断电等特殊情况。 上传失败而产生的碎片会存储在OBS中，您可以使用本章提供的方
购买VPCEP终端节点的影响： 在购买VPCEP终端节点后，由于流量路径的切换会导致后端处理请求的节点发生切换，正在建立连接和已经建立连接的TCP连接会被中断，需要应用重新建立TCP连接重试请求即可成功。 父主题： 产品咨询
接口参考文档详细介绍了每个接口的参数和使用方法。 您可通过以下步骤实现网站文件托管： 将网站文件上传至OBS的桶中，并设置对象MIME类型。 设置对象访问权限为公共读。 通过浏览器访问对象。 以下代码展示了如何实现网站文件托管： // 创建ObsClient实例 var obsClient
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
