检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置的核心是完成大数据平台与OBS对接，实现OBS作为大数据的统一数据湖存储。本文档提供三种主流大数据平台的对接指导，详情请参见支持的大数据平台简介。 （可选）OBS除了可以与主流大数据平台对接外，还可以直接与开源的大数据组件对接。当您使用开源的大数据组件时，可参考支持的大数据组件简介完成与OBS对接。
DataX对接OBS 概述 DataX是一个数据同步框架，实现了包括MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDF
SDK) 客户端加密是指在传输数据前，使用您选择的加密方法与加密信息，在本地进行数据加密，再将加密后结果发送至 OBS 服务器，同时将加密方法与解密所需的必要辅助信息存储到对象元数据中。在下载时 OBS SDK 会依据您提供的密钥与存储在对象元数据中的解密辅助信息进行数据解密，直接返回解密后结果。
SDK) 客户端加密是指在传输数据前，使用您选择的加密方法与加密信息，在本地进行数据加密，再将加密后结果发送至OBS服务器，同时将加密方法与解密所需的必要辅助信息存储到对象元数据中。在下载时OBS SDK会依据您提供的密钥与存储在对象元数据中的解密辅助信息进行数据解密，直接返回解密后结果。
添加桶 桶是OBS中存储对象的容器。您需要先创建一个桶，然后才能在OBS中存储数据。 一个账号及账号下的所有IAM用户可创建的桶+并行文件系统的上限为100个。建议结合OBS细粒度权限控制能力，合理进行桶规划和使用。例如，建议在桶内根据对象前缀划分不同的目录，通过细粒度权限控制实
权方式介绍可参见OBS权限控制概述，配置方式详见使用IAM自定义策略、自定义创建桶策略。 OBS支持的Region与Endpoint的对应关系，详细信息请参见地区与终端节点。 方法定义 func (obsClient ObsClient) GetBucketStorageInfo(bucketName
e等大数据生态与OBS服务的对接，为大数据计算提供“数据湖”存储。 HDFS协议：Hadoop中定义了HDFS协议（通过FileSystem抽象类），其他各类存储系统均可以实现HDFS协议，例如Hadoop中内置的HDFS服务，华为云的对象存储服务OBS。 约束与限制 不支持以下HDFS语义：
资源拥有者给用户A开通了OBS权限，但实际使用了用户B的账号密码或AK/SK登录访问OBS。 需要与资源拥有者确认，已开通OBS权限的账号与自己当前使用的账号或AK/SK是否匹配。 配置的权限不正确 请参考检查配置的权限是否正确。 配置了拒绝访问的权限 请参考检查是否配置了拒绝访问的权限。
参见OBS权限控制概述，配置方式详见使用IAM自定义策略、配置对象策略。 OBS支持的region以及region与endPoint的对应关系，详细信息请参见地区与终端节点。 方法定义 obsClient.getObject(GetObjectRequest request) 请求参数说明
setObjectMetadata来设置对象属性，包括对象自定义元数据等信息。 除了 HTTP 标准头域外，您也可以指定自定义元数据，自定义元数据仅支持英文字符、数字与中划线【-】。 以下代码展示了如何设置对象属性： // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环
您可以新建DIS通知规则，也可以从同区域的其他桶复制已有DIS通知规则。 背景知识 OBS提供的DIS通知功能，主要面向大数据场景，要求OBS与数据接入服务（DIS）及其他大数据相关服务结合使用。 仅支持华东-上海一、华北-北京四、华南-广州区域。 当OBS桶中触发了对象上传、下载、
html"，重定向的结果为"documents/a.html"。 类型：String 父节点：Redirect 条件：有其他兄弟节点存在时非必选，不可与ReplaceKeyWith同时存在 否 ReplaceKeyWith 描述重定向请求时使用的对象名，请求中的整个对象名会被替换为ReplaceKeyWith的内容。
出现“客户端与服务器的时间相差大于15分钟”的报错 问题 当出现“客户端与服务器的时间相差大于15分钟”的报错时，无法正常使用OBS。 回答 出于安全目的，OBS会校验Browser和服务器的时间差，当该时间差大于15分钟时，会出现此报错。请根据本地UTC时间调整本地时间以避免此问题。
Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计，在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS，使用OBS提供的OBSA-HDFS工具，无需重新编译druid，将OBS配置为deep storage。
对象存储服务-成长地图 | 华为云 对象存储服务 对象存储服务（Object Storage Service，OBS）提供海量、安全、高可靠、低成本的数据存储能力，可供用户存储任意类型和大小的数据。适合企业备份/归档、视频点播、视频监控等多种数据存储场景。 图说OBS 权限控制图解
上传/下载性能优化 OBS Browser+对大于50MB的文件/对象默认采用分段方式进行上传/下载，与分段任务相关的参数都在“系统设置”->“基础设置”中。 表1 参数 描述 最大并行任务数 任务同时运行的最大数量，默认是3，取值范围是：1~50。 单任务最大并发数 每个任务的
桶中不完整的数据称之为碎片。OBS采用分段上传的模式上传数据，在下列情况下（但不仅限于此）通常会导致数据上传失败而产生碎片。 网络条件较差，与OBS的服务器之间的连接经常断开。 上传过程中，人为中断上传任务。 设备故障。 突然断电等特殊情况。 上传失败而产生的碎片会存储在OBS中，
碎片管理 背景知识 OBS采用分块上传的模式上传数据，在下列情况下（但不仅限于此）通常会导致数据上传失败而产生碎片。 网络条件较差，与OBS的服务器之间的连接经常断开。 上传过程中，人为中断上传任务。 设备故障。 突然断电等特殊情况。 文件上传失败或上传任务暂停后，都会有碎片存储
下载与安装SDK(Java SDK) 下载SDK OBS Java SDK最新版本源码：最新版本源码下载 OBS Java SDK历史版本下载地址：历史版本下载 如需采用Maven依赖方式获取SDK，请参见安装SDK章节。 安装方式概览 如表1所示，Java SDK以下安装方式。
约束与限制 由于FTP协议为明文传输，为了数据的安全性建议将obsftp工具和FTP Client运行在同一台主机上，通过127.0.0.1:port地址来访问规避FTP协议的不安全性。 工具包需要解压在以ASCII码支持的字符（即英文与数字、_等）组成的目录下。 obsftp对运行环境中的Python版本要求为2
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
