检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Hive。 重命名/opt/hive-2.3.3/conf/hive-env.sh.template为hive-env.sh。 重命名opt/hive-2.3.3/conf/hive-log4j2.properties.template为hive-log4j2.properties。
当使用配置类（ObsConfig）创建OBS客户端（ObsClient）时，您可通过ObsConfig配置类对ObsClient进行配置，可配置代理、连接超时、最大连接数等参数。通过ObsConfig可以设置的参数见下表： 参数 描述 建议值 Endpoint 连接OBS的服务地址。可包含协议类型、域名、端
支持的大数据组件简介 在华为云大数据存算分离方案中，OBS除了可以与大数据平台对接外，还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下： Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题： 对接大数据组件
Windows操作系统 归档到本地 obsutil archive [file_or_folder_url] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] 归档到指定的桶 obsutil archive obs://bucket[/key] [-config=xxx]
DataX对接OBS 概述 DataX是一个数据同步框架，实现了包括MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务，本文介绍DataX如何对接OBS。
sign，生成对象的下载链接 stat，查询桶属性、查询对象属性 sync，增量同步上传对象、增量同步复制对象、增量同步下载对象 archive，归档日志文件 clear，删除断点记录文件 config，更新配置文件 help，查看命令帮助 version，查看版本号 父主题： 辅助命令
项目打包出错 打包时候报如下错误： OBS.framework” did not contain a “archived-expanded-entitlements.xcent” resource. 修复方法： OBS.framework为静态库，请确保Embedded Binaries中不包含OBS
如何查看桶内的文件夹大小？ 可以使用obsutil列举对象命令，指定前缀为需要查看的文件夹进行列举。 以Linux操作系统为例，运行./obsutil ls obs://bucket-test/test/ -du -limit=0命令，查询桶bucket-test下test文件夹的大小。
COLD DEEP_ARCHIVE 默认取值： 无 x-obs-meta-* String 否 参数解释： 对象的自定义元数据。OBS支持用户使用以“x-obs-meta-”开头的消息头来加入自定义的元数据，以便对对象进行自定义管理。当用户获取此对象或查询此对象元数据时，加入的自定义元数据将会在返回的消息头中出现。
查看跨域规则 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient->getBucketCors查看桶的跨域规则。以下代码展示了如何查看跨域规则： // 引入依赖库
查看桶多版本状态 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient.getBucketVersioning查看桶的多版本状态。以下代码展示了如何查看桶的多版本状态：
的“部署客户端配置”。 Hive集群对接OBS配置项 Hive应用对接OBS，需要在Hive集群中进行core-site.xml配置，包括：ak、sk、endpoint、impl等。 core-site.xml配置完成后“重启”Hive集群，再重启Hive集群的“部署客户端配置”。
连接超时异常 如果获取到的异常堆栈出现“System.Net.WebException: 无法连接到远程服务器 --->System.Net.Sockets.SocketException: 由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败“，说明连接超时。
对接大数据组件 支持的大数据组件简介 Hadoop对接OBS Hive对接OBS Spark对接OBS Presto对接OBS Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS Logstash对接OBS 父主题： 大数据场景下使用OBS实现存算分离
Catalog配置文件（重点） hive connector配置如下: 在etc目录下创建catalog目录 创建一个hive connector的配置文件：hive.properties # hive.properties #连接名 connector.name=hive-hadoop2 #配置hive
OBS服务实现了Hadoop的HDFS协议，在大数据场景中可以替代Hadoop系统中的HDFS服务，实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接，为大数据计算提供“数据湖”存储。 HDFS协议：Hadoop中定义了HDFS协议（通过FileSyste
查看桶的基本信息 可以通过OBS Browser+查看桶的基本信息，如桶类型、账户ID、区域和存储用量等。 操作步骤 登录OBS Browser+。 选中待查看的桶，右键单击选中“基本信息”。 在弹出的“基本信息”界面中查看桶的基本信息，如图1所示。 图1 桶的基本信息 表1 参数说明
bjectNumber> <DeepArchiveSize>deepArchiveSize</DeepArchiveSize> <DeepArchiveObjectNumber>deepArchiveNumber</DeepArchiveObjectNumber> </GetBu
允许打开的最大的命令请求连接数, ios系统中默认为4。 N/A OBSServiceConfiguration.uploadSessionConfiguration.HTTPMaximumConnectionsPerHost 允许打开的最大的上传请求连接数, ios系统中默认为4。
创建桶失败 如果当前用户所创建的桶已达到上限100个，删除一些闲置的桶再创建。 如果是当前桶名已存在，则更换桶名再创建。在OBS中，桶名必须是全局唯一的，即用户创建的桶不能与自己已创建的其他桶名称相同，也不能与其他用户（包括其他华为云账号）创建的桶名称相同。 用户删除桶后，立即创
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
