检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SDK概述 对象存储服务软件开发工具包(OBS SDK,Object Storage Service Software Development Kit)是对OBS服务提供的REST API进行的封装,以简化用户的开发工作。
OBS可以通过域名进行访问,在使用API、第三方工具等方式使用OBS时,可通过域名方便定位OBS中的资源。 在使用OBS之前,请确保客户端环境已经正确配置DNS服务器地址,用于OBS域名解析。 不同的数据中心分配对应的域名,域名详情请参见地区和终端节点。 父主题: 产品咨询
Hive对接OBS 概述 Hive是一个数据仓库工具,可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载,它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。
dryRun 附加参数,可选 测试模式运行,不执行实际的下载操作。 u 附加参数,可选 增量下载操作,设置该参数后,下载每个对象时会对比本地对应路径的文件,仅在文件不存在,或者文件大小与对象大小不一致,或者文件的最后修改时间早于对象的最后修改时间时进行下载。
如何永久分享文件或文件夹 通过OBS Browser+工具可以实现分享文件或分享文件夹,通过该方式生成的分享链接中都包含链接的有效时间,超过有效期后即无法通过该链接继续访问。
); config.setTrustManagerFactory(tmf); ObsClient obsClient = new ObsClient(ak, sk, config); 本地证书保存格式应为 jks 格式,可以运行以下命令调用 Java 自带的 keytool 工具将
表1 问题定位方式 方式 说明 日志文件 obsutil的日志文件分为工具日志和SDK日志,工具日志可以记录obsutil在运行过程中的正常/异常信息,SDK日志可以记录在请求OBS服务过程中的正常/异常信息。
dryRun 附加参数,可选 测试模式运行,不执行实际的下载操作。 vlength 附加参数,可选 下载完成后,验证本地文件大小是否与桶中对象的大小一致。 vmd5 附加参数,可选 下载完成后,验证本地文件的MD5值是否与桶中对象的MD5值一致。
列举接口是否支持保存结果到本地文件 obsutil工具本身的列举相关操作不支持直接将结果保存在本地文件,但是可以通过操作系统提供的重定向操作实现将列举结果从屏显的标准输出重定向到指定的本地结果文件中;以列举桶内对象为例: Windows操作系统(在命令行cmd下执行该重定向操作)
解决办法: 针对以上场景,Browser+工具支持您在登录时指定访问路径,访问路径的格式为:obs://bucketName/folder。 父主题: 常见问题
// 前端本身没有process对象,可以使用webpack类打包工具定义环境变量,就可以在代码中运行了。
身份认证与访问控制 身份认证 用户访问OBS的方式有多种,包括OBS控制台、OBS客户端(OBS Browser+)、OBS命令行工具(obsutil)、API、SDK,无论访问方式封装成何种形式,其本质都是通过OBS提供的REST风格的API接口进行请求。
dryRun 附加参数,可选 测试模式运行,不执行实际的下载操作。 u 附加参数,可选 增量下载操作,设置该参数后,下载每个对象时会对比本地对应路径的文件,仅在文件不存在,或者文件大小与对象大小不一致,或者文件的最后修改时间早于对象的最后修改时间时进行下载。
使用OBS Browser+工具上传对象,具体请参见上传文件或文件夹。 使用obsutil工具上传 使用obsutil工具采用分段上传最大支持上传48.8TB的单个文件,一次同时上传的文件数量没有限制。 使用obsutil工具上传对象,具体请参见上传对象。
安装OBS Browser+ 操作步骤 单击OBS Browser+工具的下载链接下载该工具。 解压下载的软件包。 运行“obs-browser-plus Setup xxx.exe”完成OBS Browser+工具安装。“xxx”为OBS Browser+工具的版本号。
对于万级别的文件数量的批量上传,建议使用obsutil工具,详见上传对象。 操作步骤 登录OBS Browser。 单击待上传文件或文件夹的桶。 单击“上传”,系统弹出“上传对象”对话框,如图1所示。 您可以选择文件上传,详见4;也可以选择文件夹上传,详见5。
s3fs是一款基于用户空间文件系统(Filesystem in Userspace,简称FUSE)的文件系统工具,支持您在Linux系统中,将OBS对象桶挂载到本地文件系统,让您能够像操作本地文件一样操作对象,实现数据的共享。关于s3fs的更多信息,请参见GitHub。
xxx] 归档到指定的桶 obsutil archive obs://bucket[/key] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] 运行示例 以Windows操作系统为例,运行obsutil archive,归档日志到工具运行的同级目录
请求费用 通过控制台、工具、API、SDK等任意方式对OBS进行操作,实际上都是对OBS API的调用,每调用一次API都计算一次请求次数。对象存储服务OBS会根据调用API的请求次数进行费用收取。
通过控制台、工具、API、SDK等任意方式对OBS进行操作,实际上都是对OBS API的调用,每调用一次API都计算一次请求次数。 请求类别 OBS的请求主要分为四大类: 读操作(GET类请求):GET/HEAD/LIST等,例如下载对象、获取桶区域位置、获取桶策略、列举对象。