-
Spark对接OBS - 对象存储服务 OBS
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出,在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置:
-
我可以上传同名对象到同一个文件夹中吗? - 对象存储服务 OBS
我可以上传同名对象到同一个文件夹中吗? 如果开启了多版本控制,上传对象时,OBS自动为每个对象创建唯一的版本号。上传同名的对象将以不同的版本号同时保存在OBS中。 如果未开启多版本控制,向同一个文件夹中上传同名的对象时,新上传的对象将覆盖原有的对象。 父主题: 多版本控制
-
是否支持统计文件夹内的文件数目及大小 - 对象存储服务 OBS
是否支持统计文件夹内的文件数目及大小 OBS Browser+不支持统计文件夹内的文件数目及大小,可以使用obsutil列举对象命令,指定前缀为需要查看的文件夹进行列举。 以Linux操作系统为例,运行./obsutil ls obs://bucket-test/test/ -du
-
应用示例三:由高级桶策略授权挂载桶的读写权限 - 对象存储服务 OBS
应用示例三:由高级桶策略授权挂载桶的读写权限 通过高级桶策略可以授权挂载桶的读写权限。 高级桶策略授权权限时,必须开通的权限为HeadBucket、ListBucket、GetObject和GetObjectVersion,其他权限可根据需求开通。 操作步骤 登录OBS管理控制台。
-
Logstash对接OBS - 对象存储服务 OBS
Logstash对接OBS 概述 Logstash能够从多个来源采集数据、转换数据并将数据发送到存储系统中,具体请参见Logstash。本文用于描述Logstash如何对接使用OBS。 注意事项 请使用较新版本的logstash,例如≥7.10.2的版本,避免使用较老版本的logstash。
-
分段上传场景化示例(Java SDK) - 对象存储服务 OBS
out.println("HTTP Code:" + e.getResponseCode()); // 请求失败,打印服务端错误码 System.out.println("Error Code:" + e.getErrorCode());
-
配置生命周期管理策略 - 对象存储服务 OBS
配置生命周期管理策略 您可以为某个桶定义生命周期管理规则,来为该桶的对象定义各种生命周期规则。 操作步骤 登录OBS Browser+。 选中待配置的桶,单击“更多 > 生命周期规则”,如图1所示。 图1 生命周期规则 在“生命周期规则”窗口中单击“创建”,如图2所示。 图2 创建生命周期规则
-
配置CDN回源,并购买回源流量包,计费未走回源流量包 - 对象存储服务 OBS
配置CDN回源,并购买回源流量包,计费未走回源流量包 请检查购买的回源流量包和CDN回源源站桶是否在同一区域。 登录控制台。 在顶部导航栏单击“资源 > 我的套餐”,查看购买的资源包所在区域。 登录CDN控制台,在“域名管理”中查看CDN加速域名所配置的源站OBS桶域名,根据桶域名可以判断出回源源站桶所在的区域。
-
签名不匹配(SignatureDoesNotMatch)如何处理 - 对象存储服务 OBS
签名不匹配(SignatureDoesNotMatch)如何处理 问题现象 调用OBS API报如下错误: 状态码:403 Forbidden 错误码:SignatureDoesNotMatch 错误信息:The request signature we calculated does
-
SDK是否支持批量上传、下载或复制对象?(Java SDK) - 对象存储服务 OBS
SDK是否支持批量上传、下载或复制对象?(Java SDK) 不支持。 目前SDK暂未提供此类接口,您需要自己封装批量上传、下载或复制对象的业务代码。步骤如下: 列举出所有待上传、下载或者复制的对象。可参考列举对象章节,列举待下载的对象。 对列举出的对象调用单个对象的上传(上传对
-
为什么我运行了百万级别的任务后,感觉任务执行较慢? - 对象存储服务 OBS
为什么我运行了百万级别的任务后,感觉任务执行较慢? OBS Browser+中任务数量达到了百万级别及以上,系统会处于海量查找的状态中,对您机器的性能要求比较高;为了提升您的体验,建议清理历史任务数据。清理方法是在任务管理窗口,选中已完成任务然后删除,如图1所示。 图1 删除已完成任务
-
下载对象-断点续传下载(Go SDK) - 对象存储服务 OBS
模式下有效。 默认取值: 当该值为空时,默认与下载对象的本地文件路径同目录。 SseHeader SseCHeader 可选 参数解释: 服务端解密头信息,详见SseCHeader。 IfMatch string 可选 参数解释: 指定一个预设的Etag值,如果下载对象的ETag
-
使用obsutil下载文件夹前期速度正常,下载到90%后速度变慢 - 对象存储服务 OBS
使用obsutil下载文件夹前期速度正常,下载到90%后速度变慢 出现此种现象有两种场景。 场景一:文件夹中存在部分大对象和大量小对象。对于大对象,下载速度很快;对于大量小对象,下载速度主要受TPS影响。如果下载到90%后都是小对象,此时下载速度一定程度上可能会降低。 场景二:文
-
创建跨区域复制规则后,为什么对象没有复制到目标桶中? - 对象存储服务 OBS
创建跨区域复制规则后,为什么对象没有复制到目标桶中? 跨区复制规则没有开启“同步历史对象”功能的时候,桶中已有的对象不会复制到目标桶中。 新上传的对象存储类别为归档存储。 跨区域复制不保证时效性,配置跨区域复制规则后,可能会出现对象不会立即进行复制的情况,请耐心等待。 父主题: 跨区域复制
-
Cloudera CDH对接OBS - 对象存储服务 OBS
Cloudera CDH对接OBS 部署视图 安装版本 硬件:1Master+3Core(配置:8U32G,操作系统:CentOS 7.5) 软件:CDH 6.0.1 部署视图 更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具:下载地址。 并将OBS
-
OBS Browser+与OBS Browser的不同之处? - 对象存储服务 OBS
OBS Browser+与OBS Browser的不同之处? OBS Browser+是OBS Browser的升级版,提供全新的UI界面,提供多种登录登出方式,全新的用户体验;OBS Browser+比OBS Browser性能更优,效率更高,体验更佳。 父主题: 常见问题
-
如何在不支持window.File的浏览器上传文件? - 对象存储服务 OBS
如何在不支持window.File的浏览器上传文件? 在不支持window.File的浏览器上(例如低版本的IE浏览器),不能使用ObsClient.putObject或ObsClient.uploadFile上传对象,如果要支持这类浏览器上传,请参考基于表单上传。 父主题: FAQ
-
OBS的文件夹与文件系统的文件夹是否一样? - 对象存储服务 OBS
OBS的文件夹与文件系统的文件夹是否一样? 不一样。 OBS并没有文件系统中的文件和文件夹概念。为了使用户更方便进行管理数据,OBS提供了一种方式模拟文件夹。实际上在OBS内部是通过在对象的名称中增加“/”,将该对象在OBS管理控制台上模拟成一个文件夹的形式展现。 父主题: 产品咨询
-
触发器配置不当导致“无限循环”触发Data+工作流如何处理? - 对象存储服务 OBS
触发器配置不当导致“无限循环”触发Data+工作流如何处理? 由于OBS只能按触发器前缀、后缀、事件源类型等条件触发Data+工作流,无法保证触发消息不出现“无限循环”的场景。如果出现“无限循环”,只能先删除桶的事件触发器。主要有以下两个场景: 场景1:触发器源桶和函数执行输出目标桶是同一个桶的无限循环
-
Hortonworks HDP对接OBS - 对象存储服务 OBS
Hortonworks HDP对接OBS 部署视图 安装版本 硬件:1master+3core(配置:8U32G,操作系统:CentOS 7.5) 软件:Ambari:2.7.1.0,HDP:3.0.1.0 部署视图 更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具:下载地址。