检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flume对接OBS 概述 Flume是一个分布式的、可靠的和高可用的服务,用于收集、聚合以及移动大量日志数据,具体请参见Apache Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。 注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差别的
我可以上传同名对象到同一个文件夹中吗? 如果开启了多版本控制,上传对象时,OBS自动为每个对象创建唯一的版本号。上传同名的对象将以不同的版本号同时保存在OBS中。 如果未开启多版本控制,向同一个文件夹中上传同名的对象时,新上传的对象将覆盖原有的对象。 父主题: 桶和对象相关
为什么SDK源码中包含acs.amazonaws.com关键字?(Java SDK) OBS SDK 为了兼容访问aws s3服务,在源码中会包含acs.amazonaws.com关键字的固定格式,SDK仅作常量使用,不会向该格式有其他处理,也不会对其访问。SDK会自动兼容该场景,
创建跨区域复制规则后,为什么对象没有复制到目标桶中? 跨区复制规则没有开启“同步历史对象”功能的时候,桶中已有的对象不会复制到目标桶中。 新上传的对象存储类别为归档存储。 跨区域复制不保证时效性,配置跨区域复制规则后,可能会出现对象不会立即进行复制的情况,请耐心等待。 父主题: 跨区域复制
Cloudera CDH对接OBS 部署视图 安装版本 硬件:1Master+3Core(配置:8U32G,操作系统:CentOS 7.5) 软件:CDH 6.0.1 部署视图 更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具:下载地址。 并将OBSA-HDFS
获取桶日志管理配置(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能介绍 调用获取桶日志管理配置,可获取指定桶的日志配置。 接口约束 您必须是桶拥有者或拥有获取桶日志管理配置的权限,才能获取桶日志管理配置
为什么SDK源码中包含acs.amazonaws.com关键字?(Python SDK) OBS SDK为了兼容访问aws s3服务,在源码中会包含acs.amazonaws.com关键字的固定格式。 SDK仅作常量使用,不会向该格式有其他处理,也不会对其访问。 SDK会自动兼容该场景
分段上传场景化示例(Java SDK) 分段上传的主要目的是解决大文件上传或网络条件较差的情况。 通过使用UploadPartRequest.setOffset和UploadPartRequest.setPartSize来设置每段的起始结束位置。 下面的示例代码展示了如何使用分段上传并发上传大文件
如果桶内已存在同名对象,如何判定覆盖上传成功?(Java SDK) 上传完成后,您可以调用ObsClient.getObjectMetadata接口获取目标对象大小和最后修改时间,再与数据源进行比较: 如果两者大小一致且目标对象的最后修改时间晚于数据源的最后修改时间则表明上传成功,
列举已上传的段(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能说明 通过分段上传任务的ID,列举指定桶中已上传的段。 您可以列出特定多段上传任务或所有正在进行的多段上传任务的分段。列举已上传的段操作将返回您已为特定多段上传任务而上传的段信息
列举分段上传任务(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能说明 列举指定桶中所有的初始化后还未合并或还未取消的分段上传任务。 通过列举桶中的多段上传任务,您可以获得已初始化多段上传任务的列表
初始化多段上传任务(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能说明 使用多段上传特性时,用户必须首先调用创建多段上传任务接口创建任务,系统会给用户返回一个全局唯一的多段上传任务号,作为任务标识
上传对象-追加上传(Go SDK) 功能说明 您可以根据需要上传文件或者文件夹至已有的OBS桶。待上传的文件可以是任何类型:文本文件、图片、视频等。 追加写对象操作是指在指定桶内的一个对象尾追加上传数据,不存在相同对象键值的对象则创建新对象。 接口约束 您必须是桶拥有者或拥有上传对象的权限
使用OBS SDK上传超过5GB的大文件失败 OBS服务端上传对象接口有规格限制,单次可上传的最大文件为5GB,如果需要上传超过5GB的大文件,需要通过OBS服务端提供的分段上传接口实现。具体步骤为: 调用OBS服务端初始化上传段任务接口,生成分段上传ID(Upload ID)。
对其他账号授予指定对象的读权限 场景介绍 本案例介绍如何为其他账号授予OBS桶中某个对象或某类对象的读权限。这里的账号指华为云账号本身,不包含账号下的IAM用户,如果要为IAM用户授权,请参见对其他账号下的IAM用户授予桶和桶内资源的访问权限。 推荐配置方法 对其他账号授权,推荐使用桶策略
删除桶的生命周期配置(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能介绍 OBS支持用户配置指定的规则,实现定时删除桶中的对象或者定时转换对象的存储类别,从而节省存储费用,更多生命周期相关信息请参见生命周期管理
下载对象-断点续传下载(Go SDK) 功能说明 当下载大对象到本地文件时,经常出现因网络不稳定或程序崩溃导致下载失败的情况。失败后再次重新下载不仅浪费资源,而且当网络不稳定时仍然有下载失败的风险。断点续传下载接口能有效地解决此类问题引起的下载失败,其原理是将待下载的对象分成若干个分段分别下载
列举并行文件系统内对象(Java SDK) 功能说明 您可以通过ObsClient.listObjects列举出指定并行文件系统里的对象。 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 接口约束 您必须是并行文件系统拥有者或拥有列举并行文件系统内对象的权限
配置CDN回源,并购买回源流量包,计费未走回源流量包 请检查购买的回源流量包和CDN回源源站桶是否在同一区域。 登录控制台。 在顶部导航栏单击“资源 > 我的资源”,查看购买的资源包所在区域。 登录CDN控制台,在“域名管理”中查看CDN加速域名所配置的源站OBS桶域名,根据桶域名可以判断出回源源站桶所在的区域
使用obsutil下载文件到99%后失败 出现该问题的主要原因: 网络波动导致下载失败。 磁盘IO卡顿导致缓存文件到目标文件夹失败。 解决方法: 重新执行下载命令。 obsutil在下载的时候默认开启断点续传,此时只要重新执行之前的下载命令就可以将之前下载失败的对象采用续传的方式重新下载到本地