检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
bool 可选 参数解释: 是否通过自定义域名访问OBS服务。 约束限制: 无 取值范围: true:通过自定义域名访问OBS服务。 false:不通过自定义域名访问OBS服务。 默认取值: false protocol obs_protocol 可选 参数解释: 是使用http协议还是https协议。
并行文件系统相关接口(Harmony SDK) 并行文件系统(Parallel File System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件系统,提供毫秒级别访问时延,TB/s级别带宽和百万级别的IOPS,能够快速处理高性能计算(HPC)工作负载。
分段上传简介(Python SDK) 对于较大文件上传,可以切分成段上传。用户可以在如下的应用场景内(但不仅限于此),使用分段上传的模式: 上传超过100MB大小的文件。 网络条件较差,和OBS服务端之间的链接经常断开。 上传前无法确定将要上传文件的大小。 分段上传分为如下3个步骤:
基于浏览器上传的表单中携带签名 功能介绍 OBS服务支持基于浏览器的POST上传对象请求,此类请求的签名信息通过表单的方式上传。计算POST表单上传请求的签名,需要先定义一个安全策略(policy),这个安全策略的作用是限制表单上传的内容,例如规定表单上传对象的对象名前缀必须以“
分段上传-初始化上传段任务(Python SDK) 功能说明 使用多段上传特性时,用户必须首先调用创建多段上传任务接口创建任务,系统会给用户返回一个全局唯一的多段上传任务号,作为任务标识。后续用户可以根据这个标识发起相关的请求,如:上传段、合并段、列举段等。创建多段上传任务不影响
分段上传-列举已上传的段(Go SDK) 功能说明 通过分段上传任务的ID,列举指定桶中已上传的段。 您可以列出特定多段上传任务或所有正在进行的多段上传任务的分段。列举已上传的段操作将返回您已为特定多段上传任务而上传的段信息。对于每个列举已上传的段请求,OBS将返回有关特定多段上
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出,在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置:
通过OBS Browser+图形化工具快速使用OBS OBS Browser+是一款图形化工具,可以非常方便地让用户在本地对OBS的数据进行管理。 本章节以上传一个文件至“test-example-bucket”桶为例,帮助您快速通过OBS Browser+使用OBS的基础功能,
Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计,在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS,使用OBS提供的OBSA-HDFS工具,无需重新编译druid,将OBS配置为deep storage。
在线解压 OBS支持ZIP包上传后自动解压并存放在指定目录。 当您需要一次性上传大量的小文件时,可以将所有文件打包成ZIP包,上传之后压缩包可以自动解压,省时省力。OBS批量上传文件时有一些限制,参见OBS批量上传文件。 成功创建在线解压策略后,您上传到OBS的ZIP包如果能匹配
string 参数解释: OBS服务端返回的错误描述。 HostId string 参数解释: OBS服务端返回的请求服务端ID。 RequestId string 参数解释: OBS服务端返回的请求ID。 Id2 string 参数解释: OBS服务端返回的请求ID2。 Indicator
older-001文件夹下的对象列表,可以看到该文件夹下有一个“222.txt”和“111.txt”。 图4 查看文件 单击”新建文件夹”,文件夹folder-002可以创建成功。 图5 创建文件夹成功 单击“上传对象”,文件333.txt上传成功。 图6 上传对象成功 如果需要
并行文件系统挂载后,为何显示256T? 问题背景: 当您在客户端上执行“df -h”时,为了显示需要,系统则直接返回了256TB。 解释说明: 该数值实际上无任何意义,您可以使用的并行文件系统容量无限制。 父主题: 并行文件系统
string 参数解释: OBS服务端返回的错误描述。 HostId string 参数解释: OBS服务端返回的请求服务端ID。 RequestId string 参数解释: OBS服务端返回的请求ID。 Id2 string 参数解释: OBS服务端返回的请求ID2。 Indicator
初始化上传段任务 功能介绍 使用多段上传特性时,用户必须首先调用创建多段上传任务接口创建任务,系统会给用户返回一个全局唯一的多段上传任务号,作为任务标识。后续用户可以根据这个标识发起相关的请求,如:上传段、合并段、列举段等,了解完整的分段上传流程请参见分段上传。创建多段上传任务不
分段上传-列举分段上传任务(Go SDK) 功能说明 列举指定桶中所有的初始化后还未合并或还未取消的分段上传任务。 通过列举桶中的多段上传任务,您可以获得已初始化多段上传任务的列表,已初始化多段上传任务是指初始化后还未合并以及未取消的多段上传任务。每个请求将返回最多1000个多段
您必须是并行文件系统拥有者或拥有列举并行文件系统内对象的权限,才能列举并行文件系统内对象。建议使用IAM或策略进行授权,如果使用IAM则需授予obs:bucket:ListBucket权限,如果使用策略则需授予ListBucket权限。相关授权方式介绍可参见OBS权限控制概述,
上传对象简介(Go SDK) 在OBS中,用户操作的基本数据单元是对象。OBS Go SDK提供了丰富的对象上传接口,可以通过以下方式上传对象: 流式上传 文件上传 分段上传 断点续传上传 SDK支持上传0KB~5GB的对象。流式上传和文件上传的内容大小不能超过5GB;当上传较大
"fs.obs.impl":"org.apache.hadoop.fs.obs.OBSFileSystem", "fs.obs.access.key":"可访问OBS的ak",
如果待追加的文件为追加类型文件,当设置的追加位置和文件当前长度相等,则直接在该文件末尾追加内容;当设置的追加位置和文件当前长度不相等,则抛出PositionNotEqualToLength异常。 如果待追加的文件为非追加类型文件时,例如通过简单上传的文件类型为Normal的文件,则抛出ObjectNotAppendable异常