检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
上传文件或文件夹 背景知识 OBS Browser使用分段上传功能上传文件。通过分段上传功能,OBS Browser支持上传最大为48.8TB的单个文件。 OBS Browser支持断点续传。当上传任务暂停或者失败,重新启动上传任务,根据任务记录的分片信息,已上传成功的分片不会再次上传,会请求上传其他的分片。
返回结果 请求发送以后,您会收到响应,包含状态码、响应消息头和消息体。 状态码 状态码是一组从2xx(成功)到4xx或5xx(错误)的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。 响应消息头 对应请求消息头,响应同样也有消息头,如“Content-Length”。
Cloudera CDH对接OBS 部署视图 安装版本 硬件:1Master+3Core(配置:8U32G,操作系统:CentOS 7.5) 软件:CDH 6.0.1 部署视图 更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具:下载地址。 并将OBS
使用obsutil实现目录分享 目录分享允许桶的拥有者将桶的目录或者整个桶以授权码+提取码的形式分享给其他用户。获取到授权码和提取码的用户,可以在授权码的有效期内通过OBS提供的工具(OBS Browser、obsutil),或者直接在浏览器上输入授权码进行对象的列举和下载。 o
上传文件或文件夹 背景知识 OBS Browser使用分段上传功能上传文件。通过分段上传功能,OBS Browser支持上传最大为48.8TB的单个文件。 OBS Browser支持断点续传。当上传任务暂停或者失败,重新启动上传任务,根据任务记录的分片信息,已上传成功的分片不会再次上传,会请求上传其他的分片。
创建目录分享的授权码 功能说明 指定桶名、对象名前缀和提取码,创建目录分享的授权码。 命令结构 Windows操作系统 obsutil create-share obs://bucket[/prefix] [-ac=xxx] [-vp=xxx] [-dst=xxx] [-config=xxx]
预置模板参数说明 Data+已下线,如果需要使用数据处理服务,可使用数据工坊 DWR。 详情请参见数据工坊 DWR。 本小节提供Data+各类函数模板及自定义函数的参数配置说明。 当前支持的函数模板如下: 不同区域支持的预置模板数量不同,请以控制台实际支持的模板为准。 表1 Data+函数模板
处理图片持久化 图片处理持久化支持将处理后的图片同步存储至指定的OBS桶中,方便下次直接访问处理后的图片,减少图片处理花费的时间,提升用户体验。 图片处理持久化目前仅支持通过接口调用模式使用。在图片处理请求接口中,以参数名=参数值的格式,发送图片处理持久化请求,具体参数说明如表1所示。
Hadoop对接OBS 概述 Hadoop系统提供了分布式存储、计算和资源调度引擎,用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议,在大数据场景中可以替代Hadoop系统中的HDFS服务,实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接,为大数据计算提供“数据湖”存储。
向所有账号临时分享对象 场景介绍 如果希望将对象限时对外开放供所有人查阅,可以通过对象的分享功能实现。 文件分享方法 在OBS管理控制台左侧导航栏选择“桶列表”。 在桶列表单击目标桶的桶名称,进入“对象”页面。 选中待分享的文件,并单击右侧操作列的“分享”。 此时,链接信息中的链
加密示例(Java SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 代码示例:上传对象加密(SSE-C方式) 以下代码展示了在上传对象时使用SSE-C方式进行服务端加密。 设置SSE-C方式下使用的密钥,请参考如何生成SSE-C方式的加密密钥。
登录OBS Browser+ 您可以登录OBS Browser+访问华为云OBS云服务,完成桶和对象的相关操作。您也可以通过登录OBS Browser+访问与OBS兼容的其他对象存储服务。 具体登录方式请参见表1。 表1 登录方式 分类 方式 场景 华为云对象存储服务 永久AK方式登录
服务端加密 如果您的业务对数据存储的安全性和合规性有较高要求,可使用OBS提供的服务端加密功能,对上传到OBS存储的数据进行加密保护。服务器端加密是指OBS服务端对客户端上传到OBS的对象进行加密存储。在访问对象时,由OBS服务端对文件进行解密,然后向客户端返回解密后的数据。 O
服务端加密 如果您的业务对数据存储的安全性和合规性有较高要求,可使用OBS提供的服务端加密功能,对上传到OBS存储的数据进行加密保护。服务器端加密是指OBS服务端对客户端上传到OBS的对象进行加密存储。在访问对象时,由OBS服务端对文件进行解密,然后向客户端返回解密后的数据。 O
服务端加密 如果您的业务对数据存储的安全性和合规性有较高要求,可使用OBS提供的服务端加密功能,对上传到OBS存储的数据进行加密保护。服务器端加密是指OBS服务端对客户端上传到OBS的对象进行加密存储。在访问对象时,由OBS服务端对文件进行解密,然后向客户端返回解密后的数据。 O
授权码列举对象 功能说明 使用授权码查询桶内对象,返回对象列表将按照对象名以字典序排列。 命令结构 Windows操作系统 直接输入授权码 obsutil share-ls authorization_code [-ac=xxx] [-prefix=xxx] [-s] [-d] [-marker=xxx]
合并段(Java SDK) 功能说明 如果用户上传完所有的段,就可以调用合并段接口,系统将在服务端将用户指定的段合并成一个完整的对象。在执行“合并段”操作以前,用户不能下载已经上传的数据。在合并段时需要将多段上传任务初始化时记录的附加消息头信息拷贝到对象元数据中,其处理过程和普通
合并段(Harmony SDK) 功能说明 如果用户上传完所有的段,就可以调用合并段接口,系统将在服务端将用户指定的段合并成一个完整的对象。在执行“合并段”操作以前,用户不能下载已经上传的数据。在合并段时需要将多段上传任务初始化时记录的附加消息头信息复制到对象元数据中,其处理过程
修改写对象(Go SDK) 功能说明 将指定并行文件系统内的一个对象从指定位置起修改为其他内容。 接口约束 目前接口仅在并行文件系统支持,普通对象桶不支持,如何创建并行文件系统请参考创建桶。 您必须拥有obs:object:PutObject权限,才能修改写对象。相关授权操作可参见典型权限场景配置案例。
分段上传-合并段(Go SDK) 功能说明 如果用户上传完所有的段,就可以调用合并段接口,系统将在服务端将用户指定的段合并成一个完整的对象。在执行“合并段”操作以前,用户不能下载已经上传的数据。在合并段时需要将多段上传任务初始化时记录的附加消息头信息拷贝到对象元数据中,其处理过程