检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用OBS SDK校验上传对象的一致性 使用OBS SDK校验下载对象的一致性 上传对象时,OBS会先在客户端计算出对象的MD5值然后携带上传至OBS,OBS服务端再根据上传的对象内容计算出MD5值,最终与携带上传的MD5值进行对比,如果对比结果一致,对象上传成功,否则上传失败。使用MD5
System)是OBS提供的一种经过优化的高性能文件系统,提供毫秒级别访问时延,以及TB/s 级别带宽和百万级别的IOPS,能够快速处理高性能计算(HPC)工作负载。您可以按照标准的OBS接口读取并行文件系统中的数据,也可以利用obsfs工具将创建的并行文件系统挂载到云端Linux服
资源准备 资源项 说明 操作指导 华为账号 账号是您访问华为云的主体,可以管理IAM用户、访问密钥及OBS并行文件系统等obsfs需要的资源,使用obsfs之前,您需要拥有一个已成功开通OBS的账号。 注册华为账号并开通华为云 IAM用户 可选,为确保账号及资源的安全性,不建议使用注
大数据场景下使用OBS实现存算分离 大数据场景下使用OBS实现存算分离方案概述 操作流程 对接大数据平台 对接大数据组件 迁移HDFS数据至OBS
第n段的MD5值, 如请求示例所示,有3个分段,每个分段都有对应的MD5值,合并段ETag的生成是先将3个分段的MD5合并起来再进行MD5计算得到一个新值,再拼接-N作为合并段的ETag值,-N表示总共有多少段,在该示例中即为-3。 合并段请求如果出现等待响应超时、服务端返回50
请求消息头 该请求使用的消息头如表1所示。 表1 请求消息头 消息头名称 描述 是否必选 Content-MD5 按照RFC 1864标准计算出消息体的MD5摘要字符串,即消息体128-bit MD5值经过base64编码后得到的字符串。也支持设置Content-SHA256头域,其值为消息体256-bit
udp合法域名 根据实际情况填写 tcp合法域名 根据实际情况填写 计算POST上传签名。 POST上传前需要根据上传时自定义使用的policy字段计算相关签名信息,签名计算规则请参见基于浏览器上传的表单中携带签名,计算签名相关源代码如下: 对policy进行base64编码(GetPolicy
可选),如何构造API请求详见构造请求。 2 计算签名S 根据构造的HTTP请求和用户访问密钥计算签名S。您可以根据签名携带方式选择一种签名计算方式: Header携带时如何计算签名? URL携带时如何计算签名? 表单携带时的如何计算签名? 3 将签名S添加到请求消息中 将签名添
是否必选 Content-MD5 按照RFC 1864标准计算出消息体的MD5摘要字符串,即消息体128-bit MD5值经过base64编码后得到的字符串。如何计算Content-MD5可参考Java中Content-MD5的计算方法示例。也支持设置Content-SHA256头域,其值为消息体256-bit
} 步骤二:计算签名 OBS有2种计算表单中携带签名的方式: 表5 计算表单签名的2种方式 计算方式 描述 更多参考 SDK OBS所有语言的SDK都已实现表单上传签名,无需手动进行签名计算。推荐您直接使用SDK进行接口调用,更方便快捷。 SDK签名实现 手动编码计算签名 按照签名算法手动编码计算签名。
计费概述 本章节主要介绍对象存储的计费说明,包括计费项、计费模式等。关于并行文件系统和专属对象存储的计费说明,请参考产品价格详情。 计费项 OBS计费项由存储费用、请求费用、流量费用、数据恢复费用和数据处理费用组成,如图1所示。 图1 OBS计费项一览 计费模式 OBS提供按需计
当您使用开源的大数据组件时,可参考支持的大数据组件简介完成与OBS对接。 (可选)如果您的数据仍存储在本地HDFS,需要先将数据迁移到华为云OBS中。详情请参见迁移HDFS数据至OBS。 父主题: 大数据场景下使用OBS实现存算分离
流式下载 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 以下代码展示了如何进行流式下载: // 初始化配置参数 ObsConfig config = new ObsConfig();
获取桶元数据 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient.GetBucketMetadata接口获取桶元数据。 本示例用于获取桶名为“bucketname”的元数据信息。
件名总长度最大为1023字节)。例如:文件file01的上级目录是folder01,文件名长度是按照folder01/file01的字节数计算的。 操作步骤 登录OBS Browser+。 单击想要上传文件或文件夹的桶。 单击“上传”,并选择“添加文件”或“添加文件夹”,如图1所示。
位置 通过相关服务将数据迁移到OBS 对象存储迁移服务(Object Storage Migration Service,OMS) 迁移第三方云厂商数据至OBS_OMS方式 云数据迁移(Cloud Data Migration,CDM) 搬迁本地数据至OBS_CDM方式 数据快递服务(Data
OBS提供可视化签名计算工具,帮助您轻松完成签名计算。 使用可视化签名工具计算签名 手动编码计算 按照签名算法手动编码计算签名。 手动编码计算签名 使用SDK计算签名 OBS SDK内部已实现签名,因此您在使用SDK访问OBS时,无需关注签名问题。各语言SDK实现签名计算的源码如表2所示:
检查客户端时间是否与当前时间相差太大。 403 Forbidden SignatureDoesNotMatch 请求中带的签名与系统计算得到的签名不一致。 检查你的Secret Access Key和签名计算方法。 403 Forbidden Unauthorized 用户未实名认证。 请实名认证后重试。 404
truncateObject √ × √ × × √ 临时鉴权 计算临时授权签名URL createSignedUrl(python、go)createTemporarySignature(java) √ √ √ √ √ √ 计算POST表单鉴权参数 createPostSignatur
如何通过URL访问图片处理服务? 访问非公共可读的图片 针对非公共可读的图片,需要在计算签名时加上图片处理参数,最终通过生成带签名的临时URL来访问。 如下为一个简单的Java SDK示例代码供参考,详细的SDK使用可参考SDK使用文档。 1 2 3 4 5 6 7