检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
文件接口方式的数据共享访问:由于 AI 架构需要使用到大规模的计算集群(GPU/NPU服务器),集群中的服务器访问的数据来自一个统一的数据源,即一个共享的存储空间。这种共享访问的数据有诸多好处,它可以保证不同服务器上访问数据的一致性,减少不同服务器上分别保留数据带来的数据冗余等。另外以 AI 生态中非常流
使用临时URL进行授权访问(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能说明 通过访问密钥、请求方法类型、请求参数等信息生成一个在Query参数中携带鉴权信息的URL,可将该URL提供给其他用
string 参数解释: OBS服务端返回的错误描述。 HostId string 参数解释: OBS服务端返回的请求服务端ID。 RequestId string 参数解释: OBS服务端返回的请求ID。 Id2 string 参数解释: OBS服务端返回的请求ID2。 Indicator
对象数据的MD5值(经过Base64编码),提供给OBS服务端,校验数据完整性。OBS服务端会将该MD5值与对象数据计算出的MD5值进行对比,如果不匹配则上传失败,返回HTTP 400错误。 约束限制: 对象数据的MD5值必须经过Base64编码。 如果不设置对象的MD5值,OBS服务端会忽略对对象数据的MD5值校验。
对所有账号授予指定目录的读权限 场景介绍 当一个文件夹下的对象都需要授权所有账号访问权限时,可以通过桶策略配置授予所有账号访问文件夹内对象的权限。 配置须知 本案例预置的“目录只读”模板允许所有账号(所有互联网用户)对指定目录执行以下权限: GetObject:获取对象内容、获取对象元数据
Hive对接OBS 概述 Hive是一个数据仓库工具,可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载,它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2
S、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务,本文介绍DataX如何对接OBS。 对接步骤 下载datax源码,以发布版本datax_v202308为例:下载地址。 修改编译datax。
</OptionalFields> </InventoryConfiguration> 响应消息头 该请求的响应消息使用公共消息头,具体请参考表1。 响应消息元素 在此请求返回的响应消息体中包含的配置元素如表2。 表2 桶清单响应消息元素 名称 描述 InventoryConfiguration 清单配置。
Cloudera CDH对接OBS 部署视图 安装版本 硬件:1Master+3Core(配置:8U32G,操作系统:CentOS 7.5) 软件:CDH 6.0.1 部署视图 更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具:下载地址。 并将OBS
string 参数解释: OBS服务端返回的错误描述。 HostId string 参数解释: OBS服务端返回的请求服务端ID。 RequestId string 参数解释: OBS服务端返回的请求ID。 Id2 string 参数解释: OBS服务端返回的请求ID2。 Indicator
上传对象和上传段支持携带x-obs-content-sha256头域,该头域值为请求消息体256-bit SHA256值转十六进制值,计算方式为Hex(SHA256Hash(<payload>),服务端会对携带此头域的请求计算其消息体的sha256值做校验(性能会有部分下降,在安全上推荐该算法),示例代码如下:
Authorization: authorization string 请求消息参数 该请求消息中不使用消息参数。 请求消息头 该请求使用公共消息头,具体参见表3。 请求消息元素 此请求消息中不使用消息元素。 响应消息样式 1 2 3 4 5 6 7 8 9 10 11
对象数据的MD5值(经过Base64编码),提供给OBS服务端,校验数据完整性。OBS服务端会将该MD5值与对象数据计算出的MD5值进行对比,如果不匹配则上传失败,返回HTTP 400错误。 约束限制: 对象数据的MD5值必须经过Base64编码。 如果不设置对象的MD5值,OBS服务端会忽略对对象数据的MD5值校验。
生命周期相关时间点 生命周期执行的几个关键时间点如下: 对象的最后一次修改时间 规则计时起点 规则执行完成时间 对于OBS对象桶,上传后的对象不支持直接在线修改,因此对象的最后一次修改时间为对象的上传时间。对象其他相关操作例如修改存储类别、修改ACL、修改对象元数据、修改加密方式、追加写对象等
tion 一般是因为网络请求在MainThread类中产生的异常。建议和网络请求有关比较耗时的操作,放到一个子线程里,然后用Handler消息机制与主线程通信。 父主题: 异常处理
setProgressListener设置数据传输接口来获取上传的进度。 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 接口约束 您必须拥有obs:object:PutObject权限,才能获取上传进度。相关授权操作可参见典型权限场景配置案例。
无 sseHeader SseCHeader 可选 参数解释: 服务端解密头信息,详见SseCHeader。 约束限制: 如果客户端的对象上传时,使用了客户提供的加密密钥进行服务端加密,当下载对象时,同样也必须在消息中提供密钥v 默认取值: 无 表3 DateTime 参数名称 参数类型
md5 str 可选 参数解释: 待上传对象数据的MD5值(经过Base64编码),提供给OBS服务端,校验数据完整性。 取值范围: 按照RFC 1864标准计算出消息体的MD5摘要字符串,即消息体128-bit MD5值经过base64编码后得到的字符串。 示例:n58IG6hfM7vqI4K0vnWpog==。
对象数据的MD5值(经过Base64编码),提供给OBS服务端,校验数据完整性。OBS服务端会将该MD5值与对象数据计算出的MD5值进行对比,如果不匹配则上传失败,返回HTTP 400错误。 约束限制: 对象数据的MD5值必须经过Base64编码。 如果不设置对象的MD5值,OBS服务端会忽略对对象数据的MD5值校验。
无 sseHeader SseCHeader 可选 参数解释: 服务端解密头信息,详见SseCHeader。 约束限制: 如果客户端的对象上传时,使用了客户提供的加密密钥进行服务端加密,当下载对象时,同样也必须在消息中提供密钥 默认取值: 无 表4 DateTime 参数名称 参数类型