检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
并发一致性说明 当客户端发起的写/删除请求返回成功之后,客户端可以获取到最新数据。当写操作客户端等待超时、服务端返回500或者503的HTTP响应错误码时,之后的读取操作有可能成功读取到数据,也有可能读不到数据。建议客户端在出现上述错误时,查询数据是否已经上传成功,如果不成功则重新上传。
各种方式的一致性校验结果互通,即无论您使用以下何种方式在上传时通过了一致性校验,都可以使用其他方式在下载时校验一致性。 下载对象时,只有当待下载对象具有MD5值时,MD5校验才会生效。 启用MD5进行数据一致性校验会影响上传下载性能。 表1 校验数据一致性的方式 方式 说明 操作指导
OBS的数据冗余存储方式是什么? OBS采用Erasure Code(EC,纠删码)算法做数据冗余,不是以副本的形式存储。 在满足同等可靠性要求的前提下,EC的空间利用率优于多副本。 数据冗余存储策略为“单AZ”的桶,在AZ内的节点间使用EC算法做数据冗余;“多AZ”的桶在AZ内节点间EC冗余的基础上,会同时在多个AZ间再做数据冗余。
OBS性能优化建议 OBS按照对象名的UTF-8编码范围来进行分区管理,对系统进行水平扩展与动态负载均衡。如果用户在对象命名规则上使用了顺序前缀(如时间戳或字母顺序),可能导致大量对象的请求访问集中于某个特定分区,造成访问热点。热点分区上的请求速率受限,访问时延上升。 推荐使用随
Windows操作系统下,下载对象时发现本地和云上对象数量不一致 如果发现下载后本地文件和文件夹数量之和小于云上对象数量(OBS不区分文件或文件夹,统称为对象),并且当前操作系统是Windows,这个是因为Windows文件系统将文件和目录名称视为不区分大小写,FOO.txt和foo
密性、完整性和请求者身份的正确性。 当您使用OBS提供的API进行二次开发并通过AK/SK认证方式完成认证鉴权时,需要按照OBS定义的签名算法来计算签名并添加到请求中。 OBS支持使用永久AK/SK鉴权,也支持通过临时AK/SK和securitytoken进行认证鉴权。 永久AK/SK
1864标准计算出的消息体(body体)的128bit MD5值经过base64编码后得到的字符串。填写该值能防止body体被篡改,保护数据的完整性和一致性。 约束限制: 不涉及 取值范围: 长度大于等于0小于24的字符串。 默认取值: 不设置默认为空。 Content-Type String
云服务器ECS和弹性负载均衡ELB组成的视频监控处理平台将视频流切片后存入OBS,后续再从OBS下载历史视频对象传输到观看视频的终端设备。存放在OBS中的视频文件还可以利用跨区域复制等功能进行备份,提升数据存储的安全性和可靠性。 建议搭配服务 弹性负载均衡 ELB,弹性云服务器 ECS
为什么OBS Browser+上显示的桶中对象数量和桶内存储用量与实际的不一致? 可能原因如下: 数值统计不是实时统计,有一定的延迟。 数值统计为估算数值,可能与实际数值存在误差。 因此,OBS提供的桶内对象数量和桶存储用量的统计,建议您只作为参考。 父主题: 常见问题
OBS总览页数据不一致的原因是什么? 背景 进入OBS总览页的步骤如下: 登录管理控制台。 单击左上角的,选择“存储 > 对象存储服务 OBS”,进入桶列表页。 单击左侧导航栏的“总览”,进入OBS总览页面。 在“总览”页可以查看某个区域或全部区域下所有OBS资源的使用情况,包括
对象数据在上传下载过程中,有可能会因为网络劫持、数据缓存等原因,存在数据不一致的问题。OBS提供通过计算MD5值的方式对上传下载的数据进行一致性校验。 数据一致性校验 服务端加密 当启用服务端加密功能后,用户上传对象时,数据会在服务端加密成密文后存储。用户下载加密对象时,存储的密文会先在服务端解密为明文,再提供给用户。
列举桶内对象返回的大小与控制台桶内对象大小不一致 通过obsutil列举桶内全量对象时最终输出结果中还会包含对象的总的大小,如果通过列举操作返回的对象大小与通过控制台、OBSBrowser+工具查询的桶使用情况不一致时可以从如下两点进行排查: OBSBrowser+和控制台均通过
'objectname', 'SourceFile' => 'localfile', // 设置SSE-C算法加密对象 'SseC' => 'AES256', 'SseCKey' => 'your sse-c
open(file_path, 'rb') as f: # 创建SHA256哈希对象 sha256_hash = hashlib.sha256() # 循环读取文件内容并更新哈希值 while True: data
如果多个云服务一起搭配使用,需要注意: 不同区域的弹性云服务器、关系型数据库、对象存储服务内网不互通。 不同区域的弹性云服务器不支持跨区域部署在同一负载均衡器下。 资源的价格 不同区域的资源价格可能有差异,请参见华为云服务价格详情。 父主题: 产品咨询
copyObject 复制对象时设置源对象的解密算法、密钥,用于解密源对象。 复制对象时设置目标对象的加密算法、密钥,对目标对象启用加密算法。 SSE-KMS SSE-C ObsClient.getObjectMetadata 获取对象元数据时设置解密算法、密钥,用于解密对象。 SSE-C ObsClient
详见SSE-OBS加密方式 详见SSE-C加密方式 SSE-KMS支持区域以控制台实际上线区域为准。如果您在使用SSE-KMS时选择SM4加密算法,该算法仅支持华北-乌兰察布一区域。 SSE-OBS中国站已全网上线。 SSE-C以API接口实际上线区域为准。 桶级和对象级服务端加密 下表为桶级和对象级服务端加密的介绍和对比:
访问的数据有诸多好处,它可以保证不同服务器上访问数据的一致性,减少不同服务器上分别保留数据带来的数据冗余等。另外以 AI 生态中非常流行的开源深度学习框架PyTorch为例,PyTorch默认会通过文件接口访问数据,AI算法开发人员也习惯使用文件接口,因此文件接口是最友好的共享存储访问方式。
Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。 注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差别的:HDFS租约机制可以保证并发写同一个文件时不会产生一致性问题,但是OBS实现的HDFS协议不支持租约Lease机制(并发写同一个文件时将产生不可确定的状态)
可以使用列举桶内对象和列举出多段上传任务接口来确认桶是否为空。 注: 如果删除桶时,服务端返回5XX错误或超时,系统需要时间进行桶信息一致性处理,在此期间桶的信息会不准确,过一段时间再查看桶是否删除成功,查询到桶,需要再次发送删除桶消息。 请求消息样式 1 2 3 4 DELETE