检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS数据一致性校验 应用场景 对象数据在上传下载过程中,有可能会因为网络劫持、数据缓存等原因,存在数据不一致的问题。 方案架构 OBS提供通过计算MD5值的方式对上传下载的数据进行一致性校验。默认情况下,OBS不会进行一致性校验,您可以通过以下方式在上传下载时主动启用校验。 各
并发一致性说明 当客户端发起的写/删除请求返回成功之后,客户端可以获取到最新数据。当写操作客户端等待超时、服务端返回500或者503的HTTP响应错误码时,之后的读取操作有可能成功读取到数据,也有可能读不到数据。建议客户端在出现上述错误时,查询数据是否已经上传成功,如果不成功则重新上传。
等。 总览页在查询数据时,可能会出现多个数据不一致的情况,具体说明如下所示。 数据不一致的情况说明 标准存储量+低频访问存储量+归档存储量不等于总存储量,可能的原因有: 数据来源不一致:总存储量数据来源于OBS实时数据,标准存储量、低频访问存储量、归档存储量数据均来源于云监控CES(OBS上报至CES的数据)。
OBS如何保证我的数据不会被盗用? 只有桶或对象的拥有者才能访问,访问时需要提供访问密钥(AK/SK),并且还有ACL、桶策略、防盗链等多种访问控制机制保证数据的访问安全。 父主题: 数据安全、迁移和备份
我的数据存在OBS中,如何保证安全性? OBS是非常安全的,提供端到端的安全服务。 保证数据正确性:系统会定期对数据做扫描,仅限于判断数据块是否存在和被损坏(如有损坏,会启动修复),且不会读取数据的具体内容。 防止数据被盗用: 访问桶或对象时,如果桶或对象未公开,只有桶或对象的拥
Windows操作系统下,下载对象时发现本地和云上对象数量不一致 如果发现下载后本地文件和文件夹数量之和小于云上对象数量(OBS不区分文件或文件夹,统称为对象),并且当前操作系统是Windows,这个是因为Windows文件系统将文件和目录名称视为不区分大小写,FOO.txt和foo
参数解释: 元数据操作指示符。 约束限制: 无 取值范围: REPLACE_NEW:表示对于已经存在值的元数据进行替换,不存在值的元数据进行赋值,未指定的元数据保持不变(自定义头域作替换处理)。 REPLACE:表示使用当前请求中携带的头域完整替换,未指定的元数据(本表中除x-o
如何迁移数据至OBS? 数据迁移场景 数据迁移至OBS主要有以下几种场景: 搬迁本地数据至OBS 迁移第三方云厂商数据至OBS OBS之间数据迁移(跨账号、跨区域以及同区域内数据迁移) 场景一:搬迁本地数据至OBS 搬迁本地数据至OBS的方案如下,了解更多详见搬迁本地数据至OBS最佳实践:
列举桶内对象返回的大小与控制台桶内对象大小不一致 通过obsutil列举桶内全量对象时最终输出结果中还会包含对象的总的大小,如果通过列举操作返回的对象大小与通过控制台、OBSBrowser+工具查询的桶使用情况不一致时可以从如下两点进行排查: OBSBrowser+和控制台均通过
华为云MapReduce服务(MRS)是华为云提供的大数据服务,可以在华为云上部署和管理Hadoop系统,一键即可部署Hadoop集群。 MRS提供用户完全可控的一站式企业级大数据集群云服务,完全兼容开源接口,结合华为云计算、存储优势及大数据行业经验,为客户提供高性能、低成本、灵活易用的全栈大数据平台,轻松运行Ha
其他AZ正常访问数据,适用于对可靠性要求较高的数据存储场景。 创建多AZ桶 数据完整性校验(MD5) 对象数据在上传下载过程中,有可能会因为网络劫持、数据缓存等原因,存在数据不一致的问题。OBS提供通过计算MD5值的方式对上传下载的数据进行一致性校验。 数据一致性校验 服务端加密
表1 传统企业在大数据场景面临的关键问题 序号 关键问题 详细描述 1 多集群数据共享难 企业数据往往分别存储在IDC多个集群,存在如下问题: 无全局视图,数据只能在集群内部使用。 拷贝是跨集群数据共享的唯一途径,数据拷贝耗时长。 公共数据集多份存储,数据冗余。 2 计算存储资源绑定,导致资源浪费
、聚合以及移动大量日志数据,具体请参见Apache Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。 注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差别的:HDFS租约机制可以保证并发写同一个文件时不会产生一致性问题,但是OBS实现的
间进行数据迁移? OBS会不会扫描我的数据用于其他用途? 后台工程师能否导出我存储在OBS中的数据? OBS如何保证我的数据不会被盗用? OBS的持久性和可用性如何? OBS单AZ和多AZ有什么区别? OBS的数据冗余存储方式是什么?
获取自定义元数据 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 下载对象成功后会返回对象的自定义元数据。 本示例用于下载桶名为“bucketname”里,名称为“objectn
CDN加速功能将存储在OBS中的数据缓存到终端用户附近的CDN节点上,让身处各地的终端用户都可以快速访问存储在OBS中的数据。当用户需要更新OBS中存储的数据时,CDN中缓存的过时数据也需要进行更新,可以使用CDN自动刷新功能来自动通知CDN去更新数据。因此,通过配置自动刷新策略,可以保证CDN节点上的缓存数据和源站(OBS)的数据一致。
中“对象存储服务”的内容。 假设某用户于2023年7月1日对15TB数据做图片处理。由于数据处理费用无适用的资源包,则按照按需计费方式分析如下。 0~10TB范围内的数据免费,因此该用户的数据处理费用为: 数据处理费用= (15TB - 10TB) * 1024 * 0.025元/GB
getObjectMetadata接口获取目标对象大小和最后修改时间,再与数据源进行比较: 如果两者大小一致且目标对象的最后修改时间晚于数据源的最后修改时间则表明上传成功,否则上传失败。 ObsClient.getObjectMetadata接口的使用可参见18.4-获取对象元数据。 父主题: 常见问题(Java SDK)
数据恢复费用 访问低频访问存储类别、归档存储类别和深度归档存储类别的对象时,会根据对象大小等产生额外的数据恢复费用。此项费用不管通过内、外网访问均会产生;如果使用外网访问,则会同时计入到公网流出流量费用。 计费说明 资费项 计费项 含义 适用的计费模式 数据恢复费用 数据读取流量
以前设置的元数据是否被移除。 取值范围: true:设置为true后,此次设置元数据请求调用成功后,会把其他以前设置的元数据删除(标准元数据不受影响,自定义元数据只会保留新设置的)。 false:设置为false后,此次设置元数据请求调用成功后,保留以前设置元数据(标准元数据不受影响,自定义元数据只会保留新设置的)。