检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS数据一致性校验 应用场景 对象数据在上传下载过程中,有可能会因为网络劫持、数据缓存等原因,存在数据不一致的问题。 方案架构 OBS提供通过计算MD5值的方式对上传下载的数据进行一致性校验。默认情况下,OBS不会进行一致性校验,您可以通过以下方式在上传下载时主动启用校验。 各种方式的一致性校验结果互通
OBS最佳实践汇总 本文汇总了基于对象存储服务(OBS,Object Storage Service)常见应用场景的操作实践,为每个实践提供详细的方案描述和操作指导,帮助用户轻松构建基于OBS的存储业务。 表1 OBS最佳实践一览表 最佳实践 说明 面向AI场景使用OBS+SFS
云服务之间的关系 如果多个云服务一起搭配使用,需要注意: 不同区域的弹性云服务器、关系型数据库、对象存储服务内网不互通。 不同区域的弹性云服务器不支持跨区域部署在同一负载均衡器下。 资源的价格 不同区域的资源价格可能有差异,请参见华为云服务价格详情。 父主题: 产品咨询
创建桶(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能介绍 OBS桶是对象的容器,您上传的文件都将以对象的形式存放在桶中。本文介绍如何使用Node.js SDK创建桶。 调用创建桶接口,将在当前账号按照用户指定的桶名创建一个新桶
查看桶的基本信息 您可以通过OBS Browser查看桶的基本信息,如拥有者、位置、容量、对象数等。 操作步骤 登录OBS Browser。 选中待查看的桶,单击“基本信息”。 在弹出的“基本信息”界面中查看桶的基本信息,如图1所示。 图1 基本信息 表1 参数说明 参数 说明 桶名
碎片管理 背景信息 对象存储服务采用分块上传的模式上传数据,在下列情况下(但不仅限于此)通常会导致数据上传失败而产生垃圾数据,因此需要清理这些碎片数据来释放空间。 网络条件较差,与OBS 对象存储的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。 设备故障。 突然断电等特殊情况
为什么会有碎片产生? 桶中不完整的数据称之为碎片,通常是由于数据上传失败而产生的。 OBS采用分段上传的模式上传数据,在下列情况下(但不仅限于此)通常会导致数据上传失败而产生碎片。 网络条件较差,与OBS的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。 设备故障。 突然断电等特殊情况
设置桶的生命周期配置(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能介绍 OBS支持用户配置指定的规则,实现定时删除桶中的对象或者定时转换对象的存储类别,从而节省存储费用,更多生命周期相关信息请参见生命周期管理
分段上传-上传段(Python SDK) 功能说明 初始化分段上传任务后,通过分段上传任务的ID,上传段到指定桶中。除了最后一段以外,其他段的大小范围是100KB~5GB;最后一段的大小范围是0~5GB。上传的段的编号也有范围限制,其范围是1~10000。 上传段时,除了指定上传ID
通过临时URL访问OBS(Java SDK) 功能说明 OBS客户端支持通过访问密钥、请求方法类型、请求参数等信息生成一个在Query参数中携带鉴权信息的URL,可将该URL提供给其他用户进行临时访问。在生成URL时,您需要指定URL的有效期来限制访客用户的访问时长。 如果您想授予其他用户对桶或对象临时进行其他操作的权限
Browser上传文件时,出现蓝屏或黑屏现象 使用OBS Browser管理对象时,在任务列表中无相关任务显示 在ECS中,通过OBS Browser下载文件,下载速度慢 出现“客户端与服务器的时间相差大于15分钟”的报错 启动OBS Browser时出现“OBS Browser由于数据库不可用原因
设置桶归档对象直读策略 功能介绍 归档对象直读是指用户可以不用恢复归档对象,便能直接对其进行操作。 默认情况下,桶没有开启归档对象直读功能。 本接口主要用来开启或关闭桶的归档对象直读功能。 设置桶的归档对象直读状态为Enabled,开启桶的归档对象直读功能: 桶内存在归档对象时,不管该归档对象是否已经恢复
数据库路径 OBS Browser数据保存的路径。可以通过单击后面的,修改路径。 注意: 数据库路径不能包含中文字符。 单击“保存”,保存系统配置。 父主题: 相关操作
建议搭配服务 弹性云服务器 ECS,弹性负载均衡 ELB,关系型数据库 RDS,云硬盘备份VBS 图8 企业云盘(网盘)
如何在弹性文件服务SFS和对象存储服务OBS之间进行数据迁移? 背景知识 对象存储服务OBS是华为云提供的稳定、安全、高效、易用的云存储服务,具备标准Restful API接口,可存储任意数量和形式的非结构化数据。 弹性文件服务SFS是华为云提供的按需扩展的高性能文件存储(NAS)
CDM通过创建定时作业,将用户自建存储服务器上的文件系统、数据库、对象存储等数据源与华为云OBS进行连接,从而实现定时、自动地将本地数据搬迁至OBS。 图1 CDM方式搬迁数据示意图 创建OBS桶 通过OBS控制台或OBS Browser+创建桶,用于存放原始数据。
其他高频问题汇总(Java SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 SignatureDoesNotMatch签名不匹配 1 2 HTTP Code: 403 Error Code: SignatureDoesNotMatch
DataX对接OBS 概述 DataX是一个数据同步框架,实现了包括MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDFS
请求次数是如何计算的? 通过控制台、工具、API、SDK等任意方式对OBS进行操作,实际上都是对OBS API的调用,每调用一次API都计算一次请求次数。 请求类别 OBS的请求主要分为四大类: 读操作(GET类请求):GET/HEAD/LIST等,例如下载对象、获取桶区域位置、获取桶策略
上传对象-文件上传(Python SDK) 功能说明 您可以将本地文件直接通过Internet上传至OBS指定的桶中。待上传的文件可以是任何类型:文本文件、图片、视频等。 OBS本身是没有文件夹的概念的,桶中存储的元素只有对象。创建文件夹实际上是创建了一个大小为0且对象名以“/”结尾的对象