检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
产品功能 表1列出了对象存储服务OBS提供的常用功能特性。 在使用对象存储服务OBS之前,建议您先了解对象存储服务OBS的基本概念,以便更好地理解对象存储服务OBS提供的各项功能。 表1 对象存储服务OBS功能概览 功能名称 功能描述 发布区域 OBS 2.0支持 OBS 3.0支持
云服务之间的关系 如果多个云服务一起搭配使用,需要注意: 不同区域的弹性云服务器、关系型数据库、对象存储服务内网不互通。 不同区域的弹性云服务器不支持跨区域部署在同一负载均衡器下。 资源的价格 不同区域的资源价格可能有差异,请参见华为云服务价格详情。 父主题: 产品咨询
OBS最佳实践汇总 本文汇总了基于对象存储服务(OBS,Object Storage Service)常见应用场景的操作实践,为每个实践提供详细的方案描述和操作指导,帮助用户轻松构建基于OBS的存储业务。 表1 OBS最佳实践一览表 最佳实践 说明 面向AI场景使用OBS+SFS
创建桶(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能介绍 OBS桶是对象的容器,您上传的文件都将以对象的形式存放在桶中。本文介绍如何使用Node.js SDK创建桶。 调用创建桶接口,将在当前账号按照用户指定的桶名创建一个新桶
设置桶的生命周期配置(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能介绍 OBS支持用户配置指定的规则,实现定时删除桶中的对象或者定时转换对象的存储类别,从而节省存储费用,更多生命周期相关信息请参见生命周期管理
为什么会有碎片产生? 桶中不完整的数据称之为碎片,通常是由于数据上传失败而产生的。 OBS采用分段上传的模式上传数据,在下列情况下(但不仅限于此)通常会导致数据上传失败而产生碎片。 网络条件较差,与OBS的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。 设备故障。 突然断电等特殊情况
碎片管理 背景信息 对象存储服务采用分块上传的模式上传数据,在下列情况下(但不仅限于此)通常会导致数据上传失败而产生垃圾数据,因此需要清理这些碎片数据来释放空间。 网络条件较差,与OBS 对象存储的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。 设备故障。 突然断电等特殊情况
分段上传-上传段(Python SDK) 功能说明 初始化分段上传任务后,通过分段上传任务的ID,上传段到指定桶中。除了最后一段以外,其他段的大小范围是100KB~5GB;最后一段的大小范围是0~5GB。上传的段的编号也有范围限制,其范围是1~10000。 上传段时,除了指定上传ID
建议搭配服务 弹性云服务器 ECS,弹性负载均衡 ELB,关系型数据库 RDS,云硬盘备份VBS 图8 企业云盘(网盘)
设置为true后,需要通过javax.net.ssl.HttpsURLConnection.setDefaultHostnameVerifier去设置一个实现javax.net.ssl.HostnameVerifier接口的对象,用于验证主机名 取值范围: true:严格验证服务端主机名
设置桶归档存储对象直读策略 功能介绍 归档存储对象直读是指用户可以不用恢复归档存储对象,便能直接对其进行操作。 默认情况下,桶没有开启归档存储对象直读功能。 本接口主要用来开启或关闭桶的归档存储对象直读功能。 设置桶的归档存储对象直读状态为Enabled,开启桶的归档存储对象直读功能
如何在弹性文件服务SFS和对象存储服务OBS之间进行数据迁移? 背景知识 对象存储服务OBS是华为云提供的稳定、安全、高效、易用的云存储服务,具备标准Restful API接口,可存储任意数量和形式的非结构化数据。 弹性文件服务SFS是华为云提供的按需扩展的高性能文件存储(NAS)
CDM通过创建定时作业,将用户自建存储服务器上的文件系统、数据库、对象存储等数据源与华为云OBS进行连接,从而实现定时、自动地将本地数据搬迁至OBS。 图1 CDM方式搬迁数据示意图 创建OBS桶 通过OBS控制台或OBS Browser+创建桶,用于存放原始数据。
配置OBS客户端 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 当使用配置类(ObsConfig)创建OBS客户端(ObsClient)时,您可通过ObsConfig配置类对ObsClient
数据盘可用空间 ≥3GB 存放OBS Browser+数据库的数据文件所需的硬盘空间。
DataX对接OBS 概述 DataX是一个数据同步框架,实现了包括MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDFS
请求次数是如何计算的? 通过控制台、工具、API、SDK等任意方式对OBS进行操作,实际上都是对OBS API的调用,每调用一次API都计算一次请求次数。 请求类别 OBS的请求主要分为四大类: 读操作(GET类请求):GET/HEAD/LIST等,例如下载对象、获取桶区域位置、获取桶策略
上传对象-文件上传(Python SDK) 功能说明 您可以将本地文件直接通过Internet上传至OBS指定的桶中。待上传的文件可以是任何类型:文本文件、图片、视频等。 OBS本身是没有文件夹的概念的,桶中存储的元素只有对象。创建文件夹实际上是创建了一个大小为0且对象名以“/”结尾的对象
fs.obs.connection.ssl.enabled FALSE 否 是否通过HTTPS访问OBS。 fs.obs.threads.keepalivetime 60 否 控制读写线程池参数keepAliveTime。
cdh6/hadoop-huaweicloud.jar ln -s /opt/cloudera/parcels/CDH-6.0.1-1.cdh6.0.1.p0.590678/jars/hadoop-huaweicloud.jar /opt/cloudera/cm/cloudera-scm-telepub