检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS提供高并发、高可靠、低时延、低成本的海量存储系统,结合计算服务可快速搭建高扩展性、低成本、高可用的基因测序平台。 客户数据中心测序仪上的数据通过云专线自动快速上传到华为云,通过由ECS、CCE、MRS等服务搭建的计算集群进行分析计算,分析计算产生的数据和计算结果存储到OBS中,其中上传到华为云的基因数据自
在OBS中,桶名必须是全局唯一的且不能修改,即用户创建的桶不能与自己已创建的其他桶名称相同,也不能与其他用户创建的桶名称相同。 桶创建成功后,桶名、所属区域和数据冗余存储策略均不允许修改。 一个账号及账号下的所有IAM子用户可创建的桶+并行文件系统的上限为100个。建议结合OBS
对象(Object)是OBS中数据存储的基本单位,一个对象实际是一个文件的数据与其相关属性信息(元数据)的集合体。用户上传至OBS的数据都以对象的形式保存在桶中。 对象包括了Key,Metadata,Data三部分: Key:键值,即对象的名称,为经过UTF-8编码的长度大于0且不超过1024的字符序列。一
Code(EC,纠删码)算法做数据冗余,不是以副本的形式存储。在满足同等可靠性要求的前提下,EC的空间利用率优于多副本。 OBS创建桶时支持选择数据冗余存储策略,选择多AZ存储时,数据冗余存储在同区域的多个AZ。当某个AZ不可用时,仍然能够从其他AZ正常访问数据,适用于对可靠性要求较高的数据存储场景。 创建多AZ桶
标对象大小和最后修改时间,再与数据源进行比较: 如果两者大小一致且目标对象的最后修改时间晚于数据源的最后修改时间则表明上传成功,否则上传失败。 ObsClient.getObjectMetadata接口的使用可参见18.4-获取对象元数据。 父主题: 常见问题(Java SDK)
ObsConfig(); config.Endpoint = "https://your-endpoint"; // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全;本示例以ak和sk保存在环境变量中为例,运行本
您可以在创建桶时指定桶的存储类别,也可以在创建后修改桶的存储类别。修改步骤如下: 登录OBS客户端。 在桶列表中选择待操作的桶,并单击右侧的,系统弹出“修改存储类别”对话框。 选择目标存储类别,并单击“确定”。 修改桶的存储类别后,不会影响已存储在桶内的对象的存储类别。 上传对象时,默认的对象存
为什么会有碎片产生? 桶中不完整的数据称之为碎片,通常是由于数据上传失败而产生的。 桶中不完整的数据称之为碎片。OBS采用分段上传的模式上传数据,在下列情况下(但不仅限于此)通常会导致数据上传失败而产生碎片。 网络条件较差,与OBS的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。
碎片管理 背景信息 对象存储服务采用分块上传的模式上传数据,在下列情况下(但不仅限于此)通常会导致数据上传失败而产生垃圾数据,因此需要清理这些碎片数据来释放空间。 网络条件较差,与OBS 对象存储的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。 设备故障。 突然断电等特殊情况。
桶和对象的所有者拥有对象的完全控制权限,其他任何人都没有访问权限。 默认情况下,上传对象至其他用户的桶中,桶拥有者没有对象的控制权限。对象拥有者为桶拥有者添加此权限控制策略后,桶所有者可以完全控制对象。 例如,用户A上传对象x至用户B的桶中,系统默认用户B没有对象x的控制权。当
助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过PutObjectRequest.setProgressListener设置数据传输接口来获取上传的进度。示例代码如下: // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变
对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题: 大数据场景下使用OBS实现存算分离
每个接口的参数和使用方法。 下载对象成功后会返回对象的自定义元数据。以下代码展示了如何获取自定义元数据: // 创建ObsClient实例 var obsClient = new ObsClient({ // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险
与服务端加密相关的接口 本节介绍与服务端加密相关的接口,以及使用该接口时服务端加密对传输协议使用要求。 与服务端加密相关的接口对使用传输协议的具体要求,详情如表所示。 表1 与SSE-C相关的接口对传输协议的使用要求 接口 传输协议 PUT上传对象 HTTPS POST上传对象 HTTPS
SDK的重试机制是什么?(Java SDK) SDK通过创建并配置客户端章节中的maxErrorRetry参数来实行重试,默认重试3次,建议值为0到5次之间。 当调用ObsClient的接口发生网络连接异常或者服务端返回5XX错误时,SDK会进行指数退避重试。 ObsClient
OutputStream可将对象的内容读取到本地文件或者内存中;用户也可以调用OBS .NET SDK提供的GetObjectResponse.WriteResponseStreamToFile方法,将对象内容下载到本地文件中。 GetObjectResponse.OutputStream获取的响应流一
Win策略,但“Last Write”的时间定义为段任务的初始化时间。 已经上传的段,只要没有取消对应的多段上传任务,都要占用用户的容量配额;对应的多段上传任务“合并段”操作完成后,只有指定的多段数据占用容量配额,用户上传的其他此多段任务对应的段数据如果没有包含在“合并段”操作制定的段列表中,“合并段
Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务,本文介绍DataX如何对接OBS。 对接步骤 下载datax源码,以发布版本datax_v202308为例:下载地址。
跨域资源共享(CORS)是由W3C标准化组织提出的一种网络浏览器的规范机制,定义了一个域中加载的客户端Web应用程序与另一个域中的资源交互的方式。而在通常的网页请求中,由于同源安全策略(Same Origin Policy,SOP)的存在,不同域之间的网站脚本和内容是无法进行交互的。OBS支持CORS规范,允许跨域请求访问OBS中的资源。
可选 domain 存放资源的服务器的域名或IP地址。 必选 port 请求使用的端口号。根据软件服务器的部署不同而不同。缺省时使用默认端口,各种传输协议都有默认的端口号,如HTTP的默认端口为80,HTTPS的默认端口为443。 OBS对象存储服务的HTTP方式访问端口为80,HTTPS方式访问端口为443。