正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持的大数据平台简介 华为云大数据存算分离方案中,OBS支持与多种大数据平台对接,包括华为云MapReduce服务(MRS)、Cloudera CDH和Hortonworks HDP,满足用户业务的灵活诉求。
约束限制: 无 取值范围: REPLACE_NEW:表示对于已经存在值的元数据进行替换,不存在值的元数据进行赋值,未指定的元数据保持不变(自定义头域作替换处理)。
对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题: 大数据场景下使用OBS实现存算分离
支持的大数据组件简介 在华为云大数据存算分离方案中,OBS除了可以与大数据平台对接外,还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下: Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题: 对接大数据组件
SFS的文件系统需要挂载到弹性云服务器、容器或裸金属服务器上,对于SFS和OBS之间的数据迁移,可以理解为服务器与OBS或者容器与OBS之间的数据迁移,其中服务器或容器中的数据存放在所挂载的SFS文件系统中。
迁移HDFS数据至OBS 操作场景 在华为云大数据存算分离方案中,对象存储服务OBS作为统一数据湖存储数据。如果用户数据仍存储在本地HDFS中,则需要先将HDFS的数据迁移至OBS。
计费说明 资费项 计费项 含义 适用的计费模式 数据恢复费用 数据读取流量 访问低频访问存储类别的对象时,会根据对象大小产生额外的数据恢复费用。 访问归档存储类别的对象时,会根据对象大小和设置的恢复速度级别产生额外的数据恢复费用。
对接大数据组件 支持的大数据组件简介 Hadoop对接OBS Hive对接OBS Spark对接OBS Presto对接OBS Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS Logstash对接OBS 父主题: 大数据场景下使用OBS实现存算分离
大数据和AI一体化,减少作业耗时。 2 存算分离,资源利用率高 计算存储解耦,支持独立扩容或缩容,计算资源可弹性伸缩,资源利用率提升。
0~10TB范围内的数据免费,因此该用户的数据处理费用为: 数据处理费用= (15TB - 10TB) * 1024 * 0.025元/GB = 128元 父主题: 计费项
获取自定义元数据 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 下载对象成功后会返回对象的自定义元数据。
数据迁移场景 数据迁移至OBS主要有以下几种场景: 搬迁本地数据至OBS 迁移第三方云厂商数据至OBS OBS之间数据迁移(跨账号、跨区域以及同区域内数据迁移) 场景一:搬迁本地数据至OBS 搬迁本地数据至OBS的方案如下,了解更多详见搬迁本地数据至OBS最佳实践: 表1 搬迁方案
数据保护技术 OBS通过多种数据保护手段和特性,保障存储在OBS中的数据安全可靠。
OBS通过存储介质的慢盘/坏道检测、AZ内设备和数据冗余、AZ之间数据容灾、跨区域复制等技术方案,提供针对介质、服务器、机柜、数据中心和区域的多级可靠性保障。其数据持久性高达99.9999999999%(12个9),可用性高达99.995%,远高于传统架构。
DataX对接OBS 概述 DataX是一个数据同步框架,实现了包括MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。
获取对象元数据 功能介绍 拥有对象读权限的用户可以执行HEAD操作命令获取对象元数据,返回信息包含对象的元数据信息。 获取采用SSE-C加密的对象的元数据时,需要携带SSE-C相关头域,详见表2。 多版本 默认情况下,获取的是最新版本的对象元数据。
获取桶元数据 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient.GetBucketMetadata接口获取桶元数据。
如何在弹性文件服务SFS和对象存储服务OBS之间进行数据迁移? OBS会不会扫描我的数据用于其他用途? 后台工程师能否导出我存储在OBS中的数据? OBS如何保证我的数据不会被盗用? OBS的持久性和可用性如何? OBS单AZ和多AZ有什么区别? OBS的数据冗余存储方式是什么?
设置对象元数据(Java SDK) 功能说明 元数据(Metadata)为描述对象属性的信息,是一组名称值对,用作对象管理的一部分。 当前仅支持系统定义的元数据。 系统定义的元数据又分为两种类别:系统控制和用户控制。
设置对象元数据(Java SDK) 功能说明 您可以在上传对象时设置对象元数据。对象元数据包含对象长度、对象MIME类型、对象MD5值(用于校验)、对象存储类别、对象自定义元数据。对象元数据可以在多种上传方式下(流式上传、文件上传、分段上传),或复制对象时进行设置。