检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DataX对接OBS 概述 DataX是一个数据同步框架，实现了包括MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDFS
OBS的数据冗余存储方式是什么？ OBS采用Erasure Code（EC，纠删码）算法做数据冗余，不是以副本的形式存储。 在满足同等可靠性要求的前提下，EC的空间利用率优于多副本。 数据冗余存储策略为“单AZ”的桶，在AZ内的节点间使用EC算法做数据冗余；“多AZ”的桶在AZ内
Hadoop系统提供了分布式存储、计算和资源调度引擎，用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议，在大数据场景中可以替代Hadoop系统中的HDFS服务，实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接，为大数据计算提供“数据湖”存储。 HDFS协议：Hado
同一个客户端可以挂载多个并行文件系统吗？ 可以，且每一个挂载进程都是独立的。 obsfs挂载到华为云服务器ECS上时占用OBS流量还是云服务器ECS的流量？ 该情况下占用OBS流量，不占用华为云服务器ECS的流量。 挂载的并行文件系统如何让其他用户访问？ 一般情况下，只有执行挂载命令的用户有访问挂载目录的权限。
可以运行命令，您可以参考将obsutil设为系统内置命令。 更多操作 如果您需要在华为云的弹性云服务器（ECS）上使用obsutil，您可以参考在Linux ECS上使用obsutil通过内网访问OBS，配置内网访问以节省流量费用。 相关参考 如何快速使用obsutil请参见快速使用章节。
内存 可用内存：≥512MB - 安装盘可用空间 ≥512MB 安装OBS Browser所需的硬盘空间。 数据盘可用空间 ≥3GB 存放OBS Browser数据库的数据文件所需的硬盘空间（当前版本是存放在系统盘）。 该OBS Browser提供扁平化风格的GUI界面，符合Wi
方便检索和还原各个版本，在意外操作或应用程序故障时帮助快速恢复数据。 跨区域复制：是OBS提供的跨区域数据容灾能力，支持将源桶数据复制到与其不同区域的目标桶。 服务端加密：通过服务端加密功能，对上传至OBS桶中的数据进行加密保护。 对象锁定（WORM）：为桶开启WORM后，可实现
获取自定义元数据 在下载对象成功后response中包含了对象的元数据(mataDataDict)。 父主题： 下载对象
通过临时URL访问OBS 您可以通过临时URL访问OBS，对桶或对象进行创建桶、上传对象和下载对象等操作，详细示例可参考使用URL进行授权访问。本章节主要详细介绍如何通过临时URL分享对象。 分享对象 OBS提供分享功能，将存放在OBS中对象（文件或文件夹）限时分享给所有用户。 文件分享
SDK) SDK通过创建并配置客户端章节中的maxErrorRetry参数来实行重试，默认重试3次，建议值为0到5次之间。 当调用ObsClient的接口发生网络连接异常或者服务端返回5XX错误时，SDK会进行指数退避重试。 ObsClient.putObject接口，当数据源是非Fi
获取自定义元数据 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 下载对象成功后会返回对象的自定义元数据。 本示例用于获取桶名为“bucketname”，名称为“objectname”的对象自定义元数据。
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后，建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容，仅保留文件元数据，数据内容释放后不占用SFS Turbo文件系统上的存储空间，再次访问该文件时，将重新从OBS中加载文件数据内容。
归档存储适用于很少访问（平均一年访问一次）数据的业务场景。 无 DEEP_ARCHIVE 深度归档存储（受限公测） 适用于长期不访问（平均几年访问一次）数据的业务场景 代码示例 您可以通过ObsClient.getBucketMetadata接口获取桶元数据。以下代码展示如何获取名为examplebucket桶的元数据信息。
接用来加密数据，系统先是从用户主密钥中派生出数据加密密钥和数据加密密钥的密文，然后使用数据加密密钥来加密OBS对象，加密完成后，OBS存储数据加密密钥的密文和对象密文。 图2 SSE-KMS解密流程 解密对象时，如图2所示，KMS云服务先解密数据加密密钥密文，然后用数据加密密钥来
资源提供VPC粒度的权限控制。 一方面，设置VPC终端节点策略可以限制VPC中的服务器（ECS/CCE/BMS）访问OBS中的特定资源；另一方面，设置桶策略可以限定OBS中的桶被特定VPC中的服务器访问，从而在请求来源和被访问资源两个角度保障了安全性。 双端固定支持的区域请参见功能总览。
已删除的数据是否可以恢复？ 桶开启了多版本控制功能时，删除的对象会保存到“已删除对象”列表中，您可以在“已删除对象”列表中恢复对象，详情请参见取消删除文件。 桶没有开启多版本控制功能时，删除对象时系统会完全删除数据，已删除的对象不可恢复。 父主题： 产品咨询
清理碎片 使用场景 桶中不完整的数据称之为碎片。OBS采用分段上传的模式上传数据，在下列情况下（但不仅限于此）通常会导致数据上传失败而产生碎片。 网络条件较差，与OBS的服务器之间的连接经常断开。 上传过程中，人为中断上传任务。 设备故障。 突然断电等特殊情况。 上传失败而产生的
我可以存储哪种类型的数据？ OBS可以存储任何格式的任何类型数据。 父主题： 产品咨询
Metadata：元数据，即对象的描述信息，包括系统元数据和用户元数据，这些元数据以键值对（Key-Value）的形式被上传到OBS中。 系统元数据由OBS自动产生，在处理对象数据时使用，包括Date，Content-length，Last-modify，ETag等。 用户元数据由用户在上
中保留多个版本的对象，方便检索和还原各个版本，在意外操作或应用程序故障时帮助快速恢复数据。 服务端加密：通过服务端加密功能，对上传至OBS桶中的数据进行加密保护。 跨域资源共享（CORS）：通过配置CORS规则，可以实现跨域名访问OBS。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
