检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作流程 大数据场景下使用OBS实现存算分离的操作流程如图1所示。 图1 操作流程 配置的核心是完成大数据平台与OBS对接，实现OBS作为大数据的统一数据湖存储。本文档提供三种主流大数据平台的对接指导，详情请参见支持的大数据平台简介。 （可选）OBS除了可以与主流大数据平台对接外
设置跨域规则 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient.SetBucketCors设置桶的跨域规则，如果原规则存在则覆盖原规则。 本示例用于设
流程简介 以下章节介绍如何使用OBS Browser来完成图1中所示的任务。 图1 OBS Browser快速入门 父主题： 入门
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速，流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
设置镜像回源规则 功能介绍 本接口用于为指定桶配置镜像回源策略。接口是幂等的，如果桶上已存在相同策略内容，则返回成功，status code返回值为200；否则status code返回值为201。 请求消息样式 PUT /?mirrorBackToSource HTTP/1.1
Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计，在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS，使用OBS提供的OBSA-HDFS工具，无需重新编译druid，将OBS配置为deep storage。
统的上限为100个。建议结合OBS细粒度权限控制能力，合理进行桶规划和使用。例如，建议在桶内根据对象前缀划分不同的目录，通过细粒度权限控制实现不同目录在不同业务部门之间的权限隔离。 默认情况下，OBS系统和单个桶都没有总数据容量和对象数量的限制。 删除桶之前必须确保桶内所有对象已彻底删除。
使用obsutil实现客户端跨区域复制 obsutil支持使用客户端跨区域复制模式进行复制，即通过数据流的方式从源桶直接复制数据到目标桶，且两个桶可以是任意两个OBS服务的桶；借助客户端跨区域复制模式即可实现相同账户下不同区域桶或不同账户间桶内对象的复制；跨账号复制对象具体步骤如下：
使用obsutil实现目录分享 目录分享允许桶的拥有者将桶的目录或者整个桶以授权码+提取码的形式分享给其他用户。获取到授权码和提取码的用户，可以在授权码的有效期内通过OBS提供的工具（OBS Browser、obsutil），或者直接在浏览器上输入授权码进行对象的列举和下载。 o
查看生命周期规则 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient.getBucketLifecycle查看桶的生命周期规则。以下代码展示了如何查看桶的生命周期规则：
限。 通过OBS Browser+添加外部桶的方式实现业务部门之间桶资源隔离。 搬迁本地数据至OBS 本章节根据用户本地（个人电脑或自建存储服务器）数据大小，介绍了几种将本地数据搬迁至OBS的方式，并针对不同方式提供了对应操作流程及指导。 迁移第三方云厂商的数据至OBS 本章节根
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出，在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置：
大数据场景下使用OBS实现存算分离 大数据场景下使用OBS实现存算分离方案概述 操作流程 对接大数据平台 对接大数据组件 迁移HDFS数据至OBS
此外，对象存储服务OBS提供了OBSFileSystem插件（OBSA-HDFS），可与上层大数据平台无缝对接，实现业务零改造。 OBSFileSystem的主要作用：提供HDFS文件系统的相关接口实现，让大数据计算引擎（Hive、Spark等）可以将OBS作为HDFS协议的底层存储。 图2 存算分离方案中的OBSFileSystem
配置桶的CORS 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 由于OBS以桶为单位提供基于HTTP/HTTPS协议的分布式存储服务，而浏览器默认不允许Ajax跨域请求，因此使用OBS
配置CORS实现跨域访问OBS OBS提供HTML5协议中的CORS设置，帮助用户实现跨域访问。 您可以新建CORS规则，也可以从其他桶复制已有CORS规则。 背景知识 跨域是指不同域名之间相互访问。 跨域访问是浏览器出于安全考虑而设置的一个限制，即同源策略。由于JavaScri
概述 Hadoop系统提供了分布式存储、计算和资源调度引擎，用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议，在大数据场景中可以替代Hadoop系统中的HDFS服务，实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接，为大数据计算提供“数据湖”存储。
设置桶的CORS配置 功能介绍 CORS（Cross Origin Resource Sharing），即跨域资源共享，是W3C标准化组织提出的一种规范机制，允许客户端的跨域请求的配置。在通常的网页请求中，由于安全策略SOP（Same Origin Policy）的存在，一个网站
使用备份软件实现本地数据备份至OBS 使用场景 传统的备份与恢复方案需要将备份数据写入磁带等存储设备，然后再运输至数据中心。在此过程中数据的安全及完整性依赖很多因素，比如硬件、人员等等。无论是从前期搭建数据中心还是后期的维护，都使得传统的备份与恢复方案面临着管理复杂、投入成本高的难题。
OBS如何实现备份和容灾？ OBS通过如下方式实现备份和容灾： 创建桶时开启多AZ属性，用户数据冗余存储至多个AZ中。 通过跨区复制功能。用户可以将一个区域的桶中数据复制到另一个区域，实现云端备份。 将OBS中的数据下载到本地，本地备份数据。 父主题： 数据安全、迁移和备份
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
