检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据场景下使用OBS实现存算分离方案概述 应用场景 随着大数据技术的飞速发展，对数据价值的认识逐渐加深，大数据已经融入到了各行各业。根据相关调查报告数据显示，超过39.6%的企业正在应用大数据并从中获益；超过89.6%的企业已经成立或计划成立相关的大数据分析部门；超过六成的企业
2019 Linux SUSE 11 Euler OS 2 CentOS 7 macOS macOS 10.13.4 工具优势 obsutil具有四大优势： 简单、易用； 无需安装，轻便小巧，即下即用； 同时支持Windows/Linux/macOS三大平台； 配置多元化，性能优良。 使用场景
获取自定义元数据(Java SDK) 功能说明 元数据（Metadata）为描述对象属性的信息，是一组键值对，用作对象管理的一部分。 本接口可以在下载对象成功后返回对象的自定义元数据。 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。
产品功能 表1列出了对象存储服务OBS提供的常用功能特性。 在使用对象存储服务OBS之前，建议您先了解对象存储服务OBS的基本概念，以便更好地理解对象存储服务OBS提供的各项功能。 表1 对象存储服务OBS功能概览 功能名称 功能描述 发布区域 OBS 2.0支持 OBS 3.0支持
获取自定义元数据 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 下载对象成功后会返回对象的自定义元数据。以下代码展示了如何获取自定义元数据： // 创建ObsClient实例 var
OBS最佳实践汇总 本文汇总了基于对象存储服务（OBS，Object Storage Service）常见应用场景的操作实践，为每个实践提供详细的方案描述和操作指导，帮助用户轻松构建基于OBS的存储业务。 表1 OBS最佳实践一览表 最佳实践 说明 面向AI场景使用OBS+SFS
访问的数据有诸多好处，它可以保证不同服务器上访问数据的一致性，减少不同服务器上分别保留数据带来的数据冗余等。另外以 AI 生态中非常流行的开源深度学习框架PyTorch为例，PyTorch默认会通过文件接口访问数据，AI算法开发人员也习惯使用文件接口，因此文件接口是最友好的共享存储访问方式。
设置桶配额(Go SDK) 功能介绍 桶配额是桶容量的上限值。默认情况下，OBS系统和单个桶都没有总数据容量和对象数量的限制。您可以根据需要，为桶设置配额限制来控制桶内允许上传的对象总容量，超过设置的对象容量后，上传对象会失败。例如您为桶设置配额为100G，那么当桶内所有对象的大
搬迁本地数据至OBS 背景 传统的自建存储服务器已不能满足大量的数据存储需求，主要原因可以归类为以下三点： 数据存储量受限于搭建服务器时使用的硬件设备，如果存储量不够，需要重新购买存储硬盘，进行人工扩容。 前期安装难、设备成本高、初始投资大、自建周期长、无法匹配快速变更的企业业务。
方式三：使用镜像库下载安装OBS Java SDK 使用本方式安装SDK前，请确保Java环境和Maven环境正确配置并能正常使用，详细步骤如下： 使用浏览器打开华为开源镜像站：https://mirrors.huaweicloud.com。 从打开站点的网页中，找到“HuaweiCloud SDK”面板并单击进入依赖管理工具配置说明页面。
创建桶(Node.js SDK) 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。 功能介绍 OBS桶是对象的容器，您上传的文件都将以对象的形式存放在桶中。本文介绍如何使用Node.js SDK创建桶。 调用创建桶接口，将在当前
获取桶元数据(Java SDK) 功能说明 调用获取桶元数据接口，可获取指定桶的相关信息，包括指定桶的存储类别、区域位置、跨域资源共享（CORS）规则、冗余策略等信息。 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。 接口约束
设置桶的生命周期配置(Node.js SDK) 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。 功能介绍 OBS支持用户配置指定的规则，实现定时删除桶中的对象或者定时转换对象的存储类别，从而节省存储费用，更多生命周期相关信息请参见生命周期管理。
除了访问密钥和终端节点外，您可以根据自身使用场景，为客户端配置其他选项。 配置SDK日志 配置日志等级 否 OBS Java SDK基于Apache Log4j2开源库提供了日志功能，Log4j2框架按照优先级将日志进行了分级处理，您可以配置存储某个级别以上的日志，自行决定存储日志的范围。 OBS Java
上传对象-文件上传(Python SDK) 功能说明 您可以将本地文件直接通过Internet上传至OBS指定的桶中。待上传的文件可以是任何类型：文本文件、图片、视频等。 OBS本身是没有文件夹的概念的，桶中存储的元素只有对象。创建文件夹实际上是创建了一个大小为0且对象名以“/”
history命令关闭history再执行。执行后可使用set -o history命令恢复。 对于2023年2月25日之前（包含2月25日）的官网软件包以及开源代码编译生成的obsfs，执行以下命令，将访问密钥写入密钥文件“/etc/passwd-obsfs”。 echo AK:SK > /etc/passwd-obsfs
管理桶访问权限 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 桶访问权限（ACL）可以通过两种方式设置： 调用ObsClient.setBucketAcl指定预定义访问策略。 调用ObsClient
0/g++ (GCC) 10.3.0 SDK二进制包编译环境如上，其余内核和操作系统的兼容性不做保证。如果有其它操作系统或者内核版本的需求，请使用开源代码自行编译。 使用前须知 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。 请确认您
公共事务分析统计的典型场景：犯罪追踪，关联案件查询，交通拥堵分析，景点热度统计等 用户通过DES等迁移服务将海量数据迁移至OBS，再基于提供的MapReduce等大数据服务或开源的Hadoop、Spark等运算框架，对存储在OBS上的海量数据进行大数据分析，最终将分析的结果呈现在ECS中的各类程序或应用上。 建议搭配服务
设置桶ACL(Java SDK) 功能说明 OBS支持对桶操作进行权限控制，您可以为桶设置访问策略，指定某一个用户对某一个桶是否有权行使某一项指定操作。OBS权限控制的方式有IAM、桶策略和ACL三种，ACL按照粒度又分为桶ACL和对象ACL，本节将对桶ACL接口进行详细介绍，更
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
