检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS服务环境搭建 注册云服务账号 使用OBS之前必须要有一个云服务账号。 打开浏览器。 登录公有云网站。 在页面右上角单击“注册”。 按需填写注册信息并单击“同意协议并注册”。 开通OBS服务 使用OBS服务之前必须先充值,才能正常使用OBS服务。 登录管理控制台。 单击页面右上角的
自定义函数开发规范 Data+已下线,如果需要使用数据处理服务,可使用数据工坊 DWR。 详情请参见数据工坊 DWR。 用户在自行开发自定义函数时,函数的输入参数和输出参数需要遵守本节的开发规范。 自定义函数的编译方式请参考FunctionGraph的《开发指南》。 函数输入参数
生成带授权信息的URL(Python SDK) 功能说明 通过访问密钥、请求方法类型、请求参数等信息生成一个在Query参数中携带鉴权信息的URL,可将该URL提供给其他用户进行临时访问。在生成URL时,需要指定URL的有效期来限制访客用户的访问时长。 如果想授予其他用户对桶或对象临时进行其他操作的权限
列举失败结果清单文件 功能说明 按最后修改时间列举指定文件夹中cp命令及sync命令生成的失败结果清单文件。 命令结构 Windows操作系统 obsutil ls -failed [-limit=1000] [-o=xxx] macOS/Linux操作系统 ./obsutil ls
OBS是否支持批量删除对象或清空桶? OBS管理工具批量删除功能的支持情况: 表1 OBS管理工具批量删除功能 工具 批量删除 管理控制台 支持,一次批量删除的对象数最多为100个,如果选择文件夹,只能单个删除文件夹。 详情请参见删除对象或文件夹。 还可以使用生命周期规则批量删除对象或清空桶
同步复制示例 本章节案例中的所有命令均以Linux操作系统为例,提供同步复制操作指导。 假设源桶bucket-src内包含如下对象: obs://bucket-src/src1/ obs://bucket-src/src1/test3.txt obs://bucket-src/src1
日志文件 配置日志文件 obsutil的日志文件分为工具日志和SDK日志,可通过在.obsutilconfig配置文件中加入如下参数开启这两种日志: 工具日志(记录工具在运行期间产生的日志信息):配置utilLogPath、utilLogBackups、utilLogLevel、utilMaxLogSize
列举分段上传任务 功能说明 查询桶内分段上传任务。 命令结构 Windows操作系统 obsutil ls obs://bucket[/prefix] [-s] [-d] -m [-a] [-uploadIdMarker=xxx] [-marker=xxx] [-limit=1]
设置桶策略 功能介绍 该接口的实现使用policy子资源创建或者修改一个桶的策略。如果桶已经存在一个策略,那么当前请求中的策略将完全覆盖桶中现存的策略。单个桶的桶策略条数(statement)没有限制,但一个桶中所有桶策略的JSON描述总大小不能超过20KB。 要使用该接口,使用者要求必须是桶的所有者
新建文件夹 用户可通过OBS Browser+新建文件夹。 背景信息 由于OBS没有文件系统中的文件和文件夹概念。为了使用户更方便进行管理数据,OBS提供了一种方式模拟文件夹。通过在对象的名称中增加“/”,将该对象在管理控制台上模拟成一个文件夹的形式展现。 操作步骤 登录OBS Browser
桶相关接口(Harmony SDK) 创建桶(Harmony SDK) 获取桶列表(Harmony SDK) 判断桶是否存在(Harmony SDK) 删除桶(Harmony SDK) 列举桶内对象(Harmony SDK) 列举桶内多版本对象(Harmony SDK) 获取桶元数据
什么是对象存储服务 对象存储服务简介 对象存储服务(Object Storage Service,OBS)是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。 OBS系统和单个桶都没有总数据容量和对象/文件数量的限制,为用户提供了超大存储容量的能力,适合存放任意类型的文件
暂停、继续、取消断点续传上传 当上传大文件时,经常出现因网络不稳定或程序崩溃导致上传失败的情况。失败后再次重新上传不仅浪费资源,而且当网络不稳定时仍然有上传失败的风险。断点续传上传接口能有效地解决此类问题引起的上传失败,其原理是将待上传的文件分成若干个分段分别上传,并实时地将每段上传结果统一记录在
在Linux ECS上使用obsutil通过内网访问OBS obsutil是适用于Windows、macOS和Linux操作系统的命令行工具,支持通过配置内网DNS服务器地址的方式,使在华为云上的Linux ECS通过内网直接访问OBS,下面将介绍其具体操作流程和操作步骤。 obsutil
面向AI场景使用OBS+SFS Turbo的存储加速方案概述 应用场景 近年来,AI快速发展并应用到很多领域中,AI新产品掀起一波又一波热潮,AI应用场景越来越多,有自动驾驶、大模型、AIGC、科学AI等不同行业。AI人工智能的实现需要大量的基础设施资源,包括高性能算力,高速存储和网络带宽等基础设施
挂载并行文件系统 通过obsfs使用OBS服务,需要将OBS的并行文件系统挂载至您本地的文件系统上。挂载完成后,可以像操作本地目录一样操作OBS并行文件系统,比如保存某个文件至挂载目录,即上传对象至OBS。 obsfs挂载到华为云服务器ECS上时占用OBS流量,不占用华为云服务器ECS
配置日志记录 当一个桶启用了日志记录功能后,OBS自动将该桶的日志按照固定的命名规则,生成一个对象写入用户指定的桶。 前提条件 日志投递用户组对目标桶具有“写入权限”和“查看ACL权限”。权限设置方法请参见配置桶ACL。 操作步骤 登录OBS Browser。 选中待配置的桶,单击
初始化概述(Java SDK) 完成SDK安装之后,您还需要进行初始化工作,初始化工作主要包括两方面,一方面客户端的创建和配置,另一方面是SDK日志配置。 表1 初始化概述 初始化任务 子任务 是否必选 说明 创建并配置客户端 创建客户端 是 OBS客户端是使用Java SDK访问
基本概念 使用OBS API涉及的常用概念 账号 用户注册时的账号,账号对其所拥有的资源及云服务具有完全的访问权限,可以重置用户密码、分配用户权限等。由于账号是付费主体,为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建用户并使用他们进行日常管理工作。 用户 由账号在
开始图片处理(API接口) 使用流程 OBS提供了REST接口。REST从资源的角度来观察整个网络,分布在各处的资源由URI(Uniform Resource Identifier)确定,而客户端的应用通过URL(Unified Resource Locator)来获取资源。URL