检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS是否支持批量删除对象或清空桶? OBS管理工具批量删除功能的支持情况: 表1 OBS管理工具批量删除功能 工具 批量删除 管理控制台 支持,一次批量删除的对象数最多为100个,如果选择文件夹,只能单个删除文件夹。 详情请参见删除对象或文件夹。 还可以使用生命周期规则批量删除
日志文件 配置日志文件 obsutil的日志文件分为工具日志和SDK日志,可通过在.obsutilconfig配置文件中加入如下参数开启这两种日志: 工具日志(记录工具在运行期间产生的日志信息):配置utilLogPath、utilLogBackups、utilLogLevel、utilMaxLogSize。
资源和成本规划 本节介绍最佳实践中资源规划情况,包含以下内容: 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容
在线解压 OBS支持ZIP包上传后自动解压并存放在指定目录。 当您需要一次性上传大量的小文件时,可以将所有文件打包成ZIP包,上传之后压缩包可以自动解压,省时省力。OBS批量上传文件时有一些限制,参见OBS批量上传文件。 成功创建在线解压策略后,您上传到OBS的ZIP包如果能匹配
判断桶是否存在 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient.HeadBucket接口判断该桶是否已存在。 本示例用于判断桶名为“bucketname”是否存在。
使用上传回调获取对象信息 使用场景 您可以通过回调,获取对象上传后的相关信息,例如获取对象是否上传成功,获取对象Etag、上传后大小、上传后对象所在桶等信息。OBS支持通过回调获取对象的系统参数和自定义参数,参数详情可参考API参考的回调章节。 图1 上传回调流程图 上传回调的详
删除桶归档存储对象直读策略 功能介绍 删除指定桶的归档存储对象直读配置信息。 删除后桶内的归档存储对象不能直接读取。对未恢复或正在恢复的归档存储对象进行操作时,会返回错误403 Forbidden。 要正确执行此操作,需要确保执行者有DeleteDirectColdAccessC
安装SDK(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 使用npm安装(推荐) 运行npm -v命令查看npm版本并确保npm已安装。 运行npm install esdk-obs-nodejs命令执行安装。
删除断点记录文件 功能说明 删除指定文件夹下的断点记录文件。 命令结构 Windows操作系统 obsutil clear [checkpoint_dir] [-u] [-d] [-c] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]
列举示例 本章节案例中的所有命令均以Linux操作系统为例,提供列举操作指导。 假设bucket-test桶内包含如下对象: obs://bucket-test/test1.txt obs://bucket-test/test2.txt obs://bucket-test/test3
透传访问密钥 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 OBS Android SDK提供了直接在接口方法中透传AK和SK的OBS客户端(SecretFlexibleObsClient)。示例代码如下:
对所有账号授予桶的公共读权限 场景介绍 当某个桶需要授权所有账号访问权限时,可以通过桶策略和桶ACL配置授予所有账号访问桶的权限。本示例以桶策略为例。 配置须知 本案例预置的“公共读”模板允许所有账号(所有互联网用户)对整个桶及桶内所有对象执行以下权限: HeadBucket:判断桶是否存在、获取桶元数据
配置OBS客户端 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可通过初始化参数对ObsClient进行配置,可以配置的参数见下表: 参数 描述 建议值 key 访问密钥中的AK。
返回码 通过进程等方式调用obsutil时,无法实时查看回显信息。obsutil支持在进程运行结束后,根据不同的运行结果生成不同的返回码,具体的返回码及其含义如表1所示。您可以通过以下方式获取最近一次运行结果的返回码,然后根据返回码分析并处理问题。 macOS/Linux操作系统
数据保护技术 OBS通过多种数据保护手段和特性,保障存储在OBS中的数据安全可靠。 表1 OBS的数据保护手段和特性 数据保护手段 简要说明 详细介绍 传输加密(HTTPS) OBS支持HTTP和HTTPS两种传输协议,为保证数据传输的安全性,推荐您使用更加安全的HTTPS协议。
创建文件夹 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 OBS本身是没有文件夹的概念的,桶中存储的元素只有对象。创建文件夹实际上是创建了一个大小为0且对象名以“/”结尾的对象
配置option 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 在调用C SDK的功能函数时,都要传入obs_options参数,您可通过init_obs_options函数初始化obs_options配置,通过obs_op
授权第三方上传 使用场景 当第三方用户没有上传权限的时候,可以临时授权给第三方用户临时访问OBS服务,在授权有效期内实现对象上传。例如,部分企业拥有自己的用户管理系统,用户管理系统中的用户包括终端APP用户、企业本地用户等,这部分用户并不具有IAM用户的权限,通过授予其临时访问密钥来访问OBS。
取消删除对象 使用场景 桶没有开启多版本控制功能时,已删除的对象不可恢复。 在启用了多版本控制功能的OBS桶中,OBS桶中的文件从“对象”列表删除后,OBS不会立即将其彻底删除,而是保留在“已删除对象”中,同时会为其打上删除标记。您可以通过“取消删除”功能来找回被删除的文件。 注意事项
配置Data+ Data+已下线,如果需要使用数据处理服务,可使用数据工坊 DWR。 详情请参见数据工坊 DWR。 操作场景 当需要使用OBS提供的Data+服务对OBS内存储的数据,自动进行多项复杂任务(如解析、转码、截图等)处理时,可按照本节指导进行配置。 您需要先创建工作流,工作流可以自定义任务处理流程。