检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
列举失败结果清单文件 功能说明 按最后修改时间列举指定文件夹中cp命令及sync命令生成的失败结果清单文件。 命令结构 Windows操作系统 obsutil ls -failed [-limit=1000] [-o=xxx] macOS/Linux操作系统 ./obsutil ls
日志级别 当系统出现问题需要定位且当前的日志无法满足要求时,可以通过修改日志的级别来获取更多的信息。SDK提供了代表日志级别的枚举常量以设置不同的日志级别,具体说明如下: 表1 LogLevel 常量名 原始值 说明 OFF off 关闭级别,如果设置为这个级别,日志打印功能将被关闭。
Browser。 在页面左上方单击“添加桶”,系统弹出“添加桶”对话框。 选择“创建新桶”。 设置“区域”。 选择“存储类别”。 设置桶策略:您可以为桶配置私有、公共读、或公共读写策略。 多AZ:开启多AZ后,数据冗余存储至多个AZ中。归档存储的桶不支持多AZ功能。 输入“桶名”。可以单击桶名输入框后的了解桶的命名规则详情。
对于原本使用本地文件系统存储数据的用户,希望把数据存储在OBS上但不改变数据的访问方式,推荐使用s3fs。 s3fs是一款基于用户空间文件系统(Filesystem in Userspace,简称FUSE)的文件系统工具,支持您在Linux系统中,将OBS对象桶挂载到本地文件系统,让您能够
设置桶的多版本状态 功能介绍 多版本功能可在用户意外覆盖或删除对象的情况下提供一种恢复手段。用户可以使用多版本功能来保存、检索和还原对象的各个版本,这样用户能够从意外操作或应用程序故障中轻松恢复数据。多版本功能还可用于数据保留和存档。 默认情况下,桶没有设置多版本功能。 当开启WOR
下载和安装obsutil 下载地址 针对不同操作系统,obsutil的下载地址如表1所示。 表1 下载地址 操作系统 软件包下载地址 SHA256校验和 Windows 64位 obsutil_windows64 46440850e63600b31888f2c7c8e79db99
OBS提供WORM(Write Once Read Many)功能,即一次写入多次读取,实现对象在用户指定的时间段内不能被删除和篡改。目前OBS支持桶级和对象级的WORM功能,提供合规模式一种对象锁定模式。 使用场景 OBS提供合规模式的WORM功能,合规模式是指如果您给一个对象应用了WORM,
查询对象属性 功能说明 查询对象的基本属性。 命令结构 Windows操作系统 obsutil stat obs://bucket/key [-acl][-bf=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] macOS/Linux操作系统
日志分析(Python SDK) 日志配置 OBS Python SDK基于Python日志库提供了日志功能,您可以通过ObsClient.initLog开启日志功能并进行配置。示例代码如下: # 引入模块 from obs import LogConf from obs import
删除断点记录文件 功能说明 删除指定文件夹下的断点记录文件。 命令结构 Windows操作系统 obsutil clear [checkpoint_dir] [-u] [-d] [-c] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]
计费模式概述 对象存储OBS提供按需计费和包年包月(资源包)两种计费模式,以满足不同场景下的用户需求。 包年/包月:一种预付费模式,即先付费再使用,按照订单的购买周期进行结算。购买周期越长,享受的折扣越大。一般适用于数据存储需求量长期稳定的成熟业务。 按需计费:一种后付费模式,即
OBS海量的存储空间。 对于原本使用本地文件系统存储数据的用户,如果希望把数据存储在OBS上但不改变数据的访问方式,可以使用obsfs。 功能概述 支持挂载并行文件系统到Linux操作系统的本地文件系统中,通过本地文件系统管理OBS上的对象。 在本地挂载目录新增任何文件,都支持直接同步上传至OBS。
考虑到桶名会作为访问域名的一部分,需要参与域名解析,因此桶名需要满足DNS域名规范。OBS系统在接受创桶请求时,会对桶名进行严格的检查,具体规则如下: 需全局唯一,不能与已有的任何桶名称重复,包括其他用户创建的桶。用户删除桶后,立即创建同名桶或并行文件系统会创建失败,需要等待30分钟才能创建。 长度范围为3到63
设置桶属性 功能说明 设置桶的存储类型、访问策略等属性。 命令结构 Windows操作系统 obsutil chattri obs://bucket [-sc=xxx] [-acl=xxx] [-aclXml=xxx] [-config=xxx] [-e=xxx] [-i=xxx]
中有两种元数据:系统定义的对象元数据和对象自定义元数据介绍。 您可以在上传对象时在OBS中设置对象元数据,也可以在上传对象后修改元数据。 元数据介绍 系统定义的对象元数据 系统定义的元数据又分为两种类别:系统控制和用户控制。 系统控制:如Last-Modified日期等数据由系统控制,不可修改。
sutil能在执行批量处理、自动化任务的场景中为您带来更优体验。 本章节以Linux操作系统为例,以上传一个文件至“bucket-test”桶为例,帮助您快速通过obsutil使用OBS的基础功能,包括创建桶、上传对象、下载对象、分享对象。 准备工作 使用obsutil命令行工具
拖拽上传 OBS Browser+提供强大的拖拽上传功能,您可以将本地的一个或多个文件或者文件夹拖拽到对象存储的对象列表或者并行文件系统的对象列表中;同时您也可以将文件或文件夹拖拽到指定的目录上,这样可以上传到指定的目录中。拖拽上传可以轻松便捷地帮你把本地文件上传到OBS中。 父主题:
配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用状态,请提交工单联系技术支持人员进行配置。
设置对象元数据(Harmony SDK) 功能说明 元数据(Metadata)为描述对象属性的信息,是一组名称值对,用作对象管理的一部分。 当前仅支持系统定义的元数据。 系统定义的元数据又分为两种类别:系统控制和用户控制。如Last-Modified日期等数据由系统控制,不可修改;如为对象配置
修改对象元数据(Python SDK) 功能说明 元数据(Metadata)为描述对象属性的信息,是一组名称值对,用作对象管理的一部分。 当前仅支持系统定义的元数据。 系统定义的元数据又分为两种类别:系统控制和用户控制。如Last-Modified日期等数据由系统控制,不可修改;如为对象配置