检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
基因、教育等行业也可以使用obsutil将每日增量数据同步上云。 s3fs s3fs是一款基于用户空间文件系统(Filesystem in Userspace,简称FUSE)的文件系统工具,支持您在Linux系统中,将OBS对象桶挂载到本地文件系统,让您能够像操作本地文件一样操作对象,实现数据的共享。
B),且需要频繁访问数据的业务场景。 WARM WARM 低频访问存储。 低频访问存储适用于不频繁访问(平均一年少于12次)但在需要时也要求能够快速访问数据的业务场景。 COLD COLD 归档存储。 归档存储适用于很少访问(平均一年访问一次)数据的业务场景。 DEEP_ARCHIVE
B),且需要频繁访问数据的业务场景。 WARM WARM 低频访问存储。 低频访问存储适用于不频繁访问(平均一年少于12次)但在需要时也要求能够快速访问数据的业务场景。 COLD COLD 归档存储。 归档存储适用于很少访问(平均一年访问一次)数据的业务场景。 DEEP_ARCHIVE
上传对象时设置指定对象生命周期(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能说明 上传对象或者初始化分段上传任务时,您可以使用Expires参数直接指定对象的过期时间。此方式仅支持设置以天为单
华为云账号登录(仅支持存量华为云账号) 华为云已不再支持注册华为云账号,统一通过注册华为账号并开通华为云业务。此登录方式,仅提供给存量华为云账号使用。华为云账号与华为账号的区别请参见华为云账号与华为账号的区别。 其他服务提供商(与OBS兼容的其他对象存储服务) 永久AK方式登录 如果您拥有永久访问密钥
运行。 如何进入和结束后台运行 您可以单击关闭OBS Browser+工具,并选择后台运行,这时候您的所有任务将进入后台运行模式。 当您在系统托盘中双击OBS Browser+的图标,显示UI界面,即结束后台运行模式。 父主题: 最佳实践
管理桶配额 使用场景 默认情况下,OBS系统和单个桶都没有总数据容量和对象数量的限制。您可以通过为桶设置配额限制来控制桶内允许上传的对象总容量,超过设置的对象容量后,上传对象会失败。 桶配额只对设置生效后的对象上传操作有限制, 如果设置的桶配额数值小于已经上传的对象容量,不会删除
obsutil适用于Windows、Linux和macOS三大主流的操作系统,在各操作系统上推荐使用的版本如表1所示。您可以单击这里获取到obsutil在不同操作系统上的下载地址及下载方法。 表1 obsutil推荐使用的操作系统版本 操作系统 推荐使用版本 Windows Windows 7 Windows
timout、EOF错误原因定位及解决 批量任务进度条中出现问号的原因 是否支持多个config文件在同一个目录下 Windows操作系统下,下载对象时发现本地和云上对象数量不一致 是否支持修改对象名称(重命名)
的段大小。 fs 附加参数,可选 是否使用并行文件系统的列举方式,如果桶是并行文件系统,推荐加上该参数。 注意: 该列举方式会因为目录结构,耗时会差别很大。 该参数开启后,会忽略marker和limit值,统计桶或者并行文件系统或者指定目录的大小。 Util 5.5.12版本及以上支持该参数。
客户端。 要使用该接口,使用者要求必须是桶的所有者,或者是桶所有者的子用户且具有获取桶策略的权限。 以下两种场景无法使用此接口获取桶策略,系统将返回“404 NoSuchBucketPolicy”的错误: 指定桶的策略不存在 指定桶的标准桶策略为私有且未设置高级桶策略 请求消息样式
OBS性能优化建议 OBS按照对象名的UTF-8编码范围来进行分区管理,对系统进行水平扩展与动态负载均衡。如果用户在对象命名规则上使用了顺序前缀(如时间戳或字母顺序),可能导致大量对象的请求访问集中于某个特定分区,造成访问热点。热点分区上的请求速率受限,访问时延上升。 推荐使用随
OBS自定义策略 如果系统预置的OBS权限,不满足您的授权要求,可以创建自定义策略。自定义策略中可以添加的授权项(Action)请参考桶相关授权项和对象相关授权项。 目前支持以下两种方式创建自定义策略: 可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服务、操
我可以在OBS中存储多少数据? OBS系统和单个桶都没有总数据容量和对象/文件数量的限制,但对于单次上传对象的大小有如下限制: OBS管理控制台支持批量上传文件,单次最多支持100个文件同时上传,总大小不超过5GB。如果只上传1个文件,则这个文件最大为5GB。 OBS Brows
Flume是一个分布式的、可靠的和高可用的服务,用于收集、聚合以及移动大量日志数据,具体请参见Apache Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。 注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差别的:HDFS租约机制可以保证并发写同一个文件时不
上的策略。 要使用该接口,使用者要求必须是桶的所有者,或者是桶所有者的子用户且具有删除桶策略的权限。 无论桶的策略本身是否存在,删除成功后系统都直接返回“204 No Content”的结果。 请求消息样式 1 2 3 4 DELETE /?policy HTTP/1.1 Host:
新建文件夹 用户可通过OBS Browser+新建文件夹。 背景信息 由于OBS没有文件系统中的文件和文件夹概念。为了使用户更方便进行管理数据,OBS提供了一种方式模拟文件夹。通过在对象的名称中增加“/”,将该对象在管理控制台上模拟成一个文件夹的形式展现。 操作步骤 登录OBS Browser+。
同步下载示例 本章节案例中的所有命令均以Linux操作系统为例,提供同步下载操作指导。 假设bucket-test桶内包含如下对象: obs://bucket-test/src1/ obs://bucket-test/src1/test3.txt obs://bucket-test/src1/src2/
您可以通过回调,获取对象上传后的相关信息,例如获取对象是否上传成功,获取对象Etag、上传后大小、上传后对象所在桶等信息。OBS支持通过回调获取对象的系统参数和自定义参数,参数详情可参考API参考的回调章节。 图1 上传回调流程图 上传回调的详细流程如图1所示,主要分为以下几个阶段: 客户端发出上传对象请求,请求中携带回调参数。
)或小对象(<1MB),且需要频繁访问数据的业务场景。 ObsClient.enums.StorageClassWarm WARM 低频访问存储。 低频访问存储适用于不频繁访问(平均一年少于12次)但在需要时也要求能够快速访问数据的业务场景。 ObsClient.enums.StorageClassCold