检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
网络条件较差,和OBS服务端之间的链接经常断开。 上传前无法确定将要上传文件的大小。 使用分段上传具有以下优势: 提高吞吐量——您可以使用并行上传段以提高吞吐量。 从任何网络问题中快速恢复——较小的段大小可以将由于网络错误而需重启失败的上传所产生的影响降至最低。 暂停和恢复对象上
3:value3。 fs 附加参数,可选 是否使用并行文件系统的列举方式,如果桶是并行文件系统,推荐加上该参数。 注意: 该列举方式会因为目录结构,耗时会差别很大。 该参数开启后,会忽略marker和limit值,统计桶或者并行文件系统或者指定目录的大小。 Util 5.5.12版本及以上支持该参数。
添加桶 桶是OBS中存储对象的容器。您需要先创建一个桶,然后才能在OBS中存储数据。 一个账号及账号下的所有IAM用户可创建的桶+并行文件系统的上限为100个。建议结合OBS细粒度权限控制能力,合理进行桶规划和使用。例如,建议在桶内根据对象前缀划分不同的目录,通过细粒度权限控制实
后缀匹配以及正则匹配。 单个桶的生命周期规则条数没有限制,但单个桶中所有生命周期规则的XML描述总大小不能超过20KB。 您最多可以在一个并行文件系统下配置20条生命周期管理规则,超过20条将提示不支持。 生命周期为覆盖语义,修改桶的生命周期规则,您需要在原有规则的基础上添加规则
支持批量上传、下载、删除、复制、移动等。 支持拖拽上传。 定时上传。 并行文件系统基本操作 支持并行文件系统的基本操作,包括列举并行文件系统,查询并行文件系统的基本信息、并行文件系统ACL、碎片管理、删除并行文件系统等。 并行文件系统中对象基本操作 支持并行文件系统中对象的基本操作,包括新建文件夹,上传对象,列举对象、下载对象、删除对象等。
计费概述 本章节主要介绍对象存储的计费说明,包括计费项、计费模式等。关于并行文件系统和专属对象存储的计费说明,请参考产品价格详情。 计费项 OBS计费项由存储费用、请求费用、流量费用、数据恢复费用和数据处理费用组成,如图1所示。 图1 OBS计费项一览 计费模式 OBS提供按需计
}); }; /** * 实现函数并行执行 * @param {Array} params 回调函数的参数数组 * @param {Promise} promiseFn 回调函数 * @param {number} limit 并行数 */ const parallelFunc
登录至OBS,从而对请求加密签名,确保请求的机密性、完整性和请求双方身份的正确性。 创建访问密钥(AK和SK) 并行文件系统 并行文件系统是存储数据的容器。 创建并行文件系统 注册华为账号并开通华为云 在使用obsfs之前,您需要拥有一个华为账号并且成功开通OBS。OBS提供按需
已购买资源包,为什么仍然产生按需计费? 购买了回源流量包是否还需要购买公网流出流量包? 资源包是否必须购买?是否能指定给具体的桶使用? 资源包是否支持退订或修改? 并行文件系统是否支持资源包? 哪些资源包会按月更新额度,哪些不会? 当月未用完的资源包用量是否会结转到下个月? 资源包到期后OBS资源会如何处理?
对其他账号授予桶的读写权限 场景介绍 本案例介绍如何为其他华为云账号授予OBS桶的读写权限。这里的账号指华为云账号本身,不包含账号下的IAM用户,如果要为IAM用户授权,请参见对其他账号下的IAM用户授予桶和桶内资源的访问权限。 推荐配置方法 对其他账号授权,推荐使用桶策略。 配置须知
接口实现。具体步骤为: 调用OBS服务端初始化上传段任务接口,生成分段上传ID(Upload ID)。 调用OBS服务端上传段接口,逐个或并行上传段,每个段最大可支持5GB。 上传段完成后,调用OBS服务端合并段接口,生成最终对象。 OBS SDK实现了OBS服务端分段上传需要使
网络条件较差,和OBS服务端之间的链接经常断开。 上传前无法确定将要上传文件的大小。 分段上传分为如下3个步骤: 初始化分段上传任务。 逐个或并行上传段。 合并段或取消分段上传任务。 以下代码简单展示了分段上传的各个步骤: 1 2 3 4 5 6 7 8 9 10 11
Browser+移动文件或文件夹或移动对象。 此外,您还可以使用对象存储迁移服务OMS实现OBS桶之间跨账号、跨区域以及同区域内的数据迁移。 OBS工具不支持在不同集群并行文件系统之间移动文件。 父主题: 桶和对象相关
操作指南 挂载并行文件系统 取消挂载并行文件系统
异常处理 挂载并行文件系统失败 取消挂载并行文件系统失败
上传前无法确定将要上传文件的大小。 分段上传分为如下3个步骤: 初始化分段上传任务(ObsClient.InitiateMultipartUpload)。 逐个或并行上传段(ObsClient.UploadPart)。 合并段(ObsClient.CompleteMultipartUpload)或取消分段上传任务(ObsClient
即用户创建的桶不能与自己已创建的其他桶名称相同,也不能与其他用户(包括其他华为云账号)创建的桶名称相同。 用户删除桶后,立即创建同名桶或并行文件系统会创建失败,需要等待30分钟才能创建。 当创建桶提示“另外一个冲突的操作当前正作用在这个资源上,请重试。”或“A conflicting
常见问题 同一个并行文件系统可以挂载至多个客户端吗? 可以。 同一个客户端可以挂载多个并行文件系统吗? 可以,且每一个挂载进程都是独立的。 obsfs挂载到华为云服务器ECS上时占用OBS流量还是云服务器ECS的流量? 该情况下占用OBS流量,不占用华为云服务器ECS的流量。 挂载的并行文件系统如何让其他用户访问?
分段上传-合并段(Go SDK) 功能说明 如果用户上传完所有的段,就可以调用合并段接口,系统将在服务端将用户指定的段合并成一个完整的对象。在执行“合并段”操作以前,用户不能下载已经上传的数据。在合并段时需要将多段上传任务初始化时记录的附加消息头信息拷贝到对象元数据中,其处理过程
s3fs不支持挂载并行文件系统。 随机写或追加写文件场景需要重写整个文件,会有带宽浪费。 由于网络延迟,元数据操作(如列举目录)性能较差。 不支持文件或目录的原子性重命名。 支持挂载到多台云服务器,但数据一致性需由您自行维护,避免出现多台云服务器同时对一个文件并发写入的情况。 不支持硬链接。