检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
挂载并行文件系统失败 本文根据在挂载并行文件系统时遇到的不同现象,总结了常见挂载并行文件系统失败的可能原因及解决办法。 现象一:挂载并行文件系统时出现“The specified bucket does not exist”类似错误 问题定位: 待挂载并行文件系统不存在。 解决办法:
txt 递归上传本地src1文件夹中的所有文件和文件夹(包括src1文件夹本身)至bucket-test桶的src文件夹下,且上传过程中不进行询问操作,命令如下: ./obsutil cp /src1 obs://bucket-test/src -r -f 成功上传后,桶内生成对象为:
指定obsutil上传下载时进行限速 obsutil支持通过在配置文件.obsutilconfig中配置rateLimitThreshold参数实现对上传/下载操作进行限速。 参数具体描述可参考配置参数说明,默认不指定即不进行限速,此时具体的上传/下载速度取决于用户侧的实际网络带
分段上传场景化示例(Java SDK) 分段上传的主要目的是解决大文件上传或网络条件较差的情况。 通过使用UploadPartRequest.setOffset和UploadPartRequest.setPartSize来设置每段的起始结束位置。 下面的示例代码展示了如何使用分段上传并发上传大文件。
断点记录文件的文件夹,默认为obsutil命令同级子文件夹.obsutil_checkpoint。 u 附加参数,可选 删除所有分段上传任务的断点记录文件。 说明: 同时会尝试删除每个断点记录文件中记录的分段上传任务。 d 附加参数,可选 删除所有分段下载任务的断点记录文件。 说明:
追加上传(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能说明 您可以根据需要上传文件或者文件夹至已有的OBS桶。待上传的文件可以是任何类型:文本文件、图片、视频等。 追加写对象操作是指在指定对象
上传对象-断点续传上传(Go SDK) 功能说明 对分段上传的封装和加强,解决上传大文件时由于网络不稳定或程序崩溃导致上传失败的问题。其原理是将待上传的文件分成若干个分段分别上传,并实时地将每段上传结果统一记录在checkpoint文件中,仅当所有分段都上传成功时返回上传成功的结
如果新上传的文件和桶内文件重名,则新上传的文件会自动覆盖老文件,且不会保留老文件的ACL等信息; 如果新上传的文件夹和桶内文件夹重名,则上传后会将新老文件夹合并,合并过程如遇重名文件,会使用新上传的文件夹中的文件进行覆盖。 在开启了多版本控制功能的情况下,如果新上传的文件和桶内文件重
对象数据的长度。 约束限制: 单次上传对象大小范围是[0, 5GB]。 如果需要上传超过5GB的大文件,需要通过多段操作来分段上传。 默认取值: 如果不设置,则SDK会自动计算对象数据的长度。 contentType String 可选 参数解释: 对象的文件类型(MIME类型)。con
制策略。如果匿名用户在上传对象时未指定x-obs-acl参数,则该对象默认可以被所有OBS用户访问。 该操作支持服务端加密功能。 单次上传对象大小范围是[0, 5GB],如果需要上传超过5GB的大文件,需要通过多段操作来分段上传。 OBS没有文件夹的概念。为了使用户更方便进行管理
断点续传上传 当上传大文件时,经常出现因网络不稳定或程序崩溃导致上传失败的情况。失败后再次重新上传不仅浪费资源,而且当网络不稳定时仍然有上传失败的风险。断点续传上传接口能有效地解决此类问题引起的上传失败,其原理是将待上传的文件分成若干个分段分别上传,并实时地将每段上传结果统一记录
分段上传 用户可以在如下的应用场景内(但不仅限于此),使用分段上传的模式: 上传超过100MB大小的文件。 网络条件较差,和OBS服务端之间的链接经常断开。 上传前无法确定将要上传文件的大小。 分段上传分为如下3个步骤: 初始化分段上传任务(initiateMultipartUpload)。
并行文件系统挂载后,为何显示256T? 问题背景: 当您在客户端上执行“df -h”时,为了显示需要,系统则直接返回了256TB。 解释说明: 该数值实际上无任何意义,您可以使用的并行文件系统容量无限制。 父主题: 并行文件系统
自动调整段大小 工具会根据源文件/对象大小自动设置每个分段任务的段大小,默认选中。 上传段大小 开启分段任务的阈值,如果待上传的文件大于该阈值,则采用分段任务的形式进行上传。单位:MB,默认为50MB。 说明: 需要取消勾选“自动调整大小”功能。 对于分段上传取值范围是 9M~5GB。
列举并行文件系统内对象(Harmony SDK) 功能介绍 调用列举并行文件系统内对象接口,可列举指定并行文件系统内的部分或所有对象的描述信息。您还可以通过设置前缀、数量、起始位置等参数,返回符合您筛选条件的对象信息。返回结果以对象名的字典序排序。 接口约束 您必须是并行文件系统拥
参数类型 是否必选 描述 Bucket string 必选 参数解释: 并行文件系统名。 约束限制: 并行文件系统的名字需全局唯一,不能与已有的任何并行文件系统名称重复,包括其他用户创建的并行文件系统。 并行文件系统命名规则如下: 3~63个字符,数字或字母开头,支持小写字母、数字、“-”、“
WriteLine("ErrorMessage: {0}", ex.ErrorMessage); } 支持获取上传进度的接口包括:流式上传、文件上传、异步上传、上传段、追加上传和断点续传上传。 父主题: 上传对象
挂载并行文件系统 通过obsfs使用OBS服务,需要将OBS的并行文件系统挂载至您本地的文件系统上。挂载完成后,可以像操作本地目录一样操作OBS并行文件系统,比如保存某个文件至挂载目录,即上传对象至OBS。 obsfs挂载到华为云服务器ECS上时占用OBS流量,不占用华为云服务器ECS的流量。
如果新上传的文件和桶内文件重名,则新上传的文件会自动覆盖老文件,且不会保留老文件的ACL等信息; 如果新上传的文件夹和桶内文件夹重名,则上传后会将新老文件夹合并,合并过程如遇重名文件,会使用新上传的文件夹中的文件进行覆盖。 在开启了多版本控制功能的情况下,如果新上传的文件和桶内文件重
并行文件系统是否支持资源包? 当前如下资源包同时支持并行文件系统及对象桶: 标准存储资源包:包括单AZ及多AZ 归档存储资源包 公网流出流量包 由于并行文件系统暂时不支持跨区域复制和回源功能,所以无法使用对应的跨区域复制流量包和回源流量包。 父主题: 计费相关