检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
断点续传下载接口不仅能在失败重下时节省资源提高效率,还因其对分段进行并发下载的机制能加快下载速度,帮助用户快速完成下载业务;且其对用户透明,用户不用关心checkpoint文件的创建和删除、分段任务的切分、并发下载的实现等内部细节。 enableCheckpoint参数默认是fa
默认 maxIdleConnections 连接池中最大空闲连接数,默认值:1000。 ObsConfiguration.setMaxIdleConnections N/A maxConnections 最大允许的HTTP并发请求数。默认为1000。 ObsConfiguration
(-p)和defaultPartSize(-ps)这两个参数的数值;同时要考虑 总的并发数=并发任务数(defaultJobs)* 单任务最大并发数(defaultParallels ),总的并发数过大的情况下,可能会因为线程间资源切换及抢夺等原因,导致obsutil上传/下载/
限控制,保障数据安全可信。 千亿对象,千万并发:OBS通过智能调度和响应,优化数据访问路径,并结合事件通知、传输加速、大数据垂直优化等,为各场景下用户的千亿对象提供千万级并发、超高带宽、稳定低时延的数据访问体验。 图2 千亿对象,千万并发的数据访问体验 简单易用,便于管理:OBS支持标准REST
断点续传下载接口不仅能在失败重下时节省资源提高效率,还因其对分段进行并发下载的机制能加快下载速度,帮助用户快速完成下载业务;且其对用户透明,用户不用关心checkpoint文件的创建和删除、分段任务的切分、并发下载的实现等内部细节。 开发过程中,您有任何问题可以在github上提
接口能有效地解决此类问题引起的上传失败,其原理是将待上传的文件分成若干个分段分别上传,不仅能在失败重传时节省资源提高效率,还因其对分段进行并发上传的机制能加快上传速度。 注意事项 您必须是桶拥有者或拥有上传对象的权限,才能上传对象。建议使用IAM或桶策略进行授权,如果使用IAM则
大文件分段上传时,使用Offset参数和PartSize参数配合指定每段数据在文件中的起始结束位置。 并发数过大,可能会因为网络不稳定等原因,产生Timeout错误,需要限制并发数。 父主题: 多段相关接口(Node.js SDK)
分段上传是将单个对象拆分为一系列段分别上传,每个段都是对象数据的连续部分,您可以按照任意顺序上传段。如果其中某个段传输失败,可以重新传输该段且不会影响其他段。通过多线程并发上传同一对象的多个段,可大大提高传输效率。 具体代码样例可参见分段上传。 父主题: 常见问题(Java SDK)
注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差别的:HDFS租约机制可以保证并发写同一个文件时不会产生一致性问题,但是OBS实现的HDFS协议不支持租约Lease机制(并发写同一个文件时将产生不可确定的状态),所以在flume场景下可以通过文件命名规则进行解决。
分段上传是将单个对象拆分为一系列段分别上传,每个段都是对象数据的连续部分,您可以按照任意顺序上传段。如果其中某个段传输失败,可以重新传输该段且不会影响其他段。通过多线程并发上传同一对象的多个段,可大大提高传输效率。 具体代码样例可参见多段相关接口(Python SDK)。 父主题: 常见问题(Python SDK)
authorization 终端节点(Endpoint)不会限制查询结果,无论哪一个区域的Endpoint,查询结果都是所有区域的桶列表。 创桶期间不要并发列举桶 请求消息参数 该请求消息中不带请求参数。 请求消息头 该操作消息头与普通请求一样,请参见表3,但可以带附加消息头,附加请求消息头如下所示。
的数据。在合并段时需要将多段上传任务初始化时记录的附加消息头信息拷贝到对象元数据中,其处理过程和普通上传对象带这些消息头的处理过程相同。在并发合并段的情况下,仍然遵循Last Write Win策略,但“Last Write”的时间定义为段任务的初始化时间。 已经上传的段,只要没
断点续传上传接口不仅能在失败重传时节省资源提高效率,还因其对分段进行并发上传的机制能加快上传速度,帮助用户快速完成上传业务;且其对用户透明,用户不用关心checkpoint文件的创建和删除、分段任务的切分、并发上传的实现等内部细节。 enableCheckpoint参数默认是fa
的数据。在合并段时需要将多段上传任务初始化时记录的附加消息头信息复制到对象元数据中,其处理过程和普通上传对象带这些消息头的处理过程相同。在并发合并段的情况下,仍然遵循Last Write Win策略,但“Last Write”的时间定义为段任务的初始化时间。 已经上传的段,只要没
的数据。在合并段时需要将多段上传任务初始化时记录的附加消息头信息拷贝到对象元数据中,其处理过程和普通上传对象带这些消息头的处理过程相同。在并发合并段的情况下,仍然遵循Last Write Win策略,但“Last Write”的时间定义为段任务的初始化时间。 已经上传的段,只要没
覆盖前一次上传内容。多并发上传同一对象的同一partNumber时,服务端遵循Last Write Win策略,但“Last Write”的时间定义为段元数据创建时间。为了保证数据准确性,客户端需要加锁保证同一对象的同一个段上传的并发性。同一对象的不同段并发上传不需要加锁。 请求消息样式
[9MB, 100MB] defaultParallels 可选 每个分段任务的最大并发数,默认为5。 可参照obsutil性能调优最佳实践进行配置 defaultJobs 可选 批量任务的最大并发数,默认为5。 说明: 批量任务包含上传文件夹、下载文件夹、复制文件夹、批量恢复对象、批量删除对象等。
列段分别上传。每个段都是对象数据的连续部分。您可以按照任意顺序上传段。如果其中某个段传输失败,可以重新传输该段且不会影响其他段。通过多线程并发上传同一对象的多个段,可大大提高传输效率。 具体代码样例可参见分段上传。您也可以使用SDK提供的断点续传上传接口进行大文件上传。 父主题:
ObsClient是协程安全的,可在并发场景下使用。 ObsClient在调用ObsClient.close方法关闭后不能再次使用。 您可以通过调用WithHttpTransport传入自定义Transport实现指定单Host最大连接数的功能,示例代码如下: 1 2 3
断点续传上传接口不仅能在失败重传时节省资源提高效率,还因其对分段进行并发上传的机制能加快上传速度,帮助用户快速完成上传业务;且其对用户透明,用户不用关心CheckpointFile文件的创建和删除、分段任务的切分、并发上传的实现等内部细节。 EnableCheckpoint参数默认是