检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当使用配置类(ObsConfig)创建OBS客户端(ObsClient)时,您可通过ObsConfig配置类对ObsClient进行配置,可配置代理、连接超时、最大连接数等参数。通过ObsConfig可以设置的参数见下表: 参数 描述 建议值 Endpoint 连接OBS的服务地址。可包含协议类型、域名、端
追加上传对象是否支持并发场景下的锁机制? OBS本身不支持,如果需要避免同一个对象被并行访问,需要在上层应用中增加对象的锁机制。 针对同一个对象或桶的操作,比如多个客户端对同一个对象并行上传、查询和删除时,具体操作结果依赖于操作到达系统的时间和系统内部处理的时延,可能返回不一致的
对象被并行访问,需要在上层应用中增加对象的锁机制。 并发操作举例 1. 当客户端2正在上传一个对象v1时,客户端1同时上传一个同名的对象v2成功后,不管是客户端1还是客户端2都能够读取最新的对象数据v1,如图1所示。 图1 并发成功上传同一个对象 2. 当客户端2上传一个对象v1
s-uploadId头域的值,是否与本次要合并的段任务ID相同,如果相同,说明服务端实际已经合并段成功,无需再进行重试。关于并发一致性说明,参见7.5-并发一致性说明。 WORM 如果桶的WORM开关是开启的,合并段会为合并后生成的对象自动应用WORM保护。如果您在初始化时指定了
云服务器ECS和弹性负载均衡ELB组成的视频监控处理平台将视频流切片后存入OBS,后续再从OBS下载历史视频对象传输到观看视频的终端设备。存放在OBS中的视频文件还可以利用跨区域复制等功能进行备份,提升数据存储的安全性和可靠性。 建议搭配服务 弹性负载均衡 ELB,弹性云服务器 ECS
maxConcurrentCommandRequestCount 允许的最大的命令请求并发数,默认为3。 默认 OBSServiceConfiguration.maxConcurrentUploadRequestCount 允许的最大的上传请求并发数,默认为3。 默认 OBSServiceConfiguration
OBS性能优化建议 OBS按照对象名的UTF-8编码范围来进行分区管理,对系统进行水平扩展与动态负载均衡。如果用户在对象命名规则上使用了顺序前缀(如时间戳或字母顺序),可能导致大量对象的请求访问集中于某个特定分区,造成访问热点。热点分区上的请求速率受限,访问时延上升。 推荐使用随
下调整单任务最大并发数及分段大小效果不明显。 针对用户侧存在大文件进行上传下载的场景,由于单个文件大小较大,此时可以通过适当调整上传/下载的段大小以及单任务的最大并发数来进行调优。 需要注意的是,Browser+并发的最大任务数 = 最大并行任务数*单任务最大并发数,由于运行机资
Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计,在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS,使用OBS提供的OBSA-HDFS工具,无需重新编译druid,将OBS配置为deep storage。
的数据。在合并段时需要将多段上传任务初始化时记录的附加消息头信息拷贝到对象元数据中,其处理过程和普通上传对象带这些消息头的处理过程相同。在并发合并段的情况下,仍然遵循Last Write Win策略,但“Last Write”的时间定义为段任务的初始化时间。 已经上传的段,只要没
ExecutorService executorService = Executors.newFixedThreadPool(20); // 执行并发上传 for (File f : list) { executorService.execute(() -> { if (f.isDirectory())
ExecutorService executorService = Executors.newFixedThreadPool(20); // 执行并发上传 for (File f:list){ executorService.execute(() -> { if (f
如果带宽达到该阈值,请求会触发流控。 如果用户购买的虚拟机网卡带宽低于16Gbit/s,那么节点带宽会先受虚机带宽限制,需要购买多台虚拟机并发运行才能达到16Gbit/s的带宽。 上传下载速率还受磁盘io及是否有其它进程抢占资源的影响。 如果您想提升上传、下载速率,可考虑配合VP
集中于某个特定分区,造成访问热点。热点分区上的请求速率受限,访问时延上升。 为解决以上问题,您可以考虑减少单个批量删除请求的对象数量,增加并发请求数,并将对象名的顺序前缀改为随机性前缀。 父主题: 桶和对象相关
断点续传下载接口不仅能在失败重下时节省资源提高效率,还因其对分段进行并发下载的机制能加快下载速度,帮助用户快速完成下载业务;且其对用户透明,用户不用关心checkpoint文件的创建和删除、分段任务的切分、并发下载的实现等内部细节。 enable_check_point参数默认是
setOffset和UploadPartRequest.setPartSize来设置每段的起始结束位置。 下面的示例代码展示了如何使用分段上传并发上传大文件。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
f]; // 分段上传的最大并发数 client.configuration.maxConcurrentUploadRequestCount = 5; // 分段上传请求的最大连接数 client.configuration.up
作进行限速。 参数具体描述可参考配置参数说明,默认不指定即不进行限速,此时具体的上传/下载速度取决于用户侧的实际网络带宽及上传/下载任务的并发配置,具体调优方案可以参考obsutil性能调优最佳实践。 需要注意的是,rateLimitThreshold参数指定的是obsutil任
initWithConfiguration:conf]; // 分段上传的最大并发数 client.configuration.maxConcurrentUploadRequestCount = 5; // 分段上传请求的最大连接数 client.configuration.uploadSessionConfiguration
如果多个云服务一起搭配使用,需要注意: 不同区域的弹性云服务器、关系型数据库、对象存储服务内网不互通。 不同区域的弹性云服务器不支持跨区域部署在同一负载均衡器下。 资源的价格 不同区域的资源价格可能有差异,请参见华为云服务价格详情。 父主题: 产品咨询