检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计,在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。
参数具体描述可参考配置参数说明,默认不指定即不进行限速,此时具体的上传/下载速度取决于用户侧的实际网络带宽及上传/下载任务的并发配置,具体调优方案可以参考obsutil性能调优最佳实践。
为解决以上问题,您可以考虑减少单个批量删除请求的对象数量,增加并发请求数,并将对象名的顺序前缀改为随机性前缀。 父主题: 桶和对象相关
dryRun 附加参数,可选 测试模式运行,不执行实际的上传操作。 link 附加参数,可选 上传软链接文件/文件夹指向的真实路径。
通过多线程并发上传同一对象的多个段,可大大提高传输效率。 具体代码样例可参见分段上传。 父主题: 常见问题(Java SDK)
注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差别的:HDFS租约机制可以保证并发写同一个文件时不会产生一致性问题,但是OBS实现的HDFS协议不支持租约Lease机制(并发写同一个文件时将产生不可确定的状态),所以在flume场景下可以通过文件命名规则进行解决
以下代码展示了使用OBS客户端的通用方式: // 您的工程中可以只保留一个全局的ObsClient实例 // ObsClient是线程安全的,可在并发场景下使用 ObsClient obsClient = null; try { // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险
通过多线程并发上传同一对象的多个段,可大大提高传输效率。 具体代码样例可参见多段相关接口(Python SDK)。 父主题: 常见问题(Python SDK)
创桶期间不要并发列举桶 请求消息参数 该请求消息中不带请求参数。 请求消息头 该操作消息头与普通请求一样,请参见表3,但可以带附加消息头,附加请求消息头如下所示。
在并发合并段的情况下,仍然遵循Last Write Win策略,但“Last Write”的时间定义为段任务的初始化时间。
在并发合并段的情况下,仍然遵循Last Write Win策略,但“Last Write”的时间定义为段任务的初始化时间。
在并发合并段的情况下,仍然遵循Last Write Win策略,但“Last Write”的时间定义为段任务的初始化时间。
如果用户购买的虚拟机网卡带宽低于16Gbit/s,那么节点带宽会先受虚机带宽限制,需要购买多台虚拟机并发运行才能达到16Gbit/s的带宽。 上传下载速率还受磁盘io及是否有其它进程抢占资源的影响。
断点续传下载接口不仅能在失败重下时节省资源提高效率,还因其对分段进行并发下载的机制能加快下载速度,帮助用户快速完成下载业务;且其对用户透明,用户不用关心checkpoint文件的创建和删除、分段任务的切分、并发下载的实现等内部细节。
多并发上传同一对象的同一partNumber时,服务端遵循Last Write Win策略,但“Last Write”的时间定义为段元数据创建时间。为了保证数据准确性,客户端需要加锁保证同一对象的同一个段上传的并发性。同一对象的不同段并发上传不需要加锁。
通过多线程并发上传同一对象的多个段,可大大提高传输效率。 具体代码样例可参见分段上传。您也可以使用SDK提供的断点续传上传接口进行大文件上传。 父主题: FAQ
追加上传对象是否支持并发场景下的锁机制? 签名不匹配(SignatureDoesNotMatch)如何处理
ObsClient是线程安全的,可在并发场景下使用。 父主题: 初始化
通过浏览器访问对象,会强制下载对象,如果您希望被分享人可以在线预览对象,请参见如何在浏览器中在线预览OBS中的对象?
表1 搬迁方案 搬迁方式 适用数据量 要求 耗时 费用 OBS工具方式(在线) 不高于1TB的数据量 要求用户公网带宽空闲,需要人工操作客户端或脚本启动数据上传 家用100Mbps带宽,1TB耗时1天左右 数据传输不收取费用,仅OBS收取基本的存储费用 CDM方式(在线) 单次小于