检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
公网环境下如何提高上传大文件速度? 在公网环境下对于超过100MB的大文件建议通过分段上传方式上传。分段上传是将单个对象拆分为一系列段分别上传。每个段都是对象数据的连续部分。您可以按照任意顺序上传段。如果其中某个段传输失败,可以重新传输该段且不会影响其他段。通过多线程并发上传同一对象的多个段,可大大提高传输效率。
公网环境下如何提高上传大文件速度?(Python SDK) 在公网环境下对于超过100MB的大文件建议通过分段上传方式上传。 分段上传是将单个对象拆分为一系列段分别上传。每个段都是对象数据的连续部分。您可以按照任意顺序上传段。如果其中某个段传输失败,可以重新传输该段且不会影响其他
公网环境下如何提高上传大文件速度?(Java SDK) 在公网环境下对于超过100MB的大文件建议通过分段上传方式上传。分段上传是将单个对象拆分为一系列段分别上传。每个段都是对象数据的连续部分。您可以按照任意顺序上传段。如果其中某个段传输失败,可以重新传输该段且不会影响其他段。通
(IOException e) { e.printStackTrace(); } 您可以使用多线程并发执行上传/下载/复制操作,以提高效率。 父主题: 常见问题(Java SDK)
上传超过100MB大小的文件。 网络条件较差,和OBS服务端之间的链接经常断开。 上传前无法确定将要上传文件的大小。 使用分段上传具有以下优势: 提高吞吐量——您可以使用并行上传段以提高吞吐量。 从任何网络问题中快速恢复——较小的段大小可以将由于网络错误而需重启失败的上传所产生的影响降至最低。 暂停和恢复
// 添加待上传对象到列表中 list.add(f); } } } } 您可以使用多线程并发执行上传/下载/复制操作,以提高效率。 父主题: 常见问题
GB。 对于分段下载取值范围无限制。 defaultParallels 每个分段任务的最大并发数,默认为5。 通常情况下使用分段任务不仅能提高传输效率,还能实现失败任务的断点续传。默认情况下,分段任务的段大小可以使用auto模式让obsutil自动调整。但在实际操作中,为了进一步
对于大量小文件的上传、下载,主要受TPS(单位时间内处理文件个数)影响,而非带宽。 批量上传可以增加“-j”和“-p”等参数,并将参数值调高,观察传输速度是否提高。参考性能调优最佳实践 父主题: OBS Browser+和obsutil等工具相关
详情请参见责任共担。 本文提供了OBS使用过程中的安全最佳实践,旨在为提高整体安全能力提供可操作的规范性指导。根据该指导文档您可以持续评估OBS资源的安全状态,更好的组合使用OBS提供的多种安全能力,提高对OBS资源的整体安全防御能力,保护存储在OBS桶内的数据不泄露、不被篡改,以及数据传输过程中不泄露、不被篡改。
传失败的风险。断点续传上传接口能有效地解决此类问题引起的上传失败,其原理是将待上传的文件分成若干个分段分别上传,不仅能在失败重传时节省资源提高效率,还因其对分段进行并发上传的机制能加快上传速度。 注意事项 您必须是桶拥有者或拥有上传对象的权限,才能上传对象。建议使用IAM或桶策略
日志分析(Java SDK) 日志开启方式 将OBS SDK包中的log4j2.xml文件放到classpath根目录; 或者调用Log4j2Configurator.setLogConfig直接指定log4j2.xml文件的路径。 您可以从OBS Java SDK的发布软件包中获取默认的日志配置文件log4j2
Browser可查询到该配置记录。然后在OBS Browser上启用CDN下载,以实现在OBS Browser上下载对象时,从CDN加速节点获取,提高下载速度。 启用CDN下载时,需先将桶访问权限设置为公共读或者将桶内对象访问权限设置为公共读。 父主题: CDN下载
OBS提供低成本的存储,华为云CDN可以提供网站加速、文件下载加速和点播加速。将数据存放在OBS中然后通过配置CDN加速,这样构造的业务系统可以在降低成本的同时,提高终端用户使用感受。当终端用户发起访问请求时,会首先通过CDN查找对此域名响应速度最快的CDN节点,并查询此节点是否有缓存终端用户请求的内容。
sutil工具所在目录后方可运行,易用性较差。 操作系统提供内置命令,在系统启动时就将依赖的目录调入内存,这样在任意目录下都可以运行命令,提高工具易用性。 本章根据不同操作系统,分别介绍如何将obsutil设置为系统内置命令。 将obsutil设为Windows操作系统内置命令 方式一:使用脚本自动配置(推荐)
数据安全 安全最佳实践 本最佳实践提供了OBS使用过程中的安全最佳实践,旨在为提高整体安全能力提供可操作的规范性指导。根据该指导文档您可以持续评估OBS资源的安全状态,更好的组合使用OBS提供的多种安全能力,提高对OBS资源的整体安全防御能力,保护存储在OBS桶内的数据不泄露、不被篡改,以及数据传输过程中不泄露、不被篡改。
MB,默认为50MB。 说明: 需要取消勾选“自动调整大小”功能。 对于分段下载取值范围是 9M~5GB。 通常情况下使用分段任务不仅能提高传输效率,还能实现失败任务的断点续传。默认情况下,分段任务的段大小可以勾选“自动调整段大小”自动调整。但在实际操作中,为了进一步提升上传下
我如何选择将数据存储在哪个区域? 选择区域时,您需要考虑以下几个因素: 地理位置 一般情况下,建议就近选择靠近您或者您的目标用户的区域,这样可以减少网络时延,提高访问速度。不过,在基础设施、BGP网络品质、资源的操作与配置等方面,中国大陆各个区域间区别不大,如果您或者您的目标用户在中国大陆,可以不用考虑不同区域造成的网络时延问题。
本文介绍一种在Web端利用PostObject接口直传文件至OBS的方法,即使用表单上传方式上传文件至OBS。如图1所示,该方案省去了应用服务器这一步骤,提高了传输效率,不会对服务器产生压力,且服务端签名后直传可以保证传输的安全性。 图1 Web端PostObject直传流程图 前提条件 已创建桶。具体操作请参见创建桶。
配置SDK日志(Java SDK) OBS Java SDK基于Apache Log4j2开源库提供了日志功能,SDK默认会将WARN级别的日志记录到JDK系统变量user.dir所代表的路径下,您可以通过修改日志配置文件定制日志功能。 操作步骤 找到OBS Java SDK开发包中的log4j2
方案优势 支持上传和下载文件、目录、 软链接、设置用户权限等POSIX文件协议标准的大部分功能。 支持多段上传。 可以使用本地磁盘作为缓存提高IO性能。 约束与限制 s3fs不支持挂载并行文件系统。 随机写或追加写文件场景需要重写整个文件,会有带宽浪费。 由于网络延迟,元数据操作(如列举目录)性能较差。