检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
别下载,并实时地将每段下载结果统一记录在checkpoint文件中,仅当所有分段都下载成功时返回下载成功的结果,否则抛出异常提醒用户再次调用接口进行重新下载(重新下载时因为有checkpoint文件记录当前的下载进度,避免重新下载所有分段,从而节省资源提高效率)。 断点续传下载接口是利用范围下载(Java
下载对象-文件下载(Python SDK) 功能说明 您可以根据需要将存储在OBS中的对象下载到本地。以文件形式下载指定桶中的对象。 接口约束 您必须是桶拥有者或拥有下载对象的权限,才能下载对象。建议使用IAM或桶策略进行授权,如果使用IAM则需授予obs:object:GetO
流式下载(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能说明 您可以根据需要将存储在OBS中的对象流式下载到本地。 接口约束 您必须是桶拥有者或拥有下载对象的权限,才能下载对象。建议使用IAM或
在ECS中,通过OBS Browser下载文件,下载速度慢 问题 在ECS中,通过OBS Browser下载文件,下载速度慢。 回答 请参见在ECS上通过内网访问OBS修订本地DNS修改DNS信息。 父主题: 问题处理
配置CDN下载 操作步骤 登录OBS Browser。 选中待操作的桶,在桶列表上方单击“更多>配置CDN下载”,系统弹出“配置CDN下载”对话框。 在待配置的用户域名所在行后面,勾选“启用CDN下载”。 单击“确定”。 在弹出的消息窗口中,单击“确定”关闭消息窗口。 父主题: CDN下载
时仍然有下载失败的风险。断点续传下载接口能有效地解决此类问题引起的下载失败,其原理是将待下载的对象分成若干个分段分别下载,并实时地将每段下载结果统一记录在checkpoint文件中,仅当所有分段都下载成功时返回下载成功的结果,否则抛出异常提醒用户再次调用接口进行重新下载(重新下载
安装flink-obs-fs-hadoop。 在Github下载flink-obs-fs-hadoop:下载地址。 flink-obs-fs-hadoop-${flinkversion}-hw-${version}.jar版本规则:flinkversion为对应的flink版本号,
在Github下载hadoop-huaweicloud:下载地址。(建议使用hadoop 2.8.3版本下最新版本的hadoop-huaweicloud版本,例如hadoop-huaweicloud-2.8.3-hw-53.8,以最新版本为准) 将上述下载的jar包放入/opt/
下载对象-获取下载进度(Python SDK) 支持获取下载进度的接口包括:二进制式下载,流式下载、文件下载和断点续传下载。 本示例用于获取下载对象的进度。 示例代码如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
对于加密类型的对象如何使用URL进行下载?(Java SDK) 如果是SSE-KMS方式进行加密的对象,使用URL下载时服务端会自动解密。 如果对象是SSE-C方式进行加密的对象,由于解密需要设置请求头域,所以不能通过浏览器直接访问该对象。如果您是在编写代码来访问加密类型的对象,
已安装Hive,具体请参见Hive对接OBS。 安装presto server 版本:prestoSQL-333 下载Presto客户端和服务端。 下载客户端 下载服务端 下载hadoop-huaweicloud插件:下载地址。 执行以下命令,解压Presto服务端。 tar –zxvf presto-server-333
OBS是否支持批量下载文件? OBS管理工具批量下载功能的支持情况: 表1 OBS管理工具批量下载功能 工具 批量下载 管理控制台 不支持 OBS Browser+ 支持 详情请参见下载文件或文件夹。 obsutil 支持,详情请参见下载对象。 SDK 不支持 API 不支持 父主题:
OBS上传下载速率的影响因素有哪些? 影响OBS上传下载速率的因素有: 单个华为云账号默认的OBS读写带宽(GET请求带宽与PUT请求带宽的总和)上限是16Gbit/s(包括公网和内网带宽一共16Gbit/s)。如果带宽达到该阈值,请求会触发流控。 如果用户购买的虚拟机网卡带宽低
恢复低频访问存储、恢复归档存储和深度归档存储类别的对象后,下载该对象产生的公网流出流量,只能按需计费。 说明: 只要通过互联网下载OBS的数据,无论是否成功,均会产生公网的流量。 下载低频访问存储、归档存储和深度归档存储类别的对象产生的公网流出流量,将无法使用公网流出流量包进行抵扣。 按需计费 包年包月 跨区域复制流量
使用obsutil下载文件到99%后失败 出现该问题的主要原因: 网络波动导致下载失败。 磁盘IO卡顿导致缓存文件到目标文件夹失败。 解决方法: 重新执行下载命令。 obsutil在下载的时候默认开启断点续传,此时只要重新执行之前的下载命令就可以将之前下载失败的对象采用续传的方式重新下载到本地。
SDK是否支持批量上传、下载或复制对象?(Java SDK) 不支持。 目前SDK暂未提供此类接口,您需要自己封装批量上传、下载或复制对象的业务代码。步骤如下: 列举出所有待上传、下载或者复制的对象。可参考列举对象章节,列举待下载的对象。 对列举出的对象调用单个对象的上传(上传对象)、下载(下载对象)或复制(复制对象)接口。
在官方Github下载hadoop-huaweicloud:下载地址。 如果没有匹配版本的jar包,可自行修改hadoop-huaweicloud目录下pom文件中的hadoop版本重新编译生成。 将hadoop-huaweicloud-x.x.x-hw-y.jar拷贝到/opt/hadoop-3
SDK是否支持批量上传、下载或复制对象? 不支持。 目前SDK暂未提供此类接口,您需要自己封装批量上传、下载或复制对象的业务代码。步骤如下: 调用listObjects列举所有待上传、下载或复制的对象,具体代码示例请参见列举对象。 对列举出的对象调用单个对象的上传(上传对象)、下载(下载对象)或复制(复制对象)接口。
下载并安装obsfs obsfs工具于2024年7月1日下线,下线后OBS不再对此工具提供维护和客户支持服务,请使用s3fs将OBS对象桶挂载至Linux系统,给您带来不便敬请谅解。如有问题请提交工单寻求技术支持。 配置运行环境 obsfs的运行环境依赖openssl-devel
Browser+和obsutil等工具相关 使用obsutil下载文件夹前期速度正常,下载到90%后速度变慢 使用obsutil下载文件到99%后失败 obsutil上传下载速度慢 obsutil cp命令如何开启增量上传、下载和复制? 并行文件系统是否支持挂载到Windows服务器?