检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 当下载大对象到本地时,经常出现因网络不稳定或程序崩溃导致下载失败的情况。失败后再次重新下载不仅浪费资源,而且当网络不稳定时仍然有下载失败的风险。断点续传下载接口能有效地解决此类问题引起的下载失败,其原理是将待下载的
includes in Framework Modules”设置成“Yes”。 设置网络连接。 在需要用到OBS服务的头文件中导入OBS软件包。 #import <OBS/OBS.h> 运行Command+B命令确认OBS.framework编译通过。 父主题: 快速入门
impl配置为org.apache.hadoop.fs.obs.OBSFileSystem。 修改后“重启”或“滚动重启”HDFS集群,再重启“部署客户端配置”。 进入YARN集群,重启“部署客户端配置”。 查看节点中/etc/hadoop/conf/core-site.xml中是否
清理碎片 使用场景 桶中不完整的数据称之为碎片。OBS采用分段上传的模式上传数据,在下列情况下(但不仅限于此)通常会导致数据上传失败而产生碎片。 网络条件较差,与OBS的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。 设备故障。 突然断电等特殊情况。 上传失败而产生的碎片会存
是否支持修改对象名称(重命名) 支持。可以使用mv移动命令,示例如下: 以Windows操作系统为例,运行obsutil mv obs://bucket-test/key obs://bucket-test/key2 ,将对象key重命名为key2。 obsutil mv obs://bucket-test/key
t进行配置,可配置代理、连接超时、最大连接数等参数。通过OBSServiceConfiguration可以设置的参数见下表: 表1 OBS网络请求配置表 参数 描述 建议值 OBSServiceConfiguration.credentialProvider 用户凭证,参见表2 OBS服务身份验证配置表。
0-187/hadoop-mapreduce/*。 重启MapReduce2集群。 增加Hive对接OBS的jar包 执行以下命令,在Hive Server节点创建auxlib文件夹。 mkdir /usr/hdp/3.0.1.0-187/hive/auxlib 执行以下命令,将OBSA-HDFS工具的jar包放到auxlib文件夹。
行文件系统失败的可能原因及解决办法。 现象一:取消挂载并行文件系统时出现“target is busy”类似错误 问题定位: 取消挂载时,命令行终端停留在挂载目录或其子目录。 解决办法: 退出挂载目录。 父主题: 异常处理
8TB。 OBS Browser+最多同时一次上传500个文件,obsutil没有上传文件数量限制。 检查本地与OBS的网络是否正常,如果存在网络故障,解决网络故障,确保网络正常。 上传对象时弹出“Service Unavailable”的错误提示,则可能是因为当前服务器繁忙,请稍后重试。
分段上传场景化示例(Java SDK) 分段上传的主要目的是解决大文件上传或网络条件较差的情况。 通过使用UploadPartRequest.setOffset和UploadPartRequest.setPartSize来设置每段的起始结束位置。 下面的示例代码展示了如何使用分段上传并发上传大文件。
行初始化配置: ./obsutil config -i=ak -k=sk -t=token -e=endpoint 以上命令运行后,会在运行obsutil命令的用户目录(macOS/Linux操作系统的“~”目录;Windows操作系统的“C:\Users\<username>”目录。)下自动生成一个名为
m略有不同请注意): export SPDLOG_VERSION=spdlog-1.9.2 #x86执行这条命令 bash build.sh sdk #arm执行这条命令 bash build_aarch.sh sdk 具体参数可见脚本内注释,生成产物为一个包含了demo代码,i
进入s3fs-fuse解压目录,按照以下命令执行编译操作: ./autogen.sh ./configure make sudo make install 执行以下命令检查安装情况。 s3fs --version 当命令回显出现s3fs版本信息时,表示s3fs能够成功运行。 配置AK:SK。 按照以下命令配置AK:SK:
t桶内并将命令的输出内容重定向到/root下的obsutil_crond.log中。 按Esc退出Insert模式,并输入:wq保存并退出。 执行命令:crontab -l,查看当前用户已配置的定时任务,确认配置成功。 常见问题 如何确定定时任务是否正在执行? 执行命令:tail
由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败“,说明连接超时。 出现这类异常的原因一般是服务地址(Endpoint)错误或网络不通导致无法连接OBS服务,此时请检查服务地址和网络状况。 父主题: 异常处理
下载完成后将其解压。 打开命令行终端,进入obsutil所在目录,执行以下命令,为obsutil增加可执行权限。 chmod 755 obsutil 为了提升工具易用性,下载软件包中的shell或者bat脚本可以将obsutil设置为系统内置命令,这样在任意目录下都可以运行命令,您可以参考将obsutil设为系统内置命令。
中,对应命令是: ./obsutil cp obs://bucket-test/test /temp -r -f cp下载命令详解请参考下载对象。 更多下载场景请参考下载示例。 运行./obsutil rm obs://bucket-test/test.txt -f命令,在bucket-test桶中删除test
身份认证与访问控制 身份认证 用户访问OBS的方式有多种,包括OBS控制台、OBS客户端(OBS Browser+)、OBS命令行工具(obsutil)、API、SDK,无论访问方式封装成何种形式,其本质都是通过OBS提供的REST风格的API接口进行请求。 OBS的接口既支持认
件。 此命令会在history中暴露ak、sk,建议使用set +o history命令关闭history再执行。执行后可使用set -o history命令恢复。 对于2023年2月25日之前(包含2月25日)的官网软件包以及开源代码编译生成的obsfs,执行以下命令,将访问密
/root/result.txt 请注意,在Windows系统下为了将输出结果重定向到本地文件中,需要在命令行窗口中执行对应的重定向操作而非启动obsutil可执行文件后执行重定向命令;obsutil工具本身不支持重定向操作。 父主题: 常见问题