检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
管理运行队列 前提条件 任务列表中存在正在运行的任务。 操作步骤 登录OBS Browser+。 在页面左边的“任务管理”。 “任务管理”窗口默认会显示“运行队列”,如图1所示。 图1 运行队列列表 可选: 选择对单个任务或者多个任务单击“暂停”按钮,暂停后的任务会出现在“已暂停”任务队列。
初始化 配置密钥 创建OBS客户端 配置OBS客户端 配置SDK日志
SDK概述 对象存储服务软件开发工具包(OBS SDK,Object Storage Service Software Development Kit)是对OBS服务提供的REST API进行的封装,以简化用户的开发工作。用户直接调用OBS SDK提供的接口函数即可实现使用OBS服务业务能力的目的。
在比较每个本地文件与桶内对象差异时,会产生一次HEAD请求费用。 vlength 附加参数,可选 上传完成后,验证桶中对象的大小是否与本地文件大小一致。 vmd5 附加参数,可选 上传完成后,验证桶中对象的MD5值是否与本地文件的MD5值一致。 说明: 如果待上传的本地文件较大,
初始化 配置密钥 创建OBS客户端 配置OBS客户端 配置SDK日志 异步调用
初始化 配置桶的CORS 配置密钥 创建OBS客户端 配置OBS客户端 配置SDK日志
复制文件或文件夹 用户可根据需要将存储在OBS上的文件或文件夹复制到其他路径下。 操作步骤 登录OBS Browser+。 选中待配置的桶,右键单击需要复制的文件或文件夹,并选择“复制”。 选择存放文件或文件夹的路径后,单击右键并选择“粘贴”。 不支持复制外部桶中的文件或文件夹。
移动文件或文件夹 用户可根据需要将存储在OBS上的文件或文件夹移动到其他路径下。 操作步骤 登录OBS Browser+。 选中待配置的桶,右键单击需要移动的文件或文件夹,并选择“移动”。 选择存放文件或文件夹的路径后,单击右键并选择“粘贴”。 不支持移动外部桶中的文件或文件夹。
搜索文件或文件夹 OBS Browser+支持按前缀搜索文件或文件夹。 操作步骤 登录OBS Browser+。 单击目标文件或文件夹所在的桶。 在对象管理页面右上角的搜索框中输入需要查找的文件或文件夹的前缀。 单击,如图1所示。 图1 搜索文件或文件夹 搜索到的文件或文件夹会显
挂载并行文件系统失败 本文根据在挂载并行文件系统时遇到的不同现象,总结了常见挂载并行文件系统失败的可能原因及解决办法。 现象一:挂载并行文件系统时出现“The specified bucket does not exist”类似错误 问题定位: 待挂载并行文件系统不存在。 解决办法:
删除桶 用户可根据需要删除已创建的桶。 前提条件 待删除的桶为空。 只有桶的所有者才能删除桶。 删除桶之前必须确保桶内的对象已全部删除,并且桶内没有未完成的多段上传任务。 操作步骤 登录OBS Browser+。 选中待删除的桶,单击“删除”。 用户删除桶后,需要等待30分钟才能创建同名桶和并行文件系统。
分享文件或文件夹 对象URL(对象共享)功能,可实现匿名用户通过对象共享链接地址,直接访问对象数据。 前提条件 已通过OBS管理控制台设置匿名用户读取该指定对象的权限。对象ACL权限设置请参考ACL章节。 操作步骤 登录OBS Browser+。 选中待配置的对象,单击需要共享的对象右侧的图标,如下图1、图2所示。
管理已暂停队列 前提条件 任务列表中存在正在暂停的任务。 操作步骤 登录OBS Browser+。 在页面左边的“任务管理”。 “任务管理”窗口单击“已暂停”按钮。 图1 已暂停队列列表 可选: 选择对单个任务或者多个任务单击“运行”按钮,运行后的任务会出现在“运行”或“待定”任务队列。
使用建议 对于并行文件系统目录,大数据场景下(目录层级深、目录下文件多)的删除,可能会因超时而删除失败。 建议使用: hadoop 客户端(嵌套OBS客户端插件OBSA)删除目录:hadoop fs - rmr obs://{并行文件系统名}/{目录名}。 给目录配置生命周期规则,通过生命周期后台删除。
obsutil性能调优最佳实践 obsutil对大于50MB的文件/对象默认采用分段方式进行上传、下载和复制,与分段任务相关的参数在.obsutilconfig配置文件中,如表1所示。 表1 多段参数 参数 描述 defaultBigfileThreshold 开启分段任务的阈值
上传对象-文件上传(Python SDK) 功能说明 您可以将本地文件直接通过Internet上传至OBS指定的桶中。待上传的文件可以是任何类型:文本文件、图片、视频等。 OBS本身是没有文件夹的概念的,桶中存储的元素只有对象。创建文件夹实际上是创建了一个大小为0且对象名以“/”
快速入门 OBS服务环境搭建 开发环境准备 安装SDK 获取服务地址 配置桶允许跨域请求 初始化OBS客户端 上传对象 下载对象 列举对象 删除对象 OBS客户端通用示例 预定义常量
Hive对接OBS 概述 Hive是一个数据仓库工具,可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载,它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2
初始化(Node.js SDK) 配置密钥(Node.js SDK) 创建OBS客户端(Node.js SDK) 配置OBS客户端(Node.js SDK) 配置SDK日志(Node.js SDK) 配置SDK代理(Node.js SDK)
接收调用请求 接受客户端的调用请求。 6 验证签名 服务端根据接收到的HTTP请求和用户访问密钥再次计算签名S',比较S'与客户端计算的签名S是否一致,如果一致则签名验证成功,不一致则验证失败。 7 返回API调用结果 如果验证成功则继续执行API,然后向客户端返回API执行结果。