正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
登录OBS Browser+ 您可以登录OBS Browser+访问华为云OBS云服务,完成桶和对象的相关操作。您也可以通过登录OBS Browser+访问与OBS兼容的其他对象存储服务。 具体登录方式请参见表1。 表1 登录方式 分类 方式 场景 华为云对象存储服务 永久AK方式登录
创建桶 桶是对象存储中存储对象的容器。您需要先创建一个桶,然后才能在对象存储中存储数据。 操作步骤 登录OBS Browser+。 在页面上区域单击“创建桶”。 在弹出的对象框中根据需要填写桶信息,如图1所示。 图1 创建桶 表1 创建桶 参数 说明 区域 选择新建桶所在的Reg
HTTP状态码(Python SDK) OBS服务端遵照HTTP规范,在接口调用完成均会返回标准的HTTP状态码,HTTP状态码分类以及OBS中常见的HTTP状态码如下: HTTP状态码分类: 分类 分类描述 1XX 信息,服务器收到请求,需要请求者继续执行操作,一般对客户调用函数不可见。
列举失败结果清单文件 功能说明 按最后修改时间列举指定文件夹中cp命令及sync命令生成的失败结果清单文件。 命令结构 Windows操作系统 obsutil ls -failed [-limit=1000] [-o=xxx] macOS/Linux操作系统 ./obsutil ls
桶内的对象。 说明: 设置该值时,建议均以“/”结尾。 ac 附加参数,可选 提取码。 说明: 如果未使用该参数传入提取码,obsutil工具会以交互模式提示输入提取码。 提取码必须为6位。 vp 附加参数,可选 授权码的有效期,以当前时间为基准,默认值为1天,代表生成的授权码将在1天后变为无效。
初始化obsfs 在使用obsfs之前,需要将访问密钥(AK和SK)信息写入密钥文件,方便在使用并行文件系统时对使用者的身份进行验证。 本章节以将访问密钥信息写入“/etc/passwd-obsfs”文件为例,介绍具体的操作步骤。 前提条件 已获取访问密钥(AK和SK),具体操作请参见资源准备。
Browser+简介 OBS Browser+是一款用于访问和管理对象存储服务(Object Storage Service,OBS)的图形化工具,支持完善的桶管理和对象管理操作。OBS Browser+的图形化界面可以非常方便地让用户在本地对OBS进行管理,例如:创建桶、上传下载文件、浏览文件等。
下载OBS Browser+ 针对不同操作系统,OBS Browser+下载地址如表1所示。 表1 下载列表 支持平台 软件包下载地址 SHA256校验和 Windows x32 OBSBrowserPlus-win32 1ad44933c34668cd24bb9460de48d
碎片管理 背景信息 对象存储服务采用分块上传的模式上传数据,在下列情况下(但不仅限于此)通常会导致数据上传失败而产生垃圾数据,因此需要清理这些碎片数据来释放空间。 网络条件较差,与OBS 对象存储的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。 设备故障。 突然断电等特殊情况。
删除桶 用户可根据需要删除已创建的桶。 前提条件 待删除的桶为空。 只有桶的所有者才能删除桶。 删除桶之前必须确保桶内的对象已全部删除,并且桶内没有未完成的多段上传任务。 操作步骤 登录OBS Browser+。 选中待删除的桶,单击“删除”。 用户删除桶后,需要等待30分钟才能创建同名桶和并行文件系统。
管理失败队列 前提条件 任务列表中存在失败的任务。 操作步骤 登录OBS Browser+。 在页面左边的“任务管理”。 “任务管理”窗口单击“失败”按钮。 图1 失败队列列表 可选: 选择对单个任务或者多个任务单击“删除”按钮。 可选: 选择对单个任务或者多个任务单击“重试”按钮。
软件:Ambari:2.7.1.0,HDP:3.0.1.0 部署视图 更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具:下载地址。 下载OBSA-HDFS工具的jar包(如hadoop-huaweicloud-3.1.1-hw-53.8.jar)到/mnt/obsjar目录。
查看桶多版本状态 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient->getBucketVersioning查看桶的多版本状态。以下代码展示了如何查看桶的多版本状态:
委托 监控 审计 敏感操作保护 在线解压 WORM 资源包升配 双端固定 上传回调 工具 OBS 2.0/3.0支持 OBS提供OBS Browser+、obsutil、obsfs等多种实用工具,满足不同场景下数据迁移和数据管理需求。 您可以通过上述工具,轻松完成OBS资源管理,包括
列举分段上传任务示例 本章节案例中的所有命令均以Linux操作系统为例,提供列举上传任务操作指导。 假设bucket-test桶内包含如下分段上传任务: obs://bucket-test/task1.txt uploadid1 obs://bucket-test/task1.txt
管理运行队列 前提条件 任务列表中存在正在运行的任务。 操作步骤 登录OBS Browser+。 在页面左边的“任务管理”。 “任务管理”窗口默认会显示“运行队列”,如图1所示。 图1 运行队列列表 可选: 选择对单个任务或者多个任务单击“暂停”按钮,暂停后的任务会出现在“已暂停”任务队列。
任务同时运行的最大数量,默认是3,取值范围是:1~50。 单任务最大并发数 每个任务的分段最大并发数,默认是3,取值范围是:1~50。 自动调整段大小 工具会根据源文件/对象大小自动设置每个分段任务的段大小,默认选中。 上传段大小 开启分段任务的阈值,如果待上传的文件大于该阈值,则采用分段任务
Go SDK接口概览 表1总结了Go SDK支持的接口及功能描述,每个接口的详细介绍和示例代码请前往接口详情页查看。 表1 Go SDK API 接口名 方法 功能描述 创建桶 obsClient.CreateBucket 创建桶。 获取桶列表 obsClient.ListBuckets
其他接口(Python SDK) 生成带授权信息的URL(Python SDK) 生成带授权信息的表单上传参数(Python SDK) 服务端加密(Python SDK) 静态网站托管(Python SDK) 自定义头域(Python SDK)
Python SDK接口概览 表1总结了OBS Python SDK支持的接口及功能描述,每个接口的详细介绍和示例代码请前往接口详情页查看。 SDK API概览 表1 Python SDK API概览 接口名 方法 功能描述 创建桶 ObsClient.createBucket 创建桶。