检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据场景下使用OBS实现存算分离 大数据场景下使用OBS实现存算分离方案概述 操作流程 对接大数据平台 对接大数据组件 迁移HDFS数据至OBS
计费概述 本章节主要介绍对象存储的计费说明,包括计费项、计费模式等。关于并行文件系统和专属对象存储的计费说明,请参考产品价格详情。 计费项 OBS计费项由存储费用、请求费用、流量费用、数据恢复费用和数据处理费用组成,如图1所示。 图1 OBS计费项一览 计费模式 OBS提供按需计费和包年
监控对象存储服务 使用场景 用户在使用OBS的过程中会不断发送PUT、GET类的请求,产生上传、下载流量,也可能会遇到服务端返回的错误响应。为使用户更好地掌握OBS桶的状态,华为云提供了云监控服务(Cloud Eye)。用户可使用云监控服务(Cloud Eye)监控自己的OBS桶,
上传文件或文件夹 上传文件操作可将本地文件或文件夹存储至OBS,对象的存储类别默认与桶的存储类别一致。 背景信息 OBS Browser+使用分段上传功能上传文件。通过分段上传功能,OBS Browser+支持上传最大为48.8TB的单个文件。 文件或文件夹名称长度不能超过102
利用obsutil帮助命令查找工具功能 obsutil提供了帮助命令(help命令)用于查看各命令的帮助文档。以查询创建桶命令的帮助文档为例,详细的步骤如下: 使用obsutil help命令查看当前支持的所有命令列表。 根据命令列表中的文档说明,找到需要查看的命令缩写,例如创建桶命令缩写为mb。
删除无用的文件或文件夹可节省空间和成本。 用户上传到OBS的某些文件,可能需要定期删除,对于这类删除文件的场景,可通过OBS的生命周期管理功能实现,也可通过OBS的生命周期管理功能一次性清空桶里面所有文件或文件夹。详情请参见生命周期管理。 操作步骤 登录OBS Browser+。 选中待配置的桶,进入文件列表。
最佳实践 利用obsutil帮助命令查找工具功能 利用crontab配置定时任务 将obsutil设为系统内置命令 为obsutil配置自动获取访问密钥 obsutil性能调优最佳实践 利用obsutil进行断点续传 利用obsutil上传软链接 为obsutil配置HTTP代理
通过OBS Browser+图形化工具快速使用OBS OBS Browser+是一款图形化工具,可以非常方便地让用户在本地对OBS的数据进行管理。 本章节以上传一个文件至“test-example-bucket”桶为例,帮助您快速通过OBS Browser+使用OBS的基础功能,
sue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient.headBucket接口判断该桶是否已存在。以下代码展示如何判断指定桶是否存在: // 创建ObsClient实例 var obsClient = new
obsutil性能调优最佳实践 obsutil对大于50MB的文件/对象默认采用分段方式进行上传、下载和复制,与分段任务相关的参数在.obsutilconfig配置文件中,如表1所示。 表1 多段参数 参数 描述 defaultBigfileThreshold 开启分段任务的阈值
hadoop 客户端(嵌套OBS客户端插件OBSA)删除目录:hadoop fs - rmr obs://{并行文件系统名}/{目录名} 给目录配置生命周期规则,通过生命周期后台删除。 命令结构 Windows操作系统 删除单个对象 obsutil rm obs://bucket/key
obsftp启动失败 obsftp启动失败时有以下常见的几种现象,本文针对不同现象,描述了obsftp启动失败的原因,并提供了具有针对性的解决办法,帮助用户自助、快速地解决问题。 现象一:启动obsftp时提示no encoding declared错误 现象描述: 运行python
文件“/etc/passwd-obsfs”。 obsfs --password_encryption -o ak=XXXXXXX -o sk=XXXXXXXXX -o passwd_file=/etc/passwd-obsfs 提示以下为成功:obsfs: set ak sk passwd_file
目录分享 如果您想将一个文件夹分享给其他人,同时希望能够指定有效期,OBS Browser+提供文件夹分享和授权码登录的功能,轻松为你完成数据分享。 首先,您登录OBS Browser+后,选择您要分享的目录右键或者单击操作栏的分享按钮。 然后,选择分享链接的有效期,并输入提取码
对象存储服务监控指标说明 功能说明 本节定义了对象存储服务OBS上报云监控服务Cloud Eye的监控指标的命名空间,监控指标列表和维度,用户可以通过云监控服务提供的管理控制台或API接口来检索对象存储服务产生的监控指标和告警信息。 命名空间 SYS.OBS 监控指标 表1 OBS支持的监控指标(请求类)
辅助命令 更新配置文件 删除断点记录文件 查看命令帮助 查看版本号 归档日志文件 检查并更新版本 列举失败结果清单文件
命令如下: ./obsutil cp /src1/src2 obs://bucket-test -r -f 成功上传后,桶内生成对象为: obs://bucket-test/src2/ obs://bucket-test/src2/test1.txt obs://bucket-test/src2/test2
下载文件或文件夹 操作步骤 登录OBS Browser。 单击待操作的桶,选中需要下载的文件或文件夹后,单击右键选择“下载”。 客户端支持批量下载,选择多个文件或文件夹,单击对象列表上方的“下载”即可批量下载对象。 对于存储类别为归档存储的桶中的文件,需要确认对象的状态为“已恢复”才能对其进行下载。
以Windows操作系统为例,运行obsutil cp d:\temp\test.txt obs://bucket-test/key,将D盘temp路径下名为test.txt的文件上传至bucket-test桶中,并且重命名为key。 obsutil cp d:\temp\test.txt obs://bucket-test/key
对象管理方法介绍 OBS Browser支持以下三种方式管理对象。 通过对象列表上方的操作按钮管理对象。 单击待操作对象所在行,选择对象列表上方的操作按钮管理对象,如图1所示。 图1 对象管理第一种方法 通过对象所在行右侧的操作按钮管理对象。 单击待操作对象所在行右侧的操作按钮管理对象,如图2所示。