检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在Linux ECS上使用obsutil通过内网访问OBS obsutil是适用于Windows、macOS和Linux操作系统的命令行工具,支持通过配置内网DNS服务器地址的方式,使在华为云上的Linux ECS通过内网直接访问OBS,下面将介绍其具体操作流程和操作步骤。
您只要保证云服务账号上有足够的余额,系统会自动以按需计费的模式进行结算。 资源包每月重置规则说明: 按订购周期重置,即购买后每月同一天24:00:00重置资源额度。
管理桶配额 使用场景 默认情况下,OBS系统和单个桶都没有总数据容量和对象数量的限制。您可以通过为桶设置配额限制来控制桶内允许上传的对象总容量,超过设置的对象容量后,上传对象会失败。
同步下载示例 本章节案例中的所有命令均以Linux操作系统为例,提供同步下载操作指导。
初始化obsfs 在使用obsfs之前,需要将访问密钥(AK和SK)信息写入密钥文件,方便在使用并行文件系统时对使用者的身份进行验证。 本章节以将访问密钥信息写入“/etc/passwd-obsfs”文件为例,介绍具体的操作步骤。
背景信息 由于OBS没有文件系统中的文件和文件夹概念。为了使用户更方便进行管理数据,OBS提供了一种方式模拟文件夹。通过在对象的名称中增加“/”,将该对象在管理控制台上模拟成一个文件夹的形式展现。 操作步骤 登录OBS Browser+。
操作习惯与Windows操作系统上的操作习惯保持一致。 对于存储类别为归档存储的桶中的文件,需要确认对象的状态为“已恢复”才能对其进行下载。请参见恢复对象查看如何恢复文件。
OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。
如果您使用的是Windows操作系统,当运行npm命令时提示“不是内部或外部命令”,请在Path环境变量中增加npm的安装目录(一般为Node.js的安装目录)。 您可能需要重启电脑使环境变量生效。 如果您使用npm安装依赖时出现网络错误,请使用代理。
OBS系统和单个桶都没有总数据容量和对象/文件数量的限制,但对于单次上传对象的大小有如下限制: OBS管理控制台支持批量上传文件,单次最多支持100个文件同时上传,总大小不超过5GB。如果只上传1个文件,则这个文件最大为5GB。
OBS支持通过回调获取对象的系统参数和自定义参数,参数详情可参考API参考的回调章节。 图1 上传回调流程图 上传回调的详细流程如图1所示,主要分为以下几个阶段: 客户端发出上传对象请求,请求中携带回调参数。 OBS接受到客户端的上传请求,执行上传对象操作。
无论桶的策略本身是否存在,删除成功后系统都直接返回“204 No Content”的结果。 请求消息样式 1 2 3 4 DELETE /?
图2 存算分离方案中的OBSFileSystem OBS服务支持对象存储桶(对象语义)和并行文件系统(POSIX文件语义),在大数据场景下建议选择并行文件系统。
= nil { break } } return } fmt.Printf("List objects under the bucket(%s) fail!
前提条件 给用户组授权之前,请您了解用户组可以添加的OBS权限,并结合实际需求进行选择,OBS支持的系统权限,请参见:OBS系统权限。如果您需要对除OBS之外的其它服务授权,IAM支持服务的所有权限请参见系统权限。
如果有其它操作系统或者内核版本的需求,请使用开源代码自行编译。
使用示例 以迁移HDFS上的“/data/sample”目录为例,执行以下命令查看HDFS文件系统上此目录下的文件与目录。
] macOS/Linux操作系统 .
相关操作 系统配置 账号管理 访问路径 更新客户端版本
须知: 建议使用引号传递该匹配模式(macOS/Linux操作系统使用单引号,Windows操作系统使用双引号)防止特殊符号被操作系统转义,导致不可预期的结果。