检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据场景下使用OBS实现存算分离方案概述 应用场景 随着大数据技术的飞速发展,对数据价值的认识逐渐加深,大数据已经融入到了各行各业。根据相关调查报告数据显示,超过39.6%的企业正在应用大数据并从中获益;超过89.6%的企业已经成立或计划成立相关的大数据分析部门;超过六成的企业
OBS Browser+功能概述 OBS Browser+支持的功能如OBS Browser+功能列表所示。 表1 OBS Browser+功能列表 功能 描述 对象存储桶基本操作 支持对象存储桶的基本操作,包括指定区域创建桶、列举桶、查询桶基本信息、桶ACL、桶内碎片管理、修改桶的存储类别、删除桶等。
通过s3fs挂载OBS对象桶 应用场景 对于原本使用本地文件系统存储数据的用户,希望把数据存储在OBS上但不改变数据的访问方式,推荐使用s3fs。 s3fs是一款基于用户空间文件系统(Filesystem in Userspace,简称FUSE)的文件系统工具,支持您在Linux
服务端加密 如果您的业务对数据存储的安全性和合规性有较高要求,可使用OBS提供的服务端加密功能,对上传到OBS存储的数据进行加密保护。服务器端加密是指OBS服务端对客户端上传到OBS的对象进行加密存储。在访问对象时,由OBS服务端对文件进行解密,然后向客户端返回解密后的数据。 O
服务端加密 如果您的业务对数据存储的安全性和合规性有较高要求,可使用OBS提供的服务端加密功能,对上传到OBS存储的数据进行加密保护。服务器端加密是指OBS服务端对客户端上传到OBS的对象进行加密存储。在访问对象时,由OBS服务端对文件进行解密,然后向客户端返回解密后的数据。 O
与其他服务的关系 对象存储服务OBS与周边服务的依赖关系如图1所示。 图1 对象存储服务OBS与其他服务的关系示意图 表1 与其他服务的关系 交互功能 相关服务 位置 通过相关服务将数据迁移到OBS 对象存储迁移服务(Object Storage Migration Service,OMS)
配置密钥(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 要接入OBS服务,您需要拥有一组有效的访问密钥(AK和SK)用来进行签名认证。具体可参考OBS服务环境搭建。 获取AK和SK之后,可以通过创建OBS客户端,调用SDK接口。
初始化OBS客户端(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 向OBS发送任一HTTP/HTTPS请求之前,必须先创建一个ObsClient实例: // 引入obs库 // 使用npm安装 const
返回结果 请求发送以后,您会收到响应,包含状态码、响应消息头和消息体。 状态码 状态码是一组从2xx(成功)到4xx或5xx(错误)的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。 响应消息头 对应请求消息头,响应同样也有消息头,如“Content-Length”。
写数据;通过obsfs用户可以将创建的并行文件系统挂载到云端Linux服务器上,并能像操作本地文件系统一样对并行文件系统内的文件和目录进行在线处理,包括:创建和删除文件/目录,重命名文件/目录,修改写文件等操作。 您可以通过ObsClient.createBucket创建并行文件系统。
设置桶标签 功能介绍 OBS使用PUT操作为一个已经存在的桶添加标签。 为桶添加标签后,该桶上所有请求产生的计费话单里都会带上这些标签,从而可以针对话单报表做分类筛选,进行更详细的成本分析。例如:某个应用程序在运行过程会往桶里上传数据,我们可以用应用名称作为标签,设置到被使用的桶
上传文件或文件夹 上传文件操作可将本地文件或文件夹存储至OBS,对象的存储类别默认与桶的存储类别一致。 背景信息 OBS Browser+使用分段上传功能上传文件。通过分段上传功能,OBS Browser+支持上传最大为48.8TB的单个文件。 文件或文件夹名称长度不能超过102
上传对象失败 检查上传对象的大小和数量是否超过限制: 通过OBS管理控制台上传的文件有大小和数量限制,每次最多支持100个文件同时上传,总大小不超过5GB。如果只上传1个文件,则这个文件最大为5GB。 超过5GB的文件,可以使用OBS Browser+、obsutil上传,或使用OBS
服务编排接口(Python SDK) 工作流管理 工作流实例管理 触发器策略管理 恢复失败状态的工作流实例(Python SDK) 结构体说明
OBS服务端错误码 在向OBS服务端发出请求后,如果遇到错误,会在响应中包含响应的错误码描述错误信息。详细的错误码及其对应的描述和HTTP状态码见下表: 错误码 描述 HTTP状态码 AccessDenied 拒绝访问。 403 Forbidden AccessForbidden
Data+ 创建工作流 查询工作流详情 删除工作流 更新工作流 查询工作流列表 API异步启动工作流 查询工作流实例列表 查询工作流实例 恢复失败状态的工作流实例 开通授权 查询授权 查询华为云算子模板详情 查询华为云算子模板列表 配置桶触发器 查询桶触发器 删除桶触发器 父主题:
OBS服务端错误码 在向OBS服务端发出请求后,如果遇到错误,会在响应中包含响应的错误码描述错误信息。详细的错误码及其对应的描述和HTTP状态码见下表: 错误码 描述 HTTP状态码 AccessDenied 拒绝访问。 403 Forbidden AccessForbidden
OBS服务端错误码 在向OBS服务端发出请求后,如果遇到错误,会在响应中包含响应的错误码描述错误信息。详细的错误码及其对应的描述和HTTP状态码见下表: 错误码 描述 HTTP状态码 AccessDenied 拒绝访问。 403 Forbidden AccessForbidden
OBS服务端错误码 在向OBS服务端发出请求后,如果遇到错误,会在响应中包含响应的错误码描述错误信息。详细的错误码及其对应的描述和HTTP状态码见下表: 错误码 描述 HTTP状态码 AccessDenied 拒绝访问。 403 Forbidden AccessForbidden
OBS服务端错误码(Node.js SDK) 在向OBS服务端发出请求后,如果遇到错误,会在响应中包含响应的错误码描述错误信息。详细的错误码及其对应的描述和HTTP状态码见下表: 错误码 描述 HTTP状态码 AccessDenied 拒绝访问。 403 Forbidden AccessForbidden