检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作流程 大数据场景下使用OBS实现存算分离的操作流程如图1所示。 图1 操作流程 配置的核心是完成大数据平台与OBS对接,实现OBS作为大数据的统一数据湖存储。本文档提供三种主流大数据平台的对接指导,详情请参见支持的大数据平台简介。 (可选)OBS除了可以与主流大数据平台对接外
响应示例 1 2 3 4 5 6 HTTP/1.1 200 OK Server: OBS x-obs-request-id: BF2600000164361F2954B4D063164704 x-obs-id-2: 32AAAQAAEAABSAAgAAEAABAAAQAAEAABC
并行文件系统是否支持挂载到Windows服务器? 并行文件系统当前仅支持通过obsfs工具挂载至Linux服务器,暂不支持挂载至Windows服务器。 并行文件系统挂载至Linux服务器,具体请参见挂载并行文件系统。 父主题: OBS Browser+和obsutil等工具相关
按需填写注册信息并单击“同意协议并注册”。 开通OBS服务 使用OBS服务之前必须先充值,才能正常使用OBS服务。 登录管理控制台。 单击页面右上角的“费用和成本”进入费用中心页面。 选择“资金管理 > 充值”,系统自动跳转到充值窗口。 根据界面提示信息,对账户进行充值。 充值成功后,关闭充值窗口,返回管理控制台首页。
以Windows操作系统为例,运行obsutil sync obs://bucket-test/temp/ obs://bucket-test2/temp/,同步复制对象。 obsutil sync obs://bucket-test/temp/ obs://bucket-test2/temp
桶的高级配置 本章介绍对桶属性的一系列管理操作,包括:桶ACL权限、生命周期管理、桶策略、挂载外部桶。 桶ACL权限 生命周期管理 桶策略 挂载外部桶
30 21 * * * cd /root && nohup ./obsutil cp /src/src1 obs://bucket-test -r -f -u &>obsutil_crond.log & 假设obsutil工具位于/root目录下,上述配置的定时任务含义为:每天2
最新动态(html) 本文介绍了Huawei Cloud EulerOS产品新特性和对应的文档动态,新特性将在各个区域(Region)陆续发布,欢迎体验。
管理已暂停队列 前提条件 任务列表中存在正在暂停的任务。 操作步骤 登录OBS Browser+。 在页面左边的“任务管理”。 “任务管理”窗口单击“已暂停”按钮。 图1 已暂停队列列表 可选: 选择对单个任务或者多个任务单击“运行”按钮,运行后的任务会出现在“运行”或“待定”任务队列。
管理恢复中队列 前提条件 任务列表中存在恢复中的任务。 操作步骤 登录OBS Browser+。 在页面左边的“任务管理”。 “任务管理”窗口单击“恢复中”按钮。 图1 恢复中队列列表 可选: 选择对单个任务或者多个任务单击“删除”按钮。 归档存储的对象正在恢复的过程中,不允许暂停或删除恢复任务。
我可以在线编辑OBS中的对象吗? OBS是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。 一般情况下,OBS不支持在线编辑对象内容。可以把对象下载到本地,修改后再重新上传至OBS。 针对以下特殊场景,OBS支持在线对对象进行处理: 修改对象元数据
使用DIS发送OBS事件通知 本节介绍如何在OBS控制台配置DIS通知。 您可以新建DIS通知规则,也可以从同区域的其他桶复制已有DIS通知规则。 背景知识 OBS提供的DIS通知功能,主要面向大数据场景,要求OBS与数据接入服务(DIS)及其他大数据相关服务结合使用。 仅支持华
支持挂载到多台云服务器,但数据一致性需由您自行维护,避免出现多台云服务器同时对一个文件并发写入的情况。 不支持硬链接。 s3fs与存储服务端交互采用HTTP/HTTPS协议,客户端CPU开销会较大。 因为客户端存在操作系统元数据缓存,可能导致该缓存失效前,客户端元数据与存储服务端元数据呈现不一致现象。
[-k=xxx] [-t=xxx] 运行示例 以Windows操作系统为例,运行obsutil ls obs://bucket-test -m -limit=10,查询桶内分段上传任务。 obsutil ls obs://bucket-test -m -limit=10 Listing
服务端加密SSE-OBS方式 功能介绍 SSE-OBS方式,OBS使用服务自身提供的密钥进行服务端加密。与SSE-KMS的区别在于SSE-OBS是OBS管理密钥,而非KMS。 新增头域 SSE-OBS方式用户可以通过配置表1中的头域来实现SSE-OBS加密。 您也可以通过配置桶的
[-i=xxx] [-k=xxx] [-t=xxx] 运行示例 以Windows操作系统为例,运行obsutil share-ls xxx -ac=123456 -limit=1,使用授权码查询桶内对象。 obsutil share-ls xxx -ac=123456 -limit=1 The authorized
假设bucket-test桶内包含如下分段上传任务: obs://bucket-test/task1.txt uploadid1 obs://bucket-test/task1.txt uploadid2 obs://bucket-test/task2.txt uploadid3 obs://bucket-test/task3
态。 使用OBS Browser+校验上传对象的一致性 使用OBS Browser+校验下载对象的一致性 OBS SDK 开发者可以通过OBS SDK进行二次开发,自行判断MD5校验结果,并根据实际业务进行结果处理。 使用OBS SDK校验上传对象的一致性 使用OBS SDK校验下载对象的一致性
搜索桶 OBS Browser+支持按桶名所包含的字符串搜索桶。 操作步骤 登录OBS Browser+。 在主页面右上角的搜索框中输入需要查找的桶名,如图1所示。 图1 搜索框 单击。 搜索到的桶会显示在桶列表中。如果想重新搜索其他桶,可单击删除已输入的关键字后重新输入需要搜索的桶名,如图2所示。
检查passwd_file挂载参数配置的密钥文件路径是否配置正确。检查方法可参照初始化obsfs章节中的步骤3。 现象五:挂载并行文件系统时出现“Access Denied”类似错误 问题定位: 鉴权失败,IAM用户没有OBS操作权限。 解决办法: 给用户授权OBS操作权限。操作方法可参照资源准备。 现象六:挂载并行文件系统时出现“unable