检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
22 23 24 25 # 引入模块 from obs import WorkflowClient # 创建WorkflowClient实例 workflowClient = WorkflowClient( access_key_id=os.getenv("AccessKeyID")
算分离方案。 图1 基于OBS的华为云大数据存算分离方案 华为云大数据存算分离方案基于对象存储服务OBS的大容量高带宽能力,以及多协议共享访问技术(HDFS/POSIX/OBS API),实现Hadoop生态多计算引擎(Hive、Spark等)兼容对接。 方案优势 相比传统企业在
搜索文件或文件夹 OBS Browser支持按前缀搜索文件或文件夹。 操作步骤 登录OBS Browser。 单击目标文件或文件夹所在的桶。 单击。 父主题: 对象管理
使用IE11浏览器下载对象时提示对象无法下载 问题 用IE11浏览器登录OBS管理控制台上传一个对象,在未关闭浏览器的情况下,下载该对象到本地原路径下,选择替换原文件保存,浏览器会弹出无法下载的提示。 例如,从本地C盘的根目录下上传一个名为“abc”的对象到OBS管理控制台的某桶
Storage Service Software Development Kit)是对OBS服务提供的REST API进行的封装,以简化用户的开发工作。用户直接调用OBS SDK提供的接口函数即可实现使用OBS服务业务能力的目的。 同时,我们针对不同语言的SDK提供了开发指南和API参
22 23 24 25 # 引入模块 from obs import WorkflowClient # 创建WorkflowClient实例 workflowClient = WorkflowClient( access_key_id=os.getenv("AccessKeyID")
资源。数组长度不超过10,每个字符串长度不超过128,规则如下: 可填 * 的五段式:::::,例:"obs:::bucket:*"。 region字段为*或用户可访问的region。service必须存在且resource属于对应service。 当该自定义策略为委托自定义策略时,该字段类型为Object,值为:"Resource":
Object上传的Object是Normal Object。 用户上传的对象存储在桶中。用户必须对桶有WRITE权限,才可以在桶中上传对象。同一个桶中存储的对象名必须是唯一的。 为了确保数据在传输过程中没有遭到破坏,用户可以在请求消息头中加入Content-MD5参数,OBS收到上
的文件上传到文件夹中。新建文件夹步骤如下: 登录OBS Browser。 单击目标桶名称进入对象管理界面,单击“新建文件夹”。 在对话框中输入文件夹的名称后,单击“确定”。 在弹出的消息窗口中,单击“确定”关闭消息窗口。 操作步骤 登录OBS Browser。 单击待上传文件或文件夹的桶。
CDH和Hortonworks HDP,满足用户业务的灵活诉求。 华为云MapReduce服务(MRS) 华为云MapReduce服务(MRS)是华为云提供的大数据服务,可以在华为云上部署和管理Hadoop系统,一键即可部署Hadoop集群。 MRS提供用户完全可控的一站式企业级大数据集群云
管理失败队列 前提条件 任务列表中存在失败的任务。 操作步骤 登录OBS Browser+。 在页面左边的“任务管理”。 “任务管理”窗口单击“失败”按钮。 图1 失败队列列表 可选: 选择对单个任务或者多个任务单击“删除”按钮。 可选: 选择对单个任务或者多个任务单击“重试”按钮。
管理已暂停队列 前提条件 任务列表中存在正在暂停的任务。 操作步骤 登录OBS Browser+。 在页面左边的“任务管理”。 “任务管理”窗口单击“已暂停”按钮。 图1 已暂停队列列表 可选: 选择对单个任务或者多个任务单击“运行”按钮,运行后的任务会出现在“运行”或“待定”任务队列。
管理恢复中队列 前提条件 任务列表中存在恢复中的任务。 操作步骤 登录OBS Browser+。 在页面左边的“任务管理”。 “任务管理”窗口单击“恢复中”按钮。 图1 恢复中队列列表 可选: 选择对单个任务或者多个任务单击“删除”按钮。 归档存储的对象正在恢复的过程中,不允许暂停或删除恢复任务。
删除文件或文件夹 删除文件夹时,文件夹内的文件也将同时被删除,请务必确认这些文件可以被删除。 操作步骤 登录OBS Browser。 选中待配置的桶,选中待删除的文件或文件夹后,单击右侧“更多>删除”。 客户端支持批量删除,选中多个文件或文件夹,单击列表上方的“删除”即可批量删除。
迁移HDFS数据至OBS 操作场景 在华为云大数据存算分离方案中,对象存储服务OBS作为统一数据湖存储数据。如果用户数据仍存储在本地HDFS中,则需要先将HDFS的数据迁移至OBS。 用户可以使用以下迁移方案中的任意一种完成数据迁移,包括:Distcp方式迁移、CDM方式迁移和OMS方式迁移。
teBucketInventoryConfiguration权限。缺省情况下只有桶的所有者可以执行此操作,也可以通过设置桶策略或用户策略授权给其他用户。 有关权限控制的更多信息请参考《对象存储服务权限配置指南》的OBS权限控制概述章节。 请求消息样式 DELETE /?inven
保护策略,您可以通过该操作配置对象保护期限。 如果上传对象时配置了保护期限或自动应用了默认保护期限,允许用户通过该操作延长保护期限。 对象保护期限仅允许修改,不允许删除。 用户需要拥有“PutObjectRetention”权限才能配置或修改对象保护期限。 多版本 开启了WORM
eDirectColdAccessConfiguration权限。默认情况下只有桶的所有者可以执行此操作,也可以通过设置桶策略或用户策略授权给其他用户。 请求消息样式 1 2 3 4 DELETE /?directcoldaccess HTTP/1.1 Host: bucketname
22 23 24 25 # 引入模块 from obs import WorkflowClient # 创建WorkflowClient实例 workflowClient = WorkflowClient( access_key_id=os.getenv("AccessKeyID")
管理运行队列 前提条件 任务列表中存在正在运行的任务。 操作步骤 登录OBS Browser+。 在页面左边的“任务管理”。 “任务管理”窗口默认会显示“运行队列”,如图1所示。 图1 运行队列列表 可选: 选择对单个任务或者多个任务单击“暂停”按钮,暂停后的任务会出现在“已暂停”任务队列。