检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CDH和Hortonworks HDP,满足用户业务的灵活诉求。 华为云MapReduce服务(MRS) 华为云MapReduce服务(MRS)是华为云提供的大数据服务,可以在华为云上部署和管理Hadoop系统,一键即可部署Hadoop集群。 MRS提供用户完全可控的一站式企业级大数据集群云
迁移HDFS数据至OBS 操作场景 在华为云大数据存算分离方案中,对象存储服务OBS作为统一数据湖存储数据。如果用户数据仍存储在本地HDFS中,则需要先将HDFS的数据迁移至OBS。 用户可以使用以下迁移方案中的任意一种完成数据迁移,包括:Distcp方式迁移、CDM方式迁移和OMS方式迁移。
管理失败队列 前提条件 任务列表中存在失败的任务。 操作步骤 登录OBS Browser+。 在页面左边的“任务管理”。 “任务管理”窗口单击“失败”按钮。 图1 失败队列列表 可选: 选择对单个任务或者多个任务单击“删除”按钮。 可选: 选择对单个任务或者多个任务单击“重试”按钮。
管理已暂停队列 前提条件 任务列表中存在正在暂停的任务。 操作步骤 登录OBS Browser+。 在页面左边的“任务管理”。 “任务管理”窗口单击“已暂停”按钮。 图1 已暂停队列列表 可选: 选择对单个任务或者多个任务单击“运行”按钮,运行后的任务会出现在“运行”或“待定”任务队列。
结果清单 配置结果清单 批量任务执行完成后,会生成结果清单文件,默认情况下结果清单文件保存在运行obsutil命令的用户目录的子文件夹.obsutil_output下,用户可以通过在运行命令时指定-o附加参数来指定保存结果清单文件的文件夹。 查看结果清单 结果清单文件包含三种类型,成
管理恢复中队列 前提条件 任务列表中存在恢复中的任务。 操作步骤 登录OBS Browser+。 在页面左边的“任务管理”。 “任务管理”窗口单击“恢复中”按钮。 图1 恢复中队列列表 可选: 选择对单个任务或者多个任务单击“删除”按钮。 归档存储的对象正在恢复的过程中,不允许暂停或删除恢复任务。
管理已完成队列 前提条件 任务列表中存在已完成的任务。 操作步骤 登录OBS Browser+。 在页面左边的“任务管理”。 “任务管理”窗口单击“已完成”按钮。 图1 已完成队列列表 可选: 选择对单个任务或者多个任务单击“删除”按钮。 建议定期清空“已完成任务”列表,请参考为
监控安全风险 OBS提供基于云监控服务CES的资源和操作监控能力,帮助用户监控账号下的OBS桶,执行自动实时监控、告警和通知操作。用户可以实时掌握桶中所产生的各类请求、流量、带宽、错误响应和存储用量等信息。 关于OBS支持的监控指标,以及如何创建监控告警规则等内容,请参见监控。
搜索桶 OBS Browser+支持按桶名所包含的字符串搜索桶。 操作步骤 登录OBS Browser+。 在主页面右上角的搜索框中输入需要查找的桶名,如图1所示。 图1 搜索框 单击。 搜索到的桶会显示在桶列表中。如果想重新搜索其他桶,可单击删除已输入的关键字后重新输入需要搜索的桶名,如图2所示。
管理运行队列 前提条件 任务列表中存在正在运行的任务。 操作步骤 登录OBS Browser+。 在页面左边的“任务管理”。 “任务管理”窗口默认会显示“运行队列”,如图1所示。 图1 运行队列列表 可选: 选择对单个任务或者多个任务单击“暂停”按钮,暂停后的任务会出现在“已暂停”任务队列。
22 23 24 25 # 引入模块 from obs import WorkflowClient # 创建WorkflowClient实例 workflowClient = WorkflowClient( access_key_id=os.getenv("AccessKeyID")
问题定位简介 obsutil提供多种方式帮助用户自助进行日常问题分析和定位,具体方式及其说明如表1所示。您通常需要结合多种方式以准确定位问题。 表1 问题定位方式 方式 说明 日志文件 obsutil的日志文件分为工具日志和SDK日志,工具日志可以记录obsutil在运行过程中的
如果请求的桶不存在,OBS返回404 Not Found,错误码为NoSuchBucket。 用户执行取消多段上传任务操作时判断用户是否是任务初始化者或是桶的所有者,如果不是则OBS则返回403 Forbidden。 操作成功,OBS向用户返回204 No Content。 其他错误已包含在表2中。 请求示例
22 23 24 25 # 引入模块 from obs import WorkflowClient # 创建WorkflowClient实例 workflowClient = WorkflowClient( access_key_id=os.getenv("AccessKeyID")
22 23 24 25 # 引入模块 from obs import WorkflowClient # 创建WorkflowClient实例 workflowClient = WorkflowClient( access_key_id=os.getenv("AccessKeyID")
服务端加密简介 用户可以使用普通方式上传、下载对象,也可以使用服务端加密方式进行上传、下载对象。 OBS支持服务端加密功能,使加密的行为在服务端进行。 用户可以根据自身的需求,使用不同的密钥管理方式来使用服务端加密功能。当前支持的服务端加密方式: KMS托管密钥的服务端加密(SS
状态码 服务器向用户返回的状态码和提示信息如表1所示: 表1 状态码 状态码 说明 2xx 服务器成功返回用户请求的数据。 4xx 客户端发出的请求有错误,服务器没有进行新建或修改数据的操作。 5xx 服务器发生错误,用户将无法判断发出的请求是否成功。 注:请使用符合https://www
搜索文件或文件夹 OBS Browser+支持按前缀搜索文件或文件夹。 操作步骤 登录OBS Browser+。 单击目标文件或文件夹所在的桶。 在对象管理页面右上角的搜索框中输入需要查找的文件或文件夹的前缀。 单击,如图1所示。 图1 搜索文件或文件夹 搜索到的文件或文件夹会显
以对当前资源包进行升配操作。 背景介绍 因为数据是持续增长的,资源包需要具备动态升配的能力,可以让用户轻松管理资源包。对于标准存储包(单AZ)、标准存储包(多AZ)、归档存储包,用户可以对其升配,但无法降配。 约束与限制 以下情况暂不支持资源包升配: 资源包类型为医疗影像单AZ存储包
删除桶 功能介绍 删除桶操作用于删除用户指定的桶。只有桶的所有者或者拥有桶的删桶policy权限的用户可以执行删除桶的操作,要删除的桶必须是空桶。如果桶中有对象或者有多段任务则认为桶不为空,可以使用列举桶内对象和列举出多段上传任务接口来确认桶是否为空。 注: 如果删除桶时,服务端