检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在右上角的选择框中选择任务类型,可以查询正在运行的任务。 可选:选择正在运行的任务,单击,暂停任务。已暂停的任务,可单击,继续运行任务。 可选:选择正在运行的任务,单击,删除任务。 可选:如果任务失败,选中失败的任务,将鼠标移动到图标上可查看失败原因,单击可重新运行任务。 可选:您可以
任务管理 管理运行队列 管理已暂停队列 管理已完成队列 管理恢复中队列 管理失败队列
Hadoop对接OBS 概述 Hadoop系统提供了分布式存储、计算和资源调度引擎,用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议,在大数据场景中可以替代Hadoop系统中的HDFS服务,实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接,为大数据计算提供“数据湖”存储。
为什么我运行了百万级别的任务后,感觉任务执行较慢? 这是因为: OBS Browser+中任务数量达到了百万级别及以上,系统会处于海量查找的状态中,对您机器的性能要求比较高。 建议您: 为了提升您的体验,建议清理历史任务数据。 清理方法是在任务管理窗口,选中已完成任务然后删除,如图1所示。
Browser右上角,单击,并选择“系统配置”。 单击“其他”。 单击“数据库路径”参数后面的按钮打开本地文件浏览器对话框。 选择路径后,单击“确定”。 在“系统配置>其他”界面单击“保存”,保存修改后的路径。 此时,重新执行上传、下载或删除操作,任务列表将正常显示任务信息。 如果仍然无法显示任务信息,请关闭OBS
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”,进入“训练作业”列表。 单击右上角的“创建训练作业”,进入“创建训练作业”页面,在该页面填写训练作业相关参数信息。
约束 描述 recover 附加参数,必选 待恢复上传任务结果清单文件的任务号。 说明: 任务号(TaskId)可在每次上传任务运行完毕后获取,或者通过结果清单文件名查询(文件名除去后缀.txt后的后36位)。 待恢复的上传任务会从结果清单的文件夹中查找,结果清单文件夹的路径参考附加参数o。
删除单个分段上传任务时必选 批量删除分段上传任务时可选 待删除分段上传任务的对象名,或批量删除分段上传任务的对象名前缀。 说明: 批量删除分段上传任务时,如果该参数为空,则表示删除桶中所有的分段上传任务。 u 附加参数,删除单个分段上传任务时必选 待删除分段上传任务的ID。 说明:
约束 描述 recover 附加参数,必选 待恢复下载任务结果清单文件的任务号。 说明: 任务号(TaskId)可在每次下载任务运行完毕后获取,或者通过结果清单文件名查询(文件名除去后缀.txt后的后36位)。 待恢复的下载任务会从结果清单的文件夹中查找,结果清单文件夹的路径参考附加参数o。
约束 描述 recover 附加参数,必选 待恢复复制任务结果清单文件的任务号。 说明: 任务号(TaskId)可在每次复制任务运行完毕后获取,或者通过结果清单文件名查询(文件名除去后缀.txt后的后36位)。 待恢复的复制任务会从结果清单的文件夹中查找,结果清单文件夹的路径参考附加参数o。
取消多段上传任务 功能介绍 如果用户希望取消一个任务,可以调用取消多段上传任务接口取消任务,了解完整的分段上传流程请参见分段上传。合并段或取消任务接口被调用后,用户不能再对任务进行上传段和列举段的操作。 请求消息样式 1 2 3 4 DELETE /ObjectName?uploadId=uplaodID
分段上传-列举分段上传任务(Python SDK) 功能说明 列举指定桶中所有的初始化后还未合并或还未取消的分段上传任务。 通过列举桶中的多段上传任务,您可以获得已初始化多段上传任务的列表,已初始化多段上传任务是指初始化后还未合并以及未取消的多段上传任务。每个请求将返回最多100
仅列举当前目录下的分段上传任务和子目录,而非递归列举所有分段上传任务和子目录。 m 附加参数,必选 列举桶内分段上传任务。 a 附加参数,可选 同时列举桶内对象和桶内分段上传任务。 marker 附加参数,可选 列举桶内分段上传任务的起始位置,返回结果是分段上传任务对象名按照字典序排序后该参数以后的所有分段上传任务。
列举分段上传任务示例 本章节案例中的所有命令均以Linux操作系统为例,提供列举上传任务操作指导。 假设bucket-test桶内包含如下分段上传任务: obs://bucket-test/task1.txt uploadid1 obs://bucket-test/task1.txt
初始化上传段任务 功能介绍 使用多段上传特性时,用户必须首先调用创建多段上传任务接口创建任务,系统会给用户返回一个全局唯一的多段上传任务号,作为任务标识。后续用户可以根据这个标识发起相关的请求,如:上传段、合并段、列举段等,了解完整的分段上传流程请参见分段上传。创建多段上传任务不影响已
-l,查看当前用户已配置的定时任务,确认配置成功。 常见问题 如何确定定时任务是否正在执行? 执行命令:tail /var/log/cron,查看最近的定时任务执行记录。 执行命令:ps -ef | grep obsutil,查看obsutil进程是否正在执行。 如何强制终止正执行的定时任务? 执行命令:ps
管理失败队列 前提条件 任务列表中存在失败的任务。 操作步骤 登录OBS Browser+。 在页面左边的“任务管理”。 “任务管理”窗口单击“失败”按钮。 图1 失败队列列表 可选: 选择对单个任务或者多个任务单击“删除”按钮。 可选: 选择对单个任务或者多个任务单击“重试”按钮。 失败的任务会自动重试三次。
管理已暂停队列 前提条件 任务列表中存在正在暂停的任务。 操作步骤 登录OBS Browser+。 在页面左边的“任务管理”。 “任务管理”窗口单击“已暂停”按钮。 图1 已暂停队列列表 可选: 选择对单个任务或者多个任务单击“运行”按钮,运行后的任务会出现在“运行”或“待定”任务队列。 可选:
删除桶内全部分段上传任务 本章节案例中的所有命令均以Linux操作系统为例,提供删除桶内全部分段上传操作指导。 假设桶内有很多碎片需要清理,可以使用如下命令一次性删除桶内全部分段上传任务的碎片: ./obsutil abort obs://bucket-test -r -f 父主题:
管理恢复中队列 前提条件 任务列表中存在恢复中的任务。 操作步骤 登录OBS Browser+。 在页面左边的“任务管理”。 “任务管理”窗口单击“恢复中”按钮。 图1 恢复中队列列表 可选: 选择对单个任务或者多个任务单击“删除”按钮。 归档存储的对象正在恢复的过程中,不允许暂停或删除恢复任务。