检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对接大数据组件 支持的大数据组件简介 Hadoop对接OBS Hive对接OBS Spark对接OBS Presto对接OBS Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS Logstash对接OBS 父主题: 大数据场景下使用OBS实现存算分离
在左侧导航栏单击“访问权限控制 > 桶ACLs”,进入“桶ACLs”页面。 查看对应用户类型的桶访问权限下是否展示“写入权限”。 图1 查看写入权限的展示状态 如果已展示“写入权限”,此时仍然无法删除对象,请继续步骤3。 如果未展示“写入权限”,此时请继续步骤2。 给对应类型的用户添加写入权限。
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
状态码 服务器向用户返回的状态码和提示信息如表1所示: 表1 状态码 状态码 说明 2xx 服务器成功返回用户请求的数据。 4xx 客户端发出的请求有错误,服务器没有进行新建或修改数据的操作。 5xx 服务器发生错误,用户将无法判断发出的请求是否成功。 注:请使用符合https://www
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题: 大数据场景下使用OBS实现存算分离
管理已暂停队列 前提条件 任务列表中存在正在暂停的任务。 操作步骤 登录OBS Browser+。 在页面左边的“任务管理”。 “任务管理”窗口单击“已暂停”按钮。 图1 已暂停队列列表 可选: 选择对单个任务或者多个任务单击“运行”按钮,运行后的任务会出现在“运行”或“待定”任务队列。
使用前须知 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 请确认您已经熟悉OBS的基本概念,如桶(Bucket)、对象(Object)、访问密钥(AK和SK)等。 使用OBS客户端进行接口调用操作完成后,没有返回异常,则表明接口
如何确认我已创建的桶是私有、公共读还是公共读写? 操作步骤 在OBS管理控制台左侧导航栏选择“桶列表”。 桶列表支持按照“桶策略”进行筛选,您可以单击参数后的按钮,勾选“桶策略”进行筛选。 图1 查看桶策略 父主题: 权限相关
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
管理恢复中队列 前提条件 任务列表中存在恢复中的任务。 操作步骤 登录OBS Browser+。 在页面左边的“任务管理”。 “任务管理”窗口单击“恢复中”按钮。 图1 恢复中队列列表 可选: 选择对单个任务或者多个任务单击“删除”按钮。 归档存储的对象正在恢复的过程中,不允许暂停或删除恢复任务。
ID -k=xxx security key ID -t=xxx security token 摘要: 按照用户指定的桶名和参数创建一个新桶 语法: obsutil mb obs://bucket [-fs] [-az=xxx] [-acl=xxx]
指定桶名和对象名初始化一个GetObjectRequest请求,您可以通过GetObjectRequest.setRangeStart和GetObjectRequest.setRangeEnd接口设置将要下载的对象数据的开始和结束范围; 通过ObsClient.getObject接口发送步骤2的
运行当前命令时的自定义配置文件,可支持的配置参数请参考配置参数说明。 e 附加参数,可选 指定终端节点。 i 附加参数,可选 指定用户的AK。 k 附加参数,可选 指定用户的SK。 t 附加参数,可选 指定用户的securitytoken。 响应结果 请参考上传对象的响应结果。 父主题: 对象相关命令
为什么OBS的云监控指标看不到5xx状态码统计数? 目前OBS的云监控指标是根据用户请求的信息统计展示的。当用户出现某种请求类或存储类动作,OBS的云监控指标就会展示该请求类或存储类的指标。 例如:当用户的请求出现5xx服务端响应状态码时,那么在云监控中就可以看到5XX状态码个数的指标。 父主题:
管理运行队列 前提条件 任务列表中存在正在运行的任务。 操作步骤 登录OBS Browser+。 在页面左边的“任务管理”。 “任务管理”窗口默认会显示“运行队列”,如图1所示。 图1 运行队列列表 可选: 选择对单个任务或者多个任务单击“暂停”按钮,暂停后的任务会出现在“已暂停”任务队列。
操作对象的平均值。 执行批量任务时,针对常见的网络问题如timeout、EOF等,建议通过增量操作(cp命令中的-u参数)进行重试;同时也可以根据失败的批量任务最终输出的taskID信息,通过恢复失败任务(cp命令中的-recover参数)实现对失败任务的重试; 父主题: 最佳实践
删除桶操作用于删除用户指定的桶。只有桶的所有者或者拥有桶的删桶policy权限的用户可以执行删除桶的操作,要删除的桶必须是空桶。如果桶中有对象或者有多段任务则认为桶不为空,可以使用列举桶内对象和列举出多段上传任务接口来确认桶是否为空。 注: 如果删除桶时,服务端返回5XX错误或超
管理已完成队列 前提条件 任务列表中存在已完成的任务。 操作步骤 登录OBS Browser+。 在页面左边的“任务管理”。 “任务管理”窗口单击“已完成”按钮。 图1 已完成队列列表 可选: 选择对单个任务或者多个任务单击“删除”按钮。 建议定期清空“已完成任务”列表,请参考为