检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
x-workflow-prefix 是 String 按前缀查询Action模板。 不需要传值。 请求消息头 该请求使用公共消息头,具体参见表3。 请求消息元素 该请求消息中不使用消息元素。 响应消息样式 HTTP/1.1 status_code Date: date Content-Length:
和终端节点信息请参见地区和终端节点。 使用obsutil obsutil配置成功后,便可以在Linux ECS上直接通过内网访问OBS,进行基本的数据存取操作以及其他的高级设置操作。 常见的数据存储操作请参见: 上传对象 下载对象 详细使用指南请参见对象存储服务工具指南(obsutil)。
Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS Logstash对接OBS 父主题: 大数据场景下使用OBS实现存算分离
支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题: 大数据场景下使用OBS实现存算分离
更多创建桶的信息,请参见创建桶。 创建桶时,如果使用的终端节点归属于默认区域华北-北京一(cn-north-1),则可以不指定区域;如果使用的终端节点归属于其他区域,则必须指定区域,且指定的区域必须与终端节点归属的区域一致。当前有效的区域名称可从这里查询。 您可以使用带参数创建方式,在创建桶时,指定桶的区域位置,详情请参考创建桶
00个。建议结合OBS细粒度权限控制能力,合理进行桶规划和使用。 Obs.0007 目标桶不存在或目标桶与当前桶不属于同一区域,请确认后重新操作。 Obs.0008 你的账号还没有在系统中注册,必须先在系统中注册了才能使用该账号。 Obs.0009 另外一个冲突的操作当前正作用在这个资源上,请重试。
date Authorization: authorization 请求消息参数 该请求消息中不使用消息参数。 请求消息头 该请求使用公共消息头,具体参见表3。 请求消息元素 该请求消息中不使用消息元素。 响应消息样式 1 2 3 4 5 6 7 8 HTTP/1.1 status_code
x-workflow-graph-name 是 string 工作流名称。 是已存在的工作流。 请求消息头 该请求使用公共消息头,具体参见表3。 请求消息元素 该请求消息中不使用消息参数。 响应消息样式 HTTP/1.1 status_code Date: date Content-Length:
名称必须以字母或数字开头,只能由字母、数字、下划线和中划线组成,长度小于等于64个字符。 请求消息头 该请求使用公共消息头,具体参见表3。 请求消息元素 该请求消息中不使用消息元素。 响应消息样式 HTTP/1.1 status_code Date: date Content-Length:
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速,流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
需要删除的自定义域名。 类型:String,必须满足域名规则。 规格:最长256字节。 默认值:无。 是 请求消息头 该请求使用公共消息头,具体参见表3。 请求消息元素 此请求消息中不使用消息元素。 响应消息样式 1 2 3 4 5 HTTP/1.1 204 No Content Server:
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
名称必须以字母或数字开头,只能由字母、数字、下划线和中划线组成,长度小于等于64个字符。 请求消息头 该请求使用公共消息头,具体参见表3。 请求消息元素 该请求消息中不使用消息参数。 响应消息样式 HTTP/1.1 status_code Date: date X-Request-ID:
认证鉴权 OBS签名机制概述 Header中携带签名 URL中携带签名 基于浏览器上传的表单中携带签名 签名计算工具 父主题: 如何调用API
I训练,建议使用SFS Turbo HPC型高性能文件系统加速AI训练任务,训练速度加快可以节省AI算力费用。 文件系统使用空间不足,可以扩容吗? SFS Turbo文件系统支持在线扩容,扩容过程中挂载文件系统可能失败,建议业务低峰期扩容。 父主题: 面向AI场景使用OBS+SFS
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
)和中划线(-)开头或结尾。 禁止使用IP地址。 创建完成后,您可以在桶列表页查看到已创建的桶。 步骤三:上传对象 桶创建成功后,您可以通过OBS Browser+上传一个不超过48.8TB大小的单个对象;或单次批量上传数量不超过500个、总大小不超过48.8TB大小的对象。 在桶列表页面单击创建好的桶。
date Authorization: Authorization 请求消息参数 该请求消息中不使用消息参数。 请求消息头 该请求使用公共消息头,具体参见表3。 请求消息元素 该请求消息中不使用消息元素。 响应消息样式 1 2 3 4 HTTP/1.1 status_code Date:
用户可以使用以下迁移方案中的任意一种完成数据迁移,包括:Distcp方式迁移、CDM方式迁移和OMS方式迁移。 Distcp方式迁移 Hadoop Distcp(Distributed copy)主要是用于Hadoop文件系统内部或之间进行大规模数据复制的工具,它使用Map/R
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤