检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
和终端节点信息请参见地区和终端节点。 使用obsutil obsutil配置成功后,便可以在Linux ECS上直接通过内网访问OBS,进行基本的数据存取操作以及其他的高级设置操作。 常见的数据存储操作请参见: 上传对象 下载对象 详细使用指南请参见对象存储服务工具指南(obsutil)。
使用账号登录时,界面提示“获取用户的Token失败” 在使用OBS Browser+过程中,如果使用账号登录时提示“获取用户的Token失败”,原因是Nodejs限制Http头大小。可尝试设置系统环境变量解决。 以Windows 10 64位系统为例,步骤如下: 进入系统页面,路径为“Windows
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题
费项存在不一致的情况。表1可以帮助您快速搜索使用量对应的OBS计费项,了解账单中实际产生的扣费情况。 表1 账单使用量类型与计费项对照表 使用量类型 使用量类型编码 使用量对应的OBS计费项 计费项说明 数据处理量 data_process_size 数据处理费用 按照被处理的原图片的实际大小收取。
该接口可以恢复指定桶中的归档存储对象。 接口约束 您必须是桶拥有者或拥有恢复归档或深度归档存储对象的权限,才能恢复归档或深度归档存储对象。建议使用IAM或桶策略进行授权,如果使用IAM则需授予obs:object:RestoreObject权限,如果使用桶策略则需授予RestoreObject权限。相关授权
存储类别。建议使用IAM或桶策略进行授权,如果使用IAM则需授予obs:bucket:GetBucketStoragePolicy权限,如果使用桶策略则需授予GetBucketStoragePolicy权限。相关授权方式介绍可参见OBS权限控制概述,配置方式详见使用IAM自定义策略、自定义创建桶策略。
监控对象存储服务 使用场景 用户在使用OBS的过程中会不断发送PUT、GET类的请求,产生上传、下载流量,也可能会遇到服务端返回的错误响应。为使用户更好地掌握OBS桶的状态,华为云提供了云监控服务(Cloud Eye)。用户可使用云监控服务(Cloud Eye)监控自己的OBS桶
支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题: 大数据场景下使用OBS实现存算分离
Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS Logstash对接OBS 父主题: 大数据场景下使用OBS实现存算分离
我可以存储哪种类型的数据? OBS可以存储任何格式的任何类型数据。 父主题: 产品咨询
设置桶存储类别。建议使用IAM或桶策略进行授权,如果使用IAM则需授予obs:PutBucketStoragePolicy权限,如果使用桶策略则需授予PutBucketStoragePolicy权限。相关授权方式介绍可参见OBS权限控制概述,配置方式详见使用IAM自定义策略、自定义创建桶策略。
00个。建议结合OBS细粒度权限控制能力,合理进行桶规划和使用。 Obs.0007 目标桶不存在或目标桶与当前桶不属于同一区域,请确认后重新操作。 Obs.0008 你的账号还没有在系统中注册,必须先在系统中注册了才能使用该账号。 Obs.0009 另外一个冲突的操作当前正作用在这个资源上,请重试。
设置桶存储类型。建议使用IAM或桶策略进行授权,如果使用IAM则需授予obs:PutBucketStoragePolicy权限,如果使用桶策略则需授予PutBucketStoragePolicy权限。相关授权方式介绍可参见OBS权限控制概述,配置方式详见使用IAM自定义策略、自定义创建桶策略。
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速,流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
存放的是二进制数据,无法直接存放文件,如果需要存放文件,需要先格式化文件系统后使用。 存放的是文件,会以文件和文件夹的层次结构来整理和呈现数据。 访问方式 可以通过互联网或专线访问。需要指定桶地址进行访问,使用的是HTTP和HTTPS等传输协议。 只能在ECS/BMS中挂载使用,不能被操作系统应用直接访问,需要格式化成文件系统进行访问。
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
存储时间计费。例如,一个深度归档存储对象在OBS中存储了170天后删除,会按照180天计费。 数据恢复:深度归档存储需要先恢复才能访问。深度归档存储恢复方式有标准和加急两种,标准恢复耗时5~12 h,加急恢复耗时3~5 h。 数据恢复是指对于归档存储和深度归档存储的对象,在访问对
I训练,建议使用SFS Turbo HPC型高性能文件系统加速AI训练任务,训练速度加快可以节省AI算力费用。 文件系统使用空间不足,可以扩容吗? SFS Turbo文件系统支持在线扩容,扩容过程中挂载文件系统可能失败,建议业务低峰期扩容。 父主题: 面向AI场景使用OBS+SFS
设置桶存储类型。建议使用IAM或桶策略进行授权,如果使用IAM则需授予obs:PutBucketStoragePolicy权限,如果使用桶策略则需授予PutBucketStoragePolicy权限。相关授权方式介绍可参见OBS权限控制概述,配置方式详见使用IAM自定义策略、自定义创建桶策略。
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤