检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速,流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
00次。 示例二 以OBS控制台操作为例,每一次在控制台上的操作都会下发请求并计算请求次数。 例如进入OBS控制台首页,加载桶列表的过程会下发获取桶列表、获取桶区域位置等请求;进入桶概览页面,会下发获取桶存量信息、获取桶元数据等请求。 示例三 以下载对象为例,对一个对象的每一次下
决方法:使用ObsException.getResponseCode获取HTTP状态码,根据状态码分析可能原因,如403一般代表无权限访问,404一般代表桶或对象不存在;如无法定位原因,可从ObsException中获取OBS服务端请求ID后联系OBS运维团队; 初始化ObsCl
02:23:25 GMT Content-Length: 0 响应消息里面x-obs-version: 3.0表示桶存储在OBS 3.0,没有该头域或者该头域的值是其他值表示桶存储在OBS 2.0。 关于Head Bucket接口的更多信息请参见获取桶元数据。 父主题: 使用前必读
3/etc/hadoop/hdfs-site.xml,/home/modules/hadoop-2.8.3/etc/hadoop/mapred-site.xml #给删表权限 hive.allow-drop-table=true 日志配置文件 创建文件log.properties 写入内容:com.facebook
规则重叠和冲突的介绍详见多条生命周期规则之间重叠。 示例1:前缀重叠生命周期操作无冲突 规则:规则1指定了一个前缀为空的筛选条件,表示桶内的所有对象。在对象创建120天后删除。规则2指定了一个前缀为typea/的筛选条件,表示前缀为typea/的对象。在对象创建90天后转为归档存储类型。 执行结果:生命周期操作没有冲
资源和成本规划 本节介绍最佳实践中资源规划情况,包含以下内容: 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容
完全支持HTML5的浏览器。 功能限制:不支持创建桶、列举桶、设置桶CORS配置。 接口函数:与旧版本(2.1.x)不完全兼容,接口变化如下表: 接口函数 变化说明 ObsClient.setBucketAcl 请求参数中Grants字段变为数组,去掉Grants.Grant字段。
创建的桶名称相同。桶所属的区域在创建后也不能修改。每个桶在创建时都会生成默认的桶ACL(Access Control List,访问控制列表),桶ACL的每项包含了对被授权用户授予什么样的权限,如读取权限、写入权限等。用户只有对桶有相应的权限,才可以对桶进行操作,如创建、删除、显示、设置桶ACL等。
单个资源开通自动续费:选择需要开通自动续费的资源包,单击操作列“开通自动续费”。 图2 单个资源开通自动续费 批量资源开通自动续费:选择需要开通自动续费的资源包,单击列表左上角的“开通自动续费”。 图3 多个资源开通自动续费 选择续费时长,并根据需要设置自动续费次数,单击“开通”。 图4 开通自动续费 修改自动续费
https://bucketname.obs.cn-north-4.myhuaweicloud.com/object1?x-obs-traffic-limit=819200,表示下载object1对象时限速为100 KB/s。 通过签名URL限速 项目 说明 文件类型 私有对象 限速方式 通过SDK在生成签名URL
当前不支持递归地对指定文件夹下的所有文件进行扫描,仅支持列举指定路径根目录下的失败结果清单文件。 limit 附加参数,可选 查询文件的最大个数,小于等于0表示列举所有结果,不设置时的默认值为1000。 o 附加参数,可选 指定结果清单文件所在的文件夹,不指定时默认为运行obsutil命令的用户目录的子文件夹
支持获取上传进度的接口包括:流式上传、文件上传、上传段、追加上传和断点续传上传; 如果ProgressStatus.getTransferPercentage()返回-1,表明是流式上传,此时必须设置对象属性中的对象长度(Content-Length)。 父主题: 上传对象
文件夹folder01的上级目录是folder02,文件夹名长度是按照folder02/folder01/的字节数计算的。 单个斜杠(/)表示分隔并创建多层级的文件夹。 如果创建文件夹时弹出拒绝访问的错误提示,则有可能是如下几种情况导致的: 通过桶的ACL设置功能,限制了该桶的访问权限(如:该用户无桶的写入权限)。
-vp=10d 建议创建授权码时,待分享的目录总是以“/”结尾,如果没有传入待分享的目录(例如上述命令中传入obs://bucket),则表示分享整个桶。 如果未使用ac选项设置提取码,obsutil工具会以交互模式提示输入提取码,且提取码必须为6位。 更多该命令的使用细节,请参考创建目录分享的授权码。
setBucketCors("bucketname", cors); AllowedOrigins、AllowedHeaders都能够最多支持一个“*”通配符。“*”表示对于所有的域来源或者头域都满足。 父主题: 跨域资源共享
请确认您已经熟悉OBS的基本概念,如桶(Bucket)、对象(Object)、访问密钥(AK和SK)等。 使用OBS客户端进行接口调用操作完成后,没有返回异常,则表明接口调用成功;如果返回异常,则说明操作失败,此时应从SDK错误处理中获取错误信息。 当前各区域特性开放不一致,部分特性只在部分区域开放,使
建的桶名称相同。桶所属的区域在创建后也不能修改。每个桶在创建时都会生成默认的桶ACL(Access Control List),桶ACL列表的每项包含了对被授权用户授予什么样的权限,如读取权限、写入权限等。用户只有对桶有相应的权限,才可以对桶进行操作,如创建、删除、显示、设置桶ACL等。
getenv("SecurityToken"); OBS属于全局级服务,所以在获取临时访问密钥时,需要设置Token的使用范围取值为domain,表示获取的Token可以作用于全局服务,全局服务不区分项目或者区域。 父主题: 快速入门
入门实践 当您完成了创建桶、上传对象和下载对象等基本操作后,可以根据自身的业务需求使用OBS提供的一系列常用实践。 表1 常用最佳实践 实践 描述 数据安全 安全最佳实践 本最佳实践提供了OBS使用过程中的安全最佳实践,旨在为提高整体安全能力提供可操作的规范性指导。根据该指导文档