检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
IAM委托为统一身份认证服务IAM的功能特性,OBS在部分使用场景中(如CDN私有桶回源、跨区域复制),需要使用IAM委托功能,授予其他账号或云服务OBS的访问权限,替委托方管理OBS资源,实现安全高效的代维工作。 委托访问OBS,需要先调用IAM接口获取委托的临时访问密钥和securitytoken
数据至OBS,更多内容请参考数据上云方案。 将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后,可以使用数据预热功能,以减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Tur
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象,您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台,在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中,单击
ontent-Language。如果上传Object时设置了这些请求头,OBS会直接将这些头域的值保存下来。这6个值也可以通过OBS提供的修改对象元数据API接口进行修改。在该Object被下载或者HEAD的时候,这些保存的值将会被设置到对应的HTTP头域中返回客户端。 表1 请求消息头
API和SDK等开发者相关 使用OBS SDK上传超过5GB的大文件失败 Java SDK报错okhttp3.RequestBody.create(java.lang.String,okhttp3.MediaType) PUT上传和POST上传有什么区别? 追加上传对象是否支持并发场景下的锁机制
您使用CDN加速域名后,可配置网站加速、文件下载加速和点播加速。 CDN加速功能将存储在OBS中的数据缓存到终端用户附近的CDN节点上,让身处各地的终端用户都可以快速访问存储在OBS中的数据。当用户更新OBS中存储的数据时,CDN中缓存的过时数据也需要同步刷新,可以使用CDN自动刷新功能来自动通知CDN更新缓存数据。
创建CORS规则 在“CORS规则”中配置“允许的来源”、“允许的方法”、“允许的头域”、“补充头域”和“缓存时间”。 如果该OBS桶同时开启了CDN加速,CDN需配置HTTP header,详见HTTP header配置。 表1 CORS规则 参数 说明 配置建议 允许的来源 必选参数,指定
08 实践 您可以通过对象存储服务和周边服务配合使用,解决实际业务场景中的诸多问题。 权限控制 通过不同策略控制OBS权限 数据上云 搬迁本地数据至OBS 迁移第三方云厂商数据至OBS 备份本地数据至OBS 内网访问 在ECS上通过内网访问OBS CDN加速 通过CDN加速访问OBS
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后,建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。
HTTP-Verb String 必选 参数解释: HTTP方法(也称为操作或动词),对REST接口而言,即为http请求操作的VERB,如:"PUT","GET","DELETE"等字符串,您可根据要调用的API选择。 约束限制: 不涉及 取值范围: GET:请求服务器返回指定资源,如获取桶列表、下载对象等。
Header中携带签名 功能介绍 OBS的所有API接口都可以通过在header中携带签名方式来进行身份认证,也是最常用的身份认证方式。如图1所示,在Header中携带签名是指将通过HTTP消息中Authorization header头域携带签名信息。 图1 Header中携带签名示例
配置ModelArts和SFS Turbo间网络直通 创建委托授权ModelArts云服务使用SFS Turbo 使用IAM管理员账号登录IAM控制台。 在IAM控制台的左侧导航窗格中选择“权限管理 > 权限”,单击右上角的“创建自定义策略”,进入自定义策略配置页面。 输入“策略
非密钥拥有者不能对使用默认密钥加密的对象进行上传下载类操作。 新增头域 SSE-KMS方式新增加两个头域,用户可以通过配置表1中的头域来实现SSE-KMS加密。 您也可以通过配置桶的默认加密方式来对桶内的对象进行加密。在为桶配置默认加密后,对于任何不带加密头域的上传对象的请求,将
对象元数据配置“Cache-Control”值为“no-cache” Ctrl + Shift + Delete清除浏览器缓存 如果绑定了自定义域名或者开启了CDN加速,请检查是否配置了HTTP header,详见HTTP header配置。 父主题: 桶和对象相关
Go SDK接口概览 表1总结了Go SDK支持的接口及功能描述,每个接口的详细介绍和示例代码请前往接口详情页查看。 表1 Go SDK API 接口名 方法 功能描述 创建桶 obsClient.CreateBucket 创建桶。 获取桶列表 obsClient.ListBuckets
才有该对象的读写权限。用户也可以设置其他的访问策略,比如对一个对象可以设置公共访问策略,允许所有人对其都有读权限。SSE-KMS方式加密的对象即使设置了ACL,跨租户也不生效。 OBS用户在上传对象时可以设置权限控制策略,也可以通过ACL操作API接口对已存在的对象更改或者获取ACL(access
修改对象元数据 修改写对象 截断对象 重命名对象 回调 设置对象标签 获取对象标签 删除对象标签 配置对象级WORM保护策略 父主题: API
OBS支持对桶操作进行权限控制。默认情况下,只有桶的创建者才有该桶的读写权限。用户也可以设置其他的访问策略,比如对一个桶可以设置公共访问策略,允许所有人对其都有读权限。 OBS用户在创建桶时可以设置权限控制策略,也可以通过ACL操作API接口对已存在的桶更改或者获取ACL(access control list)
ObjectVersionTagging权限。缺省情况下只有对象的所有者可以执行此操作,也可以通过设置桶策略或用户策略给其他用户。 默认获取Object当前版本的标签信息。可以通过指定versionId参数来获取指定Object版本的标签信息。如果对应版本为删除标记(Delete
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前