检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
请参考账户充值。 获取访问密钥,详情请参见获取访问密钥(AK和SK)。 准备开发环境,详情请参见准备开发环境。 下载与安装Java SDK,详情请参见下载与安装Java SDK。 操作视频 步骤一:创建桶 本示例用于创建名为examplebucket的桶,并设置所在区域在华北-北
联sfsturbo”。 在“关联sfsturbo”弹窗中,选择创建资源中创建的SFS Turbo HPC型文件系统。 图2 关联SFS Turbo 选择完成后,单击“确定”创建关联。 使用过程中请不要解除关联,解除关联会导致ModelArts资源池无法访问SFS Turbo文件系统中的数据。
0及以上的桶支持此方案。桶版本号可以在OBS控制台上,进入桶对象页面后单击“概览”,在“基本信息”中查看。 配置方法 手动配置:以点播加速为例,操作步骤请参见通过CDN加速OBS视频点播方案介绍。 一键部署:当前部分区域支持一键部署,详见一键部署CDN下载加速。 通过CDN加速OBS视频点播方案介绍 下面将为您介绍通
面向AI场景使用OBS+SFS Turbo的存储加速实践 针对AI训练场景中面临的问题,华为云提供了基于对象存储服务OBS+高性能文件服务SFS Turbo的AI云存储解决方案。华为云高性能文件服务SFS Turbo HPC型支持和OBS数据联动,您可以通过SFS Turbo HPC型文件系统来加速对O
训练任务开始前将数据从OBS导入到SFS Turbo,训练过程中写入到SFS Turbo的Checkpoint数据异步导出到OBS,均不占用训练任务时长。 SFS Turbo和OBS存储服务之间数据直接导入导出,无需部署外部数据拷贝机器及工具。 4 冷热数据自动流动,降低存储成本 SFS Turbo支持自定义
ket创建桶。以下代码展示如何新建一个桶: // 引入依赖库 require 'vendor/autoload.php'; // 使用源码安装时引入SDK代码库 // require 'obs-autoloader.php'; // 声明命名空间 use Obs\ObsClient;
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象,您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台,在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中,单击
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后,建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。
虚拟网络环境,操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo HPC型文件系统 创建SFS Turbo文件系统,文件系统类型选择“HPC型”,操作指导请参考创建SFS Turbo文件系统。 创建OBS桶 创建OBS桶,存储类别为“标准存储”,桶策略为“私有”,操作指导请参考创建OBS桶。
配置挂载外部桶 OBS Browser+支持挂载外部桶功能。 前提条件 已获得访问其他用户的桶的相应ACL权限。 例如:账户A需要挂载账户B下的桶“bucket_share”以便于读取账户B下的桶“bucket_share”中的对象,则账户B需要先获取账户A的“账户ID”并通过O
视化视图”。 配置桶策略内容。 图1 配置桶策略 表1 桶策略配置说明 参数 说明 策略名称 输入自定义策略的名称 策略内容 效力 允许 被授权用户 被授权用户:所有账号 授权资源 资源范围:当前桶、指定对象 指定对象 - 资源路径:配置为文件夹内的所有对象,如文件夹名称为“fo
桶策略简介 桶的所有者可以通过编写桶策略,限定桶的访问权限。 桶策略可基于各种条件,如动作、被授权用户、资源和请求的其他要素(如IP地址)提供对桶和对象的集中访问控制。如果资源设置为*,则权限适用于该桶内所有对象。例如,账户可以按以下维度制定策略,授予某用户写权限: 给予用户特定的桶的写权限。
方案。 将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后,可以使用数据预热功能,以减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中,数据预热功能的具体操作请参考创建SFS
要使用该接口,使用者要求必须是桶的所有者,或者是桶所有者的子用户且具有设置桶策略的权限。 使用桶策略进行权限控制请参考《对象存储服务权限配置指南》的OBS权限控制概述章节。 请求消息样式 1 2 3 4 5 PUT /?policy HTTP/1.1 Host: bucketname
ORS规则,则返回CORS规则中的AllowedHeader。AllowedHeader是指允许的跨域请求的头域。只有匹配上允许的头域中的配置,才被视为是合法的CORS请求。 约束限制: 最多可填写一个“*”通配符,不支持&、:、<、空格以及中文字符。 默认取值: 无 AllowMethod
时区配置异常 使用OBS PHP SDK进行二次开发时如果出现异常信息如“Uncaught exception 'Exception' with message 'DateTime::__construct():”,表明时区配置有误。可通过以下两种方式配置: 修改php.ini文件,在[Date]标签下新增date
如果指定某个对象集:“对象名称前缀”+“*”、“*”+“对象名后缀”或“*” 授权操作 动作范围:模板配置 模板:对象只读 核对权限配置信息,确认无误后单击“创建”,完成桶策略创建。 权限配置信息可以在桶策略列表查看。 图2 查看桶策略列表权限配置信息 验证 权限设置成功后单击对象名称,页面上“链接”显示该对象的访
创桶时指定预定义访问策略 以下代码展示如何在创建桶时指定预定义访问策略: // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全;本示例以ak和sk保存在环境变量中为例,运行本示例前请先在本地环境中设置环境变量ACCE