检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本最佳实践方案需要使用到VPC、SFS Turbo HPC型文件系统、OBS桶、ModelArts资源池资源。 为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 创建VPC 虚拟私有云可以为您构建隔离的、用户自主
创建SFS Turbo 和 OBS 之间的联动任务。 您可通过查询联动任务详情接口查看导入任务的完成状态。 如果您觉得数据集规模较小或数据集变化不太频繁,不需要通过数据联动来做数据导入导出,您可借助外部工具将数据从OBS迁移到SFS Turbo中,操作指导请参考OBS和SFS之间
2之前的所有文件,使用“time1-*”,代表匹配最后修改时间time1之后的所有文件。 o 附加参数,批量生成时可选 生成结果清单文件的文件夹,命令执行完成后,会在该文件夹下生成结果清单文件(可能包含成功结果和失败结果两个文件),默认为运行obsutil命令的用户目录的子文件夹
慎选择。 存储类别 桶的存储类别。不同的存储类别可以满足客户业务对存储性能、成本的不同诉求。 标准存储:适用于有大量热点文件或小文件,且需要频繁访问(平均一个月多次)并快速获取数据的业务场景。 低频访问存储:适用于不频繁访问(平均一年少于12次),但需要快速获取数据的业务场景。
删除桶标签 功能介绍 OBS使用DELETE操作来删除指定桶的标签。 要正确执行此操作,需要确保执行者有DeleteBucketTagging权限。缺省情况下只有桶的所有者可以执行此操作,也可以通过设置桶策略或用户策略授权给其他用户。 请求消息样式 1 2 3 4 DELETE /
API和SDK等开发者相关 使用OBS SDK上传超过5GB的大文件失败 Java SDK报错okhttp3.RequestBody.create(java.lang.String,okhttp3.MediaType) PUT上传和POST上传有什么区别? 追加上传对象是否支持并发场景下的锁机制
length policy json body 响应消息头 该请求的响应消息使用公共消息头,具体请参考表1。 响应消息元素 该请求的响应消息中不带消息元素。 错误响应消息 无特殊错误,所有错误已经包含在表2和OEF错误码中。 请求示例 GET /?obscompresspolicy
是否支持统计文件夹内的文件数目及大小 OBS Browser+不支持统计文件夹内的文件数目及大小,可以使用obsutil列举对象命令,指定前缀为需要查看的文件夹进行列举。 以Linux操作系统为例,运行./obsutil ls obs://bucket-test/test/ -du
列举已上传的段(Java SDK) 功能说明 通过分段上传任务的ID,列举指定桶中已上传的段。 您可以列出特定多段上传任务或所有正在进行的多段上传任务的分段。列举已上传的段操作将返回特定多段上传任务中正在进行上传的段信息,单次最多列举1000个分段。如果多段上传中的段超过1000
常见问题 可以只使用SFS Turbo HPC型文件系统支撑AI训练吗? 当数据规模较小,不存在冷热数据分级降本诉求,又希望能方便快捷的构建AI训练系统时,可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗? OBS
选中待删除的文件或文件夹,并单击右侧的“更多 > 删除”。 也可以选中多个文件或文件夹,单击文件列表上方的“删除”进行批量删除。 图1 删除文件或文件夹 单击“确定”,确认删除文件或文件夹。 图2 删除对象 如果您的删除对象所在的OBS桶启用了多版本控制功能,那么删除的对象不会被
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
发起回调请求的Host头域的值,如果不设置,会使用callbackUrl解析出来的Host。 类型:String 否 callbackBody 发起回调请求的body体。body体格式必须符合callbackBodyType中设置的媒体类型。 回调body体支持系统变量和自定义变量
OBS是否支持批量下载文件? OBS管理工具批量下载功能的支持情况: 表1 OBS管理工具批量下载功能 工具 批量下载 管理控制台 不支持 OBS Browser+ 支持 详情请参见下载文件或文件夹。 obsutil 支持,详情请参见下载对象。 SDK 不支持 API 不支持 父主题:
Browser+,请先下载并安装。 在并行文件系统列表中,单击目标并行文件系统。 在文件列表中,单击需要重命名文件操作列的。 单击“重命名”。 在弹出窗口中输入新的文件名,单击“确定”。 父主题: 桶和对象相关
个桶。 经过UTF-8编码的长度大于0且不超过1024的字符序列,不支持重叠的前缀。 类型:String 父节点:Rule Destination 目标桶信息的容器。 类型:Container 父节点:Rule Bucket 存储被规则标识的对象副本的桶名称。 如果在复制配置中有
添加到HTTP请求的Authorization Header头域 添加到URL的Query参数 POST上传(表单上传)情况下,添加到表单 4 发送携带签名S的API调用请求 将携带签名信息的请求发送给服务端。 OBS服务端 5 接收调用请求 接受客户端的调用请求。 6 验证签名 服务端根据
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
类型:String 固定值:.zip 是 overwrite 解压后同名文件的处理方式。 类型:Integer 取值范围:0:不覆盖跳过,1:不覆盖,以文件的CRC32值重命名,2:覆盖。 是 decompresspath 文件解压后存放的路径,不为空时必须以“/”结尾,且不能以“/”开头。 类型:String
桶ACL权限 桶的访问权限分为桶ACL权限和桶策略两种。本节介绍桶ACL以及配置方法。 桶ACL权限简介 配置桶ACL权限 父主题: 桶的高级配置