检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速，流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
GetBucketCustomDomainOutput 参数名称 参数类型 描述 RequestId string 参数解释： OBS服务端返回的请求ID。 默认取值： 无 Domains Domain[] 参数解释： 桶生命周期规则列表，详见Domain。 表7 Domain 参数名称 参数类型
example.com为例 DomainName: "www.baidu.com" }; // 设置桶的自定义域名 const result = await obsClient.setBucketCustomDomain(params); if (result
实施步骤 创建资源 基本配置 训练 例行维护 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践
request.ifETagNoneMatch 对象的ETag值是指对象数据的MD5校验值。 如果限制条件不符合，则会返回错误preconditionFailed。 以下代码展示了如何进行限定条件下载： static OBSClient *client; NSString *endPoint =
name); } } }]; [task waitUntilFinished]; 在调用OBSClient类的相关接口时，如果将Client声明为局部变量，则应该通过对请求任务执行waitUntilFinished操作以保证Client在请求任务执行期间始
error->further_details) { printf("Error further_details: \n %s\n", error->further_details); } if (error && error->extra_details_count)
如果使用IAM则需授予obs:bucket:DeleteBucketCustomDomainConfiguration权限，如果使用桶策略则需授予DeleteBucketCustomDomainConfiguration权限。相关授权方式介绍可参见OBS权限控制概述，配置方式详见
可以只使用SFS Turbo HPC型文件系统支撑AI训练吗？ 当数据规模较小，不存在冷热数据分级降本诉求，又希望能方便快捷的构建AI训练系统时，可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗？ OBS为容量型存储，
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题： 实施步骤
创建资源 本最佳实践方案需要使用到VPC、SFS Turbo HPC型文件系统、OBS桶、ModelArts资源池资源。 为了提供最佳加速性能，建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区（AZ）。 创建VPC 虚拟私
error->further_details) { printf("Error further_details: \n %s\n", error->further_details); } if (error && error->extra_details_count)
Turbo：文件系统类型为“HPC型”，存储类型请根据存储容量和性能需求选择，AI场景建议选择250MB/s/TiB及以上的存储类型。 ModelArts：AI开发平台，采用多机多卡分布式训练。 VPC：虚拟私有云和子网。 算法及数据：准备AI训练需要的算法及数据集，如Swin-Transformer算法，及ImageNet21K数据集。
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题： 实施步骤
import java.io.File; public class PutObject005 { public static void main(String[] args) { // 您可以通过环境变量获取访问密钥AK/SK，也可以使用其他外部引入方式传入。如果使用硬编码可能会存在泄露风险。
'objectname'; var method = 'PUT'; var headers = { 'Content-Type' : 'text/plain' } var res = obsClient.createSignedUrlSync({ Method : method
credentialProvider:credentialProvider]; // 设定以自定义域名访问OBS服务 conf.defaultDomainMode = OBSDomainModeCustom; // 初始化client OBSClient *client = [[OBSClient alloc]
您可以在CES云监控服务上监控和SFS Turbo文件系统的性能使用情况。当AI算力集群规模变大，大模型参数量变大，导致Checkpoint读加载时间变长时，或训练数据集加载由于存储读写带宽不足导致拖慢AI训练时，您可以对SFS Turbo进行性能扩容，以缩短数据加载时长。详情可参见SFS
忽略错误 此功能支持在控制台代码编辑模式和接口调用模式使用。 通过此操作可以忽略请求参数非法、图片超过处理限制等错误，直接返回原图。 操作名称：ignore-error 表1 忽略错误参数说明 参数 取值说明 代码样例 value 取值为0或1。默认值为0。 0：不忽略报错。遇到错误时，服务端正常返回报错信息。
concurrency--; drainQueue(); finished++; if (finished === count) { resolve(); }; }); }; const drainQueue = () => {
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
