检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
面向AI场景使用OBS+SFS Turbo的存储加速方案概述 应用场景 近年来，AI快速发展并应用到很多领域中，AI新产品掀起一波又一波热潮，AI应用场景越来越多，有自动驾驶、大模型、AIGC、科学AI等不同行业。AI人工智能的实现需要大量的基础设施资源，包括高性能算力，高速存储
开发环境准备 从Xcode官网下载并安装最新版Xcode。 父主题： 快速入门
API和SDK等开发者相关 使用OBS SDK上传超过5GB的大文件失败 Java SDK报错okhttp3.RequestBody.create(java.lang.String,okhttp3.MediaType) PUT上传和POST上传有什么区别？ 追加上传对象是否支持并发场景下的锁机制
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题
自定义函数开发规范 Data+已下线，如果需要使用数据处理服务，可使用数据工坊 DWR。 详情请参见数据工坊 DWR。 用户在自行开发自定义函数时，函数的输入参数和输出参数需要遵守本节的开发规范。 自定义函数的编译方式请参考FunctionGraph的《开发指南》。 函数输入参数
开发环境准备 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 从Eclipse官网下载并安装Eclipse IDE for JavaScript and Web Developer最新版本。
开发环境准备 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 从PHP官网下载并安装推荐使用的版本。 【可选】从Jetbrains官网下载并安装PhpStorm最新版本。 PHP安装完成后，需要指定php
开发环境准备 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 从Android官网下载并安装Android Studio最新版本。 打开安装好的Android Studio，选择Settings
报错NetworkOnMainThreadException NetworkOnMainThreadException 一般是因为网络请求在MainThread类中产生的异常。 原因： Android3.0版本开始，强制程序不能在主线程中访问网络，要把访问网络放在独立的线程中。 解决办法：
Turbo：文件系统类型为“HPC型”，存储类型请根据存储容量和性能需求选择，AI场景建议选择250MB/s/TiB及以上的存储类型。 ModelArts：AI开发平台，采用多机多卡分布式训练。 VPC：虚拟私有云和子网。 算法及数据：准备AI训练需要的算法及数据集，如Swin-Transformer算法，及ImageNet21K数据集。
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速，流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
开发环境准备(Node.js SDK) 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。 从Node.js官网下载并安装推荐使用的版本。 从Eclipse官网下载并安装Eclipse IDE for JavaScript and
创建资源 本最佳实践方案需要使用到VPC、SFS Turbo HPC型文件系统、OBS桶、ModelArts资源池资源。 为了提供最佳加速性能，建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区（AZ）。 创建VPC 虚拟私
SDK安装方式概览 序号 方式 1 手动下载开发包使用GoLand新建工程并编译 2 使用go get命令下载并安装 方式一：手动下载开发包使用GoLand新建工程并编译 以安装OBS Go SDK最新版本为例，步骤如下： 下载OBS Go SDK开发包。 解压该开发包，可以看到其中包含obs文
先完成服务环境的准备和开发环境的准备。服务环境准备包括准备账号和访问密钥，是使用SDK与OBS云服务交互的必要条件。开发环境准备是指为了您能顺利完成SDK的安装、完成基于SDK的代码开发与运行，需要提前在本地完成开发环境的搭建，比如下载安装依赖软件、安装开发工具等。 准备华为账号
可以只使用SFS Turbo HPC型文件系统支撑AI训练吗？ 当数据规模较小，不存在冷热数据分级降本诉求，又希望能方便快捷的构建AI训练系统时，可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗？ OBS为容量型存储，
BucketMetadataInfoRequest request = new BucketMetadataInfoRequest("bucketname"); request.setOrigin("http://www.a.com"); //获取桶元数据 BucketMetadataInfoResult
完成服务环境的准备和开发环境的准备。服务环境准备包括准备华为账号和访问密钥，是使用SDK与OBS云服务交互的必要条件。开发环境准备是指为了您能顺利完成SDK的安装、完成基于SDK的代码开发与运行，需要提前在本地完成的开发环境搭建，比如下载安装依赖软件、安装开发工具等。 准备华为账号
实施步骤 创建资源 基本配置 训练 例行维护 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践
您可以在CES云监控服务上监控和SFS Turbo文件系统的性能使用情况。当AI算力集群规模变大，大模型参数量变大，导致Checkpoint读加载时间变长时，或训练数据集加载由于存储读写带宽不足导致拖慢AI训练时，您可以对SFS Turbo进行性能扩容，以缩短数据加载时长。详情可参见SFS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
